使用DataWorks（离线与实时）
数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute 数据库分...
周期性调度作业概述
费用说明 DataWorks数据开发与运维中心提供MaxCompute数据同步、数据加工任务的周期调度，不仅包含DataWorks相关费用，同时会产生产品侧其他费用，具体如下。DataWorks相关费用 以下费用会体现在DataWorks产品相关账单中。DataWorks计费...
数据上传下载成本优化
合理预估VPC带宽 当数据在IDC机房时，如果您需要通过专线同步数据到MaxCompute，请预估带宽，平衡数据同步与带宽之间的成本。例如，50 TB数据上云，同步1天，预估需要5 GB带宽。带宽的计算方式为 50（TB）×1024（GB）×8（bit）/（24...
Elasticsearch数据迁移至MaxCompute
右键单击业务流程，选择 新建节点>MaxCompute>ODPS SQL。在 新建节点 对话框中输入 节点名称，并单击 确认。在ODPS SQL节点编辑页面输入如下语句。SELECT*FROM elastic2mc_bankdata;单击 图标运行代码。您可以在 运行日志 查看运行结果。
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
数据类型版本说明
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
MaxCompute作业概述
数据类型 MaxCompute数据开发支持三个数据类型版本：1.0数据类型版本、MaxCompute 2.0推出了兼容开源主流产品的 2.0数据类型版本 和 Hive兼容数据类型版本。您可以根据您MaxCompute作业的实际情况选用合适的数据类型版本，详情请参见 数据...
安全配置常见问题
因涉及项目数据保护，无法将MaxCompute数据导出至MySQL，如何解决？如何找回被删除的表？MaxCompute如何保证数据安全？MaxCompute拥有完备的措施来保证用户的数据安全：多用户场景，除项目所有者（Project Owner）或项目管理员之外，未经...
Quick BI连接MaxCompute
数据库地址 连接MaxCompute项目的Endpoint，Quick BI可通过阿里云经典网络Endpoint连接MaxCompute服务。Endpoint详情请参见 Endpoint。项目名称 目标MaxCompute项目的名称。此处为MaxCompute项目名称，非工作空间名称。您可以登录 ...
2021年
删除MaxCompute项目 2021-07-21 新增数据库管理工具连接MaxCompute操作指导。新说明 MaxCompute支持连接数据库管理工具管理MaxCompute项目。DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute 2021-07-19 新增...
生态对接
本文为您介绍MaxCompute支持连接的商业智能BI工具、数据库管理工具及ETL工具。MaxCompute的生态架构如下图所示。商业智能（BI）工具 商业智能（BI）工具支持将计算引擎得到的数据通过仪表板、图表或其他图形输出实现数据可视化，以直观的...
概述
日常工作中，企业通常会对实时...DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据集成迁移日志数据至MaxCompute。此方法为定时任务，配置一次可以多次执行同步任务。
Yonghong BI连接MaxCompute
格式为 jdbc:odps:<MaxCompute_endpoint>?project=<MaxCompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...
ODPS-0123091
ODPS-0123091:Illegal type cast 错误1：in function cast,value 'xx' cannot be casted from yy to zz 错误信息示例 ODPS-0123091:Illegal type cast-in function cast,value 'xx' cannot be casted from YY to ZZ 问题描述 执行数据类型...
UNLOAD
data_test 的数据如下：+-+-+|id|name|+-+-+|3|rgege|4|Gegegegr|+-+-+在Hologres创建数据接收表 mc_2_holo（所在数据库名称为 test），您可以在HoloWeb的SQL编辑器中执行建表语句，详情请参见 连接HoloWeb。建表语句如下：说明 数据接收表...
UNLOAD
data_test 的数据如下：+-+-+|id|name|+-+-+|3|rgege|4|Gegegegr|+-+-+在Hologres创建数据接收表 mc_2_holo（所在数据库名称为 test），您可以在HoloWeb的SQL编辑器中执行建表语句，详情请参见 连接HoloWeb。建表语句如下：说明 数据接收表...
数据动态脱敏
当您期望某些用户只可以查看MaxCompute项目中隐藏关键信息的敏感数据时，您可以开启MaxCompute动态脱敏功能，在数据访问或展示时实时隐藏或替换敏感数据，以防止敏感数据泄露。本文为您介绍如何开启MaxCompute动态脱敏功能，并提供参考示例...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
Sugar BI连接MaxCompute
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目，并进行可视化数据分析。前提条件 ...
StarRocks Connector
背景信息 StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库，可以满足企业级用户的多种分析需求，包括OLAP(Online Analytical Processing)多维分析、定制报表、实时数据分析和Ad-hoc数据分析等。关于StarRocks详情，...
数据上云工具
开源产品 Sqoop（Tunnel通道系列）Sqoop基于社区Sqoop 1.4.6版本开发，增强了对MaxCompute的支持，可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中，也可以从HDFS或Hive导入数据到MaxCompute表中。详情请参见 MaxCompute Sqoop。...
MMA概述
MMA任务与子任务 MMA可以以单个数据库、多个表、多个分区为单位提交迁移任务。迁移任务以“分区”和“⾮分区表”为单位进⾏子任务分割，子任务是实际执⾏迁移操作的单位。⼀个子任务迁移⼀个⾮分区表或⼀个/多个分区。MMA迁移作业方案 本文...
Spark Connector
为了更好地融入大数据生态，MaxCompute开放了存储组件（Storage API），通过调用Storage API直接访问MaxCompute底层存储，有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark ...
数据传输服务（上传）场景与工具
例如上传数据源可以是外部文件、外部数据库、外部对象存储或日志文件。MaxCompute中批量数据通道上传包含如下方案。Tunnel SDK：您可以通过 Tunnel 向MaxCompute中上传数据。数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、...
RAM权限
MaxCompute部分资源管理类的操作只能通过管理控制台来完成，其中有些操作权限通过RAM进行鉴权，本文为您介绍MaxCompute管理相关操作对接RAM的权限点列表及权限策略。权限点列表 操作类别 Action ARN ARN示例 说明 项目管理 odps:...
MMA安装与配置
username MySQL数据库的登录用户名。请根据实际情况填写。password MySQL数据库的登录密码。请根据实际情况填写。listening_port MMA所在服务器的监听端口号。配置为6060。启动MMA 您可以根据实际情况执行以下命令启动MMA程序。说明 建议...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过日志服务迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
功能特性
数据分析 SQL查询 第三方工具 数据库管理工具 通过数据库管理工具连接MaxCompute，目前主要支持DBeaver、DataGrip、SQL Workbench/J。数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、...
项目空间操作
创建MaxCompute项目空间后，您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。本文为您介绍如何进入或查看项目空间，以及设置或查看项目空间Project级的属性。项目空间操作的常用命令如下。类型 功能 角色 操作入口 进入...
Flag参数列表
MaxCompute 2.0扩展函数 SQL Session/Project odps.sql.type.json.enable JSON数据类型使用开关。关于JSON数据类型的更多信息，请参见 MaxCompute JSON类型使用指南。True：打开。False：关闭。MaxCompute JSON数据类型 SQL Session/...
准备工作
MaxCompute支持通过标准MaxFrame SDK（本地MaxFrame客户端）、MaxCompute Notebook及DataWorks节点三种方式使用MaxFrame，本文为您介绍使用MaxFrame前需要准备的运行环境。前提条件 已安装3.6及以上版本的Python环境。已创建MaxCompute项目...
快速体验MaxCompute
MaxCompute支持您使用 MaxCompute控制台、MaxCompute客户端、MaxCompute Studio和DataWorks工具处理数据。本文指导您基于MaxCompute提供的公开数据集，通过 MaxCompute控制台，快速体验在MaxCompute上执行SQL语句查询数据及下载查询结果到...
采集数据
创建MySQL数据源（mysql_workshop_log）在您的工作空间中新建MySQL数据源，用于后续读取平台提供的存放于MySQL中的用户信息数据，并测试该数据源与同步数据的资源组网络是否连通。进入数据源页面。登录 DataWorks控制台，单击左侧导航栏的 ...
存储加密
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等，开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足...
SETPROJECT
创建MaxCompute项目空间后，您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。工具平台 本文中的命令您可以在 MaxCompute客户端、云命令行（odpscmd）或 DataWorks的ODPS SQL节点 中执行。注意事项 项目空间非工作空间。...
开源支持
MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB级数据仓库解决方案。本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过...
MaxCompute如何访问Hologres
MaxCompute SQL外部表方式访问Hologres 在 Hologres管理控制台，选择目标实例并创建Hologres数据库 mc_db_holo。创建Hologres数据库的操作指导，请参见 创建Hologres数据库。在 HoloWeb 开发界面的 mc_db_holo 数据库下，执行如下语句创建...
与Hive、MySQL、Oracle数据类型映射表
在进行数据迁移或集成操作时，即当您需要将其他数据库数据导入MaxCompute或将MaxCompute数据导出至其他数据库时，您需要参照数据类型映射表，设置表字段的数据类型映射关系。正确的数据类型映射关系可以确保数据在不同数据库中能够正确地...
2020年
2020-07-29 全部区域 数据类型版本说明 创建MaxCompute项目 Python UDF支持更多数据类型 Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型（ARRAY、MAP和STRUCT）和复杂数据类型嵌套。...
- 产品推荐
- 这些文档可能帮助您