通过DataWorks控制台将MaxCompute中的全量数据同步到表格存储。
背景信息
表格存储能够支持千万TPS以及毫秒级延迟的服务能力,拥有强大的读写能力,同时表格存储还提供多元索引等强大的索引功能,满足各种搜索场景。您可以将MaxCompute计算分析后的数据同步到表格存储中,提升应用的读写和搜索效率。
步骤一:新增数据源
将表格存储数据库添加为数据源,具体操作步骤如下:
- 以项目管理员身份登录DataWorks控制台。
说明 仅项目管理员角色可以新增数据源,其他角色的成员仅可查看数据源。
- 选择区域,在左侧导航栏,单击工作空间列表。
- 在工作空间列表页面,单击工作空间操作区域的进入数据集成。
- 在数据集成控制台,单击数据源管理。
- 新增数据源。
- 在数据源管理页面,单击新增数据源。
- 在新增数据源对话框的NoSQL区域,选择数据源类型为OTS。
- 在新增OTS数据源对话框,配置参数。

参数 |
说明 |
数据源名称 |
数据源的名称,例如gps_data。 |
数据源描述 |
数据源的描述信息。 |
Endpoint |
填写目标Tablestore实例的服务地址。
- 如果Tablestore实例和MaxCompute在同一个region,填写经典网地址。
- 如果Tablestore实例和MaxCompute不在同一个region,填写公网地址。
- 不能填写VPC地址。
|
Table Store实例名称 |
Tablestore实例的名称。 |
AccessKey ID |
登录账户的AccessKeyID和AccessKeySecret,获取方式请参见为RAM用户创建访问密钥。
|
AccessKey Secret |
- 单击测试连通性,测试数据源的连通状态。
- 单击完成。
在数据源管理页面,会显示该数据源信息。
步骤二:新建同步任务
新建并配置MaxCompute到表格存储的同步任务,具体操作步骤如下:
- 以项目管理员身份登录DataWorks控制台。
说明 仅项目管理员角色可以新增数据源,其他角色的成员仅可查看数据源。
- 选择区域,在左侧导航栏,单击工作空间列表。
- 在工作空间列表页面,单击工作空间操作中的进入数据开发。
- 在DataStudio控制台的数据开发页面,单击业务流程节点下的目标业务流程。
- 新建同步任务节点。
每个同步任务都需创建一个相应的节点。
- 在数据集成节点上右键选择。
- 在新建节点对话框,输入节点名称。
- 单击提交。
- 配置数据源。
- 在数据集成节点下,双击同步任务节点。
- 在同步任务节点的编辑页面的选择数据源区域,配置数据来源和数据去向。
- 单击
图标,保存数据源配置。
- 运行同步任务。
- 单击
图标。
- 在参数对话框,选择调度的资源组。
- 单击确定,开始运行任务。
运行结束后,在运行日志页签中可以查看任务是否成功和导出的数据行数。
步骤三:定时执行同步任务
- 以项目管理员身份登录DataWorks控制台。
说明 仅项目管理员角色可以新增数据源,其他角色的成员仅可查看数据源。
- 选择区域,在左侧导航栏,单击工作空间列表。
- 在工作空间列表页面,单击工作空间操作中的进入数据开发。
- 在DataStudio控制台的数据开发页面,单击业务流程节点下的目标业务流程。
- 配置调度参数。
通过调度配置,可以配置同步任务的执行时间、重跑属性、调度依赖等。
- 在数据集成节点下,双击同步任务节点。
- 在同步任务节点的编辑页面的右侧单击调度配置,进行调度参数配置,详情请参见配置调度和依赖属性。
- 提交同步任务。
- 在同步任务节点的编辑页面,单击
图标。
- 在提交新版本对话框,输入备注信息。
- 单击确认。
将同步任务提交到调度系统后,调度系统会根据配置的调度参数,自动定时执行同步任务。
步骤四:查看同步任务
- 以项目管理员身份登录DataWorks控制台。
说明 仅项目管理员角色可以新增数据源,其他角色的成员仅可查看数据源。
- 选择区域,在左侧导航栏,单击工作空间列表。
- 在工作空间列表页面,单击工作空间操作中的进入运维中心。
- 在运维中心控制台,选择。
- 在周期任务页面,查看提交的同步任务详情。