本文主要为您介绍如何在DataWorks控制台将MaxCompute中的全量数据同步到表格存储中。

背景

表格存储能够支持千万TPS以及毫秒级延迟的服务能力,拥有强大的读写能力,同时,表格存储还提供多元索引等强大的索引功能,满足各种索引场景。您可以将MaxCompute计算分析后的数据同步到表格存储中,为您的应用提供更快的读写、搜索。


tablestore

步骤一: 新增数据源

将表格存储数据库添加为新增数据源,具体操作如下:

  1. 以项目管理员身份登录DataWorks控制台
    说明 仅项目管理员角色可以新建数据源,其他角色的成员仅可查看数据源。
  2. 找到目标工作空间,单击进入数据集成
  3. 选择同步资源管理 > 数据源,单击新增数据源
  4. 新增数据源弹出框中,选择数据源类型为Tablestore
  5. 在弹出的窗口中,填写配置。

    将MaxCompute数据同步到表格存储
    参数 说明
    数据源名称 数据源的名称,例如,gps_data。
    Endpoint 填入目标Tablestore实例的服务地址
    • 如果Tablestore的实例和MaxCompute在同一个region,填入私网地址。
    • 如果Tablestore的实例和MaxCompute不在同一个region,填入公网地址。
    • 不能填入VPC地址。
    Tablestore实例ID Tablestore的实例的名称。
    Access Id 登录账户的AccessKeyID。获取方式参见创建AccessKey
    Access Key 登录账户AccessKeyID对应的AccessKeySecret。获取方式参见创建AccessKey
  6. 单击测试连通性
  7. 单击完成,在数据源页面会出现该数据源信息。

步骤二: 新建同步任务

创建并配置MaxCompute到表格存储的同步任务,具体操作如下:

  1. 单击相应工作空间操作下的进入数据开发
  2. 在左侧导航栏,找到目标业务流程

    如需新建业务流程,参见创建业务流程

  3. 右键单击数据集成,选择新建 数据集成 节点 > 数据同步,弹出新建节点窗口。每个同步任务都需创建一个相应的节点。

    将MaxCompute数据同步到表格存储
  4. 输入节点名称,单击提交

    将MaxCompute数据同步到表格存储
  5. 在左侧导航栏中,单击数据集成,然后双击创建好的新节点。
  6. 在同步任务页面,数据来源数据源选择ODPS,然后选择对应的数据去向数据源选择OTS。由于表格存储仅支持脚本模式,单击脚本图标,进行脚本配置。

    具体脚本配置参见配置Tablestore(OTS) Writer


    将MaxCompute数据同步到表格存储
  7. 单击保存图标。

    将MaxCompute数据同步到表格存储
  8. 单击页面上方的运行图标,开始执行任务。运行结束后,在日志中可以查看任务是否成功和导出的数据行数。

步骤三: 配置调度参数

您可以通过调度配置页面,配置同步任务的执行时间等。

创建同步节点后,双击进入节点,并在页面右侧单击调度配置,进入配置页面。具体配置,参见调度配置

步骤四: 提交任务

单击顶部菜单栏中的提交图标,将同步任务提交至调度系统中。调度系统会根据配置的属性,自动定时执行。


将MaxCompute数据同步到表格存储

步骤五: 查看任务

进入运维中心可查看新建的任务详情。
将MaxCompute数据同步到表格存储