数据集成服务

请确保已完成以下准备工作后再进行后续操作。

• 已确认和记录MaxCompute中要同步到表格存储的表信息。

• 已创建RAM用户并为RAM用户授予管理表格存储权限（AliyunOTSFullAccess）和管理DataWorks权限（AliyunDataWorksFullAccess）。具体操作，请参见创建RAM用户和为RAM用户授权。

• 已为RAM用户创建AccessKey。具体操作，请参见创建AccessKey。

• 已开通DataWorks服务并创建工作空间。具体操作，请参见开通DataWorks服务和创建工作空间。

• 已开通表格存储服务，创建表格存储实例以及创建数据表。具体操作，请参见开通表格存储服务、创建实例和创建数据表。

  重要

  表格存储中数据表主键的名称和类型必须与MaxCompute中要写入主键的名称和类型相匹配。表格存储中数据表属性列不需要定义，属性列的列名可在写入数据时指定。

此处以创建表格存储数据源为例介绍数据源的新增操作，请根据实际创建所需数据源。

1. 进入数据集成页面。

   1. 以项目管理员身份登录DataWorks控制台。

   2. 在左侧导航栏，单击工作空间列表后，选择地域。

   3. 在工作空间列表页面，在目标工作空间操作列选择快速进入>数据集成。

2. 在左侧导航栏，单击数据源。

3. 在数据源页面，单击新增数据源。

4. 在新增数据源对话框，找到Tablestore区块，单击Tablestore。

5. 在新增OTS数据源对话框，根据下表配置数据源参数。

   参数	说明
   数据源名称	数据源名称必须以字母、数字、下划线（_）组合，且不能以数字和下划线（_）开头。
   数据源描述	对数据源进行简单描述，不得超过80个字符。
   Endpoint	Tablestore实例的服务地址。更多信息，请参见服务地址。 如果Tablestore实例和目标数据源的资源在同一个地域，填写VPC地址；如果Tablestore实例和目标数据源的资源不在同一个地域，填写公网地址。
   Table Store实例名称	Tablestore实例的名称。更多信息，请参见实例。
   AccessKey ID	阿里云账号或者RAM用户的AccessKey ID和AccessKey Secret。获取方式请参见创建AccessKey。
   AccessKey Secret

6. 测试资源组连通性。

   创建数据源时，您需要测试资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。

   重要

   数据同步时，一个任务只能使用一种资源组。资源组列表默认显示仅数据集成公共资源组。为确保数据同步的稳定性和性能要求，推荐使用独享数据集成资源组。

   1. 单击前往购买进行全新创建或单击绑定已购资源组绑定已有资源组。具体操作，请参见新增和使用独享数据集成资源组。

   2. 单击相应资源组操作列的测试连通性。

      当连通状态显示为可连通时，表示连通成功。

7. 测试连通性通过后，单击完成。

   在数据源列表中，可以查看新建的数据源。

1. 新增同步任务节点。

   1. 进入数据开发页面。

      1. 以项目管理员身份登录DataWorks控制台。

         重要

         仅项目管理员角色可以新增数据源，其他角色的成员仅可查看数据源。

      2. 在左侧导航栏，单击工作空间列表后，选择地域。

      3. 在工作空间列表页面，在目标工作空间操作列选择快速进入>数据开发。

   2. 在DataStudio控制台的数据开发页面，单击业务流程节点下的目标业务流程。

      如果需要新建业务流程，请参见创建业务流程。

   3. 在数据集成节点上右键选择新建节点 > 离线同步。

   4. 在新建节点对话框，输入名称，然后单击确认。

      在数据集成节点下会显示新建的离线同步节点。

2. 配置网络与资源链路。

   选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。

   1. 在数据集成节点下，双击打开新建的离线同步任务节点。

   2. 在网络与资源配置步骤，选择数据来源为MaxCompute(ODPS)，并选择数据源名称为MaxCompute数据源。

   3. 选择资源组。

      选择资源组后，系统会显示资源组的地域、规格等信息以及自动测试资源组与所选数据源之间的连通性。

      重要

      请与新增数据源时选择的资源组保持一致。

   4. 选择数据去向为OTS，并选择数据源名称为表格存储数据源。

      系统会自动测试资源组与所选数据源之间连通性。

   5. 测试数据源可连通后，单击下一步。

3. 配置数据来源与数据去向。

   1. 在配置数据来源与去向区域，根据下表说明配置数据来源。

      参数	说明
      Tunnel资源组	MaxCompute的数据传输资源。默认值为公共传输资源，即MaxCompute的免费配额。 说明 部分地域支持使用独享数据传输资源组来获取更好的数据同步稳定性和同步的并发数。具体操作，请参见购买与使用独享数据传输服务资源组。
      表	MaxCompute中的表名称。
      分区信息	读取的数据所在的分区信息。

   2. 在配置数据来源与去向区域，根据下表说明配置数据去向。

      参数	说明
      表	表格存储中的数据表名称。
      主键信息	表格存储数据表的主键信息，以JSON格式的数组表示。数据表的主键由1~4个主键列组成，请根据实际主键列个数进行配置。 重要 主键信息的主键列个数、顺序以及类型必须与数据表中实际的主键配置信息一致。 配置示例如下： [ { "name": "pk", "type": "string" } ]
      写入模式	数据写入表格存储的模式。取值范围如下： PutRow：对应于Tablestore API PutRow，插入数据到指定的行。如果该行不存在，则新增一行。如果该行存在，则覆盖原有行。 UpdateRow：对应于Tablestore API UpdateRow，更新指定行的数据。如果该行不存在，则新增一行。如果该行存在，则根据请求的内容在这一行中新增、修改或者删除指定列的值。

4. 配置字段映射关系。

   选择数据来源和数据去向后，需要指定读取端列和写入端列的映射关系，配置字段映射关系后，任务将根据字段映射关系，将源端字段写入目标端对应类型的字段中。系统默认按同行映射执行字段映射。

   重要

   • 如需改变映射顺序，您可以单击来源字段后的目标字段后的图标进行编辑。其中来源字段中的单个字段直接填写字段名称即可，目标字段中的单个字段要以JSON格式表示，例如{"name":"age","type":"INTEGER"}。一行表示一个字段。

   • 表格存储中数据表属性列的数据类型必须与MaxCompute中要写入字段的数据类型相匹配。数据表属性列的名称可与MaxCompute中要写入的字段名称不同，

   由于数据去向参数中默认会配置主键列信息，因此您需要手动删除目标字段中的主键列信息，否则任务执行失败。

   1. 单击目标字段后的图标。

   2. 在手动编辑表字段对话框中，删除目标字段中的主键列信息，并根据需要增加或修改属性列信息。

   3. 单击确认。

5. 配置通道。

   在通道控制区域，配置任务运行参数，例如同步速率、脏数据同步策略等。关于参数配置的更多信息，请参见配置通道。

6. 单击图标，保存配置。

   说明

   执行后续操作时，如果未保存配置，则系统会出现保存确认的提示，单击确认即可。

7. 执行同步任务。

   重要

   全量数据一般只需要同步一次，无需配置调度属性。

   1. 单击图标。

   2. 在参数对话框，选择运行资源组的名称。

   3. 单击运行。

      运行结束后，在同步任务的运行日志页签，单击Detail log url对应的链接后。在任务的详细运行日志页面，查看Current task status对应的状态。

      当Current task status的值为FINISH时，表示任务运行完成。

在表格存储控制台查看表格存储数据同步结果。

1. 登录表格存储控制台。

2. 在概览页面上方，选择地域。

3. 单击实例名称。

4. 在实例详情页签下的数据表列表页签，单击目标数据表名称。

5. 在数据管理页签，即可查看同步到该数据表中的数据。