数据集成服务

进入数据开发页面。

1. 登录DataWorks控制台。

2. 在页面上方，选择资源组和地域。

3. 在左侧导航栏，单击数据开发与运维 > 数据开发。

4. 在数据开发页面的下拉框中，选择对应工作空间后单击进入数据开发。

在DataStudio控制台的数据开发页面，单击业务流程节点下的目标业务流程。

如果需要新建业务流程，请参见创建业务流程。

在数据集成节点上右键单击，然后选择新建节点 > 离线同步。

在新建节点对话框，选择路径并填写名称，然后单击确认。

在数据集成节点下，将显示新建的离线同步节点。

在数据集成节点下，双击打开新建的离线同步任务节点。

配置网络与资源。

选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。

1. 在网络与资源配置步骤，选择数据来源为MaxCompute(ODPS)，并选择数据源名称为新增的MaxCompute数据源。

2. 选择资源组。

   选择资源组后，系统会显示资源组的地域、规格等信息以及自动测试资源组与所选数据源之间连通性。

   说明

   Serverless资源组支持为同步任务指定运行CU上限，如果您的同步任务因资源不足出现OOM现象，请适当调整资源组的CU占用取值。

3. 选择数据去向为Tablestore，并选择数据源名称为新增的表格存储数据源。

   系统会自动测试资源组与所选数据源之间连通性。

4. 测试可连通后，单击下一步。

配置任务并保存。

1. 在配置任务步骤的配置数据来源与去向区域，根据实际情况配置数据来源和数据去向。

   数据来源

   参数	说明
   数据源	默认显示上一步选择的MaxCompute数据源。
   Tunnel资源组	即Tunnel Quota，默认选择“公共传输资源”，即MC的免费quota。 MaxCompute的数据传输资源选择，具体请参见购买与使用独享数据传输服务资源组。 说明 如果独享tunnel quota因欠费或到期不可用，任务在运行中将会自动切换为“公共传输资源”。
   表	源表。
   过滤方式	同步数据的过滤逻辑，支持以下两种方式 ： 分区过滤：通过分区表达式过滤指定来源数据的同步范围，选择此方式时还需配置分区信息和分区不存在时参数。 数据过滤：通过SQL的WHERE过滤语句指定来源数据的同步范围（不需要填写WHERE关键字）。
   分区信息	说明 过滤方式选择为分区过滤时需要配置。 指定分区列的取值。 取值可以是固定值，如ds=20220101。 取值可以是调度系统参数，如ds=${bizdate}，当任务运行时，会自动替换调度系统参数。
   分区不存在	说明 过滤方式选择为分区过滤时需要配置。 分区不存在时，同步任务的处理策略。 出错。 忽略不存在分区，任务正常执行。

   数据去向

   参数	说明
   数据源	默认显示上一步选择的Tablestore数据源。
   表	目标数据表。
   主键信息	目标数据表的主键信息。
   写入模式	数据写入表格存储的模式，支持以下两种模式： PutRow：对应于Tablestore API PutRow，插入数据到指定的行。如果该行不存在，则新增一行。如果该行存在，则覆盖原有行。 UpdateRow：对应于Tablestore API UpdateRow，更新指定行的数据。如果该行不存在，则新增一行。如果该行存在，则根据请求的内容在这一行中新增、修改或者删除指定列的值。

2. 配置字段映射。

   配置数据来源与数据去向后，需要指定来源字段和目标字段的映射关系。配置字段映射关系后，任务将根据字段映射关系，将源表字段写入目标表对应类型的字段中。更多信息，请参见步骤四：配置字段映射关系。

   重要

   • 在来源字段中必须指定主键信息，以便读取主键数据。

   • 由于在上一步的数据去向下已配置了目标表的主键信息，因此在目标字段中不可再配置主键信息。

   • 当字段的数据类型为INTEGER时，您需要将其配置为INT，DataWorks会自动将其转换为INTEGER类型。如果直接配置为INTEGER类型，日志将会出现错误，导致任务无法顺利完成。

3. 配置通道控制。

   您可以通过通道配置，控制数据同步过程相关属性。相关参数说明详情可参见离线同步并发和限流之间的关系。

4. 单击图标，保存配置。

单击图标。

在参数对话框，选择运行资源组的名称。

单击运行。

进入数据开发页面。

1. 登录DataWorks控制台。

2. 在页面上方，选择资源组和地域。

3. 在左侧导航栏，单击数据开发与运维 > 数据开发。

4. 在数据开发页面的下拉框中，选择对应工作空间后单击进入Data Studio。

在DataStudio控制台的数据开发页面，单击项目目录右侧的图标，然后选择新建节点 > 数据集成 > 离线同步。

在新建节点对话框，选择路径并填写名称，然后单击确认。

在项目目录下，将显示新建的离线同步节点。

在项目目录下，单击打开新建的离线同步任务节点。

配置网络与资源。

选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。

1. 在网络与资源配置步骤，选择数据来源为MaxCompute(ODPS)，并选择数据源名称为新增的MaxCompute数据源。

2. 选择资源组。

   选择资源组后，系统会显示资源组的地域、规格等信息以及自动测试资源组与所选数据源之间连通性。

   说明

   Serverless资源组支持为同步任务指定运行CU上限，如果您的同步任务因资源不足出现OOM现象，请适当调整资源组的CU占用取值。

3. 选择数据去向为Tablestore，并选择数据源名称为新增的表格存储数据源。

   系统会自动测试资源组与所选数据源之间连通性。

4. 测试可连通后，单击下一步。

配置任务并保存。

1. 在配置任务步骤的配置数据来源与去向区域，根据实际情况配置数据来源和数据去向。

   数据来源

   参数	说明
   数据源	默认显示上一步选择的MaxCompute数据源。
   Tunnel资源组	即Tunnel Quota，默认选择“公共传输资源”，即MC的免费quota。 MaxCompute的数据传输资源选择，具体请参见购买与使用独享数据传输服务资源组。 说明 如果独享tunnel quota因欠费或到期不可用，任务在运行中将会自动切换为“公共传输资源”。
   表	源表。
   过滤方式	同步数据的过滤逻辑，支持以下两种方式 ： 分区过滤：通过分区表达式过滤指定来源数据的同步范围，选择此方式时还需配置分区信息和分区不存在时参数。 数据过滤：通过SQL的WHERE过滤语句指定来源数据的同步范围（不需要填写WHERE关键字）。
   分区信息	说明 过滤方式选择为分区过滤时需要配置。 指定分区列的取值。 取值可以是固定值，如ds=20220101。 取值可以是调度系统参数，如ds=${bizdate}，当任务运行时，会自动替换调度系统参数。
   分区不存在	说明 过滤方式选择为分区过滤时需要配置。 分区不存在时，同步任务的处理策略。 出错。 忽略不存在分区，任务正常执行。

   数据去向

   参数	说明
   数据源	默认显示上一步选择的Tablestore数据源。
   表	目标数据表。
   主键信息	目标数据表的主键信息。
   写入模式	数据写入表格存储的模式，支持以下两种模式： PutRow：对应于Tablestore API PutRow，插入数据到指定的行。如果该行不存在，则新增一行。如果该行存在，则覆盖原有行。 UpdateRow：对应于Tablestore API UpdateRow，更新指定行的数据。如果该行不存在，则新增一行。如果该行存在，则根据请求的内容在这一行中新增、修改或者删除指定列的值。

2. 配置字段映射。

   配置数据来源与数据去向后，需要指定来源字段和目标字段的映射关系。配置字段映射关系后，任务将根据字段映射关系，将源表字段写入目标表对应类型的字段中。更多信息，请参见步骤四：配置字段映射关系。

   重要

   • 在来源字段中必须指定主键信息，以便读取主键数据。

   • 由于在上一步的数据去向下已配置了目标表的主键信息，因此在目标字段中不可再配置主键信息。

   • 当字段的数据类型为INTEGER时，您需要将其配置为INT，DataWorks会自动将其转换为INTEGER类型。如果直接配置为INTEGER类型，日志将会出现错误，导致任务无法顺利完成。

3. 配置通道控制。

   您可以通过通道配置，控制数据同步过程相关属性。相关参数说明详情可参见离线同步并发和限流之间的关系。

4. 单击保存，保存配置。

单击任务右侧的调试配置，选择运行的资源组。

单击运行。