MaxCompute数据迁移至OTS

操作步骤

1. 开通服务

   1. 开通MaxCompute

   2. 开通DataWorks

2. 在DataWorks上创建表

   1. 登录DataWorks控制台，在左上角选择地域。

   2. 在左侧导航栏选择工作空间。

   3. 在工作空间列表页面，单击目标工作空间对应的操作列快速进入 > Data Studio。

   4. 在Data Studio页面，新建MaxCompute SQL节点。按照如下语句新建表transs。

      CREATE TABLE transs
      (name    STRING,
      id    STRING,
      gender    STRING);

3. 为表transs导入数据

   1. 将以下示例数据保存至本地，建议存储为CSV格式。

      qwe,145,F
      asd,256,F
      xzc,345,M
      rgth,234,F
      ert,456,F
      dfg,12,M
      tyj,4,M
      bfg,245,M
      nrtjeryj,15,F
      rwh,2344,M
      trh,387,F
      srjeyj,67,M
      saerh,567,M

   2. 在左侧导航栏选择数据集成 > 数据上传与下载。

   3. 单击进入数据上传与下载。

   4. 在左侧导航栏单击上传图标，单击数据上传。

4. 在表格存储控制台上创建表

   1. 登录表格存储控制台，创建实例。

   2. 创建数据表trans。详情请参见创建数据表。

      主键设置为name和id。

5. 在DataWorks上新增MaxCompute数据源

   1. 登录DataWorks控制台，在左上角选择地域。

   2. 在左侧导航栏选择工作空间。

   3. 在工作空间列表页面，单击目标工作空间名称。

   4. 在空间详情页面，单击左侧导航栏数据源。

   5. 在数据源页签，单击添加数据源，选择MaxCompute。

   6. 在添加MaxCompute数据源页面，填写基本信息。

      详情请参见配置MaxCompute数据源。

6. 新增OTS数据源，详情请参见配置OTS数据源。

7. 配置MaxCompute（ODPS）Reader和表格存储（OTS）Writer

   1. 登录DataWorks控制台，在左上角选择地域。

   2. 在左侧导航栏选择数据开发与运维 > 数据开发。

   3. 选择工作空间，单击进入Data Studio。

   4. 在Data Studio左侧，单击，选择新建节点 > 数据集成 > 离线同步。

      • 数据来源选择Tablestore。

      • 数据去向选择MaxCompute（ODPS）。

   5. 在节点配置页面，填写如下信息。

      • 数据源-来源：选择新增的数据源OTS名称。

      • 数据源-去向：选择新增的数据源MaxCompute名称。

      • 数据来源-表：选择OTS创建的表

      • 数据去向-表：已创建MaxCompute表。

      • 运行资源：选择创建的独享资源组。

      • 其他保持默认即可。

      也可以单击配置区域上方的图标，转换为脚本模式，通过脚本配置。示例如下：

      {
          "type": "job",
          "steps": [
              {
                  "stepType": "odps",
                  "parameter": {
                      "partition": [],
                      "datasource": "odps_first",
                      "column": [
                          "name",
                          "id",
                          "gender"
                      ],
                      "table": "transs"
                  },
                  "name": "Reader",
                  "category": "reader"
              },
              {
                  "stepType": "ots",
                  "parameter": {
                      "datasource": "transs",
                      "column": [
                          {
                              "name": "gender",
                              "type": "STRING"
                          }
                      ],
                      "writeMode": "UpdateRow",
                      "table": "trans",
                      "primaryKey": [
                          {
                              "name": "name",
                              "type": "STRING"
                          },
                          {
                              "name": "id",
                              "type": "INT"
                          }
                      ]
                  },
                  "name": "Writer",
                  "category": "writer"
              }
          ],
          "version": "2.0",
          "order": {
              "hops": [
                  {
                      "from": "Reader",
                      "to": "Writer"
                  }
              ]
          },
          "setting": {
              "errorLimit": {
                  "record": "0"
              },
              "speed": {
                  "throttle": false,
                  "concurrent": 1,
                  "dmu": 1
              }
          }
      }

8. 在表格存储控制台中查看新增的表数据。

   1. 登录表格存储控制台，在左上角选择地域。

   2. 在左侧导航栏选择全部实例。

   3. 在全部实例页面下，单击实例名称，进入实例管理页面。

   4. 在实例管理页面，单击实例详情页签。

   5. 在实例详情页签下方数据表列表区域，单击要查看的数据表名称。

   6. 在数据表管理页面，单击数据管理页签，查看新增的表数据。