MaxCompute数据迁移至OTS

操作步骤

1. 在DataWorks上创建表。

   1. 登录DataWorks控制台。

   2. 在左侧导航栏，单击工作空间列表。

   3. 单击相应工作空间操作列的快速进入 > 数据开发。

   4. 右键单击已创建的业务流程，选择新建 > MaxCompute > 表。

   5. 在新建表页面，选择引擎类型并输入表名称。

   6. 在表的编辑页面，单击DDL模式。

   7. 在DDL对话框，输入如下建表语句，单击生成表结构。

      create table Transs
      (name    string,
      id    bigint,
      gender    string);

   8. 单击提交到生产环境。

2. 为表Transs导入数据。

   1. 在数据开发页面，单击图标。

   2. 在数据导入向导对话框，至少输入3个字母来搜索需要导入数据的表，单击下一步。

   3. 选择数据导入方式为上传本地数据，单击选择文件后的浏览...。选择本地数据文件，配置导入信息。

      示例数据如下。

      qwe,145,F
      asd,256,F
      xzc,345,M
      rgth,234,F
      ert,456,F
      dfg,12,M
      tyj,4,M
      bfg,245,M
      nrtjeryj,15,F
      rwh,2344,M
      trh,387,F
      srjeyj,67,M
      saerh,567,M

   4. 单击下一步。

   5. 选择目标表字段与源字段的匹配方式。

   6. 单击导入数据。

3. 在表格存储控制台上创建表。

   1. 登录表格存储控制台，创建实例。详情请参见创建实例。

   2. 创建数据表Trans。详情请参见创建数据表。

4. 在DataWorks中新增数据源。

   1. 登录DataWorks控制台。

   2. 在左侧导航栏，单击工作空间列表。

   3. 单击相应工作空间操作列的快速进入 > 数据集成。

   4. 在左侧导航栏上，单击数据源，进入数据源管理页面。

   5. 单击新增数据源，并选择数据类型为MaxCompute。

   6. 在新增MaxCompute数据源对话框中配置参数，并单击完成。详情请参见配置MaxCompute数据源。

   7. 新增OTS数据源，详情请参见配置OTS数据源。

5. 配置MaxCompute（ODPS）Reader和表格存储（OTS）Writer。

   1. 进入数据开发页面，右键单击指定业务流程，选择新建节点 > 数据集成 > 离线同步。

   2. 在新建节点对话框中，输入节点名称，并单击确认。

   3. 在顶部菜单栏上，单击图标。

   4. 在脚本模式下，单击顶部菜单栏上的图标。

   5. 在导入模板对话框中选择来源类型、数据源、目标类型及数据源，并单击确定。

   6. 修改JSON代码后，单击图标。

      代码如下。

      {
          "type": "job",
          "steps": [
              {
                  "stepType": "odps",
                  "parameter": {
                      "partition": [],
                      "datasource": "odps_first",
                      "column": [
                          "name",
                          "id",
                          "gender"
                      ],
                      "table": "Transs"
                  },
                  "name": "Reader",
                  "category": "reader"
              },
              {
                  "stepType": "ots",
                  "parameter": {
                      "datasource": "Transs",
                      "column": [
                          {
                              "name": "Gender",
                              "type": "STRING"
                          }
                      ],
                      "writeMode": "UpdateRow",
                      "table": "Trans",
                      "primaryKey": [
                          {
                              "name": "Name",
                              "type": "STRING"
                          },
                          {
                              "name": "ID",
                              "type": "INT"
                          }
                      ]
                  },
                  "name": "Writer",
                  "category": "writer"
              }
          ],
          "version": "2.0",
          "order": {
              "hops": [
                  {
                      "from": "Reader",
                      "to": "Writer"
                  }
              ]
          },
          "setting": {
              "errorLimit": {
                  "record": "0"
              },
              "speed": {
                  "throttle": false,
                  "concurrent": 1,
                  "dmu": 1
              }
          }
      }

6. 在表格存储控制台中查看新增的表数据。

   1. 登录表格存储控制台。

   2. 在左侧导航栏上，单击全部实例。

   3. 单击实例名称进入实例管理页面。在数据表列表区域，单击要查看的数据表名称。

   4. 单击顶部数据管理页签，查看新增的表数据。