本文为您介绍如何将MaxCompute数据迁移至Object Storage Service(OSS)。

前提条件

请提前开通MaxCompute和DataWorks服务。本例使用DataWorks简单模式。

操作步骤

  1. 在DataWorks控制台中创建表。
    1. 新建业务流程,并将业务流程命名为mc2oss。
      新建业务流程
    2. 新建表transition。
      新建表
    3. 单击添加字段,创建表字段name、id、gender。
      添加字段
    4. 单击提交​到生产环境
      提交到生产环境
    5. 单击导入数据
      导入数据
    6. 导入表数据。
      导入表数据
      表数据如下。
      qwe,145,F
      asd,256,F
      xzc,345,M
      rgth,234,F
      ert,456,F
      dfg,12,M
      tyj,4,M
      bfg,245,M
      nrtjeryj,15,F
      rwh,2344,M
      trh,387,F
      srjeyj,67,M
      saerh,567,M
  2. 在对象存储(OSS)控制台中创建表。
    1. 登录对象存储(OSS)控制台,创建Bucket。
      创建表
    2. 单击文件管理 > 上传文件
      上传文件
    3. 上传文件页签中,传入文件qwee.csv
      传入文件
      请确保qwee.csv文件中的字段与表transition的字段完全一致。
  3. 新增数据源。
    1. 单击新增数据源
      新增数据源
    2. 新增MaxCompute(ODPS)数据源,并将数据源命名为odps_first。
      新增数据源
    3. 新增表格存储(OSS)数据源,并将数据源命名为Trans。
      新增数据源
  4. 配置MaxCompute(ODPS)Reader和对象存储(OSS)Writer。
    1. 新建数据同步节点mc2oss。
      新建节点
    2. 在脚本模式中,导入模板。
      导入模板
    3. 修改JSON代码后,单击运行按钮。
      运行
      代码如下。
      {
          "order":{
              "hops":[
                  {
                      "from":"Reader",
                      "to":"Writer"
                  }
              ]
          },
          "setting":{
              "errorLimit":{
                  "record":"0"
              },
              "speed":{
                  "concurrent":1,
                  "dmu":1,
                  "throttle":false
              }
          },
          "steps":[
              {
                  "category":"reader",
                  "name":"Reader",
                  "parameter":{
                      "column":[
                          "name",
                          "id",
                          "gender"
                      ],
                      "datasource":"odps_first",
                      "partition":[],
                      "table":"Transs"
                  },
                  "stepType":"odps"
              },
              {
                  "category":"writer",
                  "name":"Writer",
                  "parameter":{
                      "datasource":"Trans",
                      "dateFormat":"yyyy-MM-dd HH:mm:ss",
                      "encoding":"UTF-8",
                      "fieldDelimiter":",",
                      "fileFormat":"csv",
                      "nullFormat":"null",
                      "object":"qweee.csv",
                      "writeMode":"truncate"
                  },
                  "stepType":"oss"
              }
          ],
          "type":"job",
          "version":"2.0"
      }
      							
  5. 在对象存储(OSS)控制台中查看新增的表数据。
    查看结果