本文为您介绍如何通过DataWorks的数据集成与开发将MaxCompute数据迁移至表格存储OTS(Table Store)。
您需要完成以下操作:
在DataWorks上完成业务流程创建。详情请参见创建业务流程。
操作步骤
本例使用DataWorks简单模式,创建工作空间时,默认保持参加数据开发(Data Studio)公测不开启,公测工作空间不适用本例。
在DataWorks上创建表。
登录DataWorks控制台。
在左侧导航栏,单击工作空间。
单击目标工作空间操作列的
。右键单击已创建的业务流程,选择
。在新建表页面,选择引擎类型并输入表名称。
在表的编辑页面,单击左上角DDL模式。
在DDL对话框,输入如下建表语句,单击生成表结构。
CREATE TABLE Transs ( name STRING, id BIGINT, gender STRING );
单击左上方提交到生产环境。
为表Transs导入数据。
在数据开发页面,单击
图标。
在数据导入向导对话框,至少输入3个字母来搜索需要导入数据的表,单击下一步。
选择数据导入方式为上传本地数据,单击选择文件后的浏览...。选择本地数据文件,配置导入信息。
示例数据如下。
qwe,145,F asd,256,F xzc,345,M rgth,234,F ert,456,F dfg,12,M tyj,4,M bfg,245,M nrtjeryj,15,F rwh,2344,M trh,387,F srjeyj,67,M saerh,567,M
单击下一步。
选择目标表字段与源字段的匹配方式。
单击导入数据。
在表格存储控制台上创建表。
在DataWorks中新增数据源。
登录DataWorks控制台。
在左侧导航栏,单击工作空间。
单击目标工作空间操作列的
。在左侧导航栏上,单击数据源,进入数据源列表页面。
单击新增数据源,并选择数据类型为MaxCompute。
在新增MaxCompute数据源对话框中配置参数,并单击完成。详情请参见创建MaxCompute数据源。
新增OTS数据源,详情请参见配置OTS数据源。
配置MaxCompute(ODPS)Reader和表格存储(OTS)Writer。
进入数据开发页面,右键单击指定业务流程,选择
。在新建节点对话框中,输入节点名称,并单击确认。
在顶部菜单栏上,单击
图标。
在脚本模式下,单击顶部菜单栏上的
图标。
在导入模板对话框中选择来源类型、数据源、目标类型及数据源,并单击确定。
修改JSON代码后,单击
图标。
示例代码如下。您需要确认
datasource
数据源和table
表名准确无误。{ "type": "job", "steps": [ { "stepType": "odps", "parameter": { "partition": [], "datasource": "odps_first", "column": [ "name", "id", "gender" ], "table": "transs" }, "name": "Reader", "category": "reader" }, { "stepType": "ots", "parameter": { "datasource": "transs", "column": [ { "name": "gender", "type": "STRING" } ], "writeMode": "UpdateRow", "table": "trans", "primaryKey": [ { "name": "name", "type": "STRING" }, { "name": "id", "type": "INT" } ] }, "name": "Writer", "category": "writer" } ], "version": "2.0", "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] }, "setting": { "errorLimit": { "record": "0" }, "speed": { "throttle": false, "concurrent": 1, "dmu": 1 } } }
在表格存储控制台中查看新增的表数据。
登录表格存储控制台。
在左侧导航栏上,单击全部实例。
单击实例名称进入实例管理页面。在数据表列表区域,单击要查看的数据表名称。
单击顶部数据管理页签,查看新增的表数据。
- 本页导读 (1)
- 操作步骤