通过数据集成导入导出数据 - 云原生分布式数据库 PolarDB-X

本文介绍如何通过数据集成在PolarDB-X 1.0中进行数据导入和导出。

背景信息

数据集成是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量或增量）数据进出通道。使用数据集成，您可以在PolarDB-X 1.0完成以下数据同步任务：

将PolarDB-X 1.0的数据同步到到其他的数据源里，并将数据进行相应的处理；
将处理好的其他数据源数据同步到PolarDB-X 1.0。

流程概述

数据同步流程主要包含以下几个步骤：

第一步：数据源端新建表
第二步：添加数据源
第三步：向导模式或脚本模式配置同步任务
第四步：运行同步任务，检查目标端的数据质量

准备工作

使用数据集成在PolarDB-X 1.0进行数据导入导出之前，请先注册阿里云账号并参考创建RAM用户文档，完成以下准备工作：

开通阿里云官网实名认证账号，创建好账号的访问密钥，即AccessKeys。
开通MaxCompute，这样会自动产生一个默认的ODPS的数据源，并使用主账号登录大数据开发套件。
创建项目。您可以在项目中协作完成工作流，共同维护数据和任务等，因此使用大数据开发套件之前需要先创建一个项目。
如果想通过子账号创建数据集成任务，可以赋予其相应的权限。

新添加数据源

下面以添加PolarDB-X 1.0的数据源为例。

说明只有项目管理员角色才能够新建数据源，其他角色的成员仅能查看数据源。

以项目管理员身份登录数加管理控制台。
在项目列表中对应项目的操作栏单击进入工作区。
进入顶部菜单栏中的数据集成页面，单击左侧导航栏中的数据源。
点击右上角的新增数据源，如下图所示：
在新增数据源弹出框中填写相关配置项，如下图所示：
针对PolarDB-X 1.0数据源配置项的具体说明如下：
- 数据源名称：由英文字母、数字、下划线组成且需以字符或下划线开头，长度不超过60个字符。
- 数据源描述：对数据源进行简单描述，不得超过 80 个字符。
- 数据源类型：当前选择的数据源类型PolarDB-X 1.0。
- 网络类型：当前选择的网络类型。
- JDBCUrl：JDBC 连接信息，格式为jdbc://mysql://serverIP:Port/database。
- 用户名/密码：对应的用户名和密码。
完成上述信息项的配置后，单击测试连通性。
测试连通性通过后，单击确定。

通过数据集成导入数据

下文以通过数据集成的向导模式将 MaxCompute（原 ODPS）数据同步到PolarDB-X 1.0为例。

在数据集成页面，新建同步任务。
- 向导模式：向导模式是可视化界面配置同步任务，一共涉及五步选择来源，选择目标，字段映射，通道控制，预览保存五个步骤。在每个不同的数据源之间，这几步的界面可能有不同的内容。向导模式可以转换成脚本模式。
- 脚本模式：进入脚本界面你可以选择相应的模板，此模板包含了同步任务的主要参数，将相关的信息填写完整，但是脚本模式不能转化成向导模式。
选择数据来源。选择 MaxCompute 数据源及源头表 mytest，数据浏览默认是收起的，选择后单击下一步：
选择目标。选择PolarDB-X数据源及目标表contact_infos，选择后单击下一步：
- preSql：执行数据同步任务之前率先执行的 SQL 语句。目前向导模式只允许执行一条 SQL 语句，脚本模式可以支持多条 SQL 语句，例如清除旧数据。
- postSql：执行数据同步任务之后执行的 SQL 语句。目前向导模式只允许执行一条 SQL 语句，脚本模式可以支持多条 SQL 语句，例如加上某一个时间戳。
选择字段的映射关系。左侧源头表字段和右侧目标表字段为一一对应的关系，如下图所示。
在通道控制页面单击下一步，配置作业速率上限和脏数据检查规则。
- 作业速率上限：是指数据同步作业可能达到的最高速率，其最终实际速率受网络环境、数据库配置等的影响。
- 作业并发数：作业速率上限=作业并发数 * 单并发的传输速率。
当作业速率上限已选定的情况下，可以根据以下原则选择并发数：
- 如果你的数据源是线上的业务库，建议您不要将并发数设置过大，以防对线上库造成影响；
- 如果您对数据同步速率特别在意，建议您选择最大作业速率上限和较大的作业并发数。
完成以上配置后，上下滚动鼠标可查看任务配置，确定无误后单击保存。

单击运行任务，直接运行同步任务结果。您可以将同步任务提交到调度系统中，调度系统会按照配置属性从第二天开始自动定时执行。

脚本模式配置同步任务

{
 "type": "job",
 "version": "1.0",
 "configuration": {
   "reader": {
     "plugin": "odps",
     "parameter": {
       "datasource": "lzz_odps",//数据源的名称，建议都添加数据源后进行同步
       "table": "mytest",//数据来源的表名
       "partition": "",//分区信息
       "column": [
         "id"
       ]
     }
   },
   "writer": {
     "plugin": "drds",
     "parameter": {
       "datasource": "l_Drds_w",//数据源的名称，建议都添加数据源后进行同步
       "table": "contact_infos",//目的表名
       "preSql": [],//导入前准备语句
       "postSql": [],//导入后准备语句
       "column": [
         "id"
       ]
     }
   },
   "setting": {
     "speed": {
       "mbps": "1",//一个并发的速率上线是1MB/S
       "concurrent": "1"//并发的数目
     }
   }
 }
}

通过数据集成导出数据

下文以通过向导模式将PolarDB-X 1.0数据同步到MaxCompute为例。

在数据集成页面，新建同步任务。
选择数据来源。选择PolarDB-X 1.0数据源及源头表 bit_type_test。数据浏览默认是收起的，选择后单击下一步，如下图所示：
- 过滤条件：筛选条件，DrdsReader 根据指定的 column、table、where 条件拼接 SQL，并根据这个 SQL 进行数据抽取。例如在做测试时，可以将 where 条件指定实际业务场景，往往会选择当天的数据进行同步，可以将 where 条件指定为STRTODATE(‘${bdp.system.bizdate}’, ‘%Y%m%d’) <= taday AND taday < DATEADD(STRTODATE(‘${bdp.system.bizdate}’, ‘%Y%m%d’), interval 1 day)。
- 切分键：您可以将源数据表中某一列作为切分键，切分之后可进行并发数据同步。目前仅支持整型字段；建议使用主键或有索引的列作为切分键。
选择 MaxCompute 数据源及目标表 mytest，选择后单击下一步。
单击下一步，选择字段的映射关系。左侧源头表字段和右侧目标表字段为一一对应的关系：
您也可以单击“添加一行”增加映射关系：
- 可以输入常量，输入的值需要使用英文单引号包括，如'abc'、'123'等；
- 可以配合调度参数使用，如'${bdp.system.bizdate}'等；
- 可以输入关系数据库支持的函数，如 now()、count(1)等；
- 如果您输入的值无法解析，则类型显示为'-'。
在通道控制页面单击下一步，配置作业速率上限和脏数据检查规则。
- 作业速率上限：是指数据同步作业可能达到的最高速率，其最终实际速率受网络环境、数据库配置等的影响。
- 作业并发数：作业速率上限=作业并发数 * 单并发的传输速率。
当作业速率上限已选定的情况下，可以按以下原则选择并发数：
- 如果你的数据源是线上的业务库，建议您不要将并发数设置过大，以防对线上库造成影响；
- 如果您对数据同步速率特别在意，建议您选择最大作业速率上限和较大的作业并发数。
完成以上配置后，上下滚动鼠标可查看任务配置。确认无误后单击保存。

单击运行任务直接运行同步任务结果。您也可以将同步任务提交到调度系统中，调度系统会按照配置属性从第二天开始自动定时执行。

脚本模式配置同步任务

{
 "type": "job",
 "version": "1.0",
 "configuration": {
   "reader": {
     "plugin": "drds",
     "parameter": {
       "datasource": "l_Drds_w",//数据源的名称，建议都添加数据源后进行同步
       "table": "bit_type_test",/数据来源的表名
       "where": "",
       "splitPk": "col2",//切分键
       "column": [
         "idbit"
       ]
     }
   },
   "writer": {
     "plugin": "odps",
     "parameter": {
       "datasource": "lzz_odps",//数据源的名称，建议都添加数据源后进行同步
       "table": "mytest",
       "truncate": true,
       "partition": "",//分区信息
       "column": [
         "id"
       ]
     }
   },
   "setting": {
     "speed": {
       "mbps": "1",//作业速率上限
       "concurrent": "1"//并发数
     },
     "errorLimit": {
       "record": "234"//错误记录数
     }
   }
 }
}