全部产品
云数据库 RDS 版

数据集成

更新时间:2017-07-27 10:14:49   分享:   

1.通过数据集成导入数据

数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。详细的数据源类型列表请参见:支持数据源类型。所以用户可以通过数据集成(Data Integration)向云产品 RDS-PostgreSQL 进行数据的导入和数据导出。

1.1 本文档包含内容

  • 通过数据集成导入数据至 RDS-PostgreSQL
    • 添加 RDS-PostgreSQL 数据源
    • 配置数据同步任务——向导模式
    • 配置数据同步任务——脚本模式
  • 通过数据集成从 RDS-PostgreSQL 导出数据

2. 通过数据集成导入数据

2.1 新添加数据源

项目管理员创建 RDS-PostgreSQL 数据源,具体步骤如下:

1:以开发者身份进入阿里云数加平台>大数据开发套件>管理控制台,点击对应项目操作栏中的进入工作区

2:点击顶部菜单栏中数据集成模块的数据源。

3:点击新增数据源。

4:在新建数据源话弹出框中,选择数据源类型为RDS-PostgreSQL。

5:选择以RDS实例形式配置该PostgreSQL数据源。

选择以RDS实例形式配置该PostgreSQL数据源:

3上图中的配置项具体说明如下:

数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符 。

数据源描述:对数据源进行简单描述,不得超过 80 个字符 。

数据源类型:当前选择的数据源类型(RDS-PostgreSQL的RDS实例形式)。

RDS实例ID:该 PostgreSQ L数据源的RDS实例ID。

RDS实例购买者ID:该数据源对应的RDS实例购买者ID。

数据库名:该数据源对应的数据库名。

用户名/密码:数据库对应的用户名和密码。

6:完成上述信息项的配置后,点击测试连通性。

7:测试连通性通过后,点击确定。

其他的数据源的配置请参见:数据源配置

2.2 通过数据集成导入数据

2.2.1 向导模式 MaxCompute 同步到 RDS-PostgreSQL 为例:

  1. 新建同步任务,如下图所示:1.jpg

  2. 选择来源:选择 MaxCompute (原ODPS) 数据源及源头表ll,数据浏览默认是收起的,选择后点击下一步,如下图所示:oy2.jpg

  3. 选择目标:om3.jpg

导入前准备语句:执行数据同步任务之前率先执行的sql语句,目前向导模式只允许执行一条SQL语句,脚本模式可以支持多条SQL语句,例如清除旧数据。导入后准备语句:执行数据同步任务之后执行的sql语句,目前向导模式只允许执行一条SQL语句,脚本模式可以支持多条SQL语句,例如加上某一个时间戳。主键冲突:insert into 指当主键/唯一性索引冲突,数据集成视为脏数据进行处理。

  1. 字段隐射点击下一步,选择字段的映射关系。需对字段映射关系进行配置,左侧“源头表字段”和右侧“目标表字段”为一一对应的关系 ,如下图所示。

oy4.jpg

  1. 1.可以输入常量,输入的值需要使用英文单引号包括,如'abc''123'等;
  2. 2.可以配合调度参数使用,如 ${bdp.system.bizdate} 等;
  3. 3.可以输入你要同步的分区列,如分区列有pt等;
  4. 4.如果您输入的值无法解析,则类型显示为'未识别'
  5. 5.不支持配置odps函数。
  1. 通道控制点击下一步,配置作业速率上限和脏数据检查规则,如下图所示:ot5.jpg
  • 作业速率上限:是指数据同步作业可能达到的最高速率,其最终实际速率受网络环境、数据库配置等的影响。
  • 作业并发数:作业速率上限=作业并发数*单并发的传输速率当作业速率上限已选定的情况下,应该如何选择作业并发数?① 如果你的数据源是线上的业务库,建议您不要将并发数设置过大,以防对线上库造成影响;② 如果您对数据同步速率特别在意,建议您选择最大作业速率上限和较大的作业并发数
  1. 预览保存:完成以上配置后,上下滚动鼠标可查看任务配置,如若无误,点击保存,如下图所示:ol6.jpg

7.直接运行同步任务结果:

o1.jpg

注意:同步任务保存后,直接点击运行任务会立刻运行或点击右边的提交,将同步任务提交到调度系统中,调度系统会按照配置属性在从第二天开始自动定时执行,相关调度的配置请参考下面的文档:调度配置介绍

2.2.2 脚本模式配置同步任务

  1. {
  2. "configuration": {
  3. "reader": {
  4. "plugin": "odps",
  5. "parameter": {
  6. "partition": "p_month=${bdp.system.bizdate}",
  7. "datasource": "odps_first",//数据源名,建议数据源都先添加数据源后再配置同步任务,此配置项填写的内容必须要与添加的数据源名称保持一致
  8. "column": [
  9. "id",
  10. "name"
  11. ],
  12. "table": "ll"//表名
  13. }
  14. },
  15. "writer": {
  16. "plugin": "postgresql",
  17. "parameter": {
  18. "preSql": [],//导入前准备语句
  19. "postSql": [],//导入后准备语句
  20. "datasource": "l_RDS_PostGreSql",//数据源名,建议数据源都先添加数据源后再配置同步任务,此配置项填写的内容必须要与添加的数据源名称保持一致
  21. "column": [
  22. "id",
  23. "name"
  24. ],
  25. "table": "public.person",
  26. "preSql": []
  27. }
  28. },
  29. "setting": {
  30. "speed": {
  31. "concurrent": "1",//并发数
  32. "mbps": "1"//任务达到的最大同步数率
  33. }
  34. }
  35. },
  36. "type": "job",
  37. "version": "1.0"
  38. }

3. 通过数据集成导出数据

3.1 向导模式配置 RDS-PostgreSQL 同步到 MaxCompute 为例:

  1. 选择来源:选择 RDS-PostgreSQL 数据源及源头表 public.person,数据浏览默认是收起的,选择后点击下一步,如下图所示:py2.jpg

过滤条件:将要同步数据的筛选条件,暂时不支持limit关键字过滤;SQL语法随着所选择的数据源不同而不同;点此查看系统参数文档切分主键:PostgreSQLReader 进行数据抽取时,如果指定 splitPk,表示用户希望使用 splitPk 代表的字段进行数据分片,数据集成因此会启动并发任务进行数据同步,这样可以大大提供数据同步的效能 。推荐 splitPk 用户使用表主键,因为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热点;目前 splitPk 仅支持整型数据切分,不支持字符串、浮点、日期等其他类型。如果用户指定其他非支持类型,忽略 splitPk 功能,使用单通道进行同步;如果 splitPk 不填写,包括不提供 splitPk 或者 splitPk 值为空,数据同步视作使用单通道同步该表数据 。

  1. 选择目标:选择 MaxCompute 数据源及目标表pg,选择后点击下一步,如下图所示:

pm3.jpg

  1. 映射字段:点击下一步,选择字段的映射关系。需对字段映射关系进行配置,左侧“源头表字段”和右侧“目标表字段”为一一对应的关系 ,如下图所示ps3.jpg

4.通道控制点击下一步,配置作业速率上限和脏数据检查规则,如下图所示:pt4.jpg

  1. 预览保存:完成以上配置后,上下滚动鼠标可查看任务配置,如若无误,点击保存,如下图所示:

py5.jpg6.直接运行同步任务结果:p1.jpg

注意:同步任务保存后,直接点击运行任务会立刻运行或点击右边的提交,将同步任务提交到调度系统中,调度系统会按照配置属性在从第二天开始自动定时执行,相关调度的配置请参考下面的文档:调度配置介绍

3.2 脚本模式配置同步任务

  1. {
  2. "configuration": {
  3. "reader": {
  4. "plugin": "postgresql",
  5. "parameter": {
  6. "datasource": "l_RDS_PostGreSql",//数据源名,建议数据源都先添加数据源后再配置同步任务,此配置项填写的内容必须要与添加的数据源名称保持一致
  7. "column": [
  8. "id",
  9. "name",
  10. "year",
  11. "birthdate",
  12. "ismarried",
  13. "interest",
  14. "salary"
  15. ],
  16. "where": "id=200001",//过滤条件
  17. "splitPk": "id",//切分主键
  18. "table": "public.person"//表名
  19. }
  20. },
  21. "writer": {
  22. "plugin": "odps",
  23. "parameter": {
  24. "partition": "pt=${bdp.system.bizdate}",//分区
  25. "truncate": true,
  26. "datasource": "odps_first",//数据源名,建议数据源都先添加数据源后再配置同步任务,此配置项填写的内容必须要与添加的数据源名称保持一致
  27. "column": [
  28. "id",
  29. "name",
  30. "year",
  31. "birthdate",
  32. "ismarried",
  33. "interest",
  34. "salary"
  35. ],
  36. "table": "pg"//表名
  37. }
  38. },
  39. "setting": {
  40. "speed": {
  41. "concurrent": "1",//并发数
  42. "mbps": 6//任务达到的最大同步数率
  43. }
  44. }
  45. },
  46. "type": "job",
  47. "version": "1.0"
  48. }

其他的配置同步任务详细信息请参考下面的文档:

本文导读目录
本文导读目录
以上内容是否对您有帮助?