RDS全量导入

注意事项

RDS全量导入功能于2023年3月10日下线。2023年3月10日后购买的LTS将无法使用RDS全量导入功能，2023年3月10日前购买的LTS仍可正常使用此功能。

前提条件

• LTS的购买时间在2023年03月10日之前。

• 已购买LTS数据迁移同步服务，配置LTS操作页面账户密码。
• 已连接LTS和HBase迁移集群、RDS实例的网络。
• 已添加HBase集群数据源或者Phoenix数据源。
• 已添加RDS数据源。

适用场景

任务创建

1. 登录HBase控制台，进入LTS操作页面，在左侧导航栏中选择导入Lindorm/HBase > RDS全量数据导入。
2. 单击创建迁移任务，设置RDS数据源和目标数据源（HBase、Phoenix），输入需要迁移的表Mapping信息。

   页面包含以下配置项：

   • 通道名：输入迁移任务名称，如 job1。

   • RDS数据源：选择已添加的 RDS 数据源。

   • 目标数据源(HBase、Phoenix)：选择目标 HBase 实例。

   • 表映射：以 JSON 格式配置，reader 部分通过多条 querySql 实现数据分片（如按 ID 范围拆分），writer 部分通过 columns 定义 HBase 列族与列的映射关系，支持 concat 等表达式。

   配置完成后单击创建同步通道。

3. 查看任务进度。

   任务进度页面显示通道概览中通道状态为 SUCCEEDED，迁移进度为 2/2，读写详情均为 1.6 kB；子任务详情中两个 DataXTask 子任务状态均为 SUCCEEDED，分别迁移 14 条和 8 条记录，共计 22 条。

4. 迁移完成之后， 查看HBase表。

   
   idg6                                     column=f1:b, timestamp=1579420817743, value=\xEF\xBF\xBD\xEF\xBF\xBD^\xEF\xBF\xBD\xEF\xBF\xBD\xDF\xB4I
   idg6                                     column=f1:col1, timestamp=1579420817743, value=title16
   idg6                                     column=f1:col2, timestamp=1579420817743, value=title1
   idg6                                     column=f1:d, timestamp=1579420817743, value=0.234234234234234
   idg6                                     column=f1:date, timestamp=1579420817743, value=2019-01-02
   idg6                                     column=f1:datetime, timestamp=1579420817743, value=2019-01-02 20:14:55
   idg6                                     column=f1:dcm, timestamp=1579420817743, value=
   idg6                                     column=f1:f, timestamp=1579420817743, value=1.5
   idg6                                     column=f1:id, timestamp=1579420817743, value=6
   idg6                                     column=f1:te, timestamp=1579420817743, value=
   idg6                                     column=f1:time, timestamp=1579420817743, value=20:14:55
   idg6                                     column=f1:title, timestamp=1579420817743, value=title1
   idg6                                     column=f1:ts, timestamp=1579420817743, value=2019-01-02 20:14:55
   idg7                                     column=f1:b, timestamp=1579420817743, value=\xEF\xBF\xBD\xEF\xBF\xBD^\xEF\xBF\xBD\xEF\xBF\xBD\xDF\xB4I
   idg7                                     column=f1:col1, timestamp=1579420817743, value=title17
   idg7                                     column=f1:col2, timestamp=1579420817743, value=title1
   idg7                                     column=f1:d, timestamp=1579420817743, value=0.234234234234234
   idg7                                     column=f1:date, timestamp=1579420817743, value=2019-01-02
   idg7                                     column=f1:datetime, timestamp=1579420817743, value=2019-01-02 20:14:55
   idg7                                     column=f1:dcm, timestamp=1579420817743, value=
   idg7                                     column=f1:f, timestamp=1579420817743, value=1.5
   idg7                                     column=f1:id, timestamp=1579420817743, value=7
   idg7                                     column=f1:te, timestamp=1579420817743, value=
   idg7                                     column=f1:time, timestamp=1579420817743, value=20:14:55
   idg7                                     column=f1:title, timestamp=1579420817743, value=title1
   idg7                                     column=f1:ts, timestamp=1579420817743, value=2019-01-02 20:14:55

HBase表映射

{
  "reader": {
    "querySql": [
      "select id, title, content from rds.test where id < 8",
      "select id, title, content from rds.test where id >= 8"
    ]
  },
  "writer": {
    "columns": [
      {
        "name": "f1:col1",
        "value": "{{ concat(title, id) }}"
      },
      {
        "name": "f1:col2",
        "value": "content",
        "type": "string" 
      },
      {
        "name": "f1:*"
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg', id) }}"
    },
    "tableName": "default:t1"
  }
}

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}

{
    "name": "cf1:*",
}

Phoenix表映射

{
  "reader": {
    "querySql": [
      "select id, title, ts, datetime, date, time, b, f, d from rds.test where id < 8",
      "select id, title, ts, datetime, date, time, b, f, d from rds.test where id >= 8"
    ]
  },
  "writer": {
    "columns": [
      {
        "isPk": true,
        "name": "id"
      },
      {
        "name": "title",
        "value": "title" 
      },
      {
        "name": "ts"
      },
      {
        "name": "datetime"
      },
      {
        "name": "date"
      },
      {
        "name": "time"
      },
      {
        "name": "b"
      },
      {
        "name": "f"
      },
      {
        "name": "d"
      }
    ],
    "tableName": "dtstest"
  }
}