本文主要介绍在Hbase中如何进行RDS全量导入。

前提条件

  • 已购买BDS数据迁移同步服务,配置BDS操作页面账户密码。
  • 已连接BDS和HBase迁移集群、RDS实例的网络。
  • 已添加HBase集群数据源或者Phoenix数据源。
  • 已添加RDS数据源。

适用场景

HBase
  • 自建HBase1.x、2.x。
  • EMR HBase。
  • 标准版云HBase、增强版云HBase(集群版本)。
Mysql
  • 自建Mysql。
  • RDS for Mysql。

任务创建

  1. 登录HBase控制台
  2. 进入BDS操作页面,单击HBase导入导出,选择RDS全量数据迁移HBaseRDS全量数据迁移
  3. 单击创建迁移任务,设置RDS数据源目标数据源(HBase、Phoenix),输入需要迁移的表Mapping信息。创建迁移任务
  4. 查看任务进度。查看任务进度
  5. 迁移完成之后, 查看HBase表。查看hbase表

HBase表映射

{
  "reader": {
    "querySql": [
      "select id, title, content from rds.test where id < 8",
      "select id, title, content from rds.test where id >= 8"
    ]
  },
  "writer": {
    "columns": [
      {
        "name": "f1:col1",
        "value": "{{ concat(title, id) }}"
      },
      {
        "name": "f1:col2",
        "value": "content",
        "type": "string" 
      },
      {
        "name": "f1:*"
      }
    ],
    "rowkey": {
      "value": "{{ concat('idg', id) }}"
    },
    "tableName": "default:t1"
  }
}
说明
  • "querySql":根据querySql的数量进行任务拆分,分布式运行。
  • "value": "{{ concat(title, id) }}":将MySQL中的数据title和id字段进行拼接,作为HBase f1:col1列的值。
  • "type": "string":type字段可选, 默认都按string类型类处理写入HBase。
  • "name": "f1:*":MySQL没有匹配到的列会走默认的匹配。
支持简单的表达式,计算表达式为jtwig语法,如下:
{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}
支持动态列,没有匹配到的列会默认匹配。
{
    "name": "cf1:*",
}

Phoenix表映射

{
  "reader": {
    "querySql": [
      "select id, title, ts, datetime, date, time, b, f, d from rds.test where id < 8",
      "select id, title, ts, datetime, date, time, b, f, d from rds.test where id >= 8"
    ]
  },
  "writer": {
    "columns": [
      {
        "isPk": true,
        "name": "id"
      },
      {
        "name": "title",
        "value": "title" 
      },
      {
        "name": "ts"
      },
      {
        "name": "datetime"
      },
      {
        "name": "date"
      },
      {
        "name": "time"
      },
      {
        "name": "b"
      },
      {
        "name": "f"
      },
      {
        "name": "d"
      }
    ],
    "tableName": "dtstest"
  }
}
说明 MySQL中title字段对应Phoenix中的title, 如果字段名相同可不填。