前提条件

  • 购买LTS数据迁移同步服务,配置LTS操作页面账户密码,并登录LTS操作页面。
  • 打通LTS和HBase迁移集群的网络。
  • 添加HBase集群数据源。

版本

  • Lindorm宽表
  • 云HBase
  • 自建HBase1.x、2.x
  • EMR HBase

创建任务

  1. 进入LTS操作页面,点击任务管理->HBase历史数据迁移->创建HBase迁移任务
  2. 选择源集群和目标集群,输入需要迁移的表
  3. 查看迁移进度, 当所有的任务都完成之后

参数说明

hbaseTable/targetTable {"cols":["f1:a", "f1:b", "f1:c"]}
hbaseTable/targetTable {"copyType": "api"}
hbaseTable/targetTable {"startTs": "20190101000000", "endTs": "20200101000000", "startKey": "a", "endKey": "z"}
hbaseTable
            
  • 指定导出的列

    例如:hbaseTable/targetTable {"cols":["f1:a", "f1:b", "f1:c"]}

  • 支持不同的迁移模式

    历史数据迁移支持两种模式:文件拷贝模式和API模式。 默认情况是走文件拷贝的方式,迁移过程只和HDFS进行交互。 API模式对于大表的迁移会影响源集群的业务,适用于小数据量,或者不方便对LTS开放hdfs的集群迁移

  • 指定迁移数据的范围

    入参:table1 {"startKey": "xxx", "endKey": "zzz", "startTs": "20191001153000", "endTs": "20191001233000"}

    迁移支持指定任意startKey、endKey、startTs、endTs参数,可以控制导出的时间范围和rowkey的区间

  • 迁移重命名表

    支持源表和目标表不同表名, 默认情况目标表和源表名相同 例如: srcTable/targetTable