全部产品

BDS使用说明

更新时间:2019-06-13 12:38:20

录入集群信息

交互页面

1

参数说明

  • 集群名: 给集群取个名字
  • HDFS URI: hdfs://{{namenode1}}:{{port}},{{namenode2}}:{{port}}
  • 集群版本:HBase的版本
  • HBase根目录:hbase-site.xml 的 hbase.rootdir 配置 (去掉hdfs://xxxx)
  • ClusterKey:{{zknode1}},{{zknode2}}… : {{zkport}} : {{hbase在zk中的路径}}

实时数据同步通道

创建实时数据同步通道

页面交互

2


更新同步通道

页面交互

45


查看数据同步通道详情

交互页面

5

页面说明

总结:

  1. 时延表示源集群和目标集群之间的同步时延
  2. 读详情表示通道总的读取Log的大小以及读取的速率
  3. 写详情表示通道总的写目标集群的数据量大小和写速率

表信息详情:

  1. 各个表put请求数、delete数
  2. 表处理的起始时间和最新的记录的处理时间

日志信息详情

  1. 各个日志的同步时延,同步点位,同步的状态,读写情况

历史数据迁移

提交历史迁移任务

6


查看历史数据迁移任务详情

交互页面

8


数据校验

9


配置修改

10BDS的配置支持动态的变更
bds.conf.hosts 可以配置各个BDS节点的的/etc/hosts,自建集群迁移可能会遇到自建集群的RegionServer的hostname无法识别,需要通过此项配置进行修改


提交DTS实时数据订阅任务

HBase交互页面

1

参数说明

  • 通道名: 给同步通道取个名字
  • DTS连接地址,Topic,消费通道ID,消费通道账户,消费通道密码: DTS控制台页面可以查看
  • 目标集群:选择目标HBase集群
  • 表映射:Mysql表和HBase表的映射

Phoenix交互页面

1

参数说明

  • 通道名: 给同步通道取个名字
  • DTS连接地址,Topic,消费通道ID,消费通道账户,消费通道密码: DTS控制台页面可以查看
  • Phoenix地址:目标集群Phoenix连接地址
  • 表映射:Mysql表和HBase表的映射

DTS相关参数获取

进入DTS控制台,点击订阅通道,查看订阅通道详情1

获取DTS连接地址,Topic1

消费通道ID,消费通道账户,消费通道密码1

HBase表映射

  1. {
  2. "mapping": [
  3. "srcTableName": "hhh_test.phoenix_test",
  4. "targetTableName": "default:phoenix_test",
  5. "columns": [
  6. {
  7. "name": "cf1:hhh",
  8. "value": "{{ concat(title, id) }}"
  9. },
  10. {
  11. "name": "cf1:title",
  12. "value": "title"
  13. },
  14. {
  15. "name": "cf1:*"
  16. }
  17. ],
  18. "config": {
  19. "skipDelete": true
  20. },
  21. "rowkey": {
  22. "value": "{{ concat('idg', id) }}"
  23. }
  24. }
  25. ]
  26. }
参数 描述 必选
mapping[y].srcTableName RDS源表表名
mapping[y].targetTableName HBase目标表名
mapping[y].columns RDS表和HBase表列的对应
mapping[y].columns[x].name 对应的HBase的列名
mapping[y].columns[x].value 对应的HBase列的计算表达式,该计算表达式为jtwig语法,当用户需要对源表的列进行简单计算得到rowkey时可以用
mapping[y].config 表的同步策略
mapping[y].rowkey HBase表的rowkey的生成规则
  • 支持简单的表达式,如下
  1. {
  2. "name": "cf1:hhh",
  3. "value": "{{ concat(title, id) }}"
  4. }
  • 支持动态列,没有匹配到的列会走默认的匹配
  1. {
  2. "name": "cf1:*",
  3. }
  • DML支持情况
操作 支持 备注
INSERT 对应HBase的PUT
UPDATE 对应HBase的PUT
DELETE 用户可以配置是否同步源端的DELETE,默认不同步

Phoenix表映射

  1. {
  2. "mapping": [
  3. {
  4. "srcTableName": "hhh_test.phoenix_test",
  5. "targetTableName": "phoenix_test",
  6. "config": {
  7. "skipDelete": true
  8. },
  9. "columns": [
  10. {
  11. "name": "id",
  12. "isPk": true
  13. },
  14. {
  15. "name": "title",
  16. "value": "title"
  17. },
  18. {
  19. "name": "ts",
  20. "value": "ts"
  21. },
  22. {
  23. "name": "datetime",
  24. "value": "datetime"
  25. }
  26. ]
  27. }
  28. ]
  29. }
参数 描述 必选
mapping[y].srcTableName RDS源表表名
mapping[y].targetTableName Phoenix目标表名
mapping[y].columns RDS表和Phoenix表列的对应
mapping[y].columns[x].name Phoenix的列名
mapping[y].columns[x].value 对应RDS列名
mapping[y].columns[x].isPk 指定主键列
mapping[y].config 表的同步策略
mapping[y].rowkey HBase表的rowkey的生成规则

Phoenix地址

1


查看DTS实时数据订阅任务详情

1