全部产品
云市场

日志服务(SLS)增量导入

更新时间:2020-03-10 18:07:34

前提条件

  1. 购买BDS数据迁移同步服务,配置BDS操作页面账户密码,并登陆BDS操作页面
  2. 登陆BDS操作页面, 创建HBase数据源
  3. 登陆BDS操作页面, 创建Loghub数据源

版本

HBase

  • 自建HBase1.x、2.x (未开启kerberos)
  • EMR HBase
  • 标准版云HBase、增强版云HBase(集群版本, 暂不支持单机版)

任务创建

  1. 进入BDS操作页面,点击HBase导入导出 -> Loghub实时数据订阅
  2. 点击创建通道,选择对应的loghub数据源和hbase数据源,填写字段映射mapping
    1
  3. 创建成功后,查看通道详情
    1

参数说明

  1. {
  2. "reader": {
  3. "columns": [
  4. "__client_ip__",
  5. "C_Source",
  6. "id",
  7. "name"
  8. ],
  9. "consumerSize": 2, // 指定有多少个consumer订阅loghub的数据,默认是1
  10. "logstore": "bds-test"
  11. },
  12. "writer": {
  13. "columns": [
  14. {
  15. "name": "f:col1",
  16. "value": "{{ concat('xx', name) }}" // 支持表达式
  17. },
  18. {
  19. "name": "f:col2",
  20. "value": "__client_ip__" // 列名映射
  21. },
  22. {
  23. "name": "f:*" // 没有匹配到的列会走默认的匹配
  24. }
  25. ],
  26. "rowkey": {
  27. "value": "{{ concat('idg',id) }}"
  28. },
  29. "tableName": "default:sls"
  30. }
  31. }
  • 支持简单的表达式,如下
  1. {
  2. "name": "cf1:hhh",
  3. "value": "{{ concat(title, id) }}"
  4. }