日志服务(SLS)增量导入

前提条件

1. 购买LTS数据迁移同步服务，配置LTS操作页面账户密码，并登录LTS操作页面。

2. 登录LTS操作页面， 添加Lindorm宽表数据源(兼容HBase)。

3. 登录LTS操作页面， 创建Loghub数据源。

支持目标表类型

支持导入目标表

• 使用Lindorm SQL创建的表。

任务创建

1. 进入LTS操作页面，点击导入Lindorm/HBase -> LogHub实时数据复制。

2. 单击创建通道，选择对应的loghub数据源和hbase数据源，填写字段映射mapping。

3. 创建成功后，查看通道详情。

参数说明

{
  "reader": {
    "columns": [
      "__client_ip__",
      "C_Source",
      "id",
      "name"
    ],
    "consumerSize": 2, // 指定有多少个consumer订阅loghub的数据，默认是1
    "logstore": "LTS-test"
  },
  "writer": {
    "columns": [
      {
        "name": "col1",
        "value": "{{ concat('xx', name) }}" // 支持表达式
      },
      {
        "name": "col2",
        "value": "__client_ip__" // 列名映射
      },
      {
        {
            "isPk":true,//是否是主键
            "name":"id",//主键不需要指定cf
            "value":"id"
        }
      }
    ]
    "tableName": "default.sls"
  }
}
            

支持简单Jtwig语法

{
  "name": "hhh",
  "value": "{{ concat(title, id) }}"
}