前提条件
- 购买LTS数据迁移同步服务,配置LTS操作页面账户密码,并登录LTS操作页面。
- 登录LTS操作页面, 创建HBase数据源。
- 登录LTS操作页面, 创建Loghub数据源。
版本
HBase
- 自建HBase1.x、2.x (未开启kerberos)
- EMR HBase
- 标准版云HBase、增强版云HBase(集群版本, 暂不支持单机版)
任务创建
- 进入LTS操作页面,点击HBase导入导出 -> Loghub实时数据订阅。
- 点击创建通道,选择对应的loghub数据源和hbase数据源,填写字段映射mapping。
- 创建成功后,查看通道详情。
参数说明
{
"reader": {
"columns": [
"__client_ip__",
"C_Source",
"id",
"name"
],
"consumerSize": 2, // 指定有多少个consumer订阅loghub的数据,默认是1
"logstore": "LTS-test"
},
"writer": {
"columns": [
{
"name": "f:col1",
"value": "{{ concat('xx', name) }}" // 支持表达式
},
{
"name": "f:col2",
"value": "__client_ip__" // 列名映射
},
{
"name": "f:*" // 没有匹配到的列会走默认的匹配
}
],
"rowkey": {
"value": "{{ concat('idg',id) }}"
},
"tableName": "default:sls"
}
}
支持简单的表达式,如下
{
"name": "cf1:hhh",
"value": "{{ concat(title, id) }}"
}
在文档使用中是否遇到以下问题
更多建议
匿名提交