本文为您介绍LogHub Writer支持的数据类型、写入方式、字段映射和数据源等参数及配置示例。

LogHub Writer使用LogService的Java SDK,可以将数据集成Reader中的数据推送到指定的LogService LogHub上,供其它程序消费。
说明 由于LogHub无法实现幂等,FailOver重跑任务时会引起数据重复。

LogHub Writer通过数据集成框架获取Reader生成的数据,然后将数据集成支持的类型通过逐一判断转换成STRING类型。当达到您指定的batchSize时,会使用LogService Java SDK一次性推送至LogHub。默认情况下,一次推送1,024条数据,batchSize的最大值为4,096

类型转换列表

LogHub Writer针对LogHub类型的转换列表,如下所示。
数据集成内部类型 LogHub数据类型
LONG STRING
DOUBLE STRING
STRING STRING
DATE STRING
BOOLEAN STRING
BYTES STRING

参数说明

参数 描述 是否必选 默认值
endpoint LogService地址。
accessKeyId 访问LogService的AccessKeyId。
accessKeySecret 访问LogService的AccessKeySecret。
project 目标LogService的项目名称。
logstore 目标LogService LogStore的名称。
topic 选取topic。 空字符串
batchSize LogHub一次同步的数据条数,默认1,024条。
说明 一次性同步至LogHub的数据大小不要超过5M,请根据您的单条数据量大小调整一次性推送的条数。
1,024

即一次推送1,024条,您可以修改该配置值。

column 每条数据中的column名称。

向导开发介绍

暂不支持向导模式开发。

脚本开发介绍

通过脚本模式开发的详情请参见通过脚本模式配置任务

脚本配置示例如下,具体参数的填写请参见上述的参数说明。
{
    "type": "job",
    "version": "2.0",//版本号。
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "loghub",//插件名。
            "parameter": {
                "datasource": "",//数据源。
                "column": [//字段。
                    "col0",
                    "col1",
                    "col2",
                    "col3",
                    "col4",
                    "col5"
                ],
                "topic": "",//选取topic。
                "batchSize": "1024",//一次性批量提交的记录数大小。
                "logstore": ""//目标LogService LogStore的名称。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""//错误记录数。
        },
        "speed": {
            "throttle":true,//当throttle值为flase时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。
            "concurrent":3, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}