DataHub作为一款流式数据总线,为阿里云数加平台提供了大数据的入口服务。结合阿里云众多云产品,可以构建一站式的数据处理平台。

实时计算通常使用DataHub作为流式数据存储输入源和输出目的端,详情请参见创建数据总线DataHub结果表

配置面板说明

参数 描述
血缘表名(任务唯一) 任务中表的唯一标志,不能与任务中的其它血缘表重名。
选择输出字段 选择要输出至DataHub表的字段。
endPoint地址 输入endPoint地址。

详情请参见域名列表

项目名 输入相应的项目名称。
topic 输入相应的topic表名。
accessId 对应SQL中with参数accessId
accessKey 对应SQL中with参数accessKey
最大尝试插入次数 最大尝试插入的次数。
每次写的批次大小 每次写的批次大小。
缓存数据的最大超时时间 缓存数据的最大超时时间,单位为ms。
每次写入的最大Block数 每次写入的最大Block数。
数据质量 跳转至数据质量页面查看相关监控任务。

类型映射

DataHub和实时计算字段类型对应关系,建议您使用该对应关系进行DDL声明。
DataHub字段类型 实时计算字段类型
BIGINT BIGINT
DOUBLE DOUBLE
TIMESTAMP BIGINT
BOOLEAN BOOLEAN
DECIMAL DECIMAL