全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

创建数据总线(DataHub)结果表

更新时间:2018-01-04 14:39:59

什么是数据总线(DATAHUB)

DataHub作为一个流式数据总线,为阿里云数加平台提供了大数据的入口服务。结合阿里云众多云产品,可以构建一站式的数据处理平台。流计算通常使用DataHub作为流式数据存储头和输出目的端。同时,上游众多流式数据,包括DTS、IOT等均选择DataHub作为大数据平台的数据入口。DataHub本身是流数据存储,流计算只能将其作为流式数据输入或者流式数据输出。对于创建流式数据输出,示例如下:

DDL定义

流计算支持使用Datahub作为结果输出:

  1. create table datahub_output(
  2. id int,
  3. len int,
  4. content VARCHAR
  5. ) with (
  6. type='datahub',
  7. endPoint='',
  8. project='',
  9. accessKey='',
  10. accessId='',
  11. topic=''
  12. );

Datahub DDL

  1. create table datahub_output(
  2. name varchar,
  3. age BIGINT,
  4. birthday BIGINT
  5. )with(
  6. type='datahub',
  7. endPoint='http://10XXXXXXX9100',
  8. project='blink_connector_datahub_test',
  9. topic='topic_1',
  10. accessId='LTXXXXXXh',
  11. accessKey='CLYqVPjRCIXXXXXXXXATUGoS',
  12. batchSize='1',
  13. batchWriteTimeoutMs='500'
  14. );

注意

WITH参数

参数 注释说明 备注
endPoint endPoint地址
project 项目名
topic topic
accessId accessId
accessKey accessKey
maxRetryTimes 可选,默认为3
batchSize 可选,默认为300
batchWriteTimeoutMs 可选,默认为5000
maxBlockMessages 可选,默认为100
本文导读目录