全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
流计算

创建数据总线(DataHub)结果表

更新时间:2018-02-27 21:02:50

什么是数据总线(DATAHUB)

DataHub作为一个流式数据总线,为阿里云数加平台提供了大数据的入口服务。结合阿里云众多云产品,可以构建一站式的数据处理平台。流计算通常使用DataHub作为流式数据存储头和输出目的端。同时,上游众多流式数据,包括DTS、IOT等均选择DataHub作为大数据平台的数据入口。DataHub本身是流数据存储,流计算只能将其作为流式数据输入或者流式数据输出。对于创建流式数据输出,示例如下:

DDL定义

流计算支持使用Datahub作为结果输出:

  1. create table datahub_output(
  2. id int,
  3. len int,
  4. content VARCHAR
  5. ) with (
  6. type='datahub',
  7. endPoint='',
  8. project='',
  9. accessKey='',
  10. accessId='',
  11. topic=''
  12. );

Datahub DDL

  1. create table datahub_output(
  2. name varchar,
  3. age BIGINT,
  4. birthday BIGINT
  5. )with(
  6. type='datahub',
  7. endPoint='http://10XXXXXXX9100',
  8. project='blink_connector_datahub_test',
  9. topic='topic_1',
  10. accessId='LTXXXXXXh',
  11. accessKey='CLYqVPjRCIXXXXXXXXATUGoS',
  12. batchSize='1',
  13. batchWriteTimeoutMs='500'
  14. );

注意

推荐使用数据存储功能,数据总线(DATAHUB).

WITH参数

参数 注释说明 备注
endPoint endPoint地址 DATAHUB的Endpoint地址
project 项目名
topic topic表名
accessId accessId
accessKey accessKey
maxRetryTimes 最大尝试插入次数 可选,默认为3
batchSize 每次写的批次大小 可选,默认为300
batchWriteTimeoutMs 缓存数据的最大超时时间 可选,默认为5000
maxBlockMessages 每次写入的最大Block数 可选,默认为100
本文导读目录