全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

创建大数据总线源表

更新时间:2017-12-29 15:19:52

DataHub本身是流数据存储,流计算只能将其作为流式数据输入或者流式数据输出。对于创建流式数据输入,示例如下:

  1. create stream table stream_source (
  2. name STRING,
  3. value STRING
  4. ) WITH (
  5. type='datahub',
  6. endpoint='http://dh-cn-hangzhou.aliyuncs.com',
  7. accessId='accessId',
  8. accessKey='accessKey',
  9. projectName='project',
  10. topic='topic'
  11. );

WITH参数

字段名称 说明
type 数据存储类型,当前仅支持DataHub, 必须填写’datahub’(全小写)
accessId 能够读写该Topic的accessId
accessKey 能够读写该Topic的accessKey
arnRole STS的role信息
endpoint DataHub的Endpoint,例如http://dh-cn-hangzhou.aliyuncs.com
projectName DataHub的Project名称
topic DataHub的Topic名称

类型映射

DataHub和流计算字段类型对应关系,强烈建议用户使用该对应关系进行DDL声明:

DataHub字段类型 建议流计算字段类型
Bigint Bigint
String String
Double Double
Boolean String
TimeStamp(注意DataHub是到微秒) Bigint

注意:

  • DataHub的TimeStamp类型是具体到微秒,转换为毫秒需要除以1000。

  • 目前流计算暂不支持TimeStamp类型,因此我们建议用户使用Bigint类型处理。

  • 流计算暂时不支持Boolean类型,使用String类型对接Boolean。

本文导读目录