全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

创建日志服务(Log)结果表

更新时间:2017-12-29 15:20:00

DDL定义

日志服务本身是流数据存储,流计算只能将其作为流式数据输入或者流式数据输出。对于创建流式数据输入,示例如下:

  1. CREATE RESULT TABLE source_test_galaxy (
  2. name STRING,
  3. age STRING,
  4. id STRING
  5. ) WITH (
  6. type='loghub',
  7. endpoint='http://cn-hangzhou-corp.sls.aliyuncs.com',
  8. roleArn='acs:ram::xxxxxxxxxx:role/aliyunstreamdefaultrole',
  9. projectName='',
  10. logstore=''
  11. );

WITH参数

字段名称 说明
type 数据存储类型,填写’loghub’(全小写)
accessId 能够读写该LogStore的accessId
accessKey 能够读写该LogStore的accessKey
arnRole STS的role信息,如果使用的是STS方式连接LogHub需要指定该选项
endpoint loghub的Endpoint,例如http://cn-hangzhou-corp.sls.aliyuncs.com
projectName LogHub的Project名称
logstore LogHub的LogStore名称
topic LogHub写入的Topic,默认topic为空
source LogHub写入的Source,默认source为空
mode 写入模式,支持randomshuffle和partition,默认为randomshuffle
partitionColumn 如果mode为partition,则必须指定分区列

注意:

  • LogStore内部再细分为Shard,可以理解为类似数据库的分区。例如一个LogStore有5个Shard,如果mode=randomshuffle,数据是随机写入;如果mode=partition,那么数据就会根据partitionColumn的值进行hash后的值写入某个Shard。这类场景通常发生在某些业务对于指定数据落入指定Shard有要求的情况,例如对于不同订单的物流信息需要进入某个固定的Shard。

类型映射

LogHub中的数据都是String类型,要求用户均使用流计算的String类型对接LogHub

LogHub字段类型 建议流计算字段类型
String String

设置消息属性

流计算在写入LogHub数据时候,可以指定消息属性。请参看获取《消息属性》一章节。

本文导读目录