全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
流计算

创建日志服务源表

更新时间:2017-12-20 18:37:46

什么是日志服务

日志服务(Log Service,简称LOG)是针对实时数据一站式服务,在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立DT时代海量日志处理能力日志服务本身是流数据存储,流计算能将其作为流式数据输入。示例如下:

  1. create table sls_stream(
  2. a int,
  3. b int,
  4. c varchar
  5. ) with (
  6. type ='sls',
  7. endPoint ='http://cXXXXXXXXyuncs.com',
  8. accessId ='0iXXXXXXXAs',
  9. accessKey ='yF60EXXXXXXXPJ2zhCfHU',
  10. startTime = '2017-07-05 00:00:00',
  11. project ='ali-XXXXX-streamtest',
  12. logStore ='strXXXtest',
  13. consumerGroup ='consXXXXroupTest1'
  14. );

WITH参数

参数 注释说明 备注
endPoint 消费端点信息 日志服务的ENDPOINT地址
accessId sls读取的accessKey
accessKey sls读取的密钥
project 读取的sls项目
logStore project下的具体的logStore
consumerGroup 消费组名
startTime 消费日志开始的时间点
heartBeatIntervalMills 可选,消费客户端心跳间隔时间 默认为10s
maxRetryTimes 读取最大尝试次数 可选,默认为5
batchGetSize 单次读取logGroup条数 可选,默认为10
lengthCheck 单行字段条数检查策略 可选,默认为SKIP,其它可选值为EXCEPTION,PAD,“SKIP” 字段数目不符合时跳过 ,“EXCEPTION”:字段数目不符合时抛出异常,“PAD”:按顺序填充,不存在的置为null
columnErrorDebug 是否打开调试开关,如果打开,会把解析异常的log打印出来 可选,默认为false

注意:

  • SLS暂不支持MAP类型的数据。
  • 字段顺序支持无序(建议字段顺序和表中定义一致)。
本文导读目录