本文为您介绍日志服务SLS源表的DDL定义、WITH参数、类型映射和属性字段。
什么是日志服务
日志服务SLS是针对日志类数据的一站式服务。日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。
DDL定义
create table sls_source(
a int,
b int,
c varchar
) with (
'connector' ='sls',
'endPoint' ='<endPoint>',
'accessId' ='<yourAccessId>',
'accessKey' ='<yourAccessKey>',
'startTime' = '2017-07-05 00:00:00',
'project' ='<yourProjectName>',
'logStore' ='<yourLogStoreName>',
'consumerGroup' ='<yourConsumerGroupName>'
);
说明
- SLS暂不支持MAP类型的数据。
- SLS对于不存在字段会置为Null。
- 字段顺序可以为无序(建议字段顺序和表中定义一致)。
WITH参数
参数 | 说明 | 是否必选 | 备注 |
---|---|---|---|
connector | 源表类型 | 是 | 固定值为sls 。
|
endPoint | 消费端点信息 | 是 | 服务入口 |
accessId | AccessKey ID | 是 | 无 |
accessKey | AccessKey Secret | 是 | 无 |
project | 读取的SLS项目名称 | 是 | 无 |
logStore | Project下的具体的LogStore名称 | 是 | 无 |
startTime | 日志消费的开始时间 | 是 | 无 |
consumerGroup | 消费组名 | 否 | 您可以自定义消费组名(没有固定格式)。 |
batchGetSize | 单次读取logGroup的条数 | 否 | 默认值为10。
说明
|
类型映射
日志服务和Flink字段类型对应关系如下。建议您使用该对应关系进行DDL声明。
日志服务字段类型 | Flink字段类型 |
---|---|
STRING | VARCHAR |
属性字段
Flink暂不支持获取SLS属性字段,例如如下字段等。
字段名 | 说明 |
---|---|
__source__ |
消息源 |
__topic__ |
消息主题 |
__timestamp__ |
日志时间 |
在文档使用中是否遇到以下问题
更多建议
匿名提交