EMR-3.23.0版本开始支持STREAM语法。

背景信息

E-MapReduce支持SET和STREAM两种方法配置WriteStream参数,推荐使用STREAM方法配置WriteStream的必要参数,包括checkpointLocation、outputMode、triggerType和triggerIntervalMs。

语法

CREATE STREAM queryName
OPTIONS (propertyName=propertyValue[,propertyName=propertyValue]*)
INSERT INTO tbName
queryStatement;
以下列出WriteStream必要的参数。
参数名 说明 默认值
checkpointLocation 流式查询作业的checkpoint路径。
outputMode 流式查询的输出模式。 Append
triggerType 流式查询的执行模式。 ProcessingTime
triggerIntervalMs 流式查询的执行间隔,单位毫秒。 0

示例

CREATE STREAM job1
OPTIONS(
checkpointLocation='/tmp/spark',
outputMode='Append',
triggerType='ProcessingTime'
triggerIntervalMs='3000')
INSERT INTO LargeOrders
SELECT * FROM Orders WHERE units > 1000;