本文为您介绍如何使用Flink会话窗口函数。
定义
会话窗口(SESSION)通过SESSION活动来对元素进行分组。会话窗口与滚动窗口和滑动窗口相比,没有窗口重叠,没有固定窗口大小。相反,当它在一个固定的时间周期内不再收到元素,即会话断开时,该窗口就会关闭。
会话窗口通过一个间隔时间(Gap)来配置,这个间隔定义了非活跃周期的长度。例如,一个表示鼠标单击活动的数据流可能具有长时间的空闲时间,并在两段空闲之间散布着高浓度的单击。如果数据在指定的间隔(Gap)之后到达,则会开始一个新的窗口。
函数语法
标识函数
使用标识函数选出窗口的起始时间或者结束时间,窗口的时间属性用于下级Window的聚合。
窗口标识函数 | 返回类型 | 描述 |
---|---|---|
SESSION_START(<time-attr>, <gap-interval>) |
Timestamp | 返回窗口的起始时间(包含边界)。例如[00:10,00:15] 的窗口,返回00:10 ,即为此会话窗口内第一条记录的时间。
|
SESSION_END(<time-attr>, <gap-interval>) |
Timestamp | 返回窗口的结束时间(包含边界)。例如[00:00,00:15] 的窗口,返回 00:15 ,即为此会话窗口内最后一条记录的时间+<gap-interval> 。
|
SESSION_ROWTIME(<time-attr>, <gap-interval>) |
Timestamp(rowtime-attr) | 返回窗口的结束时间(不包含边界)。例如(00:00,00:15) 的窗口,返回00:14:59.999 。返回值是一个rowtime attribute,也就是可以基于该字段进行时间类型的操作,例如级联窗口。该参数只能用于基于Event Time的Window。
|
SESSION_PROCTIME(<time-attr>, <gap-interval>) |
Timestamp(rowtime-attr) | 返回窗口的结束时间(不包含边界)。例如(00:00,00:15) 的窗口,返回 00:14:59.999 。返回值是一个Proctime Attribute,也就是可以基于该字段进行时间类型的操作,例如级联窗口。该参数只能用于基于Processing Time的Window。
|
示例
统计每个用户在每个活跃会话期间的单击次数,会话超时时长为30秒。- 测试数据
username (VARCHAR) click_url (VARCHAR) ts (TIMESTAMP) Jark http://taobao.com/xxx
2017-10-10 10:00:00.0
Jark http://taobao.com/xxx
2017-10-10 10:00:10.0
Jark http://taobao.com/xxx
2017-10-10 10:00:49.0
Jark http://taobao.com/xxx
2017-10-10 10:01:05.0
Jark http://taobao.com/xxx
2017-10-10 10:01:58.0
Timo http://taobao.com/xxx
2017-10-10 10:02:10.0
- 测试语句
CREATE TEMPORARY TABLE user_clicks( username varchar, click_url varchar, eventtime varchar, ts AS TO_TIMESTAMP(eventtime), WATERMARK FOR ts AS ts - INTERVAL '2' SECOND --为Rowtime定义Watermark。 ) WITH ( 'connector'='sls', ... ); CREATE TEMPORARY TABLE session_output( window_start TIMESTAMP, window_end TIMESTAMP, username VARCHAR, clicks BIGINT ) WITH ( 'connector'='datahub' --目前SLS只支持输出VARCHAR类型的DDL,所以使用DataHub存储。 ... ); INSERT INTO session_output SELECT SESSION_START(ts, INTERVAL '30' SECOND), SESSION_END(ts, INTERVAL '30' SECOND), username, COUNT(click_url) FROM user_clicks GROUP BY SESSION(ts, INTERVAL '30' SECOND), username;
- 测试结果
window_start (TIMESTAMP) window_end (TIMESTAMP) username (VARCHAR) clicks (BIGINT) 2017-10-10 10:00:00.0
2017-10-10 10:00:40.0
Jark 2 2017-10-10 10:00:49.0
2017-10-10 10:01:35.0
Jark 2 2017-10-10 10:01:58.0
2017-10-10 10:02:28.0
Jark 1 2017-10-10 10:02:10.0
2017-10-10 10:02:40.0
Timo 1