全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
流计算

滑动窗口

更新时间:2018-01-25 10:53:02

滑动窗口(HOP)

滑动窗口,也被称作 Sliding Window。不同于滚动窗口的窗口不重叠,滑动窗口的窗口可以重叠。滑动窗口有两个参数:size 和 slide。size 为窗口的大小,slide 为每次滑动的步长。如果slide < size,则窗口会重叠,每个元素会被分配到多个窗口;如果 slide = size,则等同于TUMBLE。如果 slide > size,则为跳跃窗口,窗口之间没有重叠且有间隙。

因为多个窗口是重叠的,大部分元素属于多个窗口。这种窗口在计算移动平均数(moving averages)是很实用的。例如,计算过去5分钟数据的平均值,每10秒钟更新一次,那么 size=5分钟,slide=10秒钟。如下图所示展示一个1分钟窗口大小,每30秒滑动一次的滑动窗口。

滑窗

窗口函数语法:

用在 GROUP BY 子句中,定义 window。

  1. HOP(<time-attr>, <slide-interval>, <size-interval>)
  2. <slide-interval>: INTERVAL 'string' timeUnit
  3. <size-interval>: INTERVAL 'string' timeUnit
  1. <time-attr> 参数必须是流中的一个合法的时间属性字段,即指定了 processing time 或是 event time。

注意:

具体参见 时间属性章节了解如何定义时间属性和 watermark。

窗口标识函数:

使用标识函数选出窗口的起始时间或者结束时间,或者窗口的时间属性用于下级 window 的聚合。

窗口标识函数 返回类型 描述
HOP_START(time-attr, size-interval) Timestamp 返回窗口的起始时间(包含边界)。如[00:10, 00:15) 的窗口,返回 00:10 。
HOP_END(time-attr, size-interval) Timestamp 返回窗口的结束时间(包含边界)。如[00:00, 00:15] 的窗口,返回 00:15。
HOP_ROWTIME(time-attr, size-interval) Timestamp(rowtime-attr) 返回窗口的结束时间(不包含边界)。如 [00:00, 00:15] 的窗口,返回 00:14:59.999 。返回值是一个 rowtime attribute,也就是可以基于该字段做时间类型的操作,如级联窗口。

案例:

统计每个用户过去1分钟的点击次数,每30秒更新一次。也就是一分钟的窗口,30秒滑动一次。

  1. CREATE TABLE user_clicks(
  2. username varchar,
  3. click_url varchar,
  4. ts timeStamp,
  5. WATERMARK wk FOR ts as withOffset(ts, 2000) -- rowtime 定义watermark
  6. ) with (
  7. type='datahub',
  8. ...
  9. );
  10. CREATE TABLE tumble_output(
  11. window_start TIMESTAMP,
  12. window_end TIMESTAMP,
  13. username VARCHAR,
  14. clicks BIGINT
  15. ) with (
  16. type='rds'
  17. );
  18. INSERT INTO tumble_output
  19. SELECT
  20. HOP_START(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
  21. HOP_END(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
  22. username,
  23. COUNT(click_url)
  24. FROM window_input
  25. GROUP BY HOP(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE), username

测试数据:

username (VARCHAR) click_url (VARCHAR) ts (TIMESTAMP)
Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
Timo http://taobao.com/xxx 2017-10-10 10:02:10.0

测试结果:

window_start (TIMESTAMP) window_end (TIMESTAMP) username (VARCHAR) clicks (BIGINT)
2017-10-10 10:00:00.0 2017-10-10 10:01:00.0 Jark 3
2017-10-10 10:00:30.0 2017-10-10 10:01:30.0 Jark 2
2017-10-10 10:01:00.0 2017-10-10 10:02:00.0 Jark 2
2017-10-10 10:01:30.0 2017-10-10 10:02:30.0 Jark 1
2017-10-10 10:01:30.0 2017-10-10 10:02:30.0 Timo 1
2017-10-10 10:02:00.0 2017-10-10 10:03:00.0 Timo 1
本文导读目录