本文介绍Spark SQL流式处理支持的窗口函数及其时间属性。

窗口函数

窗口函数是对一个特定窗口的聚合。例如,您可以通过定义窗口来收集过去1分钟内某网站的用户点击量,并对这个窗口内的数据进行计算。Spark SQL流式处理支持两类窗口:

时间属性

Spark SQL支持Event Time时间属性,对数据进行窗口内聚合。

Event Time:事件时间,通常是您提供在Schema中数据最原始的创建时间。

说明

查询已存在的时间窗口时,窗口函数自动生成window列,包含窗口的起止时间信息,即window.startwindow.end