简介
本文介绍Spark SQL流式处理中关键字常用类型和使用关键字字符的方法。
背景信息
Spark Streaming SQL是基于Spark Structured Streaming开发完成的,所有语法功能和使用限制遵循Spark Structured Streaming的标准,因此可以使用SQL语句来开发流式分析作业。
注意事项
EMR集群是否支持Spark Streaming SQL功能与Spark版本有关:
EMR-3.x系列使用的Spark版本是2.x,从EMR-3.21.0版本开始支持Spark Streaming SQL。
EMR-4.x系列和EMR-5.x系列使用的Spark版本是3.x,从EMR-5.8.0版本开始才支持Spark Streaming SQL。
关键字常用类型
常用类型 | 关键字 |
DDL | CREATE TABLE、CREATE TABLE AS SELECT、CREATE SCAN、CREATE STREAM |
DML | INSERT INTO、MERGE INTO |
SELECT子句 | SELECT FROM、WHERE、GROUP BY 、JOIN、UNION ALL |
使用关键字字符
如果您需要使用关键字字符作为字段名称,请在关键字两端添加撇号(`),例如`value`
。