本文介绍Streaming SQL作业配置的操作步骤。
背景信息
Streaming SQL的详细信息请参见Spark Streaming SQL。
在Streaming SQL作业配置过程中,您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明,建议使用最新版本。
库名称 | 版本 | 发布日期 | 引用字符串 | 详细信息 |
---|---|---|---|---|
datasources-bundle | 2.0.0(推荐) | 2020/02/26 | sharedlibs:streamingsql:datasources-bundle:2.0.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase、JDBC、DataHub、Redis、Kudu和DTS。 |
1.9.0 | 2019/11/20 | sharedlibs:streamingsql:datasources-bundle:1.9.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase、JDBC、DataHub、Redis和Kudu。 | |
1.8.0 | 2019/10/17 | sharedlibs:streamingsql:datasources-bundle:1.8.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase、JDBC、DataHub和Redis。 | |
1.7.0 | 2019/07/29 | sharedlibs:streamingsql:datasources-bundle:1.7.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase和JDBC。 |
如果需要了解更详细的使用方法,请参见数据源。
前提条件
- 已创建项目,详情请参见项目管理。
- 已获取作业所需的资源和数据文件。例如,JAR包、数据文件名称以及两者的保存路径。