本文介绍Streaming SQL作业配置的操作步骤。
前提条件
- 已创建项目,详情请参见项目管理。
- 已获取作业所需的资源和数据文件。例如,JAR包、数据文件名称以及两者的保存路径。
背景信息
Streaming SQL的详细信息请参见Spark Streaming SQL。
在Streaming SQL作业配置过程中,您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明,建议使用最新版本。
库名称 | 版本 | 发布日期 | 引用字符串 | 详细信息 |
---|---|---|---|---|
datasources-bundle | 2.0.0(推荐) | 2020/02/26 | sharedlibs:streamingsql:datasources-bundle:2.0.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase、JDBC、Datahub、Redis、Kudu和DTS。 |
1.9.0 | 2019/11/20 | sharedlibs:streamingsql:datasources-bundle:1.9.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase、JDBC、Datahub、Redis和Kudu。 | |
1.8.0 | 2019/10/17 | sharedlibs:streamingsql:datasources-bundle:1.8.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase、JDBC、Datahub和Redis。 | |
1.7.0 | 2019/07/29 | sharedlibs:streamingsql:datasources-bundle:1.7.0 | 支持数据源:Kafka、Loghub、Druid、TableStore、HBase和JDBC。 |
如果需要了解更详细的使用方法,请参见数据源。
操作步骤
- 新建作业。
- 已通过阿里云账号登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的数据开发页签。
- 在项目列表页面,单击待编辑项目所在行的作业编辑。
- 在作业编辑区域,在需要操作的文件夹上,右键选择新建作业。
- 配置作业。
- 配置依赖库和失败策略。
- 单击保存,作业配置即定义完成。
问题反馈
如果您在使用阿里云E-MapReduce过程中有任何疑问,欢迎您扫描下面的二维码加入钉钉群进行反馈。

在文档使用中是否遇到以下问题
更多建议
匿名提交