Streaming SQL作业配置

操作步骤

1. 新建作业。
   1. 通过主账号登录阿里云E-MapReduce控制台。
   2. 在顶部菜单栏处，选择地域（Region）。
   3. 单击上方的数据开发页签。
   4. 在项目列表页面，单击对应项目所在行的作业编辑。
   5. 在页面左侧，在需要操作的文件夹上单击右键，选择新建作业。
      说明 您还可以通过在文件夹上单击右键，进行新建子文件夹、重命名文件夹和删除文件夹操作。
   6. 输入作业名称、作业描述，选择Streaming SQL作业类型。
   7. 单击确定。
2. 在作业内容中，填写提交该作业需要提供的命令行参数。

   示例如下：

   --- 创建SLS数据表 
   CREATE TABLE IF NOT EXISTS ${slsTableName} 
      USING loghub 
      OPTIONS ( 
           sls.project = '${logProjectName}', 
           sls.store = '${logStoreName}', 
           access.key.id = '${accessKeyId}', 
           access.key.secret = '${accessKeySecret}', 
           endpoint = '${endpoint}'
      ); 
   --- 将数据导入HDFS 
   INSERT INTO 
       ${hdfsTableName} 
   SELECT 
       col1, col2 
   FROM  ${slsTableName} 
   WHERE ${condition}

   说明 这种类型的作业，其运行实际是通过streaming-sql -f {sql_script}提交的作业，其中sql_script中保存的即是Streaming SQL作业的代码，即Streaming SQL语句。
3. 配置依赖库和失败策略。
   1. 单击右上方的作业设置，然后选择流任务设置。
   2. 在流任务设置页面配置作业的依赖库和失败策略。

      区域	配置项	说明
      失败处理策略	当前语句执行失败时	当前语句执行失败时，支持如下策略： 继续执行下一条语句：如果查询语句执行失败， 继续执行下一条语句。 终止当前作业：如果查询语句执行失败， 终止当前作业。
      依赖库	库列表	Streaming SQL作业需要依赖一些数据源相关的库文件。E-MapReduce将这些库以依赖库的形式发布在调度服务的仓库中，在创建作业时需要指定使用哪个版本的依赖库。 您只需设置相应的依赖库版本，例如sharedlibs:streamingsql:datasources-bundle:2.0.0。

4. 单击保存，作业配置即定义完成。

问题反馈

如果您在使用阿里云E-MapReduce过程中有任何疑问，欢迎您扫描下面的二维码加入钉钉群进行反馈。