Streaming SQL作业配置

操作步骤

1. 新建作业。
   1. 通过阿里云账号登录阿里云E-MapReduce控制台。
   2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
   3. 单击上方的数据开发页签。
   4. 在项目列表页面，单击待编辑项目所在行的作业编辑。
   5. 在作业编辑区域，在需要操作的文件夹上，右键选择新建作业。
2. 配置作业。
   1. 输入作业名称、作业描述，在作业类型下拉列表中选择Streaming SQL作业类型。
   2. 单击确定。
   3. 在作业内容中，填写提交该作业需要提供的命令行参数。
      示例如下。

      --- 创建SLS数据表。 
      CREATE TABLE IF NOT EXISTS ${slsTableName} 
         USING loghub 
         OPTIONS ( 
              sls.project = '${logProjectName}', 
              sls.store = '${logStoreName}', 
              access.key.id = '${accessKeyId}', 
              access.key.secret = '${accessKeySecret}', 
              endpoint = '${endpoint}'
         ); 
      --- 导入数据至HDFS。
      INSERT INTO 
          ${hdfsTableName} 
      SELECT 
          col1, col2 
      FROM  ${slsTableName} 
      WHERE ${condition}

      说明 此类型的作业是通过streaming-sql -f {sql_script}提交的。sql_script中保存着作业编辑器中填写的SQL语句。
3. 配置依赖库和失败策略。
   1. 单击右上方的作业设置。
   2. 分别在流任务设置和共享库页面，配置作业的依赖库和失败策略。

      区域	配置项	说明
      失败处理策略	当前语句执行失败时	当前语句执行失败时，支持如下策略： 继续执行下一条语句：如果查询语句执行失败， 继续执行下一条语句。 终止当前作业：如果查询语句执行失败， 终止当前作业。
      依赖库	库列表	执行作业需要依赖一些数据源相关的库文件。E-MapReduce将这些库以依赖库的形式发布在调度服务的仓库中，在创建作业时需要指定使用哪个版本的依赖库。 您只需设置相应的依赖库版本，例如sharedlibs:streamingsql:datasources-bundle:2.0.0。

4. 单击保存，作业配置即定义完成。

问题反馈

如果您在使用阿里云E-MapReduce过程中有任何疑问，欢迎您扫描下面的二维码加入钉钉群进行反馈。