Streaming SQL作业配置

操作步骤

1. 新建作业。
   1. 通过主账号登录阿里云E-MapReduce控制台。
   2. 在顶部菜单栏处，根据实际情况选择地域（Region）和资源组。
   3. 单击上方的数据开发页签。
   4. 在项目列表页面，单击对应项目所在行的作业编辑。
   5. 在作业编辑区域，在需要操作的文件夹上，右键选择新建作业。
      说明 您还可以通过在文件夹上单击右键，执行新建子文件夹、重命名文件夹和删除文件夹操作。
   6. 输入作业名称、作业描述，在作业类型下拉列表中选择Streaming SQL作业类型。
   7. 单击确定。
2. 在作业内容中，填写提交该作业需要提供的命令行参数。
   示例如下。

   --- 创建SLS数据表。 
   CREATE TABLE IF NOT EXISTS ${slsTableName} 
      USING loghub 
      OPTIONS ( 
           sls.project = '${logProjectName}', 
           sls.store = '${logStoreName}', 
           access.key.id = '${accessKeyId}', 
           access.key.secret = '${accessKeySecret}', 
           endpoint = '${endpoint}'
      ); 
   --- 导入数据至HDFS。
   INSERT INTO 
       ${hdfsTableName} 
   SELECT 
       col1, col2 
   FROM  ${slsTableName} 
   WHERE ${condition}

   说明 此类型的作业是通过streaming-sql -f {sql_script}提交的。sql_script中保存着作业编辑器中填写的SQL语句。
3. 配置依赖库和失败策略。
   1. 单击右上方的作业设置。
   2. 分别在流任务设置和共享库页面，配置作业的依赖库和失败策略。

      区域	配置项	说明
      失败处理策略	当前语句执行失败时	当前语句执行失败时，支持如下策略： 继续执行下一条语句：如果查询语句执行失败， 继续执行下一条语句。 终止当前作业：如果查询语句执行失败， 终止当前作业。
      依赖库	库列表	执行作业需要依赖一些数据源相关的库文件。E-MapReduce将这些库以依赖库的形式发布在调度服务的仓库中，在创建作业时需要指定使用哪个版本的依赖库。 您只需设置相应的依赖库版本，例如sharedlibs:streamingsql:datasources-bundle:2.0.0。

4. 单击保存，作业配置即定义完成。

问题反馈

如果您在使用阿里云E-MapReduce过程中有任何疑问，欢迎您扫描下面的二维码加入钉钉群进行反馈。