Spark SQL作业配置

操作步骤

1. 通过主账号登录阿里云E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域（Region）和资源组。
3. 单击上方的数据开发页签.。
4. 在项目列表页面，单击待编辑项目所在行的作业编辑。
5. 在作业编辑区域，在需要操作的文件夹上，右键选择新建作业。
6. 输入作业名称、作业描述，在作业类型下拉列表中选择Spark SQL作业类型。
   说明 Spark SQL提交作业的模式默认是Yarn-client模式。

   此类型的作业，实际是通过以下方式提交的Spark SQL作业。

   spark-sql [options] [cli options] {SQL_CONTENT}                

   参数描述如下：

   • options： 在作业设置页面的高级设置页签，单击环境变量所在行的图标，添加环境变量SPARK_CLI_PARAMS，例如SPARK_CLI_PARAMS="--executor-memory 1g --executor-cores"。
   • cli options ：例如， -e <quoted-query-string> 表示运行引号内的SQL查询语句。-f <filename>表示运行文件中的SQL语句。
   • SQL_CONTENT：填写的SQL语句。
7. 单击确定。
8. 在作业内容中，输入Spark SQL语句。
   示例如下。

   -- SQL语句示例。
   -- SQL语句最大不能超过64KB。
   show databases;
   show tables;
   -- 系统会自动为SELECT语句加上'limit 2000'的限制。
   select * from test1;

9. 单击保存，作业配置即定义完成。

问题反馈

如果您在使用阿里云E-MapReduce过程中有任何疑问，欢迎您扫描下面的二维码加入钉钉群进行反馈。