Spark SQL作业配置

本文介绍如何配置Spark SQL类型的作业。

1. 通过主账号登录阿里云 E-MapReduce 控制台。
2. 单击上方的数据开发页签。
3. 在项目列表页面，单击对应项目所在行的作业编辑。
4. 在页面左侧，在需要操作的文件夹上单击右键，选择新建作业。
   说明 您还可以通过在文件夹上单击右键，进行新建子文件夹、重命名文件夹和删除文件夹操作。
5. 输入作业名称、作业描述，选择Spark SQL作业类型。
   表示创建的作业是一个Spark SQL作业。这种类型的作业，其运行实际是通过以下方式提交的Spark SQL作业。

   spark-sql [options] [cli option]spark-sql [options] -e {SQL_CONTENT}                    

   • options： 通过单击作业设置 > 高级设置中环境变量所在行的，来添加SPARK_CLI_PARAMS， 如SPARK_CLI_PARAMS="--executor-memory 1g --executor-cores。
   • SQL_CONTENT：作业编辑器中填写的SQL语句。
6. 单击确定。
7. 在作业内容中，输入Spark SQL语句。

   示例如下：

   -- SQL语句示例
   -- SQL语句最大不能超过64KB
   show databases;
   show tables;
   -- 系统会自动为SELECT语句加上'limit 2000'的限制
   select * from test1;

8. 单击保存，作业配置即定义完成。