MaxCompute Studio是阿里云MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件,帮助您便捷、快速地进行数据开发。本文将为您介绍MaxCompute Studio的功能界面和常用的应用场景。
基本用户界面
MaxCompute Studio是IntelliJ IDEA平台上的一套插件,共享了IntelliJ IDEA的基本开发界面,详情请参见IntelliJ IDEA开发界面。
MaxCompute Studio在IntelliJ IDEA的基础上提供以下功能:
SQL编辑器(SQL Editor):提供SQL语法高亮、代码补全、实时错误提示、本地编译、作业提交等功能。
项目浏览器(Project Explorer):连接MaxCompute项目,浏览项目表结构、自定义函数、资源文件。
作业浏览器(Job Explorer):浏览、搜索MaxCompute的活动作业和历史作业。
MaxCompute控制台(MaxCompute Console):集成了MaxCompute客户端,可以输入和执行MaxCompute客户端命令。详情请参见MaxCompute客户端。
连接MaxCompute项目
使用Studio的大部分功能前需要您先连接MaxCompute项目,连接后即可通过Studio进行编辑SQL脚本、提交作业、查看Job信息、打开MaxCompute控制台等。Studio会自动为每一个项目连接建立一个本地的元数据备份,以提高对MaxCompute元数据的访问频率和降低延时。连接MaxCompute项目详情请参见管理项目连接。
数据管理
您可以通过Studio的项目浏览器快速浏览项目的表或视图、自定义函数、资源文件。通过树形控件,可以列出所有项目连接下的数据表、列、分区列、虚拟视图、自定义函数名称、函数签名、资源文件及类型等,并支持快速定位。
双击项目中数据表,即可打开表详情视图,查看数据表的元信息、表结构和示例数据。如果您没有项目的相应权限,Studio会提示对应的错误信息。
Studio集成了Tunnel工具,可以支持本地数据的上传和下载。详情请参见Tunnel命令和MaxCompute Studio通过Tunnel导入导出数据。
编写SQL脚本
您可以在Studio提供的SQL编辑器中编写MaxCompute SQL脚本。
创建项目或者模块。
在IntelliJ IDEA界面,单击
。在New右侧导航栏选择Project...或者Module…。
在New Project或者New Module对话框选择MaxCompute Studio,单击Next。
输入Project Name或者Module Name后单击Finish。
创建MaxCompute SQL脚本文件。
在IntelliJ IDEA界面,单击
。说明您也可以右键单击已创建的项目或者模块新建MaxCompute SQL脚本。
在New右侧导航栏选择MaxCompute SQL脚本。
在New MaxCompute SQL Script对话框输入Script Name,单击OK。
说明创建MaxCompute SQL脚本时,Studio会提示您选择一个关联的MaxCompute项目,您也可以通过SQL编辑器上的工具条最右侧的项目选取器进行更改,编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据(比如表结构等)的检查并汇报错误,提交运行时也会发送到关联的项目执行。更多详情请参见编写SQL脚本。
SQL代码智能提示
代码语法校验
Studio提供的SQL编辑器可以根据您写入的代码,智能提示SQL语句的语法错误、类型匹配错误或者警告等,实时地标注在代码上。
代码智能补全
通过代码补全功能,Studio可以根据代码上下文,提示您项目名称、表、字段、函数、类型、代码关键词等,并根据您的选择,自动补全代码。
作业管理
作业状态说明
全部活动作业
等待:作业提交后等待进入队列。
排队中:作业进入队列,等待分配资源。
运行中:作业正在执行中。
全部历史作业
成功:作业运行成功。
失败:作业运行失败。
取消:作业被人手工取消执行。
编译作业
单击SQL编辑器工具栏上的图标,可以对SQL脚本执行本地编译,如果有语法或者语义错误,编译器窗口会报告错误。
提交作业
单击SQL编辑器工具栏上的图标,会在本地编译之后,把SQL脚本提交到MaxCompute指定的项目排队执行。
查看作业
打开作业浏览器,即可查看指定项目近期执行的作业。
查看作业详情
双击作业列表中的作业,即可查看作业的详情信息。您也可以单击图标使用Logview在浏览器中查看作业详情。更多Logview使用请参见Logview工具。
开发MapReduce和UDF
Studio支持开发MapReduce、Java UDF、Python UDF等。详情请参见开发MapReduce、开发Java UDF和开发Python UDF。
连接MaxCompute客户端
Studio集成了最新版本的MaxCompute客户端,您也可以在Studio的配置界面指定本地已经安装好的MaxCompute客户端路径。详情请参见配置MaxCompute Studio。
在项目浏览器中选定项目,右键单击菜单选择Open in Console即可打开MaxCompute控制台窗口。
后续步骤:安装并配置MaxCompute Studio
现在,您已经学习了MaxCompute Studio的功能界面和常用的应用场景,您可以继续学习如何安装并配置MaxCompute Studio,具体流程如下:
MaxCompute Studio是集成在IntelliJ IDEA工具上的插件,需要先安装IntelliJ IDEA。
在IntelliJ IDEA上安装MaxCompute Studio插件。
配置MaxCompute Studio的配置项信息。
通过MaxCompute Studio连接MaxCompute项目,即可在MaxCompute Studio上查看MaxCompute项目的信息。