认识MaxCompute Studio

MaxCompute Studio是阿里云MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件,帮助您便捷、快速地进行数据开发。本文将为您介绍MaxCompute Studio的功能界面和常用的应用场景。

基本用户界面

MaxCompute Studio是IntelliJ IDEA平台上的一套插件,共享了IntelliJ IDEA的基本开发界面,详情请参见IntelliJ IDEA开发界面

MaxCompute Studio在IntelliJ IDEA的基础上提供以下功能:

  • SQL编辑器(SQL Editor):提供SQL语法高亮、代码补全、实时错误提示、本地编译、作业提交等功能。

  • 项目浏览器(Project Explorer):连接MaxCompute项目,浏览项目表结构、自定义函数、资源文件。

  • 作业浏览器(Job Explorer):浏览、搜索MaxCompute的活动作业和历史作业。

  • MaxCompute控制台(MaxCompute Console):集成了MaxCompute客户端,可以输入和执行MaxCompute客户端命令。详情请参见MaxCompute客户端

连接MaxCompute项目

使用Studio的大部分功能前需要您先连接MaxCompute项目,连接后即可通过Studio进行编辑SQL脚本、提交作业、查看Job信息、打开MaxCompute控制台等。Studio会自动为每一个项目连接建立一个本地的元数据备份,以提高对MaxCompute元数据的访问频率和降低延时。连接MaxCompute项目详情请参见管理项目连接

数据管理

您可以通过Studio的项目浏览器快速浏览项目的表或视图、自定义函数、资源文件。通过树形控件,可以列出所有项目连接下的数据表、列、分区列、虚拟视图、自定义函数名称、函数签名、资源文件及类型等,并支持快速定位。

双击项目中数据表,即可打开表详情视图,查看数据表的元信息、表结构和示例数据。如果您没有项目的相应权限,Studio会提示对应的错误信息。

Studio集成了Tunnel工具,可以支持本地数据的上传和下载。详情请参见Tunnel命令MaxCompute Studio通过Tunnel导入导出数据

编写SQL脚本

您可以在Studio提供的SQL编辑器中编写MaxCompute SQL脚本。

  • 创建项目或者模块。

    1. 在IntelliJ IDEA界面,单击File > New

    2. New右侧导航栏选择Project...或者Module…

    3. New Project或者New Module对话框选择MaxCompute Studio,单击Next

    4. 输入Project Name或者Module Name后单击Finish

  • 创建MaxCompute SQL脚本文件。

    1. 在IntelliJ IDEA界面,单击File > New

      说明

      您也可以右键单击已创建的项目或者模块新建MaxCompute SQL脚本。

    2. New右侧导航栏选择MaxCompute SQL脚本

    3. New MaxCompute SQL Script对话框输入Script Name,单击OK

    说明

    创建MaxCompute SQL脚本时,Studio会提示您选择一个关联的MaxCompute项目,您也可以通过SQL编辑器上的工具条最右侧的项目选取器进行更改,编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据(比如表结构等)的检查并汇报错误,提交运行时也会发送到关联的项目执行。更多详情请参见编写SQL脚本

SQL代码智能提示

  • 代码语法校验

    Studio提供的SQL编辑器可以根据您写入的代码,智能提示SQL语句的语法错误、类型匹配错误或者警告等,实时地标注在代码上。语法校验

  • 代码智能补全

    通过代码补全功能,Studio可以根据代码上下文,提示您项目名称、表、字段、函数、类型、代码关键词等,并根据您的选择,自动补全代码。代码补全

作业管理

  • 作业状态说明

    • 全部活动作业

      • 等待:作业提交后等待进入队列。

      • 排队中:作业进入队列,等待分配资源。

      • 运行中:作业正在执行中。

    • 全部历史作业

      • 成功:作业运行成功。

      • 失败:作业运行失败。

      • 取消:作业被人手工取消执行。

  • 编译作业

    单击SQL编辑器工具栏上的编译按钮图标,可以对SQL脚本执行本地编译,如果有语法或者语义错误,编译器窗口会报告错误。编译作业

  • 提交作业

    单击SQL编辑器工具栏上的执行按钮图标,会在本地编译之后,把SQL脚本提交到MaxCompute指定的项目排队执行。

  • 查看作业

    打开作业浏览器,即可查看指定项目近期执行的作业。作业浏览器页面

  • 查看作业详情

    双击作业列表中的作业,即可查看作业的详情信息。您也可以单击logview按钮图标使用Logview在浏览器中查看作业详情。更多Logview使用请参见Logview工具作业详情页

开发MapReduce和UDF

Studio支持开发MapReduce、Java UDF、Python UDF等。详情请参见开发MapReduce开发Java UDF开发Python UDF

连接MaxCompute客户端

Studio集成了最新版本的MaxCompute客户端,您也可以在Studio的配置界面指定本地已经安装好的MaxCompute客户端路径。详情请参见配置MaxCompute Studio

项目浏览器中选定项目,右键单击菜单选择Open in Console即可打开MaxCompute控制台窗口。控制台窗口

后续步骤:安装并配置MaxCompute Studio

现在,您已经学习了MaxCompute Studio的功能界面和常用的应用场景,您可以继续学习如何安装并配置MaxCompute Studio,具体流程如下:

  1. 安装IntelliJ IDEA

    MaxCompute Studio是集成在IntelliJ IDEA工具上的插件,需要先安装IntelliJ IDEA。

  2. 安装MaxCompute Studio

    在IntelliJ IDEA上安装MaxCompute Studio插件。

  3. 配置MaxCompute Studio

    配置MaxCompute Studio的配置项信息。

  4. 连接MaxCompute项目

    通过MaxCompute Studio连接MaxCompute项目,即可在MaxCompute Studio上查看MaxCompute项目的信息。