全部产品
MaxCompute

认识 Studio

更新时间:2017-06-07 13:26:11   分享:   

MaxCompute Studio 是阿里云 MaxCompute 平台提供的安装在开发者客户端的大数据集成开发环境(IDE)工具,是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,帮助用户方便地进行数据开发。

本文将快速介绍 MaxCompute Studio 的功能界面和常用的使用场景,包括以下部分:

  • 基本用户界面
  • 连接 MaxCompute 项目空间
  • 管理数据
  • 编辑 SQL 脚本
  • SQL 代码智能提示
  • 编译和提交作业
  • 查看历史作业
  • 开发 MapReduce 程序和 UDF 程序
  • 连接 MaxCompute 客户端

基本用户界面

MaxCompute Studio 是 IntelliJ IDEA 平台上的一套插件,共享了 IntelliJ IDEA 的基本开发界面。对 IDEA 界面不熟悉的用户,可以参考 IDEA 界面操作文档

MaxCompute Studio 在 IntelliJ 的基础上提供了以下的功能界面:

  • SQL 编辑器(SQL Editor): 提供 SQL 语法高亮、代码补全、实时错误提示、本地编译、作业提交等功能
    • 编译器视图(Compiler View): 显示本地编译的提示信息和错误信息,在编辑器中定位代码
  • 项目空间浏览器(Project Explorer): 连接 MaxCompute 项目空间,浏览项目空间表结构、自定义函数、资源文件
    • 表详情视图(Table Details View): 提供表、视图等资源的详情显示和示例数据(Sample Data)
  • 作业浏览器(Job Explorer): 浏览、搜索 MaxCompute 的历史作业信息
    • 作业详情视图(Job Details View): 显示作业的运行详细信息,包括执行计划和每个执行任务的详细信息,包括 logview 工具能够显示的全部信息
    • 作业输出视图(Job Output View): 显示正在运行的作业的输出信息
    • 作业结果视图(Job Result View): 显示 SELECT 作业的输出结果
  • MaxCompute 控制台(MaxCompute Console): 集成了 MaxCompute 客户端,可以输入和执行 MaxCompute 客户端命令

连接 MaxCompute 项目空间

大部分 Studio 的功能需要用户首先建立 MaxCompute 项目空间的连接。建立了项目空间连接以后,就可以在 项目空间浏览器(Project Explorer) 中查看相关的数据结构和资源信息了。Studio 会自动为每一个项目空间连接建立一个本地的元数据备份,以能够大大提高对 MaxCompute 元数据的访问频率和降低延时。

用户通过 Studio 完成编辑 SQL 脚本、提交作业、查看 Job 信息、打开 MaxCompute 控制台等功能都需要指定作为目标的项目连接,因此首先建立一个 MaxCompute 项目空间的连接是非常必要的。

如果您对 MaxCompute 项目空间的概念不熟悉,请参考 MaxCompute 基本概念的介绍
如果您希望了解在 Studio 中管理项目空间的更多内容,请参考项目空间管理部分的文档

管理数据

用户可以通过 Studio 的 项目空间浏览器(Project Explorer) 快速浏览项目空间的表结构、自定义函数、资源文件。通过树形控件,可以列出所有项目空间连接下的数据表、列、分区列、虚拟视图、自定义函数名称、函数签名、资源文件及类型等。支持 Quick Search 快速定位。

双击某个数据表,可以打开 表详情视图(Table Details View) 查看数据表的元信息、表结构和示例数据。如果用户没有项目空间的相应权限,Studio 会提示对应的错误信息。

Studio 集成了 MaxCompute Tunnel 工具,可以支持本地数据的上传和下载,具体功能可以参考文档

编写 SQL 脚本

在 Studio 中编写 MaxCompute SQL 脚本非常方便,通过菜单 File | New | Project… 或者 File | New | Module…创建一个 “MaxCompute Studio” 类型的项目或者模块, 然后通过菜单 File | New | MaxCompute Script 或者右键菜单 New | MaxCompute Script就可以创建一个 MaxCompute SQL 脚本文件。

创建 MaxCompute SQL 脚本的时候,Studio 会提示用户选择一个关联的 MaxCompute 项目空间,用户也可以通过 SQL 编辑器上的工具条最右侧的项目空间选取器进行更改。编辑器会根据 SQL 脚本关联的项目空间对 SQL 语句自动进行元数据(比如表结构等)的检查并汇报错误,提交运行时也会发送到关联的项目空间执行。

参考 编写SQL脚本

SQL 代码智能提示

Studio 提供的 SQL 编辑器可以随着用户键入代码,智能提示 SQL 语句的语法错误、类型匹配错误或者警告等,实时地标注在代码上。
editor_show_error

通过代码补全功能,Studio 可以根据代码上下文,给用户提示项目空间名称、表、字段、函数、类型、代码关键词等,并根据用户选择自动补全代码
editor_code_completion

编译和提交作业

  • 点击 SQL 编辑器工具条上的 editor_icon_compile 图标,可以对 SQL 脚本执行本地编译,如果有语法或者语义错误,编译器窗口会报告错误:
    editor_local_compile

  • 点击 SQL 编辑器工具条上的 editor_icon_run 图标,会在本地编译之后,把 SQL 脚本提交到 MaxCompute 指定的项目空间排队执行

查看历史作业

打开 作业浏览器(Job Explorer) 可以查看指定项目空间上近期执行的作业。 注意,这个列表只能显示以当前连接使用的用户 ID 提交的作业。
job_explorer

双击其中一个作业,可以打开作业的的详情信息。
job_details

如果知道一个任务的 Logview URL,可以使用菜单 MaxCompute | Open Logview 打开该任务的详情页面。

开发 MapReduce 程序和 UDF

Studio 还支持:

  • MapReduce 程序的开发,参考文档
  • Java UDF 的开发,参考文档,

连接 MaxCompute 客户端

Studio 集成了最新版本的 MaxCompute 客户端。 也可以在 Studio 的配置页面中指定本地已经安装好的 MaxCompute 客户端路径。在 项目空间浏览器(Project Explorer) 中选定一个项目空间,右键菜单选择 Open n Console 可以打开 MaxCompute 控制台(MaxCompute Console) 窗口。
console

下一步

本文导读目录
本文导读目录
以上内容是否对您有帮助?