使用SQL分析(新版)连接

MaxCompute控制台提供SQL分析功能模块,方便快速执行SQL语句操作并进行MaxCompute数据目录管理。本文介绍如何通过SQL分析使用MaxCompute服务。

新版SQL分析概述

为适应云原生技术演进、满足日益复杂的数据分析需求,阿里云MaxCompute控制台SQL分析功能全新升级,与DataWorks新版数据开发(DataStudio)深度融合,为用户提供更高效、更智能、更统一的数据分析与元数据管理体验。SQL分析(新版)支持:

  • 智能化SQL编辑器:支持快速编辑并执行SQL命令,体验产品功能、开发和调试日常SQL代码。

  • 数据目录:具备对MaxCompute项目、Schema、表、视图等多个对象的元数据管理能力。

  • 内置MaxCompute公共数据集数据与公共数据集SQL Demo脚本,直接打开相应的SQL文件并执行代码,即可快速体验和测试MaxCompute产品。

启用新版SQL分析

适用范围

操作流程

  1. 登录MaxCompute控制台,左上角选择地域。

  2. 在左侧导航栏选择数据探索 > SQL分析,在弹窗信息中单击体验新版,即可进入新版SQL分析。

    • 使用新版SQL分析需要用户开通DataWorks:请确保已开通按量付费(免费)DataWorks基础版或其他任一版本。关于DataWorks各版本介绍,请参见DataWorks各版本功能详情

    • 知晓SQL文件管理方式变更:新版SQL分析提供个人目录,在云端创建并管理SQL目录及文件。已有的旧版工作区中的本地文件不会自动同步到个人目录,推荐手动移动至个人目录进行后续编辑使用。

功能介绍

新版SQL分析,包含如下主要功能模块:

  1. 资源管理器:管理MaxCompute SQL脚本文件,详情请参见使用资源管理器和搜索

  2. 数据目录:管理和操作MaxCompute元数据,详情请参见使用数据目录

  3. SQL编辑器:进行MaxCompute SQL脚本编辑和运行,详情请参见使用编辑器进行SQL分析

使用资源管理器和搜索

新版SQL分析提供了资源管理器及搜索功能模块:

  • 资源管理器:用于管理SQL分析脚本文件,提供几种不同的资源目录。

  • 搜索和替换:支持全局搜索资源管理器中所有文件内容,支持将关键字结果替换成其他语句。

资源管理器的几种资源目录使用说明如下:

目录类型

说明

个人目录(推荐)

进入资源管理器 > 个人目录

  • 个人目录模块作为文件列表,基于云端存储创建并管理SQL脚本。

  • 个人目录 > 我的文件目录下,可以按需创建文件夹或文件,并通过右击管理文件夹与文件的移动、重命名、删除等操作。

  • 创建的文件类型仅支持.sql后缀的SQL文件,创建完成后即可单击文件名进入编辑页面,编辑SQL脚本。

工作区

进入资源管理器 > 工作区

对于使用过旧版SQL分析的用户,资源管理器默认保留原有工作区目录和SQL脚本文件数据;对于未使用过旧版SQL分析工作区的用户,该模块默认隐藏,推荐直接使用新版个人目录。
  • 工作区模块作为文件列表,基于本地文件目录管理SQL脚本。

  • 用户可以打开本地文件夹或打开本地的.sql文件,并在新建或编辑.sql文件后再重新保存到本地。

说明

为了保证系统数据安全,在每次打开页面系统尝试读取本地文件夹时,都需要手动授权访问指定文件夹下的所有文件,且阿里云不会在服务器中保存本地文件夹下的内容。

公开数据集Demo

进入资源管理器 > 公开数据集Demo

  • 内置的公共数据集Demo Query文件,可以直接打开运行,也可以临时编辑并运行,但不支持保存编辑的内容,请自行保存修改后的文件内容。

  • 每个文件包含多个SQL脚本,脚本名中-query前的数字即为Query个数,特别是TPC-DS数据集的Demo,每个文件包含99Query,分为不同数据量规格,执行会消耗计算资源,请谨慎操作。

使用数据目录

新版SQL分析提供了全新数据目录功能模块。数据目录提供统一界面,方便管理和操作MaxCompute元数据,支持创建和管理表、视图、外部表、资源及函数等数据对象。支持如下主要功能:

功能

说明

添加和移出项目

进入数据目录 > MAXCOMPUTE

  • 默认将当前租户有访问权限的全部MaxCompute项目作为数据集添加到数据目录列表。

  • 支持单击image进入项目列表页面,新建或移出MaxCompute项目。

管理数据目录

进入数据目录 > MAXCOMPUTE

  • 单击具体MaxCompute项目前的图标image,可以在数据目录中添加和管理Schema、表、视图等数据对象。

  • 集成了DataWorks Copilot相关能力,支持智能化建表、智能生成字段及字段描述。更多详细操作说明,可参考管理MaxCompute数据目录

公开数据集

进入数据目录 > 公共数据集

  • MaxCompute提供了一系列存储在公共项目BIGDATA_PUBLIC_DATASET下的公共数据,以便于用户进行产品体验和试用,更多信息可查看公开数据集概述

  • 展示BIGDATA_PUBLIC_DATASET公共项目下的全部SchemaTables,支持查看Table列表及对应的字段明细。

使用编辑器进行SQL分析

新版SQL分析提供了强大的编辑器,支持编写SQL脚本处理和查询MaxCompute中的数据,支持常见的SQL操作,例如SELECT、INSERT、UPDATE、DELETE等,支持特定的MaxCompute语法和函数,更多请参见SQL概述

编辑器页面功能如下:

image

区域

功能描述

1编辑区

  • 运行:执行SQL脚本,可以选中当前文件中的某段SQL脚本运行,如果不选择,默认执行当前文件内所有SQL脚本。

  • 停止:停止正在运行的节点。单击运行后,支持单击停止按钮。

  • 保存:保存当前编辑的SQL脚本文件和相关配置。

  • 格式化:对当前文件内的SQL代码进行格式化,常用于单行代码过长的情况。

  • SQL扫描预估:执行COST SQL语句计量预估,返回SQL语句的扫描量和复杂度。COST SQL详细介绍请参见COST SQL

  • 编辑器:SQL代码编辑框,支持全屏模式打开输入、执行并查看结果。

    • 当一个文件存在多个SQL脚本的情况下,如果有Flag(SET语句)建议统一放在头部,且Flag会作用于该文件下所有SQL。

2运行参数配置区

  • 类型:文件类型默认为MaxCompute SQL。

  • 计算资源:

    • 项目:选择需要运行SQL代码的项目,必选。请选择当前账号有create instance权限的项目。首次运行需要选择项目,之后缓存会记录上一次选择的项目。

    • 计算配额:选择需要使用的计算配额(Quota),非必选。请选择当前账号有usage权限的Quota;如果不选择,则使用所选项目的默认计算Quota。

  • 脚本参数:

    在代码中通过${参数名}的方式定义变量,并在此处配置参数值,任务运行时会将它动态替换为真实的取值。

3结果区

  • 问题:脚本执行前自动校验编辑区所有打开的文件脚本的语法和规范,在脚本执行前发现更多的脚本规范性问题。

  • SQL扫描预估:展示SQL操作“SQL扫描预估”中COST SQL语句的执行日志和结果。

  • 结果:执行脚本的结果,详细如下:

    • 运行列表:当前文件每个SQL执行一次就会有一个开始时间记录。可以通过此处单击选择查看每次运行的相关信息。

    • image.pngSQL:每次运行的具体SQL代码。

    • image.png日志:每次执行的日志内容。

    • image.png结果:运行结果会直接以电子表格的形式展示。

    • image.png分析:支持进行简单的图表分析。

新版SQL分析的SQL编辑功能基于DataWorks新版数据开发(DataStudio),更多关于MaxCompute SQL节点开发的使用说明,请参考MaxCompute SQL节点