MaxCompute SQL节点

使用限制

使用MaxCompute SQL节点进行SQL开发的限制如下：

操作步骤

1. 在MaxCompute SQL节点编辑页面，执行如下开发操作。

   开发SQL代码

   DataWorks提供调度参数，可实现调度场景下代码动态入参，您可在MaxCompute SQL节点中通过${变量名}的方式定义代码中的变量，并在调度配置的调度参数处，为该变量赋值。调度参数支持的格式，详情请参见调度参数支持格式。MaxCompute 的SQL命令类似于标准SQL语法，支持DDL、DML和DQL语句以及特定的MaxCompute语法。详细语法和示例请参见SQL概述。

   根据不同的场景需求，为您提供以下三种操作示例：

   说明

   • MaxCompute 2.0扩展函数使用到新数据类型时，您需要在该函数的SQL语句前加SET odps.sql.type.system.odps2=true;，并与SQL一起提交运行，以便正常使用新数据类型。2.0数据类型详情请参见2.0数据类型版本。

   • MaxCompute SQL语句在数据开发与运维中心环境的执行次序不同。如需了解，请参见不同环境下SQL执行顺序。

   创建表

   您可使用CREATE TABLE语句创建非分区表、分区表、外部表及聚簇表，详情请参见CREATE TABLE。SQL示例如下：

   --创建一张分区表students
   CREATE TABLE IF NOT EXISTS students
   ( id BIGINT,
     name STRING,
     age BIGINT,
     birth DATE)
   partitioned BY (gender STRING); 

   插入数据

   您可使用INSERT INTO或INSERT OVERWRITE语句向目标表中插入更新数据，详情请参见插入或覆写数据（INSERT INTO | INSERT OVERWRITE）。SQL示例如下：

   --插入数据
   INSERT OVERWRITE students PARTITION(gender='boy') VALUES (1,'ZhangSan',15,DATE '2008-05-15') ;
   INSERT OVERWRITE students PARTITION(gender='boy') VALUES (2,'LiSi',17,DATE '2006-07-20') ;
   INSERT OVERWRITE students PARTITION(gender='girl') VALUES (3,'LiXia',20,DATE '2003-04-20') ;
   INSERT OVERWRITE students PARTITION(gender='girl') VALUES (4,'WangLan',21,DATE '2002-01-08') ;
   INSERT OVERWRITE students PARTITION(gender='boy') VALUES (5,'WangWu',17,DATE '2006-09-12') ;

   说明

   请尽量避免使用INSERT INTO语句插入数据，可能会造成不可预料的数据重复。推荐您使用INSERT OVERWRITE的方式，详情请参见插入或覆写数据。

   查询数据

   您可使用SELECT语句实现嵌套查询、分组查询、排序等操作，详情请参考SELECT语法。SQL示例如下：

   --开启全表扫描，仅此Session有效
   SET odps.sql.allow.fullscan=true; 
   
   --查询所有男生的信息，并按照ID进行升序排序
   SELECT * FROM students WHERE gender='boy' ORDER BY id;

   说明

   RAM用户默认没有生产表查询权限，生产表查询权限请前往安全中心申请，DataWorks上MaxCompute数据权限预设以及访问控制，详情请参见MaxCompute数据权限控制详情。MaxCompute命令授权详情请参见通过命令管理用户权限。

   （可选）使用SQL函数

   MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，您可根据业务需求创建使用SQL函数。内建函数详情请参见内建函数概述，自定义函数详情请参见MaxCompute UDF概述。下面示例为您介绍如何使用SQL函数。

   • 内建函数

     内建函数为MaxCompute自身预置的函数，您可以直接调用。基于上述创建表、插入数据及查询数据示例，使用dateadd函数对birth列按照指定单位和幅度变化，命令示例如下：

     --开启全表扫描，仅此Session有效
     SET odps.sql.allow.fullscan=true; 
     SELECT id, name, age, birth, dateadd(birth,1,'mm') AS birth_dateadd FROM students;

   • 自定义函数（UDF）

     使用自定义函数时，您需要自行编写函数代码、上传为资源并注册函数，具体操作请参见资源管理。

   执行SQL任务

   1. 在调试配置的计算资源中，选择配置计算资源、计算配额和DataWorks资源组。

      说明

      访问公共网络或VPC网络环境的数据源需要使用与数据源测试连通性成功的调度资源组。详情请参见网络连通方案。

   2. 在工具栏的参数对话框中选择已创建的MaxCompute数据源，单击运行SQL任务。

2. 如需定期执行节点任务，请根据业务需求配置调度信息。配置详情请参见调度配置。

3. 节点任务配置完成后，需对节点进行发布。详情请参见节点发布。

4. 任务发布后，您可以在运维中心查看节点的周期任务的运行情况。详情请参见运维中心入门。

返回结果查看

• 运行结果会直接以电子表格的形式展示。您可以在DataWorks中执行操作，或者在电子表格中打开，也可以自由复制内容粘贴至本地Excel中。

  说明

  由于国际标准化组织发布的中国时区信息调整，通过DataWorks执行相关SQL时，日期显示某些时间段会存在时间差异：1900~1928年的日期时间差异为5分52秒，1900年之前的日期时间差异为9秒。

• 运行日志查看：您可在运行结果的页签，单击查看LogView链接，详情请参见使用Logview 2.0查看作业运行信息。

• 返回结果排序：您可在运行结果页面对应的字段上单击下拉框，在排序中选择升降序，单击确认即可完成返回结果排序。

不同环境下SQL执行顺序

MaxCompute SQL节点在DataWorks上不同环境运行关键字（SET、USE）相关语句时，执行顺序不同。

• 在数据开发Data Studio中运行：将合并当前任务代码内所有的关键字（SET、USE）语句，作为所有SQL的前置语句。

• 在调度环境运行：将按照实际编写顺序执行。

假设在节点中定义的代码如下。

SET a=b;
CREATE TABLE name1(id string);
SET c=d;
CREATE TABLE name2(id string);

不同环境执行顺序如下：

SET a=b;
SET c=d;
CREATE TABLE name1(id string);

SET a=b;
CREATE TABLE name1(id string);

SET a=b;
SET c=d;
CREATE TABLE name2(id string);

SET c=d;
CREATE TABLE name2(id string);

相关文档

如果您想了解更多MaxCompute SQL任务示例，可进入如下链接进行了解：

• 与标准SQL的主要区别及解决方法

• MaxCompute SQL中的关联操作

• JSON数据从OSS迁移至MaxCompute

• 基于GitHub公开事件数据集的离线实时一体化实践

• 基于MaxCompute UDF将IPv4或IPv6地址转换为归属地

• 基于DLF数据入湖的MaxCompute湖仓一体实践

• SQL调优

• 统计MaxCompute TOPN费用账号及耗时作业

• 基于Policy对具备内置角色的用户进行权限管理

• 资源规划及规格选型

• 实现GROUP_CONCAT函数能力案例

• 合并小文件