DELETE FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数，也可以使用函数对象调用drop方法删除函数。使用示例 o.delete_function('test_function')function.drop()#Function对象存在时直接调用drop方法。...
自定义SQL
本文介绍自定义SQL算子的使用方法和注意事项。用途 当系统提供的内置算子无法满足需求时，用户可以通过编写SQL语句实现自己特定的业务逻辑。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
DESC FUNCTION
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的 create_function()方法来创建函数。DELETE FUNCTION：删除函数。您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在...
SQL使用限制
大小写敏感 不敏感 由于 表格存储 中原表名和列名均是大小写敏感的，当使用SQL时，原表名和列名会统一转换为小写字母进行匹配，即如果要操作 表格存储 中的Aa列，在SQL中使用AA、aa、aA、Aa均可，因此在原表名或者列名不能同时为AA、aa、aA...
通过Python SDK使用SQL独享版
本文介绍通过Python SDK使用SQL独享版的代码示例。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 配置...
基础使用
以下是在Spark SQL中使用数据湖元数据的配置，集群版本不同默认的Catalog名称不同，需要配置的参数也不同，具体请参见 数据湖元数据配置。EMR-5.6.0及后续版本 spark-sql-conf spark.sql.extensions=org.apache.iceberg.spark.extensions....
小版本升级
修复Lindorm SQL中Date类型和Time类型的时区问题。修复稳定性问题。2.2.17 2021年12月17日 功能优化 修复Lindorm SQL的BUG。优化冷存储Region的上线速度，使用冷存储的用户，建议将宽表引擎版本升级至2.2.17以上。2.2.16 2021年11月12日 ...
使用Notebook开发
输入变量并引用变量 Ipython中的变量，可通过${var}（var为Ipython内的变量名），引用到SQL中使用。输出变量 可在Ipython中直接使用变量名称（在结果集左下角），变量类型为pandas.core.frame.DataFrame。如需自定义变量名称，请单击变量...
UDF（SQL自定义函数）
支持通过SQL定义临时UDF，即在SQL脚本模式中定义好此UDF后，函数不会注册至MaxCompute的函数列表中，仅支持在当前定义UDF的SQL脚本中直接调用，其他环境无法调用此UDF，详情请参见下文的 定义SQL UDF：创建临时SQL UDF。使用SQL定义UDF时，...
宽表引擎版本说明
修复Lindorm SQL中Date类型和Time类型的时区问题。修复稳定性问题。2.2.17 2021年12月17日 功能优化 修复Lindorm SQL的BUG。优化冷存储Region的上线速度，使用冷存储的用户，建议将宽表引擎版本升级至2.2.17以上。2.2.16 2021年11月12日 ...
通过PHP SDK使用SQL独享版
Aliyun_Log_Models_LogStoreSqlRequest接口：在指定Logstore中使用SQL独享版。该接口支持的查询和分析语法兼容标准的SQL92语法，格式为 查询语句|分析语句，其中分析语句采用标准的SQL92语法。Aliyun_Log_Models_ProjectSqlRequest接口：在...
通过C++ SDK使用SQL独享版
本文介绍通过C++ SDK使用SQL独享版的代码示例。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 配置环境...
通过Java SDK使用SQL独享版
本文介绍通过Java SDK使用SQL独享版的代码示例。前提条件 已开通日志服务。更多信息，请参见 开通日志服务。已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
通过Node.js SDK使用SQL独享版
本文介绍通过Node.js SDK使用SQL独享版的代码示例。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。具体操作，请参见 配置...
Spark
如下图示例，段落①使用%spark.conf 指定OSS上的JAR，这个JAR里写了一个Java UDF，段落②使用PySpark注册Java UDF，然后在SQL中使用Java UDF。spark.jars.packages spark.jars.packages 可以用Package的形式来指定依赖包，Spark会动态下载...
Spark批式读写Iceberg
以下是在Spark SQL中使用数据湖元数据的配置，集群版本不同默认的Catalog名称不同，需要配置的参数也不同，具体请参见 数据湖元数据配置。EMR-3.40及后续版本和EMR-5.6.0及后续版本 sparkConf.set("spark.sql.extensions","org.apache....
通过直连数据源模式创建API
不支持在SQL中使用分页语句，需通过分页参数实现分页。支持传参的方式动态指定SQL语句查询返回的字段，参数名必须以var_cols开头（格式：var_cols_xxx），并将参数写在查询语句内，调用API时，传入需要查询的字段即可。例如：API的SQL语句...
新建Flink SQL类型的公共节点
（可选）当需要在SQL中使用自定义函数时，单击 引用函数 页签，在自定义函数列表找到需要的自定义函数，再返回编辑页面输入。若函数列表为空，则需要先新建函数，更多操作请参见 新建自定义函数。在 确认节点信息 对话框中，确认节点标识、...
2020年
2020-02-26 全部区域 创建OSS外部表 支持SQL中列名书写智能纠错 运行SQL时，如果输入的字段名有误，SQL引擎将进行联想并提示您正确的字段名。2020-02-26 全部区域 公告 支持Python 3 UDF Python 2官方即将停止维护，MaxCompute支持Python 3...
SQL
在Python UDF编写过程中，如果某个UDF引用的资源是动态变化的，您可以在 execute_sql()中设置 alias 给旧的资源一个别名作为新的资源，无需重新删除或创建新的UDF。详情请参见 设置alias。执行SQL语句 PyODPS对MaxCompute SQL操作的具体...
MERGE INTO
本文为您介绍如何在Spark SQL流式处理中使用MERGE INTO语句。语法 mergeInto:MERGE INTO target=tableIdentifier tableAlias USING(source=tableIdentifier(timeTravel)?'(' subquery=query ')')tableAlias mergeCondition?matchedClauses*...
Quick BI创建SQL的数据集时使用Excel表？
问题描述 想使用SQL创建数据集时在SQL语句中使用到我本地上传的Excel表，但是搜索找不到本地上传的表。问题原因 本地上传的表会在数据库中生成一张临时表，在SQL语句中搜索要用临时表的表名。解决方案 首先完成文件的上传。用上传的文件 ...
SQL数据类型映射
SQL中所用字段对应于表中同名字段，两者的数据类型必须相匹配。本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据...
检查SQL语句中的表是否已创建列索引
存储过程 dbms_imci.check_columnar_index()可以解析输入的SQL语句，并得到SQL语句中使用的所有列，并检查这些列是否被列索引覆盖。如果SQL语句中使用了未被列索引覆盖的列，调用该存储过程后会返回这些列所在的库名、表名以及列名。如果...
Sql与OpenSearch查询语法的对比
3.GROUP BY：SQL：group by在SQL中的用法相当多，而且比较复杂，这里简单的概括为分组统计（常规的统计有count、sum、max、min、avg等）。OpenSearch：可以使用 aggregate 子句实现group by的功能。4.WITH 和 HAVING 的功能OpenSearch 现...
Sql与OpenSearch查询语法的对比
4.GROUP BY：SQL：group by在SQL中的用法相当多，而且比较复杂，这里简单的概括为分组统计（常规的统计有count、sum、max、min、avg等）。OpenSearch：可以使用 aggregate 子句实现group by的功能。5.WITH 和 HAVING 的功能OpenSearch 现...
概述
使用列存索引（IMCI）查询复杂的SQL语句时，需要列存索引覆盖SQL语句中使用到的所有列。PolarDB MySQL版 内置了一系列存储过程，您可以使用这些存储过程获取SQL语句中未被索引覆盖的列名，同时可以获取创建列存索引的DDL语句。本文介绍了 ...
Spark-SQL命令行工具
insert into table t1 values(4,'test')|+end+executing sql:select*from t1|id|name|1|zz|2|xx|3|yy|4|test|#spark-sql 也支持使用变量替换，您可以使用-d key=value来指定参数的值，随后可以在sql语句中使用${key}来引用key的值。...
物化视图自动查询改写
最佳实践：使用实时物化视图加速带可变参数的查询 功能介绍 早期使用普通物化视图和实时物化视图时，通常需要人工修改查询SQL，显式在SQL中指定使用物化视图。支持自动查询修改功能后，物化视图自动查询改写功能将自动、透明的重写查询SQL...
多元索引虚拟列
通过SQL查询数据 使用SQL查询数据时，虚拟列支持如下使用方法：虚拟列支持用在SELECT语句中的WHERE子句来返回满足查询条件的数据。在查询条件中使用虚拟列时，虚拟列的数据类型和相应查询条件中的参数数据类型必须一致。虚拟列支持用在统计...
时间窗口SQL脚本
时间窗口SQL脚本 组件支持1个输出，您可以在SQL语句中使用${o1} 代替输出数据表。您可以在SQL语句中，使用${lifecycle} 参数自动获取当前工作空间设置的临时表生命周期，默认为28天。更多关于工作空间临时表生命周期的内容，请参见 管理...
UDT概述
MaxCompute的UDT功能允许您在SQL中直接调用第三方语言的类使用其方法，或直接使用第三方对象获取其数据内容。UDT介绍 很多SQL引擎中UDT与MaxCompute的复杂类型STRUCT类似，相比之下，MaxCompute中的UDT与Create Type的概念更类似，Type中...
开发及提交SQL脚本
说明 当SQL中存在变量时，例如上述脚本代码示例中的${bizdate}，会弹出对话框，提示您输入变量值，在本示例中您可以输入 2017-11-11 00:00:00，查询当前分区的表格数据。在SQL任务运行前，IntelliJ IDEA会向您提示预估的SQL费用。确认费用...
列存索引常见问题
InputTable(2):lineitem|Pred:(lineitem.L_SHIPDATE>03/24/1995 00:00:00.000000)1 row in set(0.04 sec)使用了列存索引的SQL执行计划是树状的执行计划，每一层代表一个算子，通常算子与SQL中的操作具有一一对应的关系。例如，CTableScan算...
SQL其他常见问题
如果只运行一个SQL语句，您可以使用MaxCompute SQL中的 sqltext 方法，命令示例如下。odpscmd-e"select*from dual;您可以通过 odps-help 获得更多的信息。SQL能将MaxCompute的配置转移到另外一个阿里云账号上吗？您可以通过Package方法...
SQL脚本
SQL脚本是自定义SQL组件，您可以通过SQL脚本编辑器编写SQL语句，并提交至MaxCompute执行。本文为您介绍SQL脚本的组件配置和使用场景。组件配置 Designer 仅支持通过可视化方式，配置SQL脚本组件的参数，组件参数配置如下所示。参数 描述 ...
管理数据集
说明 如果需要在展示图表时进行数据筛选，可在SQL中引用变量，引用变量的方式为$变量名$。在页面下方，单击 执行。调整数据集模型。在SQL执行成功后，可以看到数据预览，在数据集预览区域，可以调整任意字段的数据类型和可视化类型。数据...
SET
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MB，默认值为256 MB。odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句中使用Limit，会限制...
Flag参数列表
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MiB，默认值为256 MiB。ALL 调度 Session odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句...
2021-03-16版本
注意事项 SQL编辑器中SQL脚本名称和作业名称变更 原VVP平台没有做开发和运维分离，即SQL脚本和上线作业间不存在关联关系，因此SQL脚本和上线作业的命名方式未做一致性要求。新版VVP支持开发和运维分离：SQL脚本名和线上作业名一一对应，原...
- 产品推荐
- 这些文档可能帮助您