2021年_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

本文为您介绍了MaxCompute 2021年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新。

2021年12月更新记录

时间	特性	类别	描述	产品文档
2021-12-22	重构湖仓一体。	更新说明	支持MaxCompute湖仓一体自助构建流程。	MaxCompute湖仓一体概述
2021-12-03	新增MaxCompute支持渐进式计算。	新说明	MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为客户节省了费用的同时提高了作业的运行效率。	参考：渐进式计算
2021-12-01	MaxCompute物化视图功能增强。	新说明	MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。	物化视图操作

2021年11月更新记录

时间	特性	类别	描述	产品文档
2021-11-29	新增Policy授权最佳实践。	新实践	支持基于Policy对具备内置角色的用户进行权限管理。	基于Policy对具备内置角色的用户进行权限管理
2021-11-29	MaxCompute开放租户级别的用户管理能力。	更新说明	支持通过MaxCompute控制台管理用户。	角色规划
2021-11-23	重构MMA内容。	更新说明	重构MMA内容。	MMA概述
2021-11-18	新增网易BI数据连接MaxCompute操作指导。	新说明	MaxCompute支持您将MaxCompute项目数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。	网易有数BI连接MaxCompute
2021-11-15	新增IP地址转换归属地最佳实践。	新实践	MaxCompute支持基于MaxCompute UDF将IPv4或IPv6地址转换为归属地。	基于MaxCompute UDF将IPv4或IPv6地址转换为归属地
2021-11-10	完善Python UDF上传及注册操作。	新说明	完成Python程序开发及调试后，您需要将Python程序以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF。	上传及注册
2021-11-10	新增MaxCompute Studio可视化管理函数内容。	新说明	MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中注册自定义函数（MaxCompute UDF），并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。	可视化管理函数
2021-11-08	补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。	更新说明	补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。	日期与时间函数数学函数窗口函数聚合函数
2021-11-03	支持清空分区表的分区数据。	新说明	MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量清空分区数据。	清空分区数据
2021-11-02	新增MaxCompute Studio可视化管理资源内容。	新说明	MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。	可视化管理资源

2021年10月更新记录

时间	特性	类别	描述	产品文档
2021-10-26	支持清空分区表的分区数据。	新说明	MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量清空分区数据。	分区和列操作
2021-10-19	新增日期数据格式转换最佳实践。	新实践	新增STRING、TIMESTAMP、DATETIME互相转换实践案例。	日期数据格式转换：STRING、TIMESTAMP、DATETIME互相转换
2021-10-12	新增观远数据连接MaxCompute操作指导。	新说明	MaxCompute支持您将MaxCompute项目数据接入观远数据（GuanData），帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。	观远BI连接MaxCompute

2021年9月更新记录

时间	特性	类别	描述	产品文档
2021-09-30	MaxCompute UDF内容整改。	更新说明	重构MaxCompute UDF目录结构及内容结构，按照UDF、UDTF、UDAF进行整改并补充示例及常见问题。	MaxCompute UDF概述
2021-09-26	补充物化视图使用限制。	更新说明	补充物化视图使用限制。	物化视图操作
2021-09-22	网络开通流程处理方式变更，从提工单变更为填写表单。	更新说明	网络开通流程处理方式变更，从提工单变更为填写表单。	网络开通流程
2021-09-15	新增日期函数DATE_SUB。	新说明	按照指定的幅度增减天数，与DATE_ADD逻辑相反。	DATE_SUB
2021-09-15	补充Spark Java示例。	更新说明	补充Spark Java示例。	Spark-1.x示例 Spark-2.x示例
2021-09-08	补充核心概念的层次结构。	新说明	补充核心概念的层次结构。	核心概念的层次结构

2021年8月更新记录

时间	特性	类别	描述	产品文档
2021-08-27	支持基于Delta Lake或Hudi存储机制实现湖仓一体能力。	新功能	Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。	基于DLF、RDS、OSS支持Delta Lake或Hudi存储机制
2021-08-26	数学函数新增CORR函数。	新说明	支持计算两列数据的皮尔逊系数。	数学函数
2021-08-25	新增资源规划及规格选型指导。	新说明	帮助您预估购买的资源数量并选择合适的规格类型。	资源规划及规格选型
2021-08-20	聚合函数语法变更。	更新说明	增加聚合函数语法模块，提供语法详细说明。	聚合函数
2021-08-19	其他函数下新增HASH、COMPRESS、DECOMPRESS、NULLIF、FORMAT_NUMBER、SHA、SHA1、SHA2、CRC32函数。	新说明	HASH：对输入的参数进行散列运算，返回一个HASH值。 COMPRESS：对输入的字符串，按照GZIP算法进行压缩。 DECOMPRESS：对于BINARY类型的输入，使用GZIP算法进行解压缩。 NULLIF：如果expr1和expr2的值相等，返回NULL；否则返回expr1。 FORMAT_NUMBER：将数字转化为指定格式的字符串。 SHA：计算字符串或者二进制的SHA-1哈希值，并将值以十六进制字符串返回。 SHA1：计算字符串或者二进制的SHA-1哈希值，并将值以十六进制字符串返回。 SHA2：计算字符串或者二进制的SHA-2系列哈希值（支持SHA-224，SHA-256，SHA-384和SHA-512）。 CRC32：计算字符串或者二进制的循环冗余校验值。	其他函数
2021-08-19	日期函数新增TO_MILLIS函数。	新说明	将指定日期转换为以毫秒为单位的UNIX时间戳。	日期与时间函数
2021-08-18	起售CU数量变更。	更新说明	MaxCompute的CU起售数量从10 CU变更为50 CU。	计费项与计费方式概述
2021-08-11	MaxCompute新增物化视图功能。	新功能	物化视图（Materialized View）本质是一种预计算，即把某些耗时的操作（例如JOIN、AGGREGATE）的结果保存下来，以便在查询时直接复用，从而避免这些耗时的操作，最终达到加速查询的目的。	物化视图操作
2021-08-11	UPDATE、DELETE和MERGE INTO功能商业化。	更新说明	自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业，届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能，届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。	更新或删除数据（UPDATE \| DELETE） MERGE INTO
2021-08-10	新增复杂类型函数。	新功能	MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据，提供多种函数支持多样化数据处理。	复杂类型函数
2021-08-04	新增ETL工具连接MaxCompute操作指导。	新说明	MaxCompute支持连接ETL工具管理MaxCompute项目。	使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用Azkaban调度MaxCompute
2021-08-02	`in/not in subquery`及`scalar subquery`支持多列。	更新说明	兼容PostgreSQL支持多列的需求。	子查询（SUBQUERY）

2021年7月更新记录

时间	特性	类别	描述	产品文档
2021-07-28	MaxCompute支持删除项目。	更新说明	您可以通过MaxCompute控制台删除已创建的MaxCompute项目。	删除MaxCompute项目
2021-07-21	新增数据库管理工具连接MaxCompute操作指导。	新说明	MaxCompute支持连接数据库管理工具管理MaxCompute项目。	DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute
2021-07-19	新增商业智能BI工具连接MaxCompute操作指导。	新说明	MaxCompute支持连接商业智能BI工具以图表形式展现数据分析结果。	Tableau连接MaxCompute FineBI连接MaxCompute FineReport连接MaxCompute Davinci连接MaxCompute Superset连接MaxCompute Yonghong BI连接MaxCompute Quick BI连接MaxCompute
2021-07-19	新增最佳实践。	新实践	新增通过Logview诊断慢作业最佳实践。	Logview诊断实践
2021-07-14	新增客户案例页面。	新说明	新增MaxCompute典型客户案例内容。	客户案例

2021年6月更新记录

时间	特性	类别	描述	产品文档
2021-06-07	数据集成导入导出数据内容整改。	更新说明	重构数据集成导入导出数据内容。	使用DataWorks（离线与实时）使用DataWorks

2021年5月更新记录

时间	特性	类别	描述	产品文档
2021-05-31	准备工作内容整改。	更新说明	重构准备工作流程及内容。	准备工作
2021-05-31	快速入门内容整改。	更新说明	按照工具展示快速入门操作。	快速入门
2021-05-24	更新监控报警。	更新说明	完善监控报警机制，补充作业超时告警和累计消费告警内容。	监控报警
2021-05-21	补充Java SDK常见问题。	更新说明	基于用户反馈补充Java SDK使用过程中的常见问题。	Java SDK常见问题

2021年4月更新记录

时间	特性	类别	描述	产品文档
2021-04-29	新增数加体验馆页面。	新说明	链接至数加体验馆，方便用户快速基于场景使用MaxCompute。	AI体验教程
2021-04-06	新增动态过滤功能。	新功能	利用等值JOIN的特性，基于运行时动态生成过滤器，以便在Shuffle或JOIN之前提前过滤数据，实现加速查询运行。	动态过滤器（Dynamic Filter）
2021-04-02	根据用户反馈补充常见SQL问题。	更新说明	补充SQL语句使用过程中的常见问题。	SQL常见问题

2021年3月更新记录

时间	特性	类别	描述	产品文档
2021-03-25	补全MaxCompute错误码列表信息。	更新说明	完善MaxCompute错误码列表。	错误码概述 Common错误码（ODPS-00CCCCX） SQL错误码（ODPS-01CCCCX） PL错误码（ODPS-02CCCCX） API错误码（ODPS-04CCCCX） Xlib错误码（ODPS-05CCCCX）
2021-03-19	补充常见问题。	更新说明	根据用户反馈问题合入常见问题。	Information Schema常见问题内建函数常见问题计费常见问题
2021-03-16	建表语法支持指定列的NOT NULL属性。	更新说明	禁止该列的值为NULL。	表操作
2021-03-16	新增FROM_JSON和TO_JSON函数。	新说明	FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT，以JSON字符串格式输出。	字符串函数
2021-03-16	新增OSS外部表支持处理压缩格式数据功能。	新功能	如果OSS上的数据为LZO或SNAPPY压缩格式，您需要在创建OSS外部表时，指定压缩格式相关信息。	创建OSS外部表
2021-03-16	新增作业超时报警功能。	新功能	MaxCompute支持通过配置阈值报警规则，监控作业运行时长。当作业运行超时后，系统会将报警信息发送至报警联系人，助力及时识别异常作业，提升运维效率。	作业超时监控告警
2021-03-16	支持Transactional表的ACID属性。	新功能	Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。	ACID语义
2021-03-12	支持列级别权限控制。	更新说明	对表列级别进行权限控制。	MaxCompute权限
2021-03-12	支持通过Java SDK查询权限信息。	新功能	MaxCompute支持您通过Java SDK方式查询指定用户、角色或资源的授权信息，以JSON格式展示权限查询结果，满足多样化展示需求。	通过Java SDK查询权限信息
2021-03-12	支持对Package进行权限控制。	新功能	安装Package后，如果您需要对Package进行更细微的权限控制，例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列，您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。	Package的权限控制
2021-03-12	支持通过属性打开或关闭Download权限。	更新说明	开启或关闭该功能，需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。	Policy权限控制
2021-03-01	新增MaxCompute湖仓一体功能。	新功能	MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。	MaxCompute湖仓一体概述

2021年2月更新记录

时间	特性	类别	描述	产品文档
2021-02-23	新增Python 2 UDTF使用示例。	新示例	新增Python 2 UDTF读取MaxCompute资源示例。	UDF开发规范与通用流程（Python2）
2021-02-23	新增Python 3 UDTF使用示例。	新示例	新增Python 3 UDTF读取MaxCompute资源示例。	UDF开发规范与通用流程（Python3）
2021-02-23	新增Spark作业引用外部文件描述。	新说明	新增Spark作业引用外部文件描述。	搭建Linux开发环境
2021-02-20	新增UDTF与Lateral View结合的使用示例。	新示例	新增UDTF与Lateral View结合的使用示例。	UDTF使用说明
2021-02-09	补充清除用户权限描述。	新说明	补充清除用户权限描述。	用户规划与管理
2021-02-09	新增MaxCompute SQLML功能。	新功能	SQLML是MaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖PAI平台做模型创建、预测、评估等操作。	概述快速入门计量计费
2021-02-07	删除VALUES中只能使用常量的限制。	更新说明	删除VALUES中只能使用常量的限制。	VALUES
2021-02-07	OSS外部表支持分片上传功能。	新说明	支持使用OSS的分片上传（Multipart Upload）功能通过INSERT操作向OSS外部表写入数据。	将数据写入OSS
2021-02-07	新增`array_intersect`函数，修改`sort_array`函数。	新说明	新增`array_intersect`，用于计算两个`array`的交集。`sort_array`增加isAsc参数，对给定数组排序时让用户选择是升序还是降序，默认是升序。	其他函数
2021-02-07	新增过滤条件表达式和`count_if`函数。	新说明	增加过滤条件表达式支持，可以对`select`子句中某个聚合函数指定过滤条件，便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增`count_if`函数对满足`if`条件的记录进行计数。	聚合函数
2021-02-07	增强日期函数`date`、`datediff`、`datepart`、`datetrunc`对DATE、TIMESTAMP日期数据类型的支持。	新说明	增强日期函数`date`、`datediff`、`datepart`、`datetrunc`对DATE、TIMESTAMP日期数据类型的支持。	日期与时间函数
2021-02-07	新增`base64`、`unbase64`和`parse_url`函数。	新说明	新增字符串函数`parse_url`对URL进行解析；新增`base64`和`unbase64`函数实现二进制和BASE64格式字符串互转。	字符串函数
2021-02-07	MaxCompute命令行支持关闭表头显示，便于Shell调用。	新说明	在Shell（或Windows命令行）执行窗口，用户可能需要使用`odpscmd -e SQL`语句执行得到的动态返回值，Shell的变量会获取这个动态返回值，然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过`set odps.sql.select.output.format={needHeader:false,fieldDelim:""};`关闭表头显示，将计算结果stdout部分输出到目标句柄。	使用本地客户端（odpscmd）连接
2021-02-07	MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。	新功能	MaxCompute支持通过UNLOAD命令导出数据到OSS，方便用户使用OSS存储结构化数据，并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。	UNLOAD
2021-02-07	支持SkewJoin Hint。	新功能	当两张表Join存在热点，导致出现长尾问题时，您可以通过提取热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据的Join结果并合并，加快Join的执行速度。	SKEWJOIN HINT
2021-02-07	MaxCompute推出Freeride及Analyze两种优化器元数据收集工具。	新功能	MaxCompute目前提供两种方式收集表的元数据：异步收集（Analyze）：需要您通过命令对表进行主动、异步收集。扫描表数据会产生计费。同步收集（Freeride）：需要您在`create table ... as ...`或`insert`语句前设置运行参数，配置收集计划启用Freeride功能，在数据生成的同时，自动收集列统计信息。这种方式更加自动化，但对查询时延有影响。	优化器信息收集
2021-02-07	MaxCompute外部表支持通过JDBC方式读写MC-Hologres。	新功能	MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式，基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储，无需导入导出数据，可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。	Hologres外部表
2021-02-07	MaxCompute支持云HBase外部表。	新功能	MaxCompute支持通过专有网络连接方案，访问用户的云HBase。用户完成网络连通和授权，可以创建HBase外部表，通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表，可以将HBase中的数据同步到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行联邦计算，或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。	HBase外部表（HBase标准版或增强版）
2021-02-07	MaxCompute支持RDS外部表。	新功能	MaxCompute支持通过专有网络连接方案，访问用户的RDS。用户完成网络连通和授权，可以创建RDS外部表并读写RDS中的数据。使用RDS外部表，用户可以同步RDS中的数据（例如维度数据、业务数据）到MaxCompute进行后续ETL处理，也可以关联RDS外部表进行联邦计算，或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。	RDS外部表
2021-02-01	新增Mars v0.6.3版本变更记录。	新说明	新增Mars v0.6.3版本变更记录。	版本更新记录

2021年1月更新记录

时间	特性	类别	描述	产品文档
2021-01-22	支持配置JDBC使用FineBI。	新功能	介绍如何通过MaxCompute JDBC驱动，使用FineBI对MaxCompute的数据进行可视化分析。	配置JDBC使用FineBI
2021-01-21	`get_json_object`函数返回行为变更。	更新说明	新建MaxCompute项目的`get_json_object`函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式	GET_JSON_OBJECT
2021-01-19	SELECT目录整改并优化内容。	更新说明	调整SELECT模块内容并完善命令示例。	SELECT语法
2021-01-13	新增MaxCompute云数据仓库最佳实践。	新视频	介绍MaxCompute云数据仓库最佳实践。	云数据仓库最佳实践（数据银行）云数据仓库最佳实践（实时分析）云数据仓库最佳实践（Serverless）云数据仓库最佳实践（BI）云数据仓库最佳实践（实时搜索）
2021-01-13	新增MaxCompute Tunnel视频。	新视频	介绍MaxCompute Tunnel实现与操作。	MaxCompute Tunnel
2021-01-13	新增MaxCompute消费预警与控制视频。	新视频	介绍MaxCompute消费预警与控制实现操作。	MaxCompute 消费预警与控制
2021-01-11	存储计费规则变更。	更新说明	自2021年1月10日起，MaxCompute数据存储服务由阶梯定价调整为固定定价，新定价将降低中小数据规模客户的MaxCompute存储成本：MaxCompute存储由梯度定价（小于等于10 TB单价：0.0072元/GB/天、大于10 TB小于等于100 TB单价：0.006元/GB/天、大于100 TB单价：0.004元/GB/天）调整为统一定价：0.12元/GB/月（即0.004元/GB/天）。	存储费用
2021-01-07	新增查询加速（MCQA）免费体验功能。	新功能	MaxCompute为使用包年包月资源的SQL作业提供了查询加速（MCQA）免费体验功能，当前处于公测阶段。	免费体验
2021-01-05	新增流式数据通道（Streaming Tunnel）。	新功能	新增流式数据通道、SDK接口及SDK示例。	流式数据通道SDK介绍流式数据通道SDK示例
2021-01-05	新增数据迁移目录。	新说明	数据上传下载及迁移工具内容调整到新增目录。	数据上传下载 MMA2.0迁移工具迁移示例
2021-01-04	新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。	新实践	介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。	统计MaxCompute TOPN费用账号及耗时作业
2021-01-04	新增包年包月资源隔离最佳实践。	新实践	介绍通过MaxCompute管理控制台的配额（Quota）管理功能对包年包月资源进行隔离的最佳实践。	包年包月资源隔离