本文为您提供MaxCompute产品在2021年的重要功能发布信息。
MaxCompute的重要功能发布详情请参见产品重大更新。
2021-12
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+ OSS的连接 | 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别缩短到分钟级。增加湖仓一体主页，集成湖仓一体创建、开发、管理和治理等主要功能入口。 | 2021-12-30 | 全部地域 | |
MaxCompute支持渐进式计算 | MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为客户节省了费用的同时提高了作业的运行效率。 | 2021-12-03 | 全部地域 | |
MaxCompute物化视图功能增强 | MaxCompute物化视图支持创建分区和聚簇，在查询物化视图时如果发现有分区数据不存在物化视图中时，可以设置系统自动穿透去查询源表，并返回源表和物化视图的汇总数据。 | 2021-12-01 | 全部地域 |
2021-11
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute专有网络连接管理产品化发布 | MaxCompute支持通过外部表、UDF及湖仓一体等功能访问VPC网络，需要先开通MaxCompute和目标IP或服务，例如HBase、RDS、Hadoop集群等连通目标的网络连接。前期开通MaxCompute专有网络连接，需要通过页面表单进行申请添加。专有网络连接管理产品化发布后，您可以通过MaxCompute控制台的网络资源功能界面自行增加或删除专有网络连接，无需通过表单申请并等待审批，提升开发效率。在配置前，您需先了解网络资源管理相关的管理权限，有权限的账号方可进行操作。 | 2021-11-29 |
| |
MaxCompute支持清空分区表中指定分区的数据 | MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表的分区元数据信息。同时MaxCompute可以支持用过滤条件来筛选需要清空数据的分区。 | 2021-11-23 | 全部地域 | |
MaxCompute集成网易有数BI工具（商业化）发布 | MaxCompute集成网易有数BI无缝对接，支持网易有数BI对MaxCompute直连场景下BI分析，同时可以支持可视化配置数据缓存时长，对数据进行缓存，以提高数据查询分析的速度，降低时延，提高用户体验。 | 2021-11-18 | 全部地域 |
2021-10
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute外表支持HBase增强版和云原生多模数据库Lindorm | 云数据库HBase增强版，是由云原生多模数据库Lindorm的宽表引擎提供的、完全兼容HBase的云上托管数据库。云原生多模数据库Lindorm是面向物联网、互联网、车联网等设计和优化的，支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和处理的云原生多模超融合数据库。在很多应用场景中需要把HBase增强版或者Lindorm的数据导入到MaxCompute做数据加工、数据分析和联邦查询，同时MaxCompute中的数据也需要写入HBase增强版或者Lindorm中。现在可以在MaxCompute中建立HBase增强版或者Linorm的外表，对HBase增强版或者Lindorm中的数据进行读写操作。 | 2021-10-29 | 全部地域 | |
MaxCompute集成观远数据（GuanData）BI工具（商业化）发布 | MaxCompute集成GuanData无缝对接，支持GuanData对MaxCompute直连场景下BI分析的查询加速，和抽数据场景下对MaxCompute全表数据读取。 | 2021-10-11 | 全部地域 |
2021-09
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute 产品在华南1金融云（深圳）正式开服 | MaxCompute支持的地域增加华南1金融云（深圳）。 | 2021-09-14 | 华南1金融云（深圳） | 无 |
MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 | 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，极大的扩展了湖仓一体对接Hadoop的适用范围。 | 2021-09-01 |
| 无 |
MaxCompute 支持通过湖仓一体方式读取OSS上的Hudi或 Delta Lake格式存储 | Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、OSS产品提供了支持Delta或Hudi 存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。 | 2021-09-01 |
|
2021-08
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute SQL新增编码转换等16个内置函数 | MaxCompute SQL 新增内置函数包括：
| 2021-08-31 | 全部地域 | |
MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化 | 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业，届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能，届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。 | 2021-08-10 |
| |
MaxCompute流式数据通道服务功能商业化发布 | MaxCompute流式数据通道服务提供流式语义API支持，简化分布式服务开发操作。支持分布式服务并发创建分区，支持数据异步 | 2021-08-09 | 全部地域 | |
MaxCompute SQL支持物化视图 | MaxCompute SQL推出物化视图（Materialized View）功能。物化视图本质是一种预计算，即把某些耗时的操作（例如JOIN、AGGREGATE）的结果保存下来，以便在查询时直接复用，从而避免这些耗时的操作，最终达到加速查询的目的。 物化视图适用于如下场景：
创建了物化视图后，执行查询操作时，MaxCompute SQL查询改写能力会自动匹配到最优物化视图，并直接从物化视图中读取数据，从而大大提高查询效率，您不需要修改已有查询。 | 2021-08-06 | 全部地域 |
2021-07
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute SQL支持对部分聚合函数输入预排序 | MaxCompute SQL的聚合函数 | 2021-07-30 | 全部地域 | |
MaxCompute SQL子查询支持多列运算的语法 | MaxCompute SQL兼容PostgreSQL子查询语法，提供
| 2021-07-29 | 全部地域 | |
MaxCompute项目删除新功能发布 | 您可以通过阿里云账号（主账号）或具备项目Super_Administrator角色的RAM用户账号登录MaxCompute控制台删除MaxCompute项目。支持如下两种删除方式：
| 2021-07-29 |
|
2021-04
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute支持Dynamic Filter智能优化功能 | JOIN是分布式系统中常见的操作，在海量数据场景下，也是一个非常耗时、耗资源的操作。针对JOIN场景，MaxCompute推出Dynamic Filter智能优化功能，可以利用JOIN本身的等值连接属性，基于运行时动态生成过滤器，在Shuffle或JOIN之前提前过滤数据，实现加速查询运行。该功能适用于维度表和事实表执行JOIN的场景。您可以在Session级别通过开关强制打开、智能选择打开或手工提示使用动态过滤器，并使用动态分区裁剪方法先过滤分区再使用动态过滤器。 | 2021-04-07 |
|
2021-03
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute Project全量作业或Project全量SQL作业超时监控告警功能发布 | MaxCompute支持通过云监控配置阈值报警规则，监控作业运行时长。当作业运行超时后，系统会将报警信息发送至报警联系人，助力及时识别异常作业，提升运维效率。 | 2021-03-16 |
| |
MaxCompute 外部表支持SNAPPY、LZO压缩格式 | 如果您的数据格式为TEXTFILE，例如JSON，存放在OSS，希望通过外部表读写且支持压缩，MaxCompute提供了开源数据格式外部表对SNAPPY、LZO压缩文件的读写能力。 | 2021-03-16 | 全部地域 | |
MaxCompute SQL支持FROM_JSON/TO_JSON函数 | FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT，以JSON字符串格式输出。 | 2021-03-16 | 全部地域 | |
MaxCompute SQL支持UPDATE/DELETE/MERGE INTO语法（公测） | UPDATE/DELETE是MaxCompute新支持的在行级别操作表或者分区数据的语句。相比之前订正表或者分区中的少量数据，也需要读取全量数据，关联生成新数据之后再INSERT OVERWRITE全量写回的方法，UPDATE/DELETE操作读写数据量都显著下降。 当您对目标表的一次操作包括INSERT、UPDATE、DELETE逻辑时，MERGE INTO功能可以用一条SQL语句进行一次扫描完成全部操作，执行效率更高。同时，MERGE INTO任务具备原子性，任一内部逻辑处理失败，则整体作业执行失败，避免同一批操作部分逻辑无法回退或重做的问题。您需要创建Transactional表才能使用UPDATE/DELETE/MERGE INTO功能。并且因为大数据系统保证任务级别的ACID，当作业并发运行且操作的目标表相同时，可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段，不收取计算费用，但公测期间也暂时不对您使用此功能用于生产的作业和数据提供保证，重要数据请做好备份。 | 2021-03-16 | 全部地域 |
2021-02
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute 湖仓一体功能商业化发布 | MaxCompute湖仓一体方案通过数据仓库 MaxCompute、数据湖（对象存储OSS或Hadoop HDFS）共同实现。本次发布两种构建湖仓一体的方式：
| 2021-02-26 |
| |
MaxCompute支持云HBase外部表（公测） | MaxCompute支持通过专有网络连接方案，访问用户的云HBase。用户完成网络连通和授权，可以创建HBase外部表，通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表，可以同步HBase中的数据到MaxCompute进行后续ETL处理，也可以关联HBase外部表进行联邦计算，或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。 | 2021-02-08 |
| |
MaxCompute命令行支持关闭表头显示，便于Shell调用 | 在Shell（或Windows命令行）执行窗口，用户可能会需要使用 | 2021-02-08 | 全部地域 | |
MaxCompute外部表OSS写入场景能力增强 | MaxCompute支持使用OSS的分片上传（Multipart Upload）功能，在INSERT操作向OSS外部表写入数据时，提高写数据效率。此外MaxCompute写入到OSS外部表的数据，会存储在LOCATION目录下的 | 2021-02-08 | 全部地域 | |
MaxCompute外部表Hive兼容模式支持用户自定义Serde类 | MaxCompute提供了兼容Hive Serde接口处理开源格式数据的能力，并对各种常见的数据格式都有内建的默认的Serde Class进行处理。如果用户有数据格式要指定自定义的ROW FORMAT SERDE，在建外部表的时候需要指定依赖的资源，添加JAR包，并在建表时定义 | 2021-02-08 | 全部地域 | |
MaxCompute内建函数新增或增强 | 变更点如下：
| 2021-02-08 | 全部地域 | |
MaxCompute推出Freeride及Analyze两种优化器元数据收集工具 | MaxCompute目前提供两种方式收集表的元数据：
| 2021-02-08 | 全部地域 | |
MaxCompute支持RDS外部表（公测） | MaxCompute支持通过专有网络连接方案，访问用户的RDS。用户完成网络连通和授权，可以创建RDS外部表并读写RDS中的数据。使用RDS外部表，用户可以同步RDS中的数据（例如维度数据、业务数据）到MaxCompute进行后续ETL处理，也可以关联RDS外部表进行联邦计算，或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。 | 2021-02-08 | 全部地域 | |
MaxCompute外部表支持通过JDBC方式读写MC-Hologres（公测） | MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式，基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储，无需导入导出数据，可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。 | 2021-02-08 | 全部地域 | |
MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储 | MaxCompute支持通过UNLOAD命令导出数据到OSS，方便用户使用OSS存储结构化数据，并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 | 2021-02-08 | 全部地域 | |
MaxCompute SQLML功能商业化发布 | MaxCompute SQLML可以让数据工程师、分析师和数据科学家使用SQL语言在MaxCompute中创建、训练和应用机器学习模型，使SQL从业人员利用现有的SQL工具和技能就能应用机器学习的能力，同时无需做数据迁移，实现机器学习的普惠。 | 2021-02-01 | 全部地域 |
2021-01
功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
MaxCompute存储服务单价调整 | 自2021年1月10日起，MaxCompute数据存储服务由阶梯定价调整为固定定价，新定价将降低中小数据规模客户的MaxCompute存储成本：MaxCompute存储由梯度定价（小于等于10 TB单价：0.0072元/GB/天、大于10 TB小于等于100 TB单价：0.006元/GB/天、大于100 TB单价：0.004元/GB/天）调整为统一定价：0.12元/GB/月（即0.004元/GB/天） | 2021-01-10 | 全部地域 |