本文为您提供MaxCompute产品在2022年的重要功能发布信息。
MaxCompute的重要功能发布详情请参见产品重大更新。
2022-12
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| 增加SQL Window关键字 | 新增WINDOW关键字，用户可以用WINDOW关键字定义窗口，用户只要对窗口定义一次，进行重复使用。 | 2022-12-14 | 全部地域 | WINDOW关键字 |
| Update语法支持From子句 | UPDATE数据更新操作时可以直接使用FROM子句进行更新数据。 | 2022-12-14 | 全部地域 | 更新或删除数据（UPDATE | DELETE） |
| 优化增强字符串函数和聚合函数能力并新增字符串函数 |
| 2022-12-14 | 全部地域 | 内建函数概述 |
2022-11
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| 支持自定义项目管理类角色 | MaxCompute的项目内置Admin和Super_Administrator两个管理类角色，同时也支持自定义管理类角色。通过新版控制台的项目管理-角色管理，创建项目角色时选择Admin类型实现自定义管理类角色。您可以通过自定义管理类角色让一些角色仅能进行权限分配管理、只能进行IP白名单管理等。 | 2022-11-15 | 全部地域 | MaxCompute权限 |
| 新售卖规格弹性预留CU发布 | MaxCompute弹性预留CU是在购买包年包月预留CU的基础上实现弹性扩缩容，包年包月预留CU购买需要至少包月购买，弹性预留CU支持一天内某些时段购买使用，您可以通过MaxCompute新版控制台的Quota管理，合理的配置Quota计划和时间计划，实现更少的成本提升预留资源的满足率。 | 2022-11-15 | 全部地域 | 弹性预留CU |
| 新版控制台发布 | MaxCompute新版控制台将提供全新的项目管理、Quota（配额）管理交互，同时集成全新功能：弹性预留CU、自定义项目管理类角色访问控制。较于老版本，新版控制台主要新特性如下：
| 2022-11-15 | 全部地域 | |
| 计算抵扣包和存储抵扣包发布 | MaxCompute计算抵扣包支持抵扣按量付费SQL、MapReduce、Spark、Mars、OSS外部表SQL、OTS外部表SQL计费项的用量。抵扣包按不同的容量大小会有不同的优惠，如果您购买了计算抵扣包，按量付费的对应计费项的用量由抵扣包自动抵扣。 MaxCompute存储抵扣包支持抵扣标准存储和备份存储计费项的用量。MaxCompute的存储用量都是按量付费，不限制存储使用量，按实际使用量和时间付费。存储抵扣包容量越大购买时长越长优惠力度越大，如果您购买了存储抵扣包，对应计费项的用量由抵扣包自动抵扣。 | 2022-11-01 | 全部地域 | 计算抵扣包和存储抵扣包 |
2022-10
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
支持数据结构由project.table升级为project.schema.table，方便与三层结构数据的数据源对接。 | MaxCompute项目（Project）作为基本组织单元，是进行多用户隔离和访问控制的主要边界。同时Project中包含表（Table）、资源（Resource）、函数（Function）对象，这些对象原来直接放在Project下，需要Project充当类似于传统数据库的Database或Schema的概念，概念容易混淆（既是Database又是Schema），在有很多表或者对象的情况使用便利性较差。 目前MaxCompute支持Schema，在Project之下对Table、Resource、Function进行归类。如果您原数据存储层级结构也如project.schema.table，且即将迁移到MaxCompute，可以选择使用MaxCompute的Schema功能，可以直接与数据源层级对齐无需在迁移时做业务重构，减少工作量。 | 2022-10-13 | 全部地域 | Schema操作 |
2022-9
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| 支持使用双签名模式建立Hologres外部表 | 双签名模式是MaxCompute与Hologres共同研发的认证及鉴权协议，在MaxCompute侧使用用户登录信息加签名后，将认证数据传递给Hologres侧，Hologres根据与MaxCompute底层达成的协议，进行同名认证及鉴权。这样您只要在MaxCompute和Hologres具有相同的账号，就可以直接访问Hologres外部表，无需额外设置认证信息。 | 2022-09-24 | 全部地域 | Hologres外部表 |
支持通过Create table like方式创建与外部数据源中表结构相同的表。 | 利用MaxCompute湖仓一体在MaxCompute中创建与EMR、Hadoop、DLF等外部数据源中表结构相同的表，利用Create table like语法将外部数据源中的表结构迁移至MaxCompute内，以获取更好的数据治理能力和访问性能。 | 2022-09-23 | 全部地域 | 使用SQL管理外部项目 |
2022-8
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| MaxCompute Spark支持访问 OSS外部表 | MaxCompute Spark支持访问MaxCompute OSS外部表，底层文件格式支持PARQUET、TEXTFILE、ORC、AVRO和SEQUENCEFILE格式。 | 2022-08-31 | 全部地域 | 读OSS外部表 |
| 支持分区表到期后自动删除表 | 当分区表的分区数据生命周期到期会自动回收，当所有分区都自动回收后，MaxCompute支持设置自动删除该分区表。 | 2022-08-27 | 全部地域 | 生命周期操作 |
| 新增三个聚合函数 | 新增三个聚合函数，分别是BITWISE_AND_AGG对输入值做BIT AND操作并返回聚合值；MIN_BY返回指定列最小值所在行指定列的值；MAX_BY返回指定列最大值所在行指定列的值。 | 2022-08-27 | 全部地域 | 聚合函数 |
| 创建内表时支持使用like语句复制外部表的表结构 | 创建内部表时支持使用like复制外部表的表结构，提高建表效率。 | 2022-08-27 | 全部地域 | 创建表 |
| 新增物化视图状态查看函数 | 新增物化视图状态查看函数，该函数可以判断当前物化视图或者物化视图的分区的数据是否跟原表的数据一致，如果一致返回为True，否则返回False。 | 2022-08-27 | 全部地域 | 物化视图操作 |
| 物化视图支持生成空分区 | 当刷新分区物化视图时，如果物化视图计算后对应的分区没有数据时，物化视图会生成一个没有数据的空分区，保持分区的连续性。 | 2022-08-27 | 全部地域 | 物化视图操作 |
| Use Quota（作业级别指定计算资源）功能发布 | 通过MaxCompute的Use Quota功能，实现作业级别指定Quota，提升Quota使用的灵活性。如Project内某些作业占用大量资源会影响整体项目作业时效（如数据回刷作业占大量资源但时效要求不高、某些占用大量资源且时效要求高的算法作业），需要进行Quota隔离指定资源进行计算，可以通过Use Quota功能直接指定，无需单独创建Project进行作业迁移通过Project绑定Quota来实现。 | 2022-08-23 | 全部地域 | 计算资源使用 |
2022-7
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| 新增一个正则函数 | MaxCompute新增一个正则函数regexp_extract_all，您可以用该函数一次性从需要处理的字符串中匹配所有满足要求的子字符串，并以数组方式返回，提高数据处理效率。 | 2022-07-14 | 全部地域 | 字符串函数 |
| 支持Unload函数导出数据时自定义导出文件名的前后缀 | 支持使用Unload函数从MaxCompute导出数据到OSS时，自定义设置导出数据文件名的前缀和后缀。 | 2022-07-14 | 全部地域 | UNLOAD |
| 支持在表级别设置Split Size参数 | 在表级别设置Split Size参数控制并发度，当您发现资源比较充足且作业跑的比较慢的时候或者发现作业等待资源时间比较长且资源不足时，可以通过调整该参数，提升计算效率。 | 2022-07-14 | 全部地域 | SELECT语法 |
| 新增三个窗口函数以及性能优化 | 新增first_value、last_value、nth_value三个窗口函数，以及对现有所有窗口函数进行性能调优，窗口函数的计算性能大幅提升。 | 2022-07-14 | 全部地域 | 窗口函数 |
| 新增六个聚合函数 | 新增BITWISE_OR_AGG、MAP_AGG、MULTIMAP_AGG、MAP_UNION、MAP_UNION_SUM、HISTOGRAM六个聚合函数，可以对输入的Bit值或者Map对象做聚合操作，更加便捷的做数据分析统计。 | 2022-07-14 | 全部地域 | 聚合函数 |
2022-6
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| 支持在DataWorks公共表中查看外部数据源的元数据信息 | 支持在DataWorks公共表中查看外部数据源的元数据信息，使基于湖仓的数据开发人员方便查看外部数据源的表、字段和分区信息。 | 2022-06-28 | 全部地域 | MaxCompute湖仓一体 |
| 包年包月支持独占Quota | 通过MaxCompute包年包月独占Quota，即使CU空闲也不被其他Quota占用，强保障本Quota作业的资源。适用于跑BI/ALGO等业务的quota因随时都可能使用Quota，需防止被其他quota占用长时间不释放（当Quota的max值>min值时有可能会去占用其他空闲的Quota）。 | 2022-06-27 | 全部地域 | MaxCompute管家 |
| 包年包月Quota支持单作业CU并发上限 | 通过单作业CU并发上限，可以控制MaxCompute包年包月Quota出现单作业长时间占用大量CU导致其他作业一直等待资源。在设置前，需要充分评估需要设置的并发量，避免出现类似并发太小而作业极少导致作业跑的慢但整个Quota又跑不满这种不合理的配置。 | 2022-06-27 | 全部地域 | MaxCompute管家 |
| 查询加速（MCQA）支持包年包月产品规格 | MaxCompute包年包月产品规格支持配制交互式资源用于查询加速优化，查询加速（MCQA）功能可以使EB级数据仓库服务内提供弹性并发的秒级查询能力，在MaxCompute原先吞吐量优化的基础上，补足对延迟优先场景的支持能力。查询加速让MaxCompute一个服务同时满足数据准备（ETL）、数据挖掘（机器学习）、数据探索（Ad-hoc）、报表分析等多使用场景需要。通过自动识别短查询作业并加速处理、快速响应查询结果的方式，增强了MaxCompute SQL的整体处理性能，满足报表分析、即席查询场景的使用要求。 | 2022-06-23 | 全部地域 | 包年包月规格下使用查询加速（邀测） |
2022-5
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| 按外部表类型对外部表计算独立计费 | MaxCompute按外部表类型进行独立计费，目前用户可以在自己的账单上清晰看到OSS外部表和Tablestore外部表分别产生的费用，方便用户查看不同数据源做数据联合计算产生的费用。 | 2022-05-17 | 全部地域 | 查看账单详情 |
2022-3
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| MaxCompute新增DISTRIBUTED MAP JOIN | 支持用户在特殊场景下使用HINT方式进行DISTRIBUTED MAP JOIN计算，提高计算性能，减少计算时间。 | 2022-03-17 | 全部地域 | DISTRIBUTED MAPJOIN |
| MaxCompute增强OSS外表能力 | MaxCompute往OSS外表写数据时，支持自动创建托管目录。在创建OSS外表时可以指定读取文件的缓存容量。 | 2022-03-17 | 全部地域 | OSS外部表 |
| MaxCompute增加半结构化数据（JSON）新解析方式 | MaxCompute支持用户JSON数据键值中带特殊字符点（.），可以用['']来读取带点作为键值的数据。 | 2022-03-17 | 全部地域 | GET_JSON_OBJECT_TUPLE和JSON_TUPLE |
| MaxCompute增强TRIM、LTRIM和RTRIM函数能力 | MaxCompute支持用TRIM、LTRIM、RTRIM函数去除字符串左端，右端或者两端的指定字符功能。 | 2022-03-17 | 全部地域 | 字符串函数 |
| MaxCompute增强物化视图自动改写能力 | 物化视图新增OUTER JOIN和UNION、UNION All的自动改写能力。 | 2022-03-17 | 全部地域 | 物化视图操作 |
| MaxCompute支持压缩TEXTFILE格式文件的Skip header和Skip footer | MaxCompute支持通过skip.header.line.count和skip.footer.line.count，对CSV格式文件的数据的首尾行进行跳过处理，即不处理CSV格式文件中的首尾行数据，包括以.gz、.bz2和.lzo的方式压缩过的CSV文件。 | 2022-03-01 | 全部地域 | 创建OSS外部表 |
| MaxCompute兼容开源Spark的计算服务全新支持3.1版本 | MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后，全新支持Spark 3.1版本。 | 2022-03-01 | 全部地域 | 搭建Linux开发环境 |
2022-2
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| MaxCompute Logview新增数据安全管理功能 | MaxCompute Logview的运行结果支持自定义配置是否显示，进一步对数据安全进行管控。 | 2022-02-25 | 全部地域 | 项目空间操作 |
| MaxCompute支持表结构变更 | MaxCompute支持表结构变更功能，包括表可以新增复杂类型字段，表删除字段以及表字段顺序变更三种功能。 | 2022-02-23 | 全部地域 | 分区和列操作 |
2022-1
| 功能名称 | 功能描述 | 发布时间 | 发布地域 | 相关文档 |
|---|---|---|---|---|
| MaxCompute外部项目元数据信息支持在DataWorks数据地图查看 | MaxCompute外部项目元数据信息支持在DataWorks数据地图查看。 | 2022-01-10 | 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、华北3（张家口）、和新加坡地域 | 通过DataWorks管理湖仓一体 |
| MaxCompute控制台对外部数据源进行管理 | MaxCompute支持通过创建外部数据源对象连接Hadoop集群，打通MaxCompute与Hadoop数据平台。 | 2022-01-06 | 华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、华北3（张家口）、和新加坡地域 | 外部数据源管理 |