2022年

本文为您介绍了MaxCompute 2022年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2022年12月更新记录

时间

特性

类别

描述

产品文档

2022-12-29

新增API

新说明

本文为开发者封装了常见编程语言的SDK,开发者可通过下载SDK直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。

API概览

2022-12-29

新增MaxCompute后付费消费突增排查。

新说明

在使用MaxCompute开发过程中会产生费用,如果平时每日消费比较平稳,某段时间的费用增长翻倍。在排除业务增长的情况下,可以进行费用分析,排查导致费用突增的项目、作业是哪些,进而及时优化和调整作业,优化成本。本文为您介绍如何结合账单详情和MaxCompute元数据服务(Information Schema)排查MaxCompute后付费消费突增。

MaxCompute后付费消费突增排查

2022-12-20

新增通过控制台(新版)管理用户权限。

新说明

MaxCompute支持用户在MaxCompute控制台(新版)通过角色为RAM账号(RAM用户、RAM角色)授予相应的MaxCompute权限。本文为您介绍各类权限的授权操作步骤与示例。

通过控制台(新版)管理用户权限

2022-12-15

新增MASK_HASH函数。

新说明

返回基于字符串表达式(expr)计算的Hash值。Hash值相同证明表达式的值相同。

MASK_HASH

2022-12-14

新增Flag参数列表。

新说明

您可在参数列表页面搜索参数,查看参数的影响范围、属性名称和属性描述。

Flag参数列表

2022-12-14

新增WINDOW关键字。

新说明

您可以使用WINDOW关键字自定义窗口,为窗口函数自定义名称。

WINDOW关键字

2022-12-13

新增时区列表。

新说明

您可以使用FROM_UTC_TIMESTAMP函数将一个UTC时区的时间戳转换成一个指定时区的时间戳。

时区列表

2022-12-11

新增错误码。

新说明

MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息,帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。

错误码概述

2022-12-09

新增压缩数据从OSS迁移至MaxCompute。

新说明

本文为您介绍如何通过MaxCompute外部表能力,将SNAPPY压缩文件数据(以半角逗号分隔)从OSS迁移至MaxCompute。

压缩数据从OSS迁移至MaxCompute

2022-12-02

新增合并小文件。

新说明

分布式文件系统按块(Block)存放数据,文件大小比块大小(64MB)小的文件称为小文件。分布式系统不可避免会产生小文件,比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。

合并小文件

2022年11月更新记录

时间

特性

类别

描述

产品文档

2022-11-16

新增弹性预留CU最佳实践。

新说明

本文通过典型场景案例介绍如何选择并配置包年包月预留和弹性预留计算资源,为您提供降本增效的参考建议。

弹性预留CU最佳实践

2022-11-15

新增Analyze命令。

新说明

ANALYZE命令用于收集表数据统计信息来获取元数据,为优化查询性能提供帮助。

ANALYZE

2022-11-15

新增新版控制台。

新说明

MaxCompute新版控制台将提供全新的项目管理、Quota(配额)管理交互,同时集成全新功能:弹性预留CU、自定义项目管理类角色访问控制。

2022-11-15

新增弹性预留CU

新说明

本文为您介绍弹性预留CU包含的基础资源和计费规则,并帮助您了解使用方法和注意事项。

弹性预留CU

2022-11-01

新增计算抵扣包和存储抵扣包。

新说明

MaxCompute提供了两种资源抵扣包:计算抵扣包和存储抵扣包,抵扣您使用MaxCompute实例时产生的计算和存储用量,增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。

计算抵扣包和存储抵扣包

2022年10月更新记录

时间

特性

类别

描述

产品文档

2022-10-31

新增权限授权说明。

新说明

MaxCompute支持通过使用阿里云的访问控制RAM(Resource Access Management)服务授权,将您云账号下MaxCompute资源的访问及管理权限授予RAM用户和RAM角色,按需为用户分配最小权限,从而降低企业的信息安全风险。本文为您介绍MaxCompute中支持的两种权限策略。

RAM权限策略管理

2022-10-28

新增MaxCompute在普通模式和Hive兼容模式下使用的区别。

新说明

介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。

普通模式和Hive兼容模式下SQL的差异

2022-10-13

新增MaxCompute Schema。

新说明

MaxCompute支持Schema,在Project之下对Table、Resource、Function进行归类。本文为您介绍Schema的概念、权限内容以及如何使用Schema。

Schema操作

2022年9月更新记录

时间

特性

类别

描述

产品文档

2022-09-28

新增内建函数(按字母顺序排序)。

新说明

MaxCompute提供的内建函数按照首字母顺序进行排序,方便您查找使用。

内建函数概述

2022-09-28

新增所有命令(按字母顺序)。

新说明

MaxCompute支持的SQL命令按照首字母顺序进行排序,方便您查找使用。

ADD ACCOUNTPROVIDER

2022-09-26

新增Spark访问湖仓一体外部数据源。

新说明

Spark on MaxCompute目前已支持访问湖仓一体外部数据源,解决从Spark更换为MaxCompute处理数据时,需要迁移Spark作业到MaxCompute的问题,降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。

Spark访问湖仓一体外部数据源

2022-09-22

新增(进阶)RAM角色授信策略。

新说明

企业用户通常通过常规登录方式(即在阿里云控制台输入账号、密码)登录阿里云,管理、使用云资源。随着企业安全监管要求的日益严格,部分企业更愿意通过角色登录(Role Base_SSO)的方式登录阿里云。本文为您介绍使用角色SSO的方式登录MaxCompute新版控制台需要配置的角色授信策略。

(进阶)RAM角色授信策略

2022-09-16

新增项目管理(新版)。

新说明

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。您开通MaxCompute服务后,需要通过项目使用MaxCompute。本文为您介绍如何通过MaxCompute新版控制台创建、管理MaxCompute项目。

项目管理(新版)

2022-09-15

新增RAM权限(新版控制台)。

新说明

MaxCompute部分资源管理类的操作只能通过管理控制台来完成,其中有些操作权限通过RAM进行鉴权,本文为您介绍MaxCompute管理相关操作对接RAM的权限点列表及权限策略。

RAM权限

2022-09-15

新增计算费用(按时计费)。

新说明

按时计费规格基于包年包月规格进行弹性扩、缩容预留CU,支持对包年包月一级Quota在每天某个时间段临时扩容部分计算资源,从而满足业务高峰期资源供给。按时计费规格以使用的CU量和使用时长作为计量指标,并在CU缩容成功后收取费用。

计算费用(按时计费)

2022-09-15

新增Quota管理(新版)。

新说明

Quota管理是为您在MaxCompute管理控制台提供计算资源消耗查看、调整、增删改查等涉及日常资源管理运维的功能模块。

Quota管理(新版)

2022年8月更新记录

时间

特性

类别

描述

产品文档

2022-08-31

新增Spark-2.x示例。

更新说明

新增Spark on MaxCompute支持访问MaxCompute OSS外部表的示例,底层文件格式支持PARQUET、TEXTFILE、ORC、AVRO和SEQUENCEFILE格式。

读OSS外部表

2022-08-27

聚合函数。

更新说明

新增三个聚合函数,分别是BITWISE_AND_AGGMIN_BYMAX_BY

聚合函数

2022-08-19

新增物化视图状态查看函数。

更新说明

物化视图状态查看函数可以判断当前物化视图或者物化视图的分区的数据是否跟原表的数据一致,如果一致返回为True,否则返回False。

物化视图操作

2022-08-04

新增计算资源使用

新说明

通过MaxCompute的Use Quota功能,实现作业级别指定Quota,提升Quota使用的灵活性。

计算资源使用

2022年7月更新记录

时间

特性

类别

描述

产品文档

2022-07-28

离线实时一体化数仓。

新说明

系统讲解阿里云离线实时一体化数仓的能力,帮助您设计构建离线实时一体化数仓。

离线实时一体化数仓

2022-07-14

字符串函数。

更新说明

新增regexp_extract_all函数。

字符串函数

2022-07-13

新增模拟IDC Spark读写MaxCompute实践。

新实践

现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据,有些线下IDC场景,客户不愿意对公网暴露集群内部信息,需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce(云上Hadoop)方式模拟本地Hadoop集群,为您介绍如何读写MaxCompute数据。

模拟IDC Spark读写MaxCompute实践

2022-07-07

Unload。

更新说明

支持使用Unload函数从MaxCompute导出数据到OSS时,自定义设置导出数据文件名的前缀和后缀。

UNLOAD

2022-07-07

支持表级别设置Split Size参数。

更新说明

在表级别设置Split Size参数控制并发度,当您发现资源比较充足且作业跑的比较慢的时候或者发现作业等待资源时间比较长且资源不足时,可以通过调整该参数,提升计算效率。

SELECT语法

2022-07-07

聚合函数。

更新说明

新增BITWISE_OR_AGGMAP_AGGMULTIMAP_AGGMAP_UNIONMAP_UNION_SUMHISTOGRAM聚合函数。

聚合函数

2022年6月更新记录

时间

特性

类别

描述

产品文档

2022-06-30

MaxCompute湖仓一体。

更新说明

支持在DataWorks公共表中查看外部数据源的元数据信息,使基于湖仓的数据开发人员方便查看外部数据源的表、字段和分区信息。

MaxCompute湖仓一体概述

2022-06-24

包年包月规格下使用查询加速。

新说明

MaxCompute产品规格使用的是包年包月,可以通过创建查询加速独享资源配额,实现包年包月产品规格下对应项目的查询加速(MCQA)支持。本文为您介绍如何使用查询加速对MaxCompute包年包月规格实例下的项目进行加速。

包年包月规格下使用查询加速(邀测)

2022-06-01

字符串函数。

更新说明

新增KEYVALUE_TUPLE函数。

字符串函数

2022年4月更新记录

时间

特性

类别

描述

产品文档

2022-04-14

新增MaxCompute如何访问Hologres最佳实践。

新实践

新增MaxCompute如何访问Hologres最佳实践。

MaxCompute如何访问Hologres

2022-04-14

新增EXCEPT、REPLACE子句。

更新说明

支持您通过SELECT语句排除表中的少数列或对少数列的数据进行修改。

SELECT语法

2022-04-14

整改OSS外部表内容。

更新说明

将OSS外部表内容结构进行整改,信息聚焦呈现。

搭建Linux开发环境

2022-04-07

新增Python UDF示例。

新示例

新增复杂数据类型示例、引用表或资源示例。

2022年3月更新记录

时间

特性

类别

描述

产品文档

2022-03-24

计算费用(按量计费)

更新说明

增加Lightning不建议使用说明。

计算费用(按量付费)

2022-03-24

行转列及列转行最佳实践

新增

新增行转列及列转行最佳实践。

基于示例为您介绍如何使用SQL实现行转列、列转行需求。

行转列及列转行最佳实践

2022-03-18

支持开源格式数据

更新说明

补充PARQUET属性:

  • parquet.file.cache.size

  • parquet.io.buffer.size

创建OSS外部表

2022-03-18

复杂类型函数

更新说明

补充GET_JSON_OBJECT、JSON_TUPLE示例。

复杂类型函数

2022-03-18

字符串函数

更新说明

更新TRIM、LTRIM、RTRIM函数。

字符串函数

2022-03-18

DISTRIBUTED MAPJOIN

新增

新增DISTRIBUTED MAPJOIN。

DISTRIBUTED MAPJOIN是MAPJOIN的升级版,适用于小表JOIN大表的场景。

DISTRIBUTED MAPJOIN

2022-03-15

SHOW命令

新增

新增SHOW命令章节。

涵盖MaxCompute所有SHOW命令。

SHOW

2022-03-09

常见问题补充

更新说明

  • 新增沙箱问题和第三方包问题。

  • 新增常见问题:可以在Java业务代码中执行SQL任务吗?

  • 列举了MaxCompute的用户经常咨询和关注的一些问题。

2022-03-01

权限管理

更新说明

权限内容整改。

权限概述

2022-03-01

MaxCompute兼容开源Spark 3.1版本

更新说明

MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后,全新支持Spark 3.1版本。

搭建Linux开发环境

2022年2月更新记录

时间

特性

类别

描述

产品文档

2022-02-28

使用SQL管理外部项目。

更新说明

重构使用SQL方式管理外部项目内容。

使用SQL管理外部项目

2022-02-23

新增列,删除列,列顺序变更。

新增

增加新增列、删除列的命令格式以及示例。调整列的顺序。

分区和列操作

2022-02-15

新增Tunnel错误码信息。

新增

新增Tunnel错误码信息。

Tunnel常见错误码

2022-02-14

新增内建函数常见错误码。

新增

新增内建函数常见错误码。

内建函数常见错误码

2022-02-11

更新Graph操作案例。

更新说明

优化以单源最短距离算法为例的Graph作业编写。

编写Graph

2022年1月更新记录

时间

特性

类别

描述

产品文档

2022-01-30

常见问题整改。

更新说明

将常见问题拆解到各个模块,便于用户在遇到问题时快速查找解决措施。

常见问题

2022-01-30

增加外部项目概念。

更新说明

MaxCompute支持通过外部项目实现湖仓一体能力。

项目

2022-01-24

新增权限管理最佳实践。

新实践

新增基于Policy对具备内置角色的用户进行权限管理最佳实践。

基于Policy对具备内置角色的用户进行权限管理

2022-01-21

补充内建函数典型使用案例。

新说明

针对用户反馈较多的问题,补充实现GROUP_CONCAT函数能力案例和ROUND函数精度问题案例。

2022-01-18

新增最佳实践。

新实践

新增Spark on MaxCompute如何访问HBase最佳实践。

Spark on MaxCompute如何访问HBase

2022-01-17

新增最佳实践。

新实践

新增MaxCompute在电商场景中如何进行漏斗模型分析最佳实践。

MaxCompute在电商场景中如何进行漏斗模型分析

2022-01-07

整改产品计费、规格类型文档内容。

更新说明

优化产品计费、规格类型文档内容。

2022-01-07

新增产品最佳实践视频。

新视频

新增产品最佳实践视频。

2022-01-05

复杂类型函数变更。

更新说明

MAP_CONCAT、MAP_FROM_ARRAYS、MAP_FROM_ENTRIES、MAP、STR_TO_MAP函数增加mapDupKeyPolicy参数并支持通过odps.sql.map.key.dedup.policy设置。

复杂类型函数

2022-01-05

新增最佳实践。

新实践

新增Spark On MaxCompute访问Phoenix数据最佳实践。

Spark On MaxCompute访问Phoenix数据