文档

2024年

更新时间:

本文为您介绍了MaxCompute 2024年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2024年06月更新记录

时间

特性

类别

描述

产品文档

2024-06-28

新增通过Logview 2.0查看MaxFrame作业

新说明

Logview是MaxCompute作业运行状态信息记录与展现的一个工具,目前已经适配MaxFrame,本文为您介绍如何通过Logview 2.0查看MaxFrame作业的运行信息。

通过Logview 2.0查看MaxFrame作业

2024-06-28

常见问题

新说明

本文为您介绍MaxFrame的常见报错问题,帮助您能迅速识别并解决报错问题。

常见问题

2024-06-18

行级访问控制

新说明

为了便于控制用户或角色对MaxCompute表中特定数据的访问,MaxCompute提供了行级访问控制功能,通过在原表上定义用户与数据(被允许访问的数据)的匹配规则,控制特定用户或角色仅可见其有权限访问的数据,从而提升数据安全性和合规性。

行级访问控制

2024年05月更新记录

时间

特性

类别

描述

产品文档

2024-05-31

新增Histogram

新说明

MaxCompute优化器支持表中列的Histogram(直方图)统计信息,Histogram用于描述表中的列值在不同值域区间内的分布情况,提供更细粒度的统计值估计能力,可以为优化查询性能提供帮助。

Histogram

2024-05-22

新增云原生大数据计算服务MaxCompute系统权限策略参考

新说明

本文描述云原生大数据计算服务MaxCompute支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。

云原生大数据计算服务 MaxCompute系统权限策略参考

2024-05-22

新增MaxCompute服务关联角色

新说明

服务关联角色(ServiceLinkedRole,简称SLR)是一种可信实体为阿里云服务的RAM角色,可解决跨云服务的授权访问问题。如MaxCompute访问大数据计算平台其他云产品(如Hologres),则需要创建服务关联角色AliyunServiceRoleForMaxComputeIdentityMgmt。

MaxCompute服务关联角色

2024-05-22

新增MaxCompute自定义权限策略参考

新说明

如果系统权限策略不能满足您的要求,您可以创建自定义权限策略实现最小授权。使用自定义权限策略有助于实现权限的精细化管控,是提升资源访问安全的有效手段。

MaxCompute自定义权限策略参考

2024-05-22

新增身份管理

新说明

为确保您的阿里云账号及云资源使用安全,如非必要都应避免直接使用阿里云账号(即主账号)来访问MaxCompute。推荐的做法是使用RAM身份(即RAM用户和RAM角色)来访问MaxCompute。

身份管理

2024-05-16

新增场景实践

新说明

MaxCompute提供用户自定义函数(UDF)及Python(PyODPS和MaxFrame)开发能力,本文为您介绍如何在MaxCompute UDF、PyODPS及MaxFrame作业开发中使用镜像。

场景实践

2024-05-16

新增自定义镜像

新说明

在SQL或Python开发过程中,会存在较为复杂的业务逻辑,依赖三方包众多,引用资源复杂,因此MaxCompute推出自定义镜像管理功能,您可自由、灵活的使用Docker镜像来构建自己所需的完整开发环境,并在MaxCompute SQL、Python(PyODPS或MaxFrame)开发中使用,本文将详细介绍MaxCompute自定义镜像功能使用流程。

自定义镜像

2024-05-16

新增内置镜像

新说明

MaxCompute提供丰富的内置镜像,如数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等,方便您在后续开发中直接引用,从而简化开发流程。本文为您介绍如何查看及使用内置镜像。

内置镜像

2024-05-16

新增镜像管理概述

新说明

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,同时支持上传自定义镜像,您可在SQL UDF、PyODPS及MaxFrame开发等场景中直接引用已有镜像,无需执行繁琐的资源打包、上传等流程。

镜像管理概述

2024-05-13

新增数据实时入仓实践

新说明

为满足业务对数据仓库中高度时效性数据的需求,MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能,显著提升了数据仓库的数据更新效率。

数据实时入仓实践

2024年04月更新记录

时间

特性

类别

描述

产品文档

2024-04-28

新增MaxCompute近实时增全量一体化架构介绍

新说明

面对当前日益复杂且对数据时效性要求极高的近实时业务场景,MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。

基于Delta Table构建近实时增全量一体化链路实践

2024-04-24

新增基于MaxFrame实现大语言模型数据处理

新说明

相较于昂贵的GPU资源,MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础,而MaxFrame分布式计算能力可以帮助您更加高效、便捷地完成LLM数据处理工作。

基于MaxFrame实现大语言模型数据处理

2024-04-24

新增基于MaxFrame实现分布式Pandas处理

新说明

MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据,通过MaxFrame,您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。

基于MaxFrame实现分布式Pandas处理

2024-04-23

新增租户属性

新说明

您可以在租户属性页面进行租户级别的操作,包括查看租户ID,用于进行租户级别的资源授权。

租户属性

2024-04-19

新增MaxFrame快速入门

新说明

本文以具体数据及开发场景为例,为您介绍在DataWorks数据开发的PyODPS 3节点中,如何创建和操作MaxFrame中的DataFrame对象,以及使用DataFrame完成基本的数据处理,帮助您在十分钟内快速使用MaxFrame进行开发。

快速开始

2024-04-03

新增使用MaxCompute控制台(离线)

新说明

MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。

使用MaxCompute控制台(离线)

2024年03月更新记录

时间

特性

类别

描述

产品文档

2024-03-29

新增操作审计事件数据迁移至MaxCompute

新说明

操作审计(ActionTrail)功能允许您追踪和记录阿里云账号在最近90天内的操作事件。当您需要分析更长时间的操作事件时,可以通过操作审计创建跟踪,将操作事件数据投递至MaxCompute,并对其进行查询和分析。

操作审计事件数据迁移至MaxCompute

2024-03-26

新增Pandas API

新说明

MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作。

Pandas API支持

2024-03-26

新增MaxFrame数据输入输出

新说明

MaxFrame支持直连MaxCompute,允许对MaxCompute中的数据进行高效直接读写操作,运行时无需将数据拉取至本地计算,消除了不必要的本地数据传输,提高了执行效率。

数据输入输出

2024-03-26

新增准备工作

新说明

MaxCompute支持通过标准MaxFrame SDK(本地MaxFrame客户端)、MaxCompute Notebook及DataWorks节点三种方式使用MaxFrame,本文为您介绍使用MaxFrame前需要准备的运行环境。

准备工作

2024-03-25

新增StarRocks Connector

新说明

StarRocks Connector通过实现External Catalog机制,无需数据导入或创建外部表即可无缝访问MaxCompute数据源,并执行复杂的SQL查询,提升了数据分析效率并降低了运维难度和成本。

StarRocks Connector

2024-03-22

新增FROM_CHARSET

新说明

MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。

FROM_CHARSET

2024-03-21

新增MaxCompute TIMESTAMP_NTZ数据类型介绍

新说明

MaxCompute 2.0新增了无时区时间戳类型(TIMESTAMP_NTZ),该类型表示不包含时区信息的日期和时间点,所有数据均基于统一的时间基准(如UTC)。相较于其他带有时区的时间戳类型(TIMESTAMP),TIMESTAMP_NTZ无需进行时区转换,因此在比较和运算时更为简便。

MaxCompute TIMESTAMP_NTZ数据类型

2024-03-14

新增基于Flink创建MaxCompute Paimon外表

新说明

MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系,并访问其中的数据。

基于Flink创建MaxCompute Paimon外部表

2024-03-14

新增ECS资源复用版

新说明

ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。

ECS资源复用版

2024-03-03

新增GetTableInfo - 获取表信息

新说明

获取表信息。

GetTableInfo - 获取表信息

2024年02月更新记录

时间

特性

类别

描述

产品文档

2024-02-27

新增正则表达式

新说明

本文为您介绍MaxCompute SQL中正则表达式支持的元字符、字符组和转义字符。

正则表达式

2024-02-23

新增跨地域灾备

新说明

当您需要保证MaxCompute作业持续运行时,MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。您能够自定义选择备份目标地域,并监控备份进度。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。

跨地域灾备

2024-02-08

新增镜像管理

新说明

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传等流程。

镜像管理

2024年01月更新记录

时间

特性

类别

描述

产品文档

2024-01-05

新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

新说明

MaxCompute、DLF和OSS是阿里云提供的一体化解决方案,可以实现数据湖查询和湖数据入仓。通过配置DLF,将数据从OSS导入到MaxCompute中,并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理,并保证数据的可靠性和安全性。

MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践