文档最新动态

本文为您介绍了MaxCompute内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2024

12

时间

特性

类别

描述

产品文档

2024-12-24

新增作业洞察

新说明

MaxCompute提供作业洞察能力,支持查看作业概览信息、智能诊断详情、资源消耗情况及特定时刻计算Quota的资源分配情况。同时,还能够对相似作业(以相同的SignatureExtNodeId为识别依据)在过去一段时间内的历次运行指标进行对比分析。您可通过作业洞察优化任务执行情况,以提高执行效率。

作业洞察

2024-12-23

新增OpenAPI

新说明

新增MMS(数据迁移)相关API。

2024-12-23

新增FAILIF

新说明

FAILIF函数支持根据表达式判断结果返回true或自定义错误信息的报错提示。本文为您介绍FAILIF函数使用命令。

FAILIF

2024-12-10

新增CLI集成示例

新说明

本文以调用云原生大数据计算服务 MaxComputeListProjects接口获取MaxCompute项目列表为例,为您介绍使用阿里云CLI调用MaxCompute OpenAPI的操作步骤。

CLI集成示例

2024-12-09

新增INTERVAL数据类型

新说明

MaxCompute提供了DATE、DATETIME、TIMESTAMPTIMESTAMP_NTZ四种日期时间相关数据类型。另外也提供代表时间段的INTERVAL数据类型,用来表示两个日期或时间之间的时间间隔。本文为您介绍INTERVAL类型的使用方法。

INTERVAL数据类型

2024-12-06

新增列操作

新说明

MaxCompute支持对已有表的列执行变更操作,如添加列、删除列、更改列数据类型等,您可以根据实际业务场景执行相应操作。

列操作

2024-12-06

新增物化视图定时更新

新说明

本文为您介绍物化视图定时更新功能和相关操作。

物化视图定时更新

2024-12-06

新增物化视图查询改写

新说明

MaxCompute支持将包含过滤条件或部分算子类型的原始SQL查询语句改写为物化视图进行查询,以便于您获取所需数据。本文将详细介绍相关SQL改写的具体操作。

物化视图查询改写

2024-12-06

新增物化视图操作

新说明

物化视图(Materialized View)是一种预先计算的方式,通过保存某些耗时操作(例如JOIN、AGGREGATE)的结果,以便在查询时直接复用,从而避免重复执行这些耗时操作,最终实现加速查询的目的。

物化视图操作

11

时间

特性

类别

描述

产品文档

2024-11-29

新增OpenAPI

新说明

新增Quota、项目等相关API。

2024-11-27

新增数据传输服务-分时配置

新说明

您可以在MaxComputeQuota管理列表查看数据传输服务Quota,并通过分时配置功能设置数据传输服务Quota的并发数。

数据传输服务-分时配置

2024-11-26

新增产品版本发布记录

新说明

本文为您介绍MaxCompute产品功能的发布信息。

产品版本发布记录

2024-11-19

新增基于OBJECT TABLE处理非结构化数据

新说明

本文为您介绍如何使用Object Table对数据湖存储中的非结构化数据及其元信息进行访问。

基于OBJECT TABLE处理非结构化数据

2024-11-19

新增OBJECT TABLE

新说明

MaxCompute推出了Object Table功能,该功能支持数仓计算引擎访问数据湖存储中的非结构化数据及其元信息。本文为您介绍Object Table相关的命令语法和示例。

OBJECT TABLE

2024-11-18

新增Bloomfilter index(Beta版本)

新说明

布隆过滤器(Bloomfilter,简称BF)是一种高效的概率型数据结构,MaxCompute支持使用Bloomfilter index处理大规模数据点查场景,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。本文为您介绍Bloomfilter index的使用说明及示例。

Bloomfilter index(Beta)

2024-11-15

新增SUBQUERY_MAPJOIN HINT

新说明

MaxCompute支持子查询操作,部分子查询在执行过程中会被转换成JOIN进行计算。您可以在子查询SUBQUERY语句中使用SUBQUERY_MAPJOIN HINT,以显式指定使用MAPJOIN算法,从而提升子查询的执行效率。本文为您介绍如何使用SUBQUERY_MAPJOIN HINT。

SUBQUERY_MAPJOIN HINT

2024-11-15

新增SQL注释

新说明

为了增强代码的可读性,您可以在MaxCompute SQL代码中增加注释。本文为您介绍MaxCompute SQL单行注释与多行注释的使用说明。

SQL注释

2024-11-15

新增查看表和视图

新说明

本文为您详细介绍查看表相关命令。

查看表和视图

2024-11-15

新增修改表

新说明

本文为您介绍修改表的相关操作命令。

修改和查看表

2024-11-15

新增创建和删除表

新说明

本文为您介绍创建和删除表的相关操作命令。

创建和删除表

2024-11-15

新增Bitmap Index

新说明

Bitmap Index作为一种全新的索引类型,支持在基数较大(存在大量相同值)的列上建立索引,能够提供高效的点值查询和范围查询的能力。本文为您介绍在MaxCompute中如何使用Bitmap Index索引类型。

Bitmap Index(Beta)

2024-11-14

新增JSON_EXPLODE

新说明

MaxCompute JSON_EXPLODE函数支持将JSON数组或JSON对象中的每个元素拆解(展开)成多行记录,本文为您介绍JSON_EXPLODE函数的使用详情以及示例。

JSON_EXPLODE

2024-11-13

新增作业智能诊断

新说明

本文为您介绍MaxCompute SQL作业的智能诊断功能,旨在尽可能提供诊断结果和建议,以协助您解决作业报错问题或提升查询性能,包括如何查看诊断结果和建议,以及解读分析结果。鉴于查询性能受多种因素影响,智能诊断仅提供整体查询性能的部分异常及建议。

作业智能诊断

10

时间

特性

类别

描述

产品文档

2024-10-21

新增Go SDK参考

新说明

Go SDKMaxCompute提供的一套Go编程语言接口,您可以通过该接口使用Go代码来操作和管理MaxCompute服务,例如访问和管理项目、操作数据表和数据传输等。

2024-10-18

新增在DataWorks镜像中安装MaxFrame

新说明

本文将介绍如何在DataWorks的镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,旨在帮助您更迅速地构建开发环境,避免在开发过程中与其他环境版本产生冲突。

DataWorks镜像中安装MaxFrame

2024-10-16

新增外部项目1.0迁移为湖仓一体2.0方案

新说明

由于湖仓一体1.0的外部项目(简称:外部项目1.0)功能及用法不再发展,且会收敛下线,如果继续使用MaxCompute访问联邦数据源,联邦方案需要升级至湖仓一体2.0。本文介绍了使用湖仓一体2.0开启项目级别元数据支持的Schema开关和SQL语法支持的Schema开关后,存量作业的兼容情况,以及将湖仓一体1.0外部项目的存量作业迁移至湖仓一体2.0外部Schema的不同场景的修改方法,以便于您进行评估和迁移。

外部项目1.0迁移为湖仓一体2.0方案

2024-10-14

新增ODPS-1850001

新说明

本文为您介绍错误码ODPS-1850001: Unsupported feature in session mode的报错场景,并提供对应的解决方案。

ODPS-1850001

09

时间

特性

类别

描述

产品文档

2024-09-29

新增存储成本优化

新说明

MaxCompute支持通过设置表或分区的分层存储类型,降低数据存储费用。MaxCompute提供存储成本优化功能,可基于表的最近访问时间,根据默认策略评估当前地域是否有存储降本空间,辅助您进行分层存储策略配置。

分层存储配置优化

2024-09-18

新增GitHub近实时数据同步以及增全量数据一体化分析

新说明

本文介绍如何通过MaxCompute实现GitHub近实时数据同步以及增全量数据一体化分析。

GitHub近实时数据同步以及增全量数据一体化分析

2024-09-05

新增存储容灾费用(按量付费)

新说明

MaxCompute的存储费用包括存储计费和备份存储计费两部分,通过同城容灾功能实现存储容灾后,项目的存储费用将依据存储容灾计费规则来计算,而备份存储的计费方式则维持原状。本文为您介绍存储容灾计费规则详情。

存储容灾费用(按量付费)

2024-09-03

新增跨地域灾备费用(按量计费)

新说明

在使用MaxCompute跨地域灾备功能后,由于涉及跨地域数据复制和跨地域数据存储,将产生相应费用。本文为您介绍相关的计费规则。

跨地域灾备费用(按量计费)

2024-09-03

新增Metabase连接MaxCompute

新说明

MaxCompute提供Metabase Driver(驱动)插件,支持您使用开源的商业智能工具Metabase连接MaxCompute项目,从而理解数据、分析数据,进行数据查询并获取格式化结果(图形化视图),以数据驱动决策。

Metabase连接MaxCompute

08

时间

特性

类别

描述

产品文档

2024-08-23

新增项目级别租户资源访问控制

新说明

租户资源(包括外部数据源、网络连接、自定义镜像及配额组)的权限均由租户管理员通过RAM Policy控制。用户在项目中使用归属项目的对象(包括Schema、Table、Role、Instance、Resource、Function、View等),权限由项目管理员通过MaxCompute内的授权方案控制。租户资源对象可以跨项目使用,如果租户资源的管理者不希望某个项目使用其创建的租户资源,则可以通过开启项目级别租户资源访问控制来制定租户资源和项目的授权关系。

项目级别租户资源访问控制

2024-08-16

新增开放存储SDK示例-Python SDK

新说明

MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAIHologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Python SDK访问MaxCompute的代码示例。

开放存储SDK示例-Python SDK

2024-08-16

新增开放存储SDK示例-Java SDK

新说明

MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAIHologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Java SDK访问MaxCompute的代码示例。

开放存储SDK示例-Java SDK

2024-08-15

新增开放存储概述

新说明

为了更好地融入大数据生态,并支持外部引擎访问MaxCompute中的数据,MaxCompute提供了开放存储(Storage API)。第三方主流计算引擎可通过调用Storage API直接访问MaxCompute的底层存储,从而显著提升数据访问和交互效率(本功能处于公测阶段)。

开放存储概述

2024-08-14

新增利用Flink CDC实现数据同步至Delta Table

新说明

MaxCompute为您提供对接Flink CDC的新版插件Connector连接器。您可以通过对接Flink CDC,将数据源(例如MySQL)数据实时同步至MaxCompute的目标表(普通表或Delta表)。本文为您介绍MaxCompute新版插件的能力支持情况与主要操作流程。

利用Flink CDC实现数据同步至Delta Table

2024-08-08

新增使用UNLOAD命令

新说明

MaxCompute支持您将MaxCompute项目中的数据导出至外部存储(OSS、Hologres),以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。

使用UNLOAD命令

07

时间

特性

类别

描述

产品文档

2024-07-25

新增作业级资源分析最佳实践

新说明

本文以典型场景案例为您介绍如何通过MaxCompute控制台的作业分析功能进行作业级别资源分析,了解作业资源消耗详情,同时为您提供优化作业运行时长的建议。

作业级资源分析最佳实践

2024-07-24

新增部分列更新

新说明

当前Delta Table支持对部分列进行更新。即对表执行插入或更新操作时,只需要在SQL中指定您想修改的目标列及其新数据,而无需包含表中的所有列。插入数据时,未被赋值的列会自动被填充为NULL;更新数据时,未被赋值的列保持不变。在多数场景下可大幅提升执行效率,节省存储成本。本文用具体示例为您展示如何在Delta Table中插入或更新部分列的数据。

部分列更新

2024-07-19

新增湖仓一体2.0使用指南

新说明

MaxCompute提供湖仓一体2.0方案,允许用户建立定义外部数据源元数据和数据访问方式的管理对象,并通过外部Schema映射机制实现直接访问外部数据源DatabaseSchema范围内的全部表的功能。该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台(本功能处于公测阶段)。

湖仓一体2.0使用指南

2024-07-15

新增QueryQuota - 获取指定一级Quota组信息

新说明

获取指定一级Quota组信息。

QueryQuota - 获取指定一级Quota组信息

2024-07-01

新增MaxFrame特有API

新说明

本文为您介绍MaxFrame提供的几类特有API,包括Session、Input/Output、ExecuteFetch,用于在MaxFrame任务中进行数据处理。

MaxFrame特有API

2024-07-01

新增MaxFrame API概览

新说明

MaxFrame API包含两大类,一类是为了方便用户进行数据处理,用于兼容各类标准库(如Pandas)的API,另一类是为了任务的分布式执行而引入的MaxFrame特有API。使用MaxFrameAPI开发作业,您可以享受到与标准数据库类似的数据操作体验,并将大规模数据处理任务高效地运行在MaxFrame平台上。

MaxFrame API

2024-07-01

新增引用第三方包及镜像

新说明

在基于MaxFrame进行Python开发过程中,通常需要引用第三方包或镜像,为方便您的快速使用,MaxFrame支持通过接口方式直接使用已上传的第三方包及镜像。

引用第三方包及镜像

2024-07-01

新增在DataWorks中使用MaxFrame

新说明

DataWorksMaxCompute项目提供任务调度能力,且已在PyODPS 3节点内置了MaxFrame,您可直接使用DataWorksPyODPS 3节点开发和运行MaxFrame作业。

DataWorks中使用MaxFrame

2024-07-01

新增在本地环境中使用MaxFrame

新说明

MaxCompute支持您通过标准MaxFrame SDK(本地MaxFrame客户端)的方式使用MaxFrame,本文为您介绍在本地环境中使用MaxFrame的流程。

在本地环境中使用MaxFrame

2024-07-01

新增自动化打包服务(邀测)

新说明

MaxFrame推出了自动化打包服务,简化了Python开发中第三方包的管理。该服务支持在作业开发时声明所需的外部依赖包,在作业运行时,这些包会自动被打包并集成到作业环境中,无需手动上传,从而减少繁琐的打包管理工作。

自动化打包服务

06

时间

特性

类别

描述

产品文档

2024-06-28

新增通过Logview 2.0查看MaxFrame作业

新说明

LogviewMaxCompute作业运行状态信息记录与展现的一个工具,目前已经适配MaxFrame,本文为您介绍如何通过Logview 2.0查看MaxFrame作业的运行信息。

通过Logview 2.0查看MaxFrame作业

2024-06-28

新增常见问题

新说明

本文为您介绍MaxFrame的常见报错问题,帮助您能迅速识别并解决报错问题。

常见问题

2024-06-18

新增行级访问控制

新说明

为了便于控制用户或角色对MaxCompute表中特定数据的访问,MaxCompute提供了行级访问控制功能,通过在原表上定义用户与数据(被允许访问的数据)的匹配规则,控制特定用户或角色仅可见其有权限访问的数据,从而提升数据安全性和合规性。

行级访问控制

05

时间

特性

类别

描述

产品文档

2024-05-31

新增Histogram

新说明

MaxCompute优化器支持表中列的Histogram(直方图)统计信息,Histogram用于描述表中的列值在不同值域区间内的分布情况,提供更细粒度的统计值估计能力,可以为优化查询性能提供帮助。

Histogram

2024-05-22

新增云原生大数据计算服务MaxCompute系统权限策略参考

新说明

本文描述云原生大数据计算服务MaxCompute支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。

云原生大数据计算服务 MaxCompute系统权限策略参考

2024-05-22

新增MaxCompute服务关联角色

新说明

服务关联角色(ServiceLinkedRole,简称SLR)是一种可信实体为阿里云服务的RAM角色,可解决跨云服务的授权访问问题。如MaxCompute访问大数据计算平台其他云产品(如Hologres),则需要创建服务关联角色AliyunServiceRoleForMaxComputeIdentityMgmt。

MaxCompute服务关联角色

2024-05-22

新增MaxCompute自定义权限策略参考

新说明

如果系统权限策略不能满足您的要求,您可以创建自定义权限策略实现最小授权。使用自定义权限策略有助于实现权限的精细化管控,是提升资源访问安全的有效手段。

MaxCompute自定义权限策略参考

2024-05-22

新增身份管理

新说明

为确保您的阿里云账号及云资源使用安全,如非必要都应避免直接使用阿里云账号(即主账号)来访问MaxCompute。推荐的做法是使用RAM身份(即RAM用户和RAM角色)来访问MaxCompute。

身份管理

2024-05-16

新增场景实践

新说明

MaxCompute提供用户自定义函数(UDF)及Python(PyODPSMaxFrame)开发能力,本文为您介绍如何在MaxCompute UDF、PyODPSMaxFrame作业开发中使用镜像。

场景实践

2024-05-16

新增自定义镜像

新说明

SQLPython开发过程中,会存在较为复杂的业务逻辑,依赖三方包众多,引用资源复杂,因此MaxCompute推出自定义镜像管理功能,您可自由、灵活的使用Docker镜像来构建自己所需的完整开发环境,并在MaxCompute SQL、Python(PyODPSMaxFrame)开发中使用,本文将详细介绍MaxCompute自定义镜像功能使用流程。

自定义镜像

2024-05-16

新增内置镜像

新说明

MaxCompute提供丰富的内置镜像,如数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等,方便您在后续开发中直接引用,从而简化开发流程。本文为您介绍如何查看及使用内置镜像。

内置镜像

2024-05-16

新增镜像管理概述

新说明

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,同时支持上传自定义镜像,您可在SQL UDF、PyODPSMaxFrame开发等场景中直接引用已有镜像,无需执行繁琐的资源打包、上传等流程。

镜像管理

2024-05-13

新增数据实时入仓实践

新说明

为满足业务对数据仓库中高度时效性数据的需求,MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能,显著提升了数据仓库的数据更新效率。

数据实时入仓实践

04

时间

特性

类别

描述

产品文档

2024-04-28

新增MaxCompute近实时增全量一体化架构介绍

新说明

面对当前日益复杂且对数据时效性要求极高的近实时业务场景,MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。

基于Delta Table构建近实时增全量一体化链路架构

2024-04-24

新增基于MaxFrame实现大语言模型数据处理

新说明

相较于昂贵的GPU资源,MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础,而MaxFrame分布式计算能力可以帮助您更加高效、便捷地完成LLM数据处理工作。

基于MaxFrame实现大语言模型数据处理

2024-04-24

新增基于MaxFrame实现分布式Pandas处理

新说明

MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据,通过MaxFrame,您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。

基于MaxFrame实现分布式Pandas处理

2024-04-23

新增租户属性

新说明

您可以在租户属性页面进行租户级别的操作,包括查看租户ID,用于进行租户级别的资源授权。

租户属性

2024-04-19

新增MaxFrame快速入门

新说明

本文以具体数据及开发场景为例,为您介绍在DataWorks数据开发的PyODPS 3节点中,如何创建和操作MaxFrame中的DataFrame对象,以及使用DataFrame完成基本的数据处理,帮助您在十分钟内快速使用MaxFrame进行开发。

快速开始

2024-04-03

新增使用MaxCompute控制台(离线)

新说明

MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。

使用MaxCompute控制台(离线)

03

时间

特性

类别

描述

产品文档

2024-03-29

新增操作审计事件数据迁移至MaxCompute

新说明

操作审计(ActionTrail)功能允许您追踪和记录阿里云账号在最近90天内的操作事件。当您需要分析更长时间的操作事件时,可以通过操作审计创建跟踪,将操作事件数据投递至MaxCompute,并对其进行查询和分析。

操作审计事件数据迁移至MaxCompute

2024-03-26

新增Pandas API

新说明

MaxFrame提供了兼容PandasAPI接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作。

Pandas API支持

2024-03-26

新增MaxFrame数据输入输出

新说明

MaxFrame支持直连MaxCompute,允许对MaxCompute中的数据进行高效直接读写操作,运行时无需将数据拉取至本地计算,消除了不必要的本地数据传输,提高了执行效率。

数据输入输出

2024-03-26

新增准备工作

新说明

MaxCompute支持通过标准MaxFrame SDK(本地MaxFrame客户端)、MaxCompute NotebookDataWorks节点三种方式使用MaxFrame,本文为您介绍使用MaxFrame前需要准备的运行环境。

准备工作

2024-03-25

新增StarRocks Connector

新说明

StarRocks Connector通过实现External Catalog机制,无需数据导入或创建外部表即可无缝访问MaxCompute数据源,并执行复杂的SQL查询,提升了数据分析效率并降低了运维难度和成本。

StarRocks Connector

2024-03-22

新增FROM_CHARSET

新说明

MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。

FROM_CHARSET

2024-03-21

新增MaxCompute TIMESTAMP_NTZ数据类型介绍

新说明

MaxCompute 2.0新增了无时区时间戳类型(TIMESTAMP_NTZ),该类型表示不包含时区信息的日期和时间点,所有数据均基于统一的时间基准(如UTC)。相较于其他带有时区的时间戳类型(TIMESTAMP),TIMESTAMP_NTZ无需进行时区转换,因此在比较和运算时更为简便。

MaxCompute TIMESTAMP_NTZ数据类型

2024-03-14

新增基于Flink创建MaxCompute Paimon外表

新说明

MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系,并访问其中的数据。

基于Flink创建MaxCompute Paimon外部表

2024-03-14

新增ECS资源复用版

新说明

ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。

ECS资源复用版

2024-03-03

新增GetTableInfo - 获取表信息

新说明

获取表信息。

GetTableInfo - 获取表信息

02

时间

特性

类别

描述

产品文档

2024-02-27

新增正则表达式

新说明

本文为您介绍MaxCompute SQL中正则表达式支持的元字符、字符组和转义字符。

正则表达式

2024-02-23

新增跨地域灾备

新说明

当您需要保证MaxCompute作业持续运行时,MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。您能够自定义选择备份目标地域,并监控备份进度。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。

跨地域灾备

2024-02-08

新增镜像管理

新说明

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传等流程。

镜像管理

01

时间

特性

类别

描述

产品文档

2024-01-05

新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

新说明

MaxCompute、DLFOSS是阿里云提供的一体化解决方案,可以实现数据湖查询和湖数据入仓。通过配置DLF,将数据从OSS导入到MaxCompute中,并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理,并保证数据的可靠性和安全性。

MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

2023

12

时间

特性

类别

描述

产品文档

2023-12-11

新增ListJobInfos - 查看作业列表

新说明

查看作业列表。

ListJobInfos - 查看作业列表

2023-12-04

新增SKEWJOIN HINT

新说明

当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。

SKEWJOIN HINT

11

时间

特性

类别

描述

产品文档

2023-11-24

新增迁移服务(MMA)

新说明

MaxCompute提供的数据迁移服务支持通过MMA(MaxCompute Migration Assist)服务,将Hive数据安全且高效地迁移到MaxCompute。

迁移服务(MMA)

2023-11-10

新增分层存储

新说明

MaxCompute分层存储支持标准存储、低频存储和长期存储,默认情况下为标准存储。您可以根据数据的访问频率,将某些表或分区的存储类型设置为低频存储或长期存储,以降低数据存储费用。

存储资源-分层存储

10

时间

特性

类别

描述

产品文档

2023-10-30

新增Spark Connector

新说明

本文为您介绍如何使用第三方计算引擎Spark通过Spark Connector调用Storage API来访问MaxCompute。

Spark Connector

2023-10-27

新增数据科学计算概述

新说明

MaxFrame是由阿里云自研的分布式科学计算框架是对历史相关产品功能(PyODPS、Mars)的重大升级,在MaxCompute之上提供一套完全兼容Pandas接口的API,让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍MaxCompute提供的Python开发生态的背景信息及发展路径。

Data+AI和数据科学

2023-10-27

新增MaxFrame概述

新说明

MaxFrame是由阿里云自研的分布式计算框架,提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。

MaxFrame

2023-10-27

新增打印UDF日志

新说明

在开发UDF的过程中打印日志有助于用户进行UDF代码调试,本文为您介绍在MaxCompute中如何打印及查看UDF日志。

打印UDF日志

2023-10-20

新增ENHANCED_SYM_ENCRYPT

新说明

本文为您介绍如何使用ENHANCED_SYM_ENCRYPT函数指定密钥集进行数据加密。

ENHANCED_SYM_ENCRYPT

2023-10-20

新增ENHANCED_SYM_DECRYPT

新说明

本文为您介绍如何使用ENHANCED_SYM_DECRYPT函数指定密钥集进行数据解密。

ENHANCED_SYM_DECRYPT

2023-10-20

新增密钥集(KEYSET)使用说明

新说明

MaxCompute的密钥管理对象Keyset,每个Keyset可以存放1个到多个密钥,您可以在Keyset中增加密钥来实现密钥的轮转,并且可以查看原始密钥。本文介绍KeySet的使用。

密钥集(KEYSET)使用说明

2023-10-20

新增USE_WRAPPED_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数USE_WRAPPED_KEYSET:将封装密钥集转换为基础密钥集,作为加解密函数的参数用于加解密数据。

USE_WRAPPED_KEYSET

2023-10-20

新增ROTATE_WRAPPED_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数ROTATE_WRAPPED_KEYSET:解密已有的加密密钥集(KEYSET),并进行密钥轮转,然后通过新密钥加密。

ROTATE_WRAPPED_KEYSET

2023-10-20

新增REWRAP_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数REWRAP_KEYSET:通过指定的KMS密钥重新加密封装密钥集(KEYSET)。

REWRAP_KEYSET

2023-10-20

新增ROTATE_KEYSET

新说明

系统自动生产一个新密钥并将新密钥设置为主密钥。

ROTATE_KEYSET

2023-10-20

新增KEYSET_FROM_JSON

新说明

JSON类型的keyset转化为BINARY类型。

KEYSET_FROM_JSON

2023-10-20

新增NEW_WRAPPED_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍如何使用封装密钥集函数NEW_WRAPPED_KEYSET创建封装密钥集。

NEW_WRAPPED_KEYSET

2023-10-20

新增KEYSET_TO_JSON

新说明

BINARY类型的密钥Keyset转化为可读的JSON格式,以便查看密钥Keyset详情。

KEYSET_TO_JSON

2023-10-20

新增ADD_KEY_TO_KEYSET

新说明

Keyset中新增密钥,并将新增的密钥设置为主密钥。

ADD_KEY_TO_KEYSET

2023-10-20

新增NEW_KEYSET

新说明

根据指定的算法类型,创建对应的密钥Keyset。

NEW_KEYSET

2023-10-19

新增数据传输费用(按时计费)

新说明

本文为您介绍MaxCompute的数据传输服务基于独享资源组做按时计费的规则。

数据传输费用(按时计费)

2023-10-13

新增GetQuotaSchedule - 获取Quota时间计划信息

新说明

获取Quota时间计划信息。

GetQuotaSchedule - 获取Quota时间计划信息

2023-10-13

新增JSON_INSERT

新说明

JSON文件指定位置中新增JSON值。

JSON_INSERT

2023-10-13

新增JSON_SET

新说明

替换JSON文件指定位置的值或新增对应的值。

JSON_SET

2023-10-09

新增Sugar BI连接MaxCompute

新说明

Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台,MaxCompute支持您将MaxCompute项目数据接入Sugar BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目,并进行可视化数据分析。

Sugar BI连接MaxCompute

09

时间

特性

类别

描述

产品文档

2023-09-27

新增TPC-DS性能测试

新说明

MaxCompute适用于TB、PBEB等各个数量级的数据查询场景,并在业界具有较大的性能优势,本文基于MaxCompute提供的公开数据集及测试工具,以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。

TPC-DS性能测试

2023-09-25

新增MapReduce支持SQL运行时执行模式

新说明

MaxCompute新增支持将MapReduce作业指定为SQL运行时(Runtime)执行模式,基于SQL运行时,MapReduce作业可以应用SQL引擎的各种新特性,实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。

MapReduce支持SQL运行时执行模式

2023-09-21

新增使用do-while节点实现复杂的数据分析

新说明

本文以统计电商行业中的订单数据为示例,为您介绍如何使用do-while节点。

使用do-while节点实现复杂的数据分析

2023-09-20

新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移

新说明

本文为您介绍如何通过跨项目数据访问实现不同RegionMaxCompute项目数据迁移,包括两种使用场景:同云账号内不同Region的项目数据迁移;不同云账号间不同Region的项目数据迁移。

通过跨项目数据访问实现不同地域MaxCompute项目数据迁移

2023-09-20

新增使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移

新说明

本文为您介绍如何通过CLONE TABLE功能实现同RegionMaxCompute项目数据迁移,包含两种使用场景:同Region同云账号内不同项目的数据迁移和同Region不同云账号间的项目数据迁移。

使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移

2023-09-15

新增功能特性

新说明

本文为您介绍MaxCompute的功能特性。

功能特性

2023-09-15

新增Paimon外部表

新说明

MaxCompute支持在项目中创建Paimon外部表,将其与存储在OSS上的Paimon表目录建立映射关系。通过Paimon外部表,您可以访问存储在OSS上的Paimon表中的数据。本文介绍如何创建Paimon外部表。

Paimon外部表

2023-09-14

新增授权实践

新说明

为确保MaxCompute项目数据的安全性,项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控,确保权限不会过大也不会过小。本文为您介绍MaxCompute的权限管理案例。

授权实践

2023-09-14

新增(邀测)MaxCompute Notebook使用说明

新说明

MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块,为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索,挖掘数据的价值,完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。

MaxCompute Notebook使用说明

2023-09-12

新增在本地环境上使用PyODPS

新说明

PyODPS是阿里云开发的Python SDK,用于在本地环境上使用MaxCompute服务。本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。

在本地环境上使用PyODPS

2023-09-01

新增Lambda函数

新说明

Lambda是一种匿名函数,不需要命名,可以作为参数传递给其他函数或方法。本文介绍Lambda函数的使用限制、语法和使用示例。

Lambda函数

08

时间

特性

类别

描述

产品文档

2023-08-25

新增使用成本优化功能实现降本增效

新说明

MaxCompute为您提供成本优化(计算资源配置优化)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助您进一步优化计算成本。本文通过典型场景案例介绍如何通过成本优化(计算资源优化推荐)功能,为您提供降本增效的参考建议。

使用成本优化功能实现降本增效

2023-08-24

新增GetRunningJobs - 获取运行态的作业列表

新说明

指定时间范围内,所有仍处于“运行中”的作业的运行态数据展示。

GetRunningJobs - 获取运行态的作业列表

2023-08-24

新增GetJobResourceUsage - 获得作业执行者级别的资源使用列表

新说明

指定时间范围内,针对已结束的全部作业进行统计,以“天”为级别展示作业执行者级别的资源使用总量。

GetJobResourceUsage - 获得作业执行者级别的资源使用列表

2023-08-24

新增KillJobs - 终止作业

新说明

终止正在运行的作业。

KillJobs - 终止作业

2023-08-18

新增成本分析

新说明

MaxCompute计费模式有包年包月和按量计费,其中按量计费基本为日账单,MaxCompute新增成本分析功能,从费用出发下钻到用量明细,为关注费用的管理人员提供更便捷的费用分析能力。本文为您介绍如何使用MaxCompute成本分析功能。

成本分析

2023-08-09

新增公开数据集概述

新说明

如果您已开通MaxCompute服务,可以通过MaxComputeSQL分析连接查询公开数据集中的表,以便您快速试用MaxCompute。本文为您介绍公开数据集信息,并指导您如何通过MaxComputeSQL分析连接查询并分析数据。

公开数据集概述

2023-08-01

新增作业运行常见问题

新说明

本文为您介绍MaxCompute作业运行过程中的常见问题。

作业运行常见问题

2023-08-01

新增Github公开事件数据

新说明

本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。

Github公开事件数据

07

时间

特性

类别

描述

产品文档

2023-07-31

新增简单用户画像分析(MaxCompute版)

新说明

本文以网站用户画像分析为背景,通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化展现的场景。

2023-07-31

新增MaxCompute服务不可用赔付案例说明

新说明

MaxCompute计划于北京时间20230901日变更服务等级协议(SLA),为了使您更加清楚新版SLA协议中各项服务可用性及赔偿标准的计算方式,本文为您介绍不同场景下发生服务不可用时的案例说明。

MaxCompute服务不可用赔付案例说明

2023-07-25

新增MaxCompute停止服务规格转换操作指引

新说明

阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务您需要将这些版本的计算资源转换为标准计算资源。本文为您介绍如何转换为标准计算资源。

MaxCompute停止服务规格转换操作指引

2023-07-19

新增使用命令行(odpscmd)连接

新说明

MaxCompute基于阿里云云命令行,为您提供云上客户端环境,您无需手动安装即可通过云命令行工具使用客户端(odpscmd)。本文为您介绍MaxCompute的云命令行(odpscmd)的使用注意事项和简单示例。

使用云命令行(odpscmd)连接

2023-07-17

新增按量付费闲时版

新说明

MaxCompute提供单价更低的按量付费计算资源规格类型(按量付费闲时版),为您降低在延迟不敏感场景下使用MaxCompute的成本。本文为您介绍MaxCompute按量付费闲时版的应用场景、资源说明和计费说明,并帮助您了解注意事项和使用方法。

按量付费闲时版

2023-07-17

新增PyODPS DataFrame的代码运行环境

新说明

使用PyODPS DataFrame编写数据应用时,同一个脚本文件中的代码会在不同位置执行,可能导致一些无法预期的问题,本文为您介绍当出现相关问题时,如何确定代码的执行环境,以及提供部分场景下的解决方案。

PyODPS DataFrame的代码运行环境

2023-07-04

新增UDF开发示例汇总

新说明

本文为您汇总典型场景下的UDF示例。

UDF开发示例汇总

2023-07-03

新增Split Size Hint

新说明

MaxCompute支持通过调整Split Size控制并发度,调整计算性能。Split Size功能可以作用到表级别。指定的值单位为MB,默认值为256MB。

Split Size Hint

06

时间

特性

类别

描述

产品文档

2023-06-30

新增JSON函数

新说明

介绍JSON类型相关的JSON函数。

2023-06-29

新增MaxCompute JSON类型使用指南(试用Beta版本)

新说明

MaxCompute当前支持了JSON数据类型,提高了表中带有JSON类型数据的计算和分析的性能,本文为您介绍JSON类型的使用方法。

MaxCompute JSON类型使用指南

2023-06-26

新增增量查询

新说明

Transactional Table 2.0支持增量写入和存储,最重要的一个考虑就是支持增量查询以及增量计算优化,为此,专门设计开发了新的SQL增量查询语法来支持近实时增量处理链路。

增量查询

2023-06-26

新增事务管理

新说明

DTT(Delta Transactional Table)的所有数据修改操作,都会由MetaService统一进行事务管理,满足ACID特性,应用MVCC模型来保障读写快照隔离,采用OCC模型进行乐观事务并发控制。

ACID事务管理

2023-06-26

新增TimeTravel

新说明

基于Transactional Table 2.0,计算引擎可高效支持TimeTravel查询的典型业务场景,即查询历史版本的数据,可用于回溯历史状态的业务数据,或数据出错时,用来恢复历史状态数据进行数据纠正,当然也支持直接使用restore操作恢复到指定的历史版本。

Time Travel

2023-06-26

新增SQL处理优化

新说明

为了方便用户操作Transactional Table 2.0,MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持,并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍数据查询DQL和数据操作DML的架构设计核心要点。

SQL处理优化

2023-06-26

新增数据组织优化

新说明

本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。

数据组织优化

2023-06-26

新增TimeTravel查询与Incremental查询

新说明

对于Transaction Table2.0类型的表,MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询(TimeTravel查询),也支持指定源表某个历史时间区间或者版本区间进行历史增量查询(Incremental查询)。本文为您介绍Transaction Table2.0的查询使用说明和使用限制。

Time travel查询与增量查询

2023-06-26

新增近实时增量导入

新说明

数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景,本文为您介绍高并发近实时增量写入场景的架构设计。

近实时增量导入

2023-06-26

新增表数据格式

新说明

为了支持增全量存储和处理一体化架构,Transaction Table2.0(简称TT2)设计了统一的表数据组织格式,既可支持MaxCompute普通表的所有功能,同时也能很好的支持增量处理链路的新场景,包括timetravel查询、upsert操作等。本文为您介绍Transaction Table2.0的表数据格式详情。

表数据格式

2023-06-26

新增整体架构

新说明

Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块:数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织,其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。

Delta Table概述

2023-06-26

新增COMPACTION

新说明

Compaction可以把所有的数据文件按照一定策略进行Merge操作,可提升查询效率。

COMPACTION

2023-06-26

新增使用Flink(流式数据传输-新版)

新说明

当前MaxCompute为您提供了新版的Flink Connector插件,新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表,提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持情况与主要操作流程。

使用Flink写入数据到Delta Table

2023-06-26

新增基本操作

新说明

Transaction Table2.0 支持更多能力,同时在DDL,DMLDQL以及数据管理上都有很多独特的方式,本文为您汇总介绍Transaction Table2.0相关的主要操作。

基本操作

2023-06-26

新增Transaction Table2.0概述

新说明

随着当前数据处理业务场景日趋复杂,很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案,本文为您介绍本方案可解决的业务痛点和主要架构功能。

近实时数仓概述

2023-06-16

新增NOW

新说明

返回当前系统日期与时间。

NOW

2023-06-16

新增MaxCompute+DLF+OSS实践

新说明

由于DLF中数据入湖功能已经停止更新,本文采用DataWorks数据集成的入湖方式,以MySQL数据入湖为例,为您介绍在MaxCompute中如何创建外部项目,并查询DLF中的表数据。

基于DLF数据入湖的MaxCompute湖仓一体实践

2023-06-16

新增MaxCompute+Hadoop搭建实践

新说明

本文以E-MapReduceHive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的表数据。

MaxCompute+Hadoop搭建实践

2023-06-16

新增对于外部项目的用户以及权限操作

新说明

External Project创建完毕之后,其中的表的所有者归属于创建External Project的账号。如果您需要授权其他用户外部表项目操作权限,请根据本文进行操作。

对于外部项目的用户以及权限操作

2023-06-16

新增基于Hadoop集群支持Delta LakeHudi存储机制

新说明

Delta LakeHudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持DeltaHudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据变化。本文为您介绍如何构建基于Delta LakeHudi存储机制的湖仓一体方案。

基于Hadoop集群支持Delta LakeHudi存储机制

2023-06-16

新增搭建与管理

新说明

本文为您介绍如何通过MaxComputeHadoop构建湖仓一体。

搭建与管理(基于Hadoop)

2023-06-16

新增搭建与管理

新说明

本文为您介绍如何通过MaxComputeDLFOSS构建湖仓一体。

搭建与管理(基于DLFOSS)

2023-06-07

新增计算资源优化推荐

新说明

MaxCompute计算资源优化推荐功能基于您包年包月一级Quota作业资源请求量及对资源配置的期望,推荐并生成更优的计算资源配置方案,帮助您进一步优化计算成本。本文为您介绍如何通过MaxCompute控制台获取计算资源优化配置方案。

计算资源配置优化

2023-06-07

新增数据重排

新说明

MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。本文以MaxCompute公共数据集中表为例为您介绍如何通过数据重排方式进行存储优化。

数据重排

05

时间

特性

类别

描述

产品文档

2023-05-31

新增COMBINATIONS

新说明

返回输入数组元素的N元组合组成的数组。

COMBINATIONS

2023-05-31

新增NGRAMS

新说明

返回指定数组元素的N元语法(n-gram)数组。

NGRAMS

2023-05-31

新增ARRAY_NORMALIZE

新说明

返回根据指定p范数(p Norm)对数组元素规范化后的数组。

ARRAY_NORMALIZE

2023-05-31

新增SEQUENCE

新说明

根据表达式生成包含指定元素的数组。

SEQUENCE

2023-05-31

新增FLATTEN

新说明

将数组类型的数组转换为单个数组。

FLATTEN

2023-05-31

新增SHUFFLE

新说明

返回指定数组的元素随机排列数组。

SHUFFLE

2023-05-31

新增MULTIMAP_ FROM_ENTRIES

新说明

返回由结构体数组中的Key和包含所有Value的数组所组成的Map。

MULTIMAP_FROM_ENTRIES

2023-05-24

新增Quota调度策略说明

新说明

本文为您介绍MaxCompute的包年包月二级Quota调度策略模式,并提供设置和查看二级Quota调度策略的操作指导。

计算资源-Quota调度策略说明

2023-05-19

新增Purge

新说明

清除当前表或者整个项目下所有表的备份数据,清除后不可以恢复。

Purge

2023-05-10

新增聚类分片

新说明

Proxima CE支持使用聚类分片方式检索任务,本文为您介绍聚类分片检索功能的使用方法及示例。

聚类分片

2023-05-10

新增多类目检索

新说明

Proxima CE支持多类目检索方式检索任务,本文为您介绍多类目检索功能的使用方法及示例。

多类目检索

2023-05-10

新增基础向量检索

新说明

Proxima CE支持使用基础向量检索和百万TopK检索的方式检索任务,本文为您介绍Proxima CE中使用基础向量检索离线任务的方法及示例。

基础向量检索

2023-05-06

新增错误码问题ODPS-0110042

新说明

为您介绍错误码ODPS-0110042的产生原因及解决方案。

ODPS-0110042

04

时间

特性

类别

描述

产品文档

2023-04-19

新增PyODPS使用第三方包

新说明

本文为您介绍如何在PyODPS中使用第三方包。

PyODPS使用第三方包

2023-04-19

新增PyODPS制作第三方包

新说明

PyODPSV0.11.3版本开始提供了pyodps-pack命令行工具,用于制作符合PyODPSDataWorks PyODPS节点标准的三方包,使用方法类似pip命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz的压缩包,其中包含所有依照MaxComputeDataWorks环境编译并打包的项目依赖。您也可以使用该工具打包您项目中自行创建的Python包。

PyODPS制作第三方包

2023-04-17

新增ListProjectUsers - 获取项目用户列表

新说明

获取项目用户列表。

ListProjectUsers - 获取项目用户列表

2023-04-11

新增使用SQL分析连接

新说明

MaxCompute控制台提供SQL分析,方便您快速执行SQL语句操作。本文为您介绍如何通过SQL分析使用MaxCompute服务。

使用SQL分析连接

2023-04-11

新增新用户免费试用额度

新说明

您在注册阿里云账号并进行实名认证后,如果未购买任何MaxCompute产品,可免费试用MaxCompute。试用期内您可以免费试用一定额度的计算消耗量,同时免费存储一定额度的标准存储数据。本文为您介绍免费试用额度类型、支持地域等内容。

新用户免费试用额度

2023-04-10

新增物化视图

新说明

随着MaxCompute的深入使用,会出现对MaxCompute的表有很多重复查询的情况,并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算,同时加速用户计算。MaxCompute提供物化视图智能计算加速,为您智能分析推荐创建物化视图。本文为您介绍如何通过智能分析创建物化视图。

物化视图推荐与管理

2023-04-07

新增基于GitHub公开事件数据集的离线实时一体化实践

新说明

本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过FlinkHologres构建实时数仓,然后通过HologresMaxCompute分别进行实时与离线数据分析,从而实现实时离线一体化解决方案。

基于GitHub公开事件数据集的离线实时一体化实践

03

时间

特性

类别

描述

产品文档

2023-03-31

新增作业运维(新版)

新说明

MaxCompute提供作业运维管理功能,数据开发人员和管理员可通过MaxCompute控制台的作业运维功能查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute控制台运维和管理作业。

作业运维

2023-03-31

新增External Volume SDK说明

新说明

本文为您介绍使用Java SDK操作External Volume的说明。

External Volume SDK说明

2023-03-31

新增利用MaxCompute External Volume处理非结构化数据

新说明

External VolumeMaxCompute提供的分布式文件系统和数据存储方案,为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径,利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制,同时利用 MaxCompute引擎处理External Volume内部的文件数据。每个Project中可以有多个External Volume。本文为您介绍如何利用MaxCompute External Volume处理非结构化数据。

利用MaxCompute External Volume处理非结构化数据

2023-03-30

新增向量计算(Proxima CE)

新说明

Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等功能。本文为您介绍在MaxCompute中如何使用向量计算功能。

向量计算(Proxima CE)概述

2023-03-30

新增External Volume操作

新说明

External VolumeMaxCompute提供的分布式文件系统和非结构化数据存储方案,通过External Volume可以实现使用MaxCompute引擎处理OSS上的文件数据。本文为您介绍常用的External Volume操作。

External Volume操作

2023-03-24

新增内建函数

新说明

MaxCompute自身预置了诸多函数,可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。

新增函数包括:CURRENT_TIMEZONE、DAYOFYEAR、DAYOFWEEK、INITCAP、NEGATIVE、POSITIVE、ATAN2、ISNAN。

内建函数概述

2023-03-20

新增独享数据传输服务资源组

新说明

MaxCompute为您提供独享数据传输服务资源组,本文为您介绍如何购买、使用独享数据传输服务资源组。

2023-03-17

新增PyODPS Schema

新说明

SchemaMaxCompute介于项目和表、资源、函数之间的概念,对表、资源、函数进行进一步归类。本文为您介绍Schema的基本操作。

Schema

2023-03-14

新增TPC-DS数据

新说明

MaxCompute通过TPC-DS官方工具生成了1GB、10GB、100GB、1TB、10TB、100TB六个规格的TPC-DS数据,此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息,以及如何通过MaxCompute执行TPC-DS数据查询。

TPC-DS数据

2023-03-13

新增加密函数

新说明

MaxCompute SQL提供了加密函数和解密函数,您可以根据实际需要选择合适的函数,对指定列进行随机性加密或解密。本文为您提供MaxCompute SQL支持的加密函数的命令格式、参数说明及示例,指导您使用加密函数完成开发。

2023-03-10

新增PIVOT、UNPIVOT

新说明

MaxCompute支持PIVOTUNPIVOT关键字,通过PIVOT关键字可以基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可以将一个或者多个列转换为行。本文为您介绍PIVOTUNPIVOT关键字的使用和示例。

PIVOT、UNPIVOT

2023-03-09

新增QUALIFY

新说明

MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗(Window)函数的结果,QUALIFY语法过滤Window函数数据类似于HAVING语法处理经过聚合函数和GROUP BY后的数据。本文为您介绍QUALIFY语法和使用示例。

QUALIFY

2023-03-08

新增TABLESAMPLE采样

新说明

MaxCompute支持通过TABLESAMPLE功能来对表数据进行采样,包含三种采样方式:分桶采样、指定采样百分比采样和随机返回指定记录数采样。本文为您介绍使用TABLESAMPLE采样的命令语法和使用示例。

TABLESAMPLE采样

2023-03-06

新增使用Tunnel命令或Tunnel SDK

新说明

MaxCompute的客户端(odpscmd)、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载,本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。

使用Tunnel命令或Tunnel SDK

02

时间

特性

类别

描述

产品文档

2023-02-28

新增周期性调度作业概述

新说明

如果您希望周期性运行MaxCompute作业,可使用DataWorksDataStudio开发周期性MaxCompute作业,并配置周期性调度的时间属性、调度依赖等配置项,将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks开发周期性作业的能力。

周期性调度作业概述

2023-02-28

新增GetProject - 获取项目信息

新说明

查询MaxCompute项目的基本信息。

GetProject - 获取项目信息

2023-02-28

新增在DataWorks运维中心查看作业运行信息

新说明

DataWorks运维中心展示离线同步、实时同步作业的运