文档最新动态

本文为您介绍了MaxCompute内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2024

12

时间

特性

类别

描述

产品文档

2024-12-24

新增作业洞察

新说明

MaxCompute提供作业洞察能力,支持查看作业概览信息、智能诊断详情、资源消耗情况及特定时刻计算Quota的资源分配情况。同时,还能够对相似作业(以相同的SignatureExtNodeId为识别依据)在过去一段时间内的历次运行指标进行对比分析。您可通过作业洞察优化任务执行情况,以提高执行效率。

作业洞察

2024-12-23

新增OpenAPI

新说明

新增MMS(数据迁移)相关API。

2024-12-23

新增FAILIF

新说明

FAILIF函数支持根据表达式判断结果返回true或自定义错误信息的报错提示。本文为您介绍FAILIF函数使用命令。

FAILIF

2024-12-10

新增CLI集成示例

新说明

本文以调用云原生大数据计算服务 MaxComputeListProjects接口获取MaxCompute项目列表为例,为您介绍使用阿里云CLI调用MaxCompute OpenAPI的操作步骤。

CLI集成示例

2024-12-09

新增INTERVAL数据类型

新说明

MaxCompute提供了DATE、DATETIME、TIMESTAMPTIMESTAMP_NTZ四种日期时间相关数据类型。另外也提供代表时间段的INTERVAL数据类型,用来表示两个日期或时间之间的时间间隔。本文为您介绍INTERVAL类型的使用方法。

INTERVAL数据类型

2024-12-06

新增列操作

新说明

MaxCompute支持对已有表的列执行变更操作,如添加列、删除列、更改列数据类型等,您可以根据实际业务场景执行相应操作。

列操作

2024-12-06

新增物化视图定时更新

新说明

本文为您介绍物化视图定时更新功能和相关操作。

物化视图定时更新

2024-12-06

新增物化视图查询改写

新说明

MaxCompute支持将包含过滤条件或部分算子类型的原始SQL查询语句改写为物化视图进行查询,以便于您获取所需数据。本文将详细介绍相关SQL改写的具体操作。

物化视图查询改写

2024-12-06

新增物化视图操作

新说明

物化视图(Materialized View)是一种预先计算的方式,通过保存某些耗时操作(例如JOIN、AGGREGATE)的结果,以便在查询时直接复用,从而避免重复执行这些耗时操作,最终实现加速查询的目的。

物化视图操作

11

时间

特性

类别

描述

产品文档

2024-11-29

新增OpenAPI

新说明

新增Quota、项目等相关API。

2024-11-27

新增数据传输服务-分时配置

新说明

您可以在MaxComputeQuota管理列表查看数据传输服务Quota,并通过分时配置功能设置数据传输服务Quota的并发数。

数据传输服务-分时配置

2024-11-26

新增产品版本发布记录

新说明

本文为您介绍MaxCompute产品功能的发布信息。

产品版本发布记录

2024-11-19

新增基于OBJECT TABLE处理非结构化数据

新说明

本文为您介绍如何使用Object Table对数据湖存储中的非结构化数据及其元信息进行访问。

基于OBJECT TABLE处理非结构化数据

2024-11-19

新增OBJECT TABLE

新说明

MaxCompute推出了Object Table功能,该功能支持数仓计算引擎访问数据湖存储中的非结构化数据及其元信息。本文为您介绍Object Table相关的命令语法和示例。

OBJECT TABLE

2024-11-18

新增Bloomfilter index(Beta版本)

新说明

布隆过滤器(Bloomfilter,简称BF)是一种高效的概率型数据结构,MaxCompute支持使用Bloomfilter index处理大规模数据点查场景,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。本文为您介绍Bloomfilter index的使用说明及示例。

Bloomfilter index(Beta)

2024-11-15

新增SUBQUERY_MAPJOIN HINT

新说明

MaxCompute支持子查询操作,部分子查询在执行过程中会被转换成JOIN进行计算。您可以在子查询SUBQUERY语句中使用SUBQUERY_MAPJOIN HINT,以显式指定使用MAPJOIN算法,从而提升子查询的执行效率。本文为您介绍如何使用SUBQUERY_MAPJOIN HINT。

SUBQUERY_MAPJOIN HINT

2024-11-15

新增SQL注释

新说明

为了增强代码的可读性,您可以在MaxCompute SQL代码中增加注释。本文为您介绍MaxCompute SQL单行注释与多行注释的使用说明。

SQL注释

2024-11-15

新增查看表和视图

新说明

本文为您详细介绍查看表相关命令。

查看表和视图

2024-11-15

新增修改表

新说明

本文为您介绍修改表的相关操作命令。

修改和查看表

2024-11-15

新增创建和删除表

新说明

本文为您介绍创建和删除表的相关操作命令。

创建和删除表

2024-11-15

新增Bitmap Index

新说明

Bitmap Index作为一种全新的索引类型,支持在基数较大(存在大量相同值)的列上建立索引,能够提供高效的点值查询和范围查询的能力。本文为您介绍在MaxCompute中如何使用Bitmap Index索引类型。

Bitmap Index(Beta)

2024-11-14

新增JSON_EXPLODE

新说明

MaxCompute JSON_EXPLODE函数支持将JSON数组或JSON对象中的每个元素拆解(展开)成多行记录,本文为您介绍JSON_EXPLODE函数的使用详情以及示例。

JSON_EXPLODE

2024-11-13

新增作业智能诊断

新说明

本文为您介绍MaxCompute SQL作业的智能诊断功能,旨在尽可能提供诊断结果和建议,以协助您解决作业报错问题或提升查询性能,包括如何查看诊断结果和建议,以及解读分析结果。鉴于查询性能受多种因素影响,智能诊断仅提供整体查询性能的部分异常及建议。

作业智能诊断

10

时间

特性

类别

描述

产品文档

2024-10-21

新增Go SDK参考

新说明

Go SDKMaxCompute提供的一套Go编程语言接口,您可以通过该接口使用Go代码来操作和管理MaxCompute服务,例如访问和管理项目、操作数据表和数据传输等。

2024-10-18

新增在DataWorks镜像中安装MaxFrame

新说明

本文将介绍如何在DataWorks的镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,旨在帮助您更迅速地构建开发环境,避免在开发过程中与其他环境版本产生冲突。

DataWorks镜像中安装MaxFrame

2024-10-16

新增外部项目1.0迁移为湖仓一体2.0方案

新说明

由于湖仓一体1.0的外部项目(简称:外部项目1.0)功能及用法不再发展,且会收敛下线,如果继续使用MaxCompute访问联邦数据源,联邦方案需要升级至湖仓一体2.0。本文介绍了使用湖仓一体2.0开启项目级别元数据支持的Schema开关和SQL语法支持的Schema开关后,存量作业的兼容情况,以及将湖仓一体1.0外部项目的存量作业迁移至湖仓一体2.0外部Schema的不同场景的修改方法,以便于您进行评估和迁移。

外部项目1.0迁移为湖仓一体2.0方案

2024-10-14

新增ODPS-1850001

新说明

本文为您介绍错误码ODPS-1850001: Unsupported feature in session mode的报错场景,并提供对应的解决方案。

ODPS-1850001

09

时间

特性

类别

描述

产品文档

2024-09-29

新增存储成本优化

新说明

MaxCompute支持通过设置表或分区的分层存储类型,降低数据存储费用。MaxCompute提供存储成本优化功能,可基于表的最近访问时间,根据默认策略评估当前地域是否有存储降本空间,辅助您进行分层存储策略配置。

分层存储配置优化

2024-09-18

新增GitHub近实时数据同步以及增全量数据一体化分析

新说明

本文介绍如何通过MaxCompute实现GitHub近实时数据同步以及增全量数据一体化分析。

GitHub近实时数据同步以及增全量数据一体化分析

2024-09-05

新增存储容灾费用(按量付费)

新说明

MaxCompute的存储费用包括存储计费和备份存储计费两部分,通过同城容灾功能实现存储容灾后,项目的存储费用将依据存储容灾计费规则来计算,而备份存储的计费方式则维持原状。本文为您介绍存储容灾计费规则详情。

存储容灾费用(按量付费)

2024-09-03

新增跨地域灾备费用(按量计费)

新说明

在使用MaxCompute跨地域灾备功能后,由于涉及跨地域数据复制和跨地域数据存储,将产生相应费用。本文为您介绍相关的计费规则。

跨地域灾备费用(按量计费)

2024-09-03

新增Metabase连接MaxCompute

新说明

MaxCompute提供Metabase Driver(驱动)插件,支持您使用开源的商业智能工具Metabase连接MaxCompute项目,从而理解数据、分析数据,进行数据查询并获取格式化结果(图形化视图),以数据驱动决策。

Metabase连接MaxCompute

08

时间

特性

类别

描述

产品文档

2024-08-23

新增项目级别租户资源访问控制

新说明

租户资源(包括外部数据源、网络连接、自定义镜像及配额组)的权限均由租户管理员通过RAM Policy控制。用户在项目中使用归属项目的对象(包括Schema、Table、Role、Instance、Resource、Function、View等),权限由项目管理员通过MaxCompute内的授权方案控制。租户资源对象可以跨项目使用,如果租户资源的管理者不希望某个项目使用其创建的租户资源,则可以通过开启项目级别租户资源访问控制来制定租户资源和项目的授权关系。

项目级别租户资源访问控制

2024-08-16

新增开放存储SDK示例-Python SDK

新说明

MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAIHologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Python SDK访问MaxCompute的代码示例。

开放存储SDK示例-Python SDK

2024-08-16

新增开放存储SDK示例-Java SDK

新说明

MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAIHologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Java SDK访问MaxCompute的代码示例。

开放存储SDK示例-Java SDK

2024-08-15

新增开放存储概述

新说明

为了更好地融入大数据生态,并支持外部引擎访问MaxCompute中的数据,MaxCompute提供了开放存储(Storage API)。第三方主流计算引擎可通过调用Storage API直接访问MaxCompute的底层存储,从而显著提升数据访问和交互效率(本功能处于公测阶段)。

开放存储概述

2024-08-14

新增利用Flink CDC实现数据同步至Delta Table

新说明

MaxCompute为您提供对接Flink CDC的新版插件Connector连接器。您可以通过对接Flink CDC,将数据源(例如MySQL)数据实时同步至MaxCompute的目标表(普通表或Delta表)。本文为您介绍MaxCompute新版插件的能力支持情况与主要操作流程。

利用Flink CDC实现数据同步至Delta Table

2024-08-08

新增使用UNLOAD命令

新说明

MaxCompute支持您将MaxCompute项目中的数据导出至外部存储(OSS、Hologres),以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。

使用UNLOAD命令

07

时间

特性

类别

描述

产品文档

2024-07-25

新增作业级资源分析最佳实践

新说明

本文以典型场景案例为您介绍如何通过MaxCompute控制台的作业分析功能进行作业级别资源分析,了解作业资源消耗详情,同时为您提供优化作业运行时长的建议。

作业级资源分析最佳实践

2024-07-24

新增部分列更新

新说明

当前Delta Table支持对部分列进行更新。即对表执行插入或更新操作时,只需要在SQL中指定您想修改的目标列及其新数据,而无需包含表中的所有列。插入数据时,未被赋值的列会自动被填充为NULL;更新数据时,未被赋值的列保持不变。在多数场景下可大幅提升执行效率,节省存储成本。本文用具体示例为您展示如何在Delta Table中插入或更新部分列的数据。

部分列更新

2024-07-19

新增湖仓一体2.0使用指南

新说明

MaxCompute提供湖仓一体2.0方案,允许用户建立定义外部数据源元数据和数据访问方式的管理对象,并通过外部Schema映射机制实现直接访问外部数据源DatabaseSchema范围内的全部表的功能。该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台(本功能处于公测阶段)。

湖仓一体2.0使用指南

2024-07-15

新增QueryQuota - 获取指定一级Quota组信息

新说明

获取指定一级Quota组信息。

QueryQuota - 获取指定一级Quota组信息

2024-07-01

新增MaxFrame特有API

新说明

本文为您介绍MaxFrame提供的几类特有API,包括Session、Input/Output、ExecuteFetch,用于在MaxFrame任务中进行数据处理。

MaxFrame特有API

2024-07-01

新增MaxFrame API概览

新说明

MaxFrame API包含两大类,一类是为了方便用户进行数据处理,用于兼容各类标准库(如Pandas)的API,另一类是为了任务的分布式执行而引入的MaxFrame特有API。使用MaxFrameAPI开发作业,您可以享受到与标准数据库类似的数据操作体验,并将大规模数据处理任务高效地运行在MaxFrame平台上。

MaxFrame API

2024-07-01

新增引用第三方包及镜像

新说明

在基于MaxFrame进行Python开发过程中,通常需要引用第三方包或镜像,为方便您的快速使用,MaxFrame支持通过接口方式直接使用已上传的第三方包及镜像。

引用第三方包及镜像

2024-07-01

新增在DataWorks中使用MaxFrame

新说明

DataWorksMaxCompute项目提供任务调度能力,且已在PyODPS 3节点内置了MaxFrame,您可直接使用DataWorksPyODPS 3节点开发和运行MaxFrame作业。

DataWorks中使用MaxFrame

2024-07-01

新增在本地环境中使用MaxFrame

新说明

MaxCompute支持您通过标准MaxFrame SDK(本地MaxFrame客户端)的方式使用MaxFrame,本文为您介绍在本地环境中使用MaxFrame的流程。

在本地环境中使用MaxFrame

2024-07-01

新增自动化打包服务(邀测)

新说明

MaxFrame推出了自动化打包服务,简化了Python开发中第三方包的管理。该服务支持在作业开发时声明所需的外部依赖包,在作业运行时,这些包会自动被打包并集成到作业环境中,无需手动上传,从而减少繁琐的打包管理工作。

自动化打包服务

06

时间

特性

类别

描述

产品文档

2024-06-28

新增通过Logview 2.0查看MaxFrame作业

新说明

LogviewMaxCompute作业运行状态信息记录与展现的一个工具,目前已经适配MaxFrame,本文为您介绍如何通过Logview 2.0查看MaxFrame作业的运行信息。

通过Logview 2.0查看MaxFrame作业

2024-06-28

新增常见问题

新说明

本文为您介绍MaxFrame的常见报错问题,帮助您能迅速识别并解决报错问题。

常见问题

2024-06-18

新增行级访问控制

新说明

为了便于控制用户或角色对MaxCompute表中特定数据的访问,MaxCompute提供了行级访问控制功能,通过在原表上定义用户与数据(被允许访问的数据)的匹配规则,控制特定用户或角色仅可见其有权限访问的数据,从而提升数据安全性和合规性。

行级访问控制

05

时间

特性

类别

描述

产品文档

2024-05-31

新增Histogram

新说明

MaxCompute优化器支持表中列的Histogram(直方图)统计信息,Histogram用于描述表中的列值在不同值域区间内的分布情况,提供更细粒度的统计值估计能力,可以为优化查询性能提供帮助。

Histogram

2024-05-22

新增云原生大数据计算服务MaxCompute系统权限策略参考

新说明

本文描述云原生大数据计算服务MaxCompute支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。

云原生大数据计算服务 MaxCompute系统权限策略参考

2024-05-22

新增MaxCompute服务关联角色

新说明

服务关联角色(ServiceLinkedRole,简称SLR)是一种可信实体为阿里云服务的RAM角色,可解决跨云服务的授权访问问题。如MaxCompute访问大数据计算平台其他云产品(如Hologres),则需要创建服务关联角色AliyunServiceRoleForMaxComputeIdentityMgmt。

MaxCompute服务关联角色

2024-05-22

新增MaxCompute自定义权限策略参考

新说明

如果系统权限策略不能满足您的要求,您可以创建自定义权限策略实现最小授权。使用自定义权限策略有助于实现权限的精细化管控,是提升资源访问安全的有效手段。

MaxCompute自定义权限策略参考

2024-05-22

新增身份管理

新说明

为确保您的阿里云账号及云资源使用安全,如非必要都应避免直接使用阿里云账号(即主账号)来访问MaxCompute。推荐的做法是使用RAM身份(即RAM用户和RAM角色)来访问MaxCompute。

身份管理

2024-05-16

新增场景实践

新说明

MaxCompute提供用户自定义函数(UDF)及Python(PyODPSMaxFrame)开发能力,本文为您介绍如何在MaxCompute UDF、PyODPSMaxFrame作业开发中使用镜像。

场景实践

2024-05-16

新增自定义镜像

新说明

SQLPython开发过程中,会存在较为复杂的业务逻辑,依赖三方包众多,引用资源复杂,因此MaxCompute推出自定义镜像管理功能,您可自由、灵活的使用Docker镜像来构建自己所需的完整开发环境,并在MaxCompute SQL、Python(PyODPSMaxFrame)开发中使用,本文将详细介绍MaxCompute自定义镜像功能使用流程。

自定义镜像

2024-05-16

新增内置镜像

新说明

MaxCompute提供丰富的内置镜像,如数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等,方便您在后续开发中直接引用,从而简化开发流程。本文为您介绍如何查看及使用内置镜像。

内置镜像

2024-05-16

新增镜像管理概述

新说明

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,同时支持上传自定义镜像,您可在SQL UDF、PyODPSMaxFrame开发等场景中直接引用已有镜像,无需执行繁琐的资源打包、上传等流程。

镜像管理

2024-05-13

新增数据实时入仓实践

新说明

为满足业务对数据仓库中高度时效性数据的需求,MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能,显著提升了数据仓库的数据更新效率。

数据实时入仓实践

04

时间

特性

类别

描述

产品文档

2024-04-28

新增MaxCompute近实时增全量一体化架构介绍

新说明

面对当前日益复杂且对数据时效性要求极高的近实时业务场景,MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。

基于Delta Table构建近实时增全量一体化链路架构

2024-04-24

新增基于MaxFrame实现大语言模型数据处理

新说明

相较于昂贵的GPU资源,MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础,而MaxFrame分布式计算能力可以帮助您更加高效、便捷地完成LLM数据处理工作。

基于MaxFrame实现大语言模型数据处理

2024-04-24

新增基于MaxFrame实现分布式Pandas处理

新说明

MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据,通过MaxFrame,您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。

基于MaxFrame实现分布式Pandas处理

2024-04-23

新增租户属性

新说明

您可以在租户属性页面进行租户级别的操作,包括查看租户ID,用于进行租户级别的资源授权。

租户属性

2024-04-19

新增MaxFrame快速入门

新说明

本文以具体数据及开发场景为例,为您介绍在DataWorks数据开发的PyODPS 3节点中,如何创建和操作MaxFrame中的DataFrame对象,以及使用DataFrame完成基本的数据处理,帮助您在十分钟内快速使用MaxFrame进行开发。

快速开始

2024-04-03

新增使用MaxCompute控制台(离线)

新说明

MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。

使用MaxCompute控制台(离线)

03

时间

特性

类别

描述

产品文档

2024-03-29

新增操作审计事件数据迁移至MaxCompute

新说明

操作审计(ActionTrail)功能允许您追踪和记录阿里云账号在最近90天内的操作事件。当您需要分析更长时间的操作事件时,可以通过操作审计创建跟踪,将操作事件数据投递至MaxCompute,并对其进行查询和分析。

操作审计事件数据迁移至MaxCompute

2024-03-26

新增Pandas API

新说明

MaxFrame提供了兼容PandasAPI接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作。

Pandas API支持

2024-03-26

新增MaxFrame数据输入输出

新说明

MaxFrame支持直连MaxCompute,允许对MaxCompute中的数据进行高效直接读写操作,运行时无需将数据拉取至本地计算,消除了不必要的本地数据传输,提高了执行效率。

数据输入输出

2024-03-26

新增准备工作

新说明

MaxCompute支持通过标准MaxFrame SDK(本地MaxFrame客户端)、MaxCompute NotebookDataWorks节点三种方式使用MaxFrame,本文为您介绍使用MaxFrame前需要准备的运行环境。

准备工作

2024-03-25

新增StarRocks Connector

新说明

StarRocks Connector通过实现External Catalog机制,无需数据导入或创建外部表即可无缝访问MaxCompute数据源,并执行复杂的SQL查询,提升了数据分析效率并降低了运维难度和成本。

StarRocks Connector

2024-03-22

新增FROM_CHARSET

新说明

MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。

FROM_CHARSET

2024-03-21

新增MaxCompute TIMESTAMP_NTZ数据类型介绍

新说明

MaxCompute 2.0新增了无时区时间戳类型(TIMESTAMP_NTZ),该类型表示不包含时区信息的日期和时间点,所有数据均基于统一的时间基准(如UTC)。相较于其他带有时区的时间戳类型(TIMESTAMP),TIMESTAMP_NTZ无需进行时区转换,因此在比较和运算时更为简便。

MaxCompute TIMESTAMP_NTZ数据类型

2024-03-14

新增基于Flink创建MaxCompute Paimon外表

新说明

MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系,并访问其中的数据。

基于Flink创建MaxCompute Paimon外部表

2024-03-14

新增ECS资源复用版

新说明

ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。

ECS资源复用版

2024-03-03

新增GetTableInfo - 获取表信息

新说明

获取表信息。

GetTableInfo - 获取表信息

02

时间

特性

类别

描述

产品文档

2024-02-27

新增正则表达式

新说明

本文为您介绍MaxCompute SQL中正则表达式支持的元字符、字符组和转义字符。

正则表达式

2024-02-23

新增跨地域灾备

新说明

当您需要保证MaxCompute作业持续运行时,MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。您能够自定义选择备份目标地域,并监控备份进度。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。

跨地域灾备

2024-02-08

新增镜像管理

新说明

MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传等流程。

镜像管理

01

时间

特性

类别

描述

产品文档

2024-01-05

新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

新说明

MaxCompute、DLFOSS是阿里云提供的一体化解决方案,可以实现数据湖查询和湖数据入仓。通过配置DLF,将数据从OSS导入到MaxCompute中,并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理,并保证数据的可靠性和安全性。

MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

2023

12

时间

特性

类别

描述

产品文档

2023-12-11

新增ListJobInfos - 查看作业列表

新说明

查看作业列表。

ListJobInfos - 查看作业列表

2023-12-04

新增SKEWJOIN HINT

新说明

当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。

SKEWJOIN HINT

11

时间

特性

类别

描述

产品文档

2023-11-24

新增迁移服务(MMA)

新说明

MaxCompute提供的数据迁移服务支持通过MMA(MaxCompute Migration Assist)服务,将Hive数据安全且高效地迁移到MaxCompute。

迁移服务(MMA)

2023-11-10

新增分层存储

新说明

MaxCompute分层存储支持标准存储、低频存储和长期存储,默认情况下为标准存储。您可以根据数据的访问频率,将某些表或分区的存储类型设置为低频存储或长期存储,以降低数据存储费用。

存储资源-分层存储

10

时间

特性

类别

描述

产品文档

2023-10-30

新增Spark Connector

新说明

本文为您介绍如何使用第三方计算引擎Spark通过Spark Connector调用Storage API来访问MaxCompute。

Spark Connector

2023-10-27

新增数据科学计算概述

新说明

MaxFrame是由阿里云自研的分布式科学计算框架是对历史相关产品功能(PyODPS、Mars)的重大升级,在MaxCompute之上提供一套完全兼容Pandas接口的API,让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍MaxCompute提供的Python开发生态的背景信息及发展路径。

Data+AI和数据科学

2023-10-27

新增MaxFrame概述

新说明

MaxFrame是由阿里云自研的分布式计算框架,提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。

MaxFrame

2023-10-27

新增打印UDF日志

新说明

在开发UDF的过程中打印日志有助于用户进行UDF代码调试,本文为您介绍在MaxCompute中如何打印及查看UDF日志。

打印UDF日志

2023-10-20

新增ENHANCED_SYM_ENCRYPT

新说明

本文为您介绍如何使用ENHANCED_SYM_ENCRYPT函数指定密钥集进行数据加密。

ENHANCED_SYM_ENCRYPT

2023-10-20

新增ENHANCED_SYM_DECRYPT

新说明

本文为您介绍如何使用ENHANCED_SYM_DECRYPT函数指定密钥集进行数据解密。

ENHANCED_SYM_DECRYPT

2023-10-20

新增密钥集(KEYSET)使用说明

新说明

MaxCompute的密钥管理对象Keyset,每个Keyset可以存放1个到多个密钥,您可以在Keyset中增加密钥来实现密钥的轮转,并且可以查看原始密钥。本文介绍KeySet的使用。

密钥集(KEYSET)使用说明

2023-10-20

新增USE_WRAPPED_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数USE_WRAPPED_KEYSET:将封装密钥集转换为基础密钥集,作为加解密函数的参数用于加解密数据。

USE_WRAPPED_KEYSET

2023-10-20

新增ROTATE_WRAPPED_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数ROTATE_WRAPPED_KEYSET:解密已有的加密密钥集(KEYSET),并进行密钥轮转,然后通过新密钥加密。

ROTATE_WRAPPED_KEYSET

2023-10-20

新增REWRAP_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数REWRAP_KEYSET:通过指定的KMS密钥重新加密封装密钥集(KEYSET)。

REWRAP_KEYSET

2023-10-20

新增ROTATE_KEYSET

新说明

系统自动生产一个新密钥并将新密钥设置为主密钥。

ROTATE_KEYSET

2023-10-20

新增KEYSET_FROM_JSON

新说明

JSON类型的keyset转化为BINARY类型。

KEYSET_FROM_JSON

2023-10-20

新增NEW_WRAPPED_KEYSET

新说明

MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍如何使用封装密钥集函数NEW_WRAPPED_KEYSET创建封装密钥集。

NEW_WRAPPED_KEYSET

2023-10-20

新增KEYSET_TO_JSON

新说明

BINARY类型的密钥Keyset转化为可读的JSON格式,以便查看密钥Keyset详情。

KEYSET_TO_JSON

2023-10-20

新增ADD_KEY_TO_KEYSET

新说明

Keyset中新增密钥,并将新增的密钥设置为主密钥。

ADD_KEY_TO_KEYSET

2023-10-20

新增NEW_KEYSET

新说明

根据指定的算法类型,创建对应的密钥Keyset。

NEW_KEYSET

2023-10-19

新增数据传输费用(按时计费)

新说明

本文为您介绍MaxCompute的数据传输服务基于独享资源组做按时计费的规则。

数据传输费用(按时计费)

2023-10-13

新增GetQuotaSchedule - 获取Quota时间计划信息

新说明

获取Quota时间计划信息。

GetQuotaSchedule - 获取Quota时间计划信息

2023-10-13

新增JSON_INSERT

新说明

JSON文件指定位置中新增JSON值。

JSON_INSERT

2023-10-13

新增JSON_SET

新说明

替换JSON文件指定位置的值或新增对应的值。

JSON_SET

2023-10-09

新增Sugar BI连接MaxCompute

新说明

Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台,MaxCompute支持您将MaxCompute项目数据接入Sugar BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目,并进行可视化数据分析。

Sugar BI连接MaxCompute

09

时间

特性

类别

描述

产品文档

2023-09-27

新增TPC-DS性能测试

新说明

MaxCompute适用于TB、PBEB等各个数量级的数据查询场景,并在业界具有较大的性能优势,本文基于MaxCompute提供的公开数据集及测试工具,以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。

TPC-DS性能测试

2023-09-25

新增MapReduce支持SQL运行时执行模式

新说明

MaxCompute新增支持将MapReduce作业指定为SQL运行时(Runtime)执行模式,基于SQL运行时,MapReduce作业可以应用SQL引擎的各种新特性,实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。

MapReduce支持SQL运行时执行模式

2023-09-21

新增使用do-while节点实现复杂的数据分析

新说明

本文以统计电商行业中的订单数据为示例,为您介绍如何使用do-while节点。

使用do-while节点实现复杂的数据分析

2023-09-20

新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移

新说明

本文为您介绍如何通过跨项目数据访问实现不同RegionMaxCompute项目数据迁移,包括两种使用场景:同云账号内不同Region的项目数据迁移;不同云账号间不同Region的项目数据迁移。

通过跨项目数据访问实现不同地域MaxCompute项目数据迁移

2023-09-20

新增使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移

新说明

本文为您介绍如何通过CLONE TABLE功能实现同RegionMaxCompute项目数据迁移,包含两种使用场景:同Region同云账号内不同项目的数据迁移和同Region不同云账号间的项目数据迁移。

使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移

2023-09-15

新增功能特性

新说明

本文为您介绍MaxCompute的功能特性。

功能特性

2023-09-15

新增Paimon外部表

新说明

MaxCompute支持在项目中创建Paimon外部表,将其与存储在OSS上的Paimon表目录建立映射关系。通过Paimon外部表,您可以访问存储在OSS上的Paimon表中的数据。本文介绍如何创建Paimon外部表。

Paimon外部表

2023-09-14

新增授权实践

新说明

为确保MaxCompute项目数据的安全性,项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控,确保权限不会过大也不会过小。本文为您介绍MaxCompute的权限管理案例。

授权实践

2023-09-14

新增(邀测)MaxCompute Notebook使用说明

新说明

MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块,为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索,挖掘数据的价值,完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。

MaxCompute Notebook使用说明

2023-09-12

新增在本地环境上使用PyODPS

新说明

PyODPS是阿里云开发的Python SDK,用于在本地环境上使用MaxCompute服务。本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。

在本地环境上使用PyODPS

2023-09-01

新增Lambda函数

新说明

Lambda是一种匿名函数,不需要命名,可以作为参数传递给其他函数或方法。本文介绍Lambda函数的使用限制、语法和使用示例。

Lambda函数

08

时间

特性

类别

描述

产品文档

2023-08-25

新增使用成本优化功能实现降本增效

新说明

MaxCompute为您提供成本优化(计算资源配置优化)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助您进一步优化计算成本。本文通过典型场景案例介绍如何通过成本优化(计算资源优化推荐)功能,为您提供降本增效的参考建议。

使用成本优化功能实现降本增效

2023-08-24

新增GetRunningJobs - 获取运行态的作业列表

新说明

指定时间范围内,所有仍处于“运行中”的作业的运行态数据展示。

GetRunningJobs - 获取运行态的作业列表

2023-08-24

新增GetJobResourceUsage - 获得作业执行者级别的资源使用列表

新说明

指定时间范围内,针对已结束的全部作业进行统计,以“天”为级别展示作业执行者级别的资源使用总量。

GetJobResourceUsage - 获得作业执行者级别的资源使用列表

2023-08-24

新增KillJobs - 终止作业

新说明

终止正在运行的作业。

KillJobs - 终止作业

2023-08-18

新增成本分析

新说明

MaxCompute计费模式有包年包月和按量计费,其中按量计费基本为日账单,MaxCompute新增成本分析功能,从费用出发下钻到用量明细,为关注费用的管理人员提供更便捷的费用分析能力。本文为您介绍如何使用MaxCompute成本分析功能。

成本分析

2023-08-09

新增公开数据集概述

新说明

如果您已开通MaxCompute服务,可以通过MaxComputeSQL分析连接查询公开数据集中的表,以便您快速试用MaxCompute。本文为您介绍公开数据集信息,并指导您如何通过MaxComputeSQL分析连接查询并分析数据。

公开数据集概述

2023-08-01

新增作业运行常见问题

新说明

本文为您介绍MaxCompute作业运行过程中的常见问题。

作业运行常见问题

2023-08-01

新增Github公开事件数据

新说明

本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。

Github公开事件数据

07

时间

特性

类别

描述

产品文档

2023-07-31

新增简单用户画像分析(MaxCompute版)

新说明

本文以网站用户画像分析为背景,通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化展现的场景。

2023-07-31

新增MaxCompute服务不可用赔付案例说明

新说明

MaxCompute计划于北京时间20230901日变更服务等级协议(SLA),为了使您更加清楚新版SLA协议中各项服务可用性及赔偿标准的计算方式,本文为您介绍不同场景下发生服务不可用时的案例说明。

MaxCompute服务不可用赔付案例说明

2023-07-25

新增MaxCompute停止服务规格转换操作指引

新说明

阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务您需要将这些版本的计算资源转换为标准计算资源。本文为您介绍如何转换为标准计算资源。

MaxCompute停止服务规格转换操作指引

2023-07-19

新增使用命令行(odpscmd)连接

新说明

MaxCompute基于阿里云云命令行,为您提供云上客户端环境,您无需手动安装即可通过云命令行工具使用客户端(odpscmd)。本文为您介绍MaxCompute的云命令行(odpscmd)的使用注意事项和简单示例。

使用云命令行(odpscmd)连接

2023-07-17

新增按量付费闲时版

新说明

MaxCompute提供单价更低的按量付费计算资源规格类型(按量付费闲时版),为您降低在延迟不敏感场景下使用MaxCompute的成本。本文为您介绍MaxCompute按量付费闲时版的应用场景、资源说明和计费说明,并帮助您了解注意事项和使用方法。

按量付费闲时版

2023-07-17

新增PyODPS DataFrame的代码运行环境

新说明

使用PyODPS DataFrame编写数据应用时,同一个脚本文件中的代码会在不同位置执行,可能导致一些无法预期的问题,本文为您介绍当出现相关问题时,如何确定代码的执行环境,以及提供部分场景下的解决方案。

PyODPS DataFrame的代码运行环境

2023-07-04

新增UDF开发示例汇总

新说明

本文为您汇总典型场景下的UDF示例。

UDF开发示例汇总

2023-07-03

新增Split Size Hint

新说明

MaxCompute支持通过调整Split Size控制并发度,调整计算性能。Split Size功能可以作用到表级别。指定的值单位为MB,默认值为256MB。

Split Size Hint

06

时间

特性

类别

描述

产品文档

2023-06-30

新增JSON函数

新说明

介绍JSON类型相关的JSON函数。

2023-06-29

新增MaxCompute JSON类型使用指南(试用Beta版本)

新说明

MaxCompute当前支持了JSON数据类型,提高了表中带有JSON类型数据的计算和分析的性能,本文为您介绍JSON类型的使用方法。

MaxCompute JSON类型使用指南

2023-06-26

新增增量查询

新说明

Transactional Table 2.0支持增量写入和存储,最重要的一个考虑就是支持增量查询以及增量计算优化,为此,专门设计开发了新的SQL增量查询语法来支持近实时增量处理链路。

增量查询

2023-06-26

新增事务管理

新说明

DTT(Delta Transactional Table)的所有数据修改操作,都会由MetaService统一进行事务管理,满足ACID特性,应用MVCC模型来保障读写快照隔离,采用OCC模型进行乐观事务并发控制。

ACID事务管理

2023-06-26

新增TimeTravel

新说明

基于Transactional Table 2.0,计算引擎可高效支持TimeTravel查询的典型业务场景,即查询历史版本的数据,可用于回溯历史状态的业务数据,或数据出错时,用来恢复历史状态数据进行数据纠正,当然也支持直接使用restore操作恢复到指定的历史版本。

Time Travel

2023-06-26

新增SQL处理优化

新说明

为了方便用户操作Transactional Table 2.0,MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持,并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍数据查询DQL和数据操作DML的架构设计核心要点。

SQL处理优化

2023-06-26

新增数据组织优化

新说明

本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。

数据组织优化

2023-06-26

新增TimeTravel查询与Incremental查询

新说明

对于Transaction Table2.0类型的表,MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询(TimeTravel查询),也支持指定源表某个历史时间区间或者版本区间进行历史增量查询(Incremental查询)。本文为您介绍Transaction Table2.0的查询使用说明和使用限制。

Time travel查询与增量查询

2023-06-26

新增近实时增量导入

新说明

数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景,本文为您介绍高并发近实时增量写入场景的架构设计。

近实时增量导入

2023-06-26

新增表数据格式

新说明

为了支持增全量存储和处理一体化架构,Transaction Table2.0(简称TT2)设计了统一的表数据组织格式,既可支持MaxCompute普通表的所有功能,同时也能很好的支持增量处理链路的新场景,包括timetravel查询、upsert操作等。本文为您介绍Transaction Table2.0的表数据格式详情。

表数据格式

2023-06-26

新增整体架构

新说明

Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块:数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织,其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。

Delta Table概述

2023-06-26

新增COMPACTION

新说明

Compaction可以把所有的数据文件按照一定策略进行Merge操作,可提升查询效率。

COMPACTION

2023-06-26

新增使用Flink(流式数据传输-新版)

新说明

当前MaxCompute为您提供了新版的Flink Connector插件,新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表,提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持情况与主要操作流程。

使用Flink写入数据到Delta Table

2023-06-26

新增基本操作

新说明

Transaction Table2.0 支持更多能力,同时在DDL,DMLDQL以及数据管理上都有很多独特的方式,本文为您汇总介绍Transaction Table2.0相关的主要操作。

基本操作

2023-06-26

新增Transaction Table2.0概述

新说明

随着当前数据处理业务场景日趋复杂,很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案,本文为您介绍本方案可解决的业务痛点和主要架构功能。

近实时数仓概述

2023-06-16

新增NOW

新说明

返回当前系统日期与时间。

NOW

2023-06-16

新增MaxCompute+DLF+OSS实践

新说明

由于DLF中数据入湖功能已经停止更新,本文采用DataWorks数据集成的入湖方式,以MySQL数据入湖为例,为您介绍在MaxCompute中如何创建外部项目,并查询DLF中的表数据。

基于DLF数据入湖的MaxCompute湖仓一体实践

2023-06-16

新增MaxCompute+Hadoop搭建实践

新说明

本文以E-MapReduceHive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的表数据。

MaxCompute+Hadoop搭建实践

2023-06-16

新增对于外部项目的用户以及权限操作

新说明

External Project创建完毕之后,其中的表的所有者归属于创建External Project的账号。如果您需要授权其他用户外部表项目操作权限,请根据本文进行操作。

对于外部项目的用户以及权限操作

2023-06-16

新增基于Hadoop集群支持Delta LakeHudi存储机制

新说明

Delta LakeHudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持DeltaHudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据变化。本文为您介绍如何构建基于Delta LakeHudi存储机制的湖仓一体方案。

基于Hadoop集群支持Delta LakeHudi存储机制

2023-06-16

新增搭建与管理

新说明

本文为您介绍如何通过MaxComputeHadoop构建湖仓一体。

搭建与管理(基于Hadoop)

2023-06-16

新增搭建与管理

新说明

本文为您介绍如何通过MaxComputeDLFOSS构建湖仓一体。

搭建与管理(基于DLFOSS)

2023-06-07

新增计算资源优化推荐

新说明

MaxCompute计算资源优化推荐功能基于您包年包月一级Quota作业资源请求量及对资源配置的期望,推荐并生成更优的计算资源配置方案,帮助您进一步优化计算成本。本文为您介绍如何通过MaxCompute控制台获取计算资源优化配置方案。

计算资源配置优化

2023-06-07

新增数据重排

新说明

MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。本文以MaxCompute公共数据集中表为例为您介绍如何通过数据重排方式进行存储优化。

数据重排

05

时间

特性

类别

描述

产品文档

2023-05-31

新增COMBINATIONS

新说明

返回输入数组元素的N元组合组成的数组。

COMBINATIONS

2023-05-31

新增NGRAMS

新说明

返回指定数组元素的N元语法(n-gram)数组。

NGRAMS

2023-05-31

新增ARRAY_NORMALIZE

新说明

返回根据指定p范数(p Norm)对数组元素规范化后的数组。

ARRAY_NORMALIZE

2023-05-31

新增SEQUENCE

新说明

根据表达式生成包含指定元素的数组。

SEQUENCE

2023-05-31

新增FLATTEN

新说明

将数组类型的数组转换为单个数组。

FLATTEN

2023-05-31

新增SHUFFLE

新说明

返回指定数组的元素随机排列数组。

SHUFFLE

2023-05-31

新增MULTIMAP_ FROM_ENTRIES

新说明

返回由结构体数组中的Key和包含所有Value的数组所组成的Map。

MULTIMAP_FROM_ENTRIES

2023-05-24

新增Quota调度策略说明

新说明

本文为您介绍MaxCompute的包年包月二级Quota调度策略模式,并提供设置和查看二级Quota调度策略的操作指导。

计算资源-Quota调度策略说明

2023-05-19

新增Purge

新说明

清除当前表或者整个项目下所有表的备份数据,清除后不可以恢复。

Purge

2023-05-10

新增聚类分片

新说明

Proxima CE支持使用聚类分片方式检索任务,本文为您介绍聚类分片检索功能的使用方法及示例。

聚类分片

2023-05-10

新增多类目检索

新说明

Proxima CE支持多类目检索方式检索任务,本文为您介绍多类目检索功能的使用方法及示例。

多类目检索

2023-05-10

新增基础向量检索

新说明

Proxima CE支持使用基础向量检索和百万TopK检索的方式检索任务,本文为您介绍Proxima CE中使用基础向量检索离线任务的方法及示例。

基础向量检索

2023-05-06

新增错误码问题ODPS-0110042

新说明

为您介绍错误码ODPS-0110042的产生原因及解决方案。

ODPS-0110042

04

时间

特性

类别

描述

产品文档

2023-04-19

新增PyODPS使用第三方包

新说明

本文为您介绍如何在PyODPS中使用第三方包。

PyODPS使用第三方包

2023-04-19

新增PyODPS制作第三方包

新说明

PyODPSV0.11.3版本开始提供了pyodps-pack命令行工具,用于制作符合PyODPSDataWorks PyODPS节点标准的三方包,使用方法类似pip命令。您可以使用该工具将所有依赖项目制作成一个后缀为.tar.gz的压缩包,其中包含所有依照MaxComputeDataWorks环境编译并打包的项目依赖。您也可以使用该工具打包您项目中自行创建的Python包。

PyODPS制作第三方包

2023-04-17

新增ListProjectUsers - 获取项目用户列表

新说明

获取项目用户列表。

ListProjectUsers - 获取项目用户列表

2023-04-11

新增使用SQL分析连接

新说明

MaxCompute控制台提供SQL分析,方便您快速执行SQL语句操作。本文为您介绍如何通过SQL分析使用MaxCompute服务。

使用SQL分析连接

2023-04-11

新增新用户免费试用额度

新说明

您在注册阿里云账号并进行实名认证后,如果未购买任何MaxCompute产品,可免费试用MaxCompute。试用期内您可以免费试用一定额度的计算消耗量,同时免费存储一定额度的标准存储数据。本文为您介绍免费试用额度类型、支持地域等内容。

新用户免费试用额度

2023-04-10

新增物化视图

新说明

随着MaxCompute的深入使用,会出现对MaxCompute的表有很多重复查询的情况,并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算,同时加速用户计算。MaxCompute提供物化视图智能计算加速,为您智能分析推荐创建物化视图。本文为您介绍如何通过智能分析创建物化视图。

物化视图推荐与管理

2023-04-07

新增基于GitHub公开事件数据集的离线实时一体化实践

新说明

本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过FlinkHologres构建实时数仓,然后通过HologresMaxCompute分别进行实时与离线数据分析,从而实现实时离线一体化解决方案。

基于GitHub公开事件数据集的离线实时一体化实践

03

时间

特性

类别

描述

产品文档

2023-03-31

新增作业运维(新版)

新说明

MaxCompute提供作业运维管理功能,数据开发人员和管理员可通过MaxCompute控制台的作业运维功能查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute控制台运维和管理作业。

作业运维

2023-03-31

新增External Volume SDK说明

新说明

本文为您介绍使用Java SDK操作External Volume的说明。

External Volume SDK说明

2023-03-31

新增利用MaxCompute External Volume处理非结构化数据

新说明

External VolumeMaxCompute提供的分布式文件系统和数据存储方案,为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径,利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制,同时利用 MaxCompute引擎处理External Volume内部的文件数据。每个Project中可以有多个External Volume。本文为您介绍如何利用MaxCompute External Volume处理非结构化数据。

利用MaxCompute External Volume处理非结构化数据

2023-03-30

新增向量计算(Proxima CE)

新说明

Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等功能。本文为您介绍在MaxCompute中如何使用向量计算功能。

向量计算(Proxima CE)概述

2023-03-30

新增External Volume操作

新说明

External VolumeMaxCompute提供的分布式文件系统和非结构化数据存储方案,通过External Volume可以实现使用MaxCompute引擎处理OSS上的文件数据。本文为您介绍常用的External Volume操作。

External Volume操作

2023-03-24

新增内建函数

新说明

MaxCompute自身预置了诸多函数,可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。

新增函数包括:CURRENT_TIMEZONE、DAYOFYEAR、DAYOFWEEK、INITCAP、NEGATIVE、POSITIVE、ATAN2、ISNAN。

内建函数概述

2023-03-20

新增独享数据传输服务资源组

新说明

MaxCompute为您提供独享数据传输服务资源组,本文为您介绍如何购买、使用独享数据传输服务资源组。

2023-03-17

新增PyODPS Schema

新说明

SchemaMaxCompute介于项目和表、资源、函数之间的概念,对表、资源、函数进行进一步归类。本文为您介绍Schema的基本操作。

Schema

2023-03-14

新增TPC-DS数据

新说明

MaxCompute通过TPC-DS官方工具生成了1GB、10GB、100GB、1TB、10TB、100TB六个规格的TPC-DS数据,此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息,以及如何通过MaxCompute执行TPC-DS数据查询。

TPC-DS数据

2023-03-13

新增加密函数

新说明

MaxCompute SQL提供了加密函数和解密函数,您可以根据实际需要选择合适的函数,对指定列进行随机性加密或解密。本文为您提供MaxCompute SQL支持的加密函数的命令格式、参数说明及示例,指导您使用加密函数完成开发。

2023-03-10

新增PIVOT、UNPIVOT

新说明

MaxCompute支持PIVOTUNPIVOT关键字,通过PIVOT关键字可以基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可以将一个或者多个列转换为行。本文为您介绍PIVOTUNPIVOT关键字的使用和示例。

PIVOT、UNPIVOT

2023-03-09

新增QUALIFY

新说明

MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗(Window)函数的结果,QUALIFY语法过滤Window函数数据类似于HAVING语法处理经过聚合函数和GROUP BY后的数据。本文为您介绍QUALIFY语法和使用示例。

QUALIFY

2023-03-08

新增TABLESAMPLE采样

新说明

MaxCompute支持通过TABLESAMPLE功能来对表数据进行采样,包含三种采样方式:分桶采样、指定采样百分比采样和随机返回指定记录数采样。本文为您介绍使用TABLESAMPLE采样的命令语法和使用示例。

TABLESAMPLE采样

2023-03-06

新增使用Tunnel命令或Tunnel SDK

新说明

MaxCompute的客户端(odpscmd)、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载,本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。

使用Tunnel命令或Tunnel SDK

02

时间

特性

类别

描述

产品文档

2023-02-28

新增周期性调度作业概述

新说明

如果您希望周期性运行MaxCompute作业,可使用DataWorksDataStudio开发周期性MaxCompute作业,并配置周期性调度的时间属性、调度依赖等配置项,将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks开发周期性作业的能力。

周期性调度作业概述

2023-02-28

新增GetProject - 获取项目信息

新说明

查询MaxCompute项目的基本信息。

GetProject - 获取项目信息

2023-02-28

新增在DataWorks运维中心查看作业运行信息

新说明

DataWorks运维中心展示离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息,帮助您提升任务运维效率。当您在DataStudio中完成节点开发,并提交和发布至生产环境后,即可在运维中心查看作业运行详情、监控作业运行状态等操作。本文为您介绍如何通过DataWorks运维中心查看MaxCompute作业的运行信息。

DataWorks运维中心查看作业运行信息

2023-02-28

新增MaxCompute作业概述

新说明

本文为您介绍MaxCompute作业的基本概念和常用场景。

MaxCompute作业概述

2023-02-28

新增数据传输作业:数据集成

新说明

MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute,数据集成作业主要有三种类型:离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。

数据传输作业:数据集成

2023-02-28

新增作业优先级管理与成本优化

新说明

本文为您介绍MaxCompute作业优先级管理与成本优化。

作业优先级管理与成本优化

2023-02-28

新增数据传输与迁移概述

新说明

MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。

数据传输与迁移概述

2023-02-23

新增数据分析作业

新说明

MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用查询编辑器或DataWorks的临时查询等工具,高效便捷地完成数据分析作业。本文为您介绍数据分析场景下的常用工具与使用注意事项。

数据分析作业

2023-02-22

新增高级应用:实现复杂作业逻辑

新说明

使用DataWorks周期性调度MaxCompute作业时,您也可以灵活使用DataWorks已有的通用节点,例如虚拟节点、分支和归并节点、循环类节点等,与MaxCompute的其他节点联合使用可实现更复杂的业务效果,本文为您概要介绍常用的通用节点和典型应用场景。

高级应用:实现复杂作业逻辑

2023-02-13

新增函数概述

新说明

为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工,MaxCompute提供了丰富的内建函数,以便您在日常开发和分析中使用,您可以根据需要从不同维度快速查询目标函数。

概述

2023-02-07

新增使用标签分账

新说明

MaxCompute支持为项目(Project)、一级Quota绑定标签,绑定标签后,您可以通过阿里云费用与成本使用分账账单或成本分析功能查看费用情况。本文为您介绍在MaxCompute中使用标签进行分账。

使用标签分账

2023-02-07

新增最佳实践Range Clustering

新说明

Range Clustering作为一种新的数据切分方式,提供了一个全局有序的数据分布,一是可以避免Hash Clustering可能造成的数据倾斜问题;二是在数据有序分布的前提下,创建两级索引(Index),支持对Clustering Key的区域查询以及多键的组合查询等场景。本文为您介绍如何在MaxCompute中使用Range Clustering。

Range Clustering

2023-02-02

新增最佳实践Hash Clustering

新说明

哈希聚簇(Hash Clustering)表通过设置表的ShuffleSort属性,进而MaxCompute根据数据已有的存储特性,优化执行计划,提高效率,节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。

Hash Clustering

01

时间

特性

类别

描述

产品文档

2023-01-31

新增搭建Windows开发环境。

新说明

本文为您介绍如何在Windows操作系统下搭建Spark on MaxCompute开发环境。

如果您安装了Linux操作系统,请前往搭建Linux开发环境

搭建Windows开发环境

2023-01-31

新增获取任务执行进度示例。

新说明

本文为您介绍如何使用Java SDK获取任务(Task)的执行进度。

获取任务执行进度示例

2023-01-17

新增OSS外部表根据字段名称Mapping数据。

新说明

OSS支持用户在OSS目录下上传不同表结构的数据,MaxCompute建立的OSS外部表可以根据字段名称对数据进行读写。本文为您介绍在MaxCompute中使用OSS外部表根据字段名称对数据进行读写。

OSS外部表根据字段名称Mapping数据

2023-01-09

新增迁移任务查看与操作。

新说明

本文为您介绍迁移任务查看与操作的功能。您可以在迁移任务子任务列表中查看子迁移任务的相关信息,在子迁移任务的详情⾥查看任务执⾏的日志。

迁移任务查看与操作

2023-01-09

新增分区过滤表达式说明。

新说明

本文为您提供分区过滤表达式的相关说明,用于数据迁移时的参数配置场景。

分区过滤表达式说明

2023-01-09

新增MaxCompute数据迁移。

新说明

本文为您介绍MaxCompute数据迁移的准备事项和操作步骤。

MaxCompute数据迁移

2023-01-09

新增Hive数据迁移。

新说明

本文为您介绍通过Hive UDTF迁移Hive数据的方法。

Hive数据迁移

2022

12

时间

特性

类别

描述

产品文档

2022-12-29

新增API

新说明

本文为开发者封装了常见编程语言的SDK,开发者可通过下载SDK直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。

API概览

2022-12-29

新增MaxCompute后付费消费突增排查。

新说明

在使用MaxCompute开发过程中会产生费用,如果平时每日消费比较平稳,某段时间的费用增长翻倍。在排除业务增长的情况下,可以进行费用分析,排查导致费用突增的项目、作业是哪些,进而及时优化和调整作业,优化成本。本文为您介绍如何结合账单详情和MaxCompute元数据服务(Information Schema)排查MaxCompute后付费消费突增。

MaxCompute后付费消费突增排查

2022-12-20

新增通过控制台(新版)管理用户权限。

新说明

MaxCompute支持用户在MaxCompute控制台(新版)通过角色为RAM账号(RAM用户、RAM角色)授予相应的MaxCompute权限。本文为您介绍各类权限的授权操作步骤与示例。

通过控制台管理用户权限

2022-12-15

新增MASK_HASH函数。

新说明

返回基于字符串表达式(expr)计算的Hash值。Hash值相同证明表达式的值相同。

MASK_HASH

2022-12-14

新增Flag参数列表。

新说明

您可在参数列表页面搜索参数,查看参数的影响范围、属性名称和属性描述。

Flag参数列表

2022-12-14

新增WINDOW关键字。

新说明

您可以使用WINDOW关键字自定义窗口,为窗口函数自定义名称。

WINDOW关键字

2022-12-13

新增时区列表。

新说明

您可以使用FROM_UTC_TIMESTAMP函数将一个UTC时区的时间戳转换成一个指定时区的时间戳。

时区列表

2022-12-11

新增错误码。

新说明

MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息,帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。

错误码概述

2022-12-09

新增压缩数据从OSS迁移至MaxCompute。

新说明

本文为您介绍如何通过MaxCompute外部表能力,将SNAPPY压缩文件数据(以半角逗号分隔)从OSS迁移至MaxCompute。

压缩数据从OSS迁移至MaxCompute

2022-12-02

新增合并小文件。

新说明

分布式文件系统按块(Block)存放数据,文件大小比块大小(64MB)小的文件称为小文件。分布式系统不可避免会产生小文件,比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。

合并小文件

11

时间

特性

类别

描述

产品文档

2022-11-16

新增弹性预留CU最佳实践。

新说明

本文通过典型场景案例介绍如何选择并配置包年包月预留和弹性预留计算资源,为您提供降本增效的参考建议。

弹性预留CU最佳实践

2022-11-15

新增Analyze命令。

新说明

ANALYZE命令用于收集表数据统计信息来获取元数据,为优化查询性能提供帮助。

ANALYZE

2022-11-15

新增新版控制台。

新说明

MaxCompute新版控制台将提供全新的项目管理、Quota(配额)管理交互,同时集成全新功能:弹性预留CU、自定义项目管理类角色访问控制。

2022-11-15

新增弹性预留CU

新说明

本文为您介绍弹性预留CU包含的基础资源和计费规则,并帮助您了解使用方法和注意事项。

弹性预留CU

2022-11-01

新增计算抵扣包和存储抵扣包。

新说明

MaxCompute提供了两种资源抵扣包:计算抵扣包和存储抵扣包,抵扣您使用MaxCompute实例时产生的计算和存储用量,增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。

计算抵扣包和存储抵扣包

10

时间

特性

类别

描述

产品文档

2022-10-31

新增权限授权说明。

新说明

MaxCompute支持通过使用阿里云的访问控制RAM(Resource Access Management)服务授权,将您云账号下MaxCompute资源的访问及管理权限授予RAM用户和RAM角色,按需为用户分配最小权限,从而降低企业的信息安全风险。本文为您介绍MaxCompute中支持的两种权限策略。

RAM权限策略管理

2022-10-28

新增MaxCompute在普通模式和Hive兼容模式下使用的区别。

新说明

介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。

普通模式和Hive兼容模式下SQL的差异

2022-10-13

新增MaxCompute Schema。

新说明

MaxCompute支持Schema,在Project之下对Table、Resource、Function进行归类。本文为您介绍Schema的概念、权限内容以及如何使用Schema。

Schema操作

09

时间

特性

类别

描述

产品文档

2022-09-28

新增内建函数(按字母顺序排序)。

新说明

MaxCompute提供的内建函数按照首字母顺序进行排序,方便您查找使用。

内建函数概述

2022-09-28

新增所有命令(按字母顺序)。

新说明

MaxCompute支持的SQL命令按照首字母顺序进行排序,方便您查找使用。

ADD ACCOUNTPROVIDER

2022-09-26

新增Spark访问湖仓一体外部数据源。

新说明

Spark on MaxCompute目前已支持访问湖仓一体外部数据源,解决从Spark更换为MaxCompute处理数据时,需要迁移Spark作业到MaxCompute的问题,降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。

Spark访问湖仓一体外部数据源

2022-09-22

新增(进阶)RAM角色授信策略。

新说明

企业用户通常通过常规登录方式(即在阿里云控制台输入账号、密码)登录阿里云,管理、使用云资源。随着企业安全监管要求的日益严格,部分企业更愿意通过角色登录(Role Base_SSO)的方式登录阿里云。本文为您介绍使用角色SSO的方式登录MaxCompute新版控制台需要配置的角色授信策略。

(进阶)RAM角色授信策略

2022-09-16

新增项目管理(新版)。

新说明

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。您开通MaxCompute服务后,需要通过项目使用MaxCompute。本文为您介绍如何通过MaxCompute新版控制台创建、管理MaxCompute项目。

项目管理

2022-09-15

新增RAM权限(新版控制台)。

新说明

MaxCompute部分资源管理类的操作只能通过管理控制台来完成,其中有些操作权限通过RAM进行鉴权,本文为您介绍MaxCompute管理相关操作对接RAM的权限点列表及权限策略。

RAM权限

2022-09-15

新增计算费用(按时计费)。

新说明

按时计费规格基于包年包月规格进行弹性扩、缩容预留CU,支持对包年包月一级Quota在每天某个时间段临时扩容部分计算资源,从而满足业务高峰期资源供给。按时计费规格以使用的CU量和使用时长作为计量指标,并在CU缩容成功后收取费用。

计算费用(按时计费)

2022-09-15

新增Quota管理(新版)。

新说明

Quota管理是为您在MaxCompute管理控制台提供计算资源消耗查看、调整、增删改查等涉及日常资源管理运维的功能模块。

计算资源-Quota管理

08

时间

特性

类别

描述

产品文档

2022-08-31

新增Spark-2.x示例。

更新说明

新增Spark on MaxCompute支持访问MaxCompute OSS外部表的示例,底层文件格式支持PARQUET、TEXTFILE、ORC、AVROSEQUENCEFILE格式。

OSS外部表

2022-08-27

聚合函数。

更新说明

新增三个聚合函数,分别是BITWISE_AND_AGGMIN_BYMAX_BY

聚合函数

2022-08-19

新增物化视图状态查看函数。

更新说明

物化视图状态查看函数可以判断当前物化视图或者物化视图的分区的数据是否跟原表的数据一致,如果一致返回为True,否则返回False。

物化视图操作

2022-08-04

新增计算资源使用

新说明

通过MaxComputeUse Quota功能,实现作业级别指定Quota,提升Quota使用的灵活性。

计算资源-Quota使用

07

时间

特性

类别

描述

产品文档

2022-07-28

离线实时一体化数仓。

新说明

系统讲解阿里云离线实时一体化数仓的能力,帮助您设计构建离线实时一体化数仓。

离线实时一体化数仓

2022-07-14

字符串函数。

更新说明

新增regexp_extract_all函数。

字符串函数

2022-07-13

新增模拟IDC Spark读写MaxCompute实践。

新实践

现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据,有些线下IDC场景,客户不愿意对公网暴露集群内部信息,需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce(云上Hadoop)方式模拟本地Hadoop集群,为您介绍如何读写MaxCompute数据。

模拟IDC Spark读写MaxCompute实践

2022-07-07

Unload。

更新说明

支持使用Unload函数从MaxCompute导出数据到OSS时,自定义设置导出数据文件名的前缀和后缀。

UNLOAD

2022-07-07

支持表级别设置Split Size参数。

更新说明

在表级别设置Split Size参数控制并发度,当您发现资源比较充足且作业跑的比较慢的时候或者发现作业等待资源时间比较长且资源不足时,可以通过调整该参数,提升计算效率。

SELECT语法

2022-07-07

聚合函数。

更新说明

新增BITWISE_OR_AGGMAP_AGGMULTIMAP_AGGMAP_UNIONMAP_UNION_SUMHISTOGRAM聚合函数。

聚合函数

06

时间

特性

类别

描述

产品文档

2022-06-30

MaxCompute湖仓一体。

更新说明

支持在DataWorks公共表中查看外部数据源的元数据信息,使基于湖仓的数据开发人员方便查看外部数据源的表、字段和分区信息。

MaxCompute湖仓一体概述

2022-06-24

包年包月规格下使用查询加速。

新说明

MaxCompute产品规格使用的是包年包月,可以通过创建查询加速独享资源配额,实现包年包月产品规格下对应项目的查询加速(MCQA)支持。本文为您介绍如何使用查询加速对MaxCompute包年包月规格实例下的项目进行加速。

包年包月规格下使用查询加速(邀测)

2022-06-01

字符串函数。

更新说明

新增KEYVALUE_TUPLE函数。

字符串函数

04

时间

特性

类别

描述

产品文档

2022-04-14

新增MaxCompute如何访问Hologres最佳实践。

新实践

新增MaxCompute如何访问Hologres最佳实践。

MaxCompute如何访问Hologres

2022-04-14

新增EXCEPT、REPLACE子句。

更新说明

支持您通过SELECT语句排除表中的少数列或对少数列的数据进行修改。

SELECT语法

2022-04-14

整改OSS外部表内容。

更新说明

OSS外部表内容结构进行整改,信息聚焦呈现。

搭建Linux开发环境

2022-04-07

新增Python UDF示例。

新示例

新增复杂数据类型示例、引用表或资源示例。

03

时间

特性

类别

描述

产品文档

2022-03-24

计算费用(按量计费)

更新说明

增加Lightning不建议使用说明。

计算费用(按量付费)

2022-03-24

行转列及列转行最佳实践

新增

新增行转列及列转行最佳实践。

基于示例为您介绍如何使用SQL实现行转列、列转行需求。

行转列及列转行最佳实践

2022-03-18

支持开源格式数据

更新说明

补充PARQUET属性:

  • parquet.file.cache.size

  • parquet.io.buffer.size

创建OSS外部表

2022-03-18

复杂类型函数

更新说明

补充GET_JSON_OBJECT、JSON_TUPLE示例。

复杂类型函数

2022-03-18

字符串函数

更新说明

更新TRIM、LTRIM、RTRIM函数。

字符串函数

2022-03-18

DISTRIBUTED MAPJOIN

新增

新增DISTRIBUTED MAPJOIN。

DISTRIBUTED MAPJOINMAPJOIN的升级版,适用于小表JOIN大表的场景。

DISTRIBUTED MAPJOIN

2022-03-15

SHOW命令

新增

新增SHOW命令章节。

涵盖MaxCompute所有SHOW命令。

SHOW

2022-03-09

常见问题补充

更新说明

  • 新增沙箱问题和第三方包问题。

  • 新增常见问题:可以在Java业务代码中执行SQL任务吗?

  • 列举了MaxCompute的用户经常咨询和关注的一些问题。

2022-03-01

权限管理

更新说明

权限内容整改。

权限概述

2022-03-01

MaxCompute兼容开源Spark 3.1版本

更新说明

MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后,全新支持Spark 3.1版本。

搭建Linux开发环境

02

时间

特性

类别

描述

产品文档

2022-02-28

使用SQL管理外部项目。

更新说明

重构使用SQL方式管理外部项目内容。

使用SQL管理外部项目

2022-02-23

新增列,删除列,列顺序变更。

新增

增加新增列、删除列的命令格式以及示例。调整列的顺序。

分区操作

2022-02-15

新增Tunnel错误码信息。

新增

新增Tunnel错误码信息。

Tunnel常见错误码

2022-02-14

新增内建函数常见错误码。

新增

新增内建函数常见错误码。

内建函数常见错误码

2022-02-11

更新Graph操作案例。

更新说明

优化以单源最短距离算法为例的Graph作业编写。

编写Graph

01

时间

特性

类别

描述

产品文档

2022-01-30

常见问题整改。

更新说明

将常见问题拆解到各个模块,便于用户在遇到问题时快速查找解决措施。

常见问题

2022-01-30

增加外部项目概念。

更新说明

MaxCompute支持通过外部项目实现湖仓一体能力。

项目

2022-01-24

新增权限管理最佳实践。

新实践

新增基于Policy对具备内置角色的用户进行权限管理最佳实践。

基于Policy对具备内置角色的用户进行权限管理

2022-01-21

补充内建函数典型使用案例。

新说明

针对用户反馈较多的问题,补充实现GROUP_CONCAT函数能力案例和ROUND函数精度问题案例。

2022-01-18

新增最佳实践。

新实践

新增Spark on MaxCompute如何访问HBase最佳实践。

Spark on MaxCompute如何访问HBase

2022-01-17

新增最佳实践。

新实践

新增MaxCompute在电商场景中如何进行漏斗模型分析最佳实践。

MaxCompute在电商场景中如何进行漏斗模型分析

2022-01-07

整改产品计费、规格类型文档内容。

更新说明

优化产品计费、规格类型文档内容。

2022-01-07

新增产品最佳实践视频。

新视频

新增产品最佳实践视频。

2022-01-05

复杂类型函数变更。

更新说明

MAP_CONCAT、MAP_FROM_ARRAYS、MAP_FROM_ENTRIES、MAP、STR_TO_MAP函数增加mapDupKeyPolicy参数并支持通过odps.sql.map.key.dedup.policy设置。

复杂类型函数

2022-01-05

新增最佳实践。

新实践

新增Spark On MaxCompute访问Phoenix数据最佳实践。

Spark on MaxCompute访问Phoenix数据

2021

12

时间

特性

类别

描述

产品文档

2021-12-22

重构湖仓一体。

更新说明

支持MaxCompute湖仓一体自助构建流程。

MaxCompute湖仓一体概述

2021-12-03

新增MaxCompute支持渐进式计算。

新说明

MaxCompute支持渐进式计算,在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据,在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据,从而降低了计算资源消耗、执行调度时间,为客户节省了费用的同时提高了作业的运行效率。

参考:渐进式计算

2021-12-01

MaxCompute物化视图功能增强。

新说明

MaxCompute物化视图支持创建分区和聚簇,在查询物化视图时如果发现有分区数据不存在物化视图中时,可以设置系统自动穿透去查询源表,并返回源表和物化视图的汇总数据。

物化视图操作

11

时间

特性

类别

描述

产品文档

2021-11-29

新增Policy授权最佳实践。

新实践

支持基于Policy对具备内置角色的用户进行权限管理。

基于Policy对具备内置角色的用户进行权限管理

2021-11-29

MaxCompute开放租户级别的用户管理能力。

更新说明

支持通过MaxCompute控制台管理用户。

角色规划

2021-11-23

重构MMA内容。

更新说明

重构MMA内容。

MMA概述

2021-11-18

新增网易BI数据连接MaxCompute操作指导。

新说明

MaxCompute支持您将MaxCompute项目数据接入网易有数BI,帮助您轻松完成数据分析和数据可视化工作。

网易有数BI连接MaxCompute

2021-11-15

新增IP地址转换归属地最佳实践。

新实践

MaxCompute支持基于MaxCompute UDFIPv4IPv6地址转换为归属地。

基于MaxCompute UDFIPv4IPv6地址转换为归属地

2021-11-10

完善Python UDF上传及注册操作。

新说明

完成Python程序开发及调试后,您需要将Python程序以资源形式上传至MaxCompute项目后,才可以注册MaxCompute UDF。

上传及注册

2021-11-10

新增MaxCompute Studio可视化管理函数内容。

新说明

MaxCompute StudioProject Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中注册自定义函数(MaxCompute UDF),并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。

可视化管理函数

2021-11-08

补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。

更新说明

补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。

2021-11-03

支持清空分区表的分区数据。

新说明

MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。

清空分区数据

2021-11-02

新增MaxCompute Studio可视化管理资源内容。

新说明

MaxCompute StudioProject Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源,例如表、JAR包、PY脚本或压缩包等,并提供获取及删除资源的入口。

可视化管理资源

10

时间

特性

类别

描述

产品文档

2021-10-26

支持清空分区表的分区数据。

新说明

MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。

分区操作

2021-10-19

新增日期数据格式转换最佳实践。

新实践

新增STRING、TIMESTAMP、DATETIME互相转换实践案例。

日期数据格式转换:STRING、TIMESTAMP、DATETIME互相转换

2021-10-12

新增观远数据连接MaxCompute操作指导。

新说明

MaxCompute支持您将MaxCompute项目数据接入观远数据(GuanData),帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。

观远BI连接MaxCompute

09

时间

特性

类别

描述

产品文档

2021-09-30

MaxCompute UDF内容整改。

更新说明

重构MaxCompute UDF目录结构及内容结构,按照UDF、UDTF、UDAF进行整改并补充示例及常见问题。

MaxCompute UDF概述

2021-09-26

补充物化视图使用限制。

更新说明

补充物化视图使用限制。

物化视图操作

2021-09-22

网络开通流程处理方式变更,从提工单变更为填写表单。

更新说明

网络开通流程处理方式变更,从提工单变更为填写表单。

网络开通流程

2021-09-15

新增日期函数DATE_SUB。

新说明

按照指定的幅度增减天数,与DATE_ADD逻辑相反。

DATE_SUB

2021-09-15

补充Spark Java示例。

更新说明

补充Spark Java示例。

2021-09-08

补充核心概念的层次结构。

新说明

补充核心概念的层次结构。

核心概念的层次结构

08

时间

特性

类别

描述

产品文档

2021-08-27

支持基于Delta LakeHudi存储机制实现湖仓一体能力。

新功能

Delta LakeHudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS、OSS产品提供了支持DeltaHudi存储机制的湖仓一体架构。

基于DLF、RDS、OSS支持Delta LakeHudi存储机制

2021-08-26

数学函数新增CORR函数。

新说明

支持计算两列数据的皮尔逊系数。

数学函数

2021-08-25

新增资源规划及规格选型指导。

新说明

帮助您预估购买的资源数量并选择合适的规格类型。

资源规划及规格选型

2021-08-20

聚合函数语法变更。

更新说明

增加聚合函数语法模块,提供语法详细说明。

聚合函数

2021-08-19

其他函数下新增HASH、COMPRESS、DECOMPRESS、NULLIF、FORMAT_NUMBER、SHA、SHA1、SHA2、CRC32函数。

新说明

  • HASH:对输入的参数进行散列运算,返回一个HASH值。

  • COMPRESS:对输入的字符串,按照GZIP算法进行压缩。

  • DECOMPRESS:对于BINARY类型的输入,使用GZIP算法进行解压缩。

  • NULLIF:如果expr1expr2的值相等,返回NULL;否则返回expr1。

  • FORMAT_NUMBER:将数字转化为指定格式的字符串。

  • SHA:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

  • SHA1:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

  • SHA2:计算字符串或者二进制的SHA-2系列哈希值(支持SHA-224,SHA-256,SHA-384SHA-512)。

  • CRC32:计算字符串或者二进制的循环冗余校验值。

其他函数

2021-08-19

日期函数新增TO_MILLIS函数。

新说明

将指定日期转换为以毫秒为单位的UNIX时间戳。

日期与时间函数

2021-08-18

起售CU数量变更。

更新说明

MaxComputeCU起售数量从10 CU变更为50 CU。

计费项与计费方式

2021-08-11

MaxCompute新增物化视图功能。

新功能

物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。

物化视图操作

2021-08-11

UPDATE、DELETEMERGE INTO功能商业化。

更新说明

2021810日起,MaxCompute SQLUPDATE、DELETEMERGE INTO功能结束免费公测,开始正式计费。已经使用UPDATE、DELETEMERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETEMERGE INTO功能,届时可以放心使用。MaxComputeUPDATE、DELETEMERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。

2021-08-10

新增复杂类型函数。

新功能

MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据,提供多种函数支持多样化数据处理。

复杂类型函数

2021-08-04

新增ETL工具连接MaxCompute操作指导。

新说明

MaxCompute支持连接ETL工具管理MaxCompute项目。

2021-08-02

in/not in subqueryscalar subquery支持多列。

更新说明

兼容PostgreSQL支持多列的需求。

子查询(SUBQUERY)

07

时间

特性

类别

描述

产品文档

2021-07-28

MaxCompute支持删除项目。

更新说明

您可以通过MaxCompute控制台删除已创建的MaxCompute项目。

删除MaxCompute项目

2021-07-21

新增数据库管理工具连接MaxCompute操作指导。

新说明

MaxCompute支持连接数据库管理工具管理MaxCompute项目。

2021-07-19

新增商业智能BI工具连接MaxCompute操作指导。

新说明

MaxCompute支持连接商业智能BI工具以图表形式展现数据分析结果。

2021-07-19

新增最佳实践。

新实践

新增通过Logview诊断慢作业最佳实践。

Logview诊断实践

2021-07-14

新增客户案例页面。

新说明

新增MaxCompute典型客户案例内容。

客户案例

06

时间

特性

类别

描述

产品文档

2021-06-07

数据集成导入导出数据内容整改。

更新说明

重构数据集成导入导出数据内容。

05

时间

特性

类别

描述

产品文档

2021-05-31

准备工作内容整改。

更新说明

重构准备工作流程及内容。

准备工作

2021-05-31

快速入门内容整改。

更新说明

按照工具展示快速入门操作。

快速入门

2021-05-24

更新监控报警。

更新说明

完善监控报警机制,补充作业超时告警和累计消费告警内容。

监控报警

2021-05-21

补充Java SDK常见问题。

更新说明

基于用户反馈补充Java SDK使用过程中的常见问题。

Java SDK常见问题

04

时间

特性

类别

描述

产品文档

2021-04-29

新增数加体验馆页面。

新说明

链接至数加体验馆,方便用户快速基于场景使用MaxCompute。

AI体验教程

2021-04-06

新增动态过滤功能。

新功能

利用等值JOIN的特性,基于运行时动态生成过滤器,以便在ShuffleJOIN之前提前过滤数据,实现加速查询运行。

动态过滤器(Dynamic Filter)

2021-04-02

根据用户反馈补充常见SQL问题。

更新说明

补充SQL语句使用过程中的常见问题。

SQL常见问题

03

时间

特性

类别

描述

产品文档

2021-03-25

补全MaxCompute错误码列表信息。

更新说明

完善MaxCompute错误码列表。

2021-03-19

补充常见问题。

更新说明

根据用户反馈问题合入常见问题。

2021-03-16

建表语法支持指定列的NOT NULL属性。

更新说明

禁止该列的值为NULL。

表操作

2021-03-16

新增FROM_JSONTO_JSON函数。

新说明

FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStrschema信息,返回ARRAY、MAPSTRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAPSTRUCT,以JSON字符串格式输出。

字符串函数

2021-03-16

新增OSS外部表支持处理压缩格式数据功能。

新功能

如果OSS上的数据为LZOSNAPPY压缩格式,您需要在创建OSS外部表时,指定压缩格式相关信息。

创建OSS外部表

2021-03-16

新增作业超时报警功能。

新功能

MaxCompute支持通过配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。

作业超时监控告警

2021-03-16

支持Transactional表的ACID属性。

新功能

Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。

ACID语义

2021-03-12

支持列级别权限控制。

更新说明

对表列级别进行权限控制。

MaxCompute权限

2021-03-12

支持通过Java SDK查询权限信息。

新功能

MaxCompute支持您通过Java SDK方式查询指定用户、角色或资源的授权信息,以JSON格式展示权限查询结果,满足多样化展示需求。

通过Java SDK查询权限信息

2021-03-12

支持对Package进行权限控制。

新功能

安装Package后,如果您需要对Package进行更细微的权限控制,例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列,您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。

Package的权限控制

2021-03-12

支持通过属性打开或关闭Download权限。

更新说明

开启或关闭该功能,需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。

Policy权限控制

2021-03-01

新增MaxCompute湖仓一体功能。

新功能

MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。

MaxCompute湖仓一体概述

02

时间

特性

类别

描述

产品文档

2021-02-23

新增Python 2 UDTF使用示例。

新示例

新增Python 2 UDTF读取MaxCompute资源示例。

UDF开发规范与通用流程(Python2)

2021-02-23

新增Python 3 UDTF使用示例。

新示例

新增Python 3 UDTF读取MaxCompute资源示例。

UDF开发规范与通用流程(Python3)

2021-02-23

新增Spark作业引用外部文件描述。

新说明

新增Spark作业引用外部文件描述。

搭建Linux开发环境

2021-02-20

新增UDTFLateral View结合的使用示例。

新示例

新增UDTFLateral View结合的使用示例。

UDTF使用说明

2021-02-09

补充清除用户权限描述。

新说明

补充清除用户权限描述。

用户规划与管理

2021-02-09

新增MaxCompute SQLML功能。

新功能

SQLMLMaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖PAI平台做模型创建、预测、评估等操作。

2021-02-07

删除VALUES中只能使用常量的限制。

更新说明

删除VALUES中只能使用常量的限制。

VALUES

2021-02-07

OSS外部表支持分片上传功能。

新说明

支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。

将数据写入OSS

2021-02-07

新增array_intersect函数,修改sort_array函数。

新说明

新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。

其他函数

2021-02-07

新增过滤条件表达式和count_if函数。

新说明

增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。

聚合函数

2021-02-07

增强日期函数datedatediffdatepartdatetruncDATE、TIMESTAMP日期数据类型的支持。

新说明

增强日期函数datedatediffdatepartdatetruncDATE、TIMESTAMP日期数据类型的支持。

日期与时间函数

2021-02-07

新增base64unbase64parse_url函数。

新说明

新增字符串函数parse_urlURL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。

字符串函数

2021-02-07

MaxCompute命令行支持关闭表头显示,便于Shell调用。

新说明

Shell(或Windows命令行)执行窗口,用户可能需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关闭表头显示,将计算结果stdout部分输出到目标句柄。

使用本地客户端(odpscmd)连接

2021-02-07

MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。

新功能

MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。

UNLOAD

2021-02-07

支持SkewJoin Hint。

新功能

当两张表Join存在热点,导致出现长尾问题时,您可以通过提取热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。

SKEWJOIN HINT

2021-02-07

MaxCompute推出FreerideAnalyze两种优化器元数据收集工具。

新功能

MaxCompute目前提供两种方式收集表的元数据:

  • 异步收集(Analyze):需要您通过命令对表进行主动、异步收集。扫描表数据会产生计费。

  • 同步收集(Freeride):需要您在create table ... as ...insert语句前设置运行参数,配置收集计划启用Freeride功能,在数据生成的同时,自动收集列统计信息。这种方式更加自动化,但对查询时延有影响。

优化器信息收集

2021-02-07

MaxCompute外部表支持通过JDBC方式读写MC-Hologres。

新功能

MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

Hologres外部表

2021-02-07

MaxCompute支持云HBase外部表。

新功能

MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以将HBase中的数据同步到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

HBase外部表(HBase标准版或增强版)

2021-02-07

MaxCompute支持RDS外部表。

新功能

MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

RDS外部表

2021-02-01

新增Mars v0.6.3版本变更记录。

新说明

新增Mars v0.6.3版本变更记录。

版本更新记录

01

时间

特性

类别

描述

产品文档

2021-01-22

支持配置JDBC使用FineBI。

新功能

介绍如何通过MaxCompute JDBC驱动,使用FineBIMaxCompute的数据进行可视化分析。

配置JDBC使用FineBI

2021-01-21

get_json_object函数返回行为变更。

更新说明

新建MaxCompute项目的get_json_object函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式

GET_JSON_OBJECT

2021-01-19

SELECT目录整改并优化内容。

更新说明

调整SELECT模块内容并完善命令示例。

SELECT语法

2021-01-13

新增MaxCompute云数据仓库最佳实践。

新视频

介绍MaxCompute云数据仓库最佳实践。

2021-01-13

新增MaxCompute Tunnel视频。

新视频

介绍MaxCompute Tunnel实现与操作。

MaxCompute Tunnel

2021-01-13

新增MaxCompute消费预警与控制视频。

新视频

介绍MaxCompute消费预警与控制实现操作。

MaxCompute 消费预警与控制

2021-01-11

存储计费规则变更。

更新说明

2021110日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)。

存储费用

2021-01-07

新增查询加速(MCQA)免费体验功能。

新功能

MaxCompute为使用包年包月资源的SQL作业提供了查询加速(MCQA)免费体验功能,当前处于公测阶段。

免费体验

2021-01-05

新增流式数据通道(Streaming Tunnel)。

新功能

新增流式数据通道、SDK接口及SDK示例。

2021-01-05

新增数据迁移目录。

新说明

数据上传下载及迁移工具内容调整到新增目录。

2021-01-04

新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。

新实践

介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。

统计MaxCompute TOPN费用账号及耗时作业

2021-01-04

新增包年包月资源隔离最佳实践。

新实践

介绍通过MaxCompute管理控制台的配额(Quota)管理功能对包年包月资源进行隔离的最佳实践。

包年包月资源隔离

2020

12

时间

特性

类别

描述

产品文档

2020-12-28

新增Streaming Tunnel服务。

新功能

MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务,提供了一套全新的API及后端服务,方便流式服务作为上游服务将数据写入MaxCompute。

流式数据通道概述

2020-12-24

新增Spark on MaxCompute使用及常见问题视频。

新视频

介绍Spark on MaxCompute使用及常见问题。

Spark on MaxCompute使用及常见问题

2020-12-24

新增MaxCompute Logview2.0参数详解及常见问题视频。

新视频

介绍MaxCompute Logview2.0参数及常见问题。

MaxCompute Logview2.0参数详解及常见问题

2020-12-21

新增STACKGET_USER_ID函数。

新说明

新增STACK函数用于将指定的数据分隔为指定列数。新增GET_USER_ID函数用于获取当前账号的账号ID。

其他函数

2020-12-21

新建MaxCompute项目默认提供Information Schema服务。

更新说明

新建MaxCompute项目默认提供Information Schema服务,无需手动安装Information Schema权限包。

项目级别Information Schema(即将下线)

2020-12-16

新增包年包月分时配额最佳实践。

新实践

对包年包月计算资源按照时间段设置资源配额,协助您更快上手使用分时配额功能,提高计算资源使用率。

包年包月资源分时配额

2020-12-15

新增Mars版本变更说明。

新说明

提供Mars各版本的变更记录。

Mars版本更新记录

2020-12-15

新增Java SDK版本变更说明。

新说明

提供Java各版本的变更记录。

Java SDK版本更新记录

2020-12-15

新增JDBC版本变更说明。

新说明

提供JDBC各版本的变更记录。

JDBC版本更新记录

2020-12-11

元数据视图列表新增TASK视图。

新说明

TASK视图用于保存运行中作业的实时快照信息。

元数据视图列表

2020-12-10

新增添加项目空间成员并设置角色操作指导。

新说明

如果您使用阿里云账号创建了项目空间,需要RAM用户协助开发时,可以将RAM用户添加为项目空间成员并设置角色,RAM用户才可以协同开发。

授权给其他用户

2020-12-09

新增AdminEvent事件。

新说明

新增CreateProject、UpdateProject、DeleteProject事件,记录项目相关日志。

审计日志

2020-12-08

常用命令整改并优化内容。

更新说明

调整常用命令内容并完善命令示例。

常用命令列表

2020-12-08

Insert语句整改并优化内容。

更新说明

调整Insert语句内容并完善命令示例。

2020-12-08

DDL语句整改并优化内容。

更新说明

调整DDL语句内容并完善命令示例。

11

时间

特性

类别

描述

产品文档

2020-11-30

MaxCompute Lightning升级为MaxCompute交互式分析(MC-Hologres)。

新功能

MC-Hologres是为大数据设计的实时交互式分析产品,它与MaxCompute无缝打通,支持数据实时写入,支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议,可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务探索,同时也支持超高QPS点查能力,满足数仓分析、服务一体化需求。

MaxCompute Lightning升级为实时数仓Hologres

2020-11-27

更新升级和降配操作流程。

更新说明

通过新版MaxCompute控制台执行升级和降配操作。

升级和降配

2020-11-27

支持将消息队列Kafka版数据导入MaxCompute。

新功能

MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。

使用Kafka(离线与实时)

2020-11-26

刷新审计日志字段内容。

更新说明

刷新审计日志字段内容。

审计日志

2020-11-20

支持解除order by必须带limit的限制。

新说明

支持解除order by必须带limit的限制。

SELECT语法

2020-11-20

MaxCompute支持以RAM角色身份访问使用服务。

新说明

MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。

2020-11-17

新增Python UDF使用第三方包操作指导。

新说明

MaxCompute支持您在Python UDF中引用第三方包,例如NumPy包、需要编译的第三方包或依赖动态链接库的第三方包。

UDF示例:Python UDF使用第三方包

2020-11-12

支持突破屏显10000行限制。

新说明

当使用无LIMITSELECT语句或LIMITnumber数量超过设置的屏显上限时,如果您直接从屏显窗口查看结果,最多只能输出屏显上限设置的行数。每个项目空间的屏显上限可能不同,您可以根据提供的解决方案进行设置。

SELECT语法

2020-11-04

补充配置JDBC启用MCQA功能下的可选配置参数。

更新说明

补充配置JDBC启用MCQA功能下的可选配置参数。

使用说明

10

时间

特性

类别

描述

产品文档

2020-10-30

SEMI JOIN支持MAPJOIN Hint。

更新说明

SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMIANTI JOIN的性能,为数据倾斜问题提供解决方案。

SEMI JOIN(半连接)

2020-10-30

MaxCompute支持SORT BY不带 DISTRIBUTE BY。

更新说明

MaxCompute支持不带DISTRIBUTE BYSORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。

SELECT语法

2020-10-30

INSERT命令支持ZORDER BY子句,提升查询时的过滤性能。

新功能

支持把数据相近的行排列在一起,提升查询时的过滤性能,同时降低存储成本。

插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

2020-10-30

支持通过条件筛选方式批量删除分区。

新功能

如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。

分区操作

2020-10-30

OSS外部表CSVTSV文件支持GBK编码格式。

更新说明

odps.text.option.encoding属性支持GBK编码格式。

创建OSS外部表

2020-10-30

时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。

更新说明

时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。

日期与时间函数

2020-10-30

新增WIDTH_BUCKET函数。

新功能

支持获取某个字段值落入的分组编号。

数学函数

2020-10-12

查询加速(MCQA)功能商业化。

更新说明

查询加速(MCQA)功能商业化,正式开始收费。

MCQA概述

2020-10-10

支持修改表的聚簇属性。

新说明

新增修改表的聚簇属性说明。

表操作

09

时间

特性

类别

描述

产品文档

2020-09-30

MaxCompute控制台改版。

新功能

MaxCompute控制台改版,新版用户界面和新功能简化了用户在开通服务、创建项目、管理及监控计算资源和分析SQL查询结果等方面的操作。

2020-09-17

新增创建RAM用户描述。

新说明

新增创建RAM用户描述。

准备RAM用户

2020-09-11

新增Logview 2.0功能。

新功能

新增Logview 2.0功能。

使用Logview 2.0查看作业运行信息

2020-09-08

更新服务注销说明。

更新说明

更新服务注销操作说明。

服务注销与资源释放

2020-09-03

更新Tunnel Upload说明。

更新说明

更新Tunnel Upload命令使用说明。

Tunnel命令

2020-09-01

新增BigQuery数据迁移至MaxCompute最佳实践。

新实践

为您介绍如何将BigQuery数据迁移至MaxCompute。

BigQuery数据迁移至MaxCompute

2020-09-01

新增Amazon Redshift数据迁移至MaxCompute最佳实践。

新实践

为您介绍如何将Amazon Redshift数据迁移至MaxCompute。

Amazon Redshift数据迁移至MaxCompute

2020-09-01

新增内建函数常见问题。

新说明

为您介绍内建函数的常见问题。

内建函数常见问题

08

时间

特性

类别

描述

产品文档

2020-08-20

新增查询加速(MCQA)功能。

新功能

为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景、使用限制和使用说明。

MCQA概述

2020-08-20

新增备份存储计费详情。

更新说明

为您介绍备份存储计费详情。

存储费用

2020-08-17

新增数据科学(Mars)和备份存储计费方式。

更新说明

为您介绍数据科学(Mars)和备份存储计费方式。

计费项与计费方式

2020-08-17

新增数据科学(Mars)和查询加速(MCQA)计费详情。

更新说明

为您介绍数据科学(Mars)和查询加速(MCQA)计费详情。

计算费用(按量付费)

2020-08-05

新增SERDEPROPERTIES支持的属性项odps.text.option.use.quote

新说明

指定是否识别CSV的列分隔符"

创建OSS外部表

07

时间

特性

类别

描述

产品文档

2020-07-29

新增迁移MaxCompute数据至OTS最佳实践。

新实践

为您介绍如何将MaxCompute数据迁移至表格存储OTS。

MaxCompute数据迁移至OTS

2020-07-29

新增迁移MaxCompute数据至OSS最佳实践。

新实践

为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。

MaxCompute数据迁移至OSS

2020-07-24

新增数据加密功能。

新功能

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。

存储加密

2020-07-23

新增聚合函数。

新说明

新增APPROX_DISTINCTANY_VALUEARG_MAXARG_MIN函数。

聚合函数

2020-07-23

Python UDF增加支持的数据类型。

新说明

Python UDF增加支持的数据类型。

2020-07-23

新增SQL语言定义函数。

新功能

MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。

UDF(SQL自定义函数)

2020-07-23

新增代码嵌入式UDF。

新功能

MaxCompute支持通过代码嵌入式UDF(Embedded UDF)将JavaPython代码嵌入SQL脚本。

2020-07-23

MaxCompute的包年包月项目支持对指定SQL作业使用按量计费资源。

新功能

MaxCompute支持设置包年包月项目使用包年包月CU资源,而项目中的某些作业使用按量计费CU资源。只支持设置SQL类型作业使用按量计费CU资源。

包年包月项目使用按量计费资源

2020-07-23

新增包年包月作业优先级功能。

新功能

新增包年包月作业优先级功能,并提供开启、设置和查看作业优先级的操作指导。

作业优先级

2020-07-02

新增备份与恢复功能。

新功能

新增备份与恢复功能,并提供相关操作命令和参考示例。

备份与恢复

06

时间

特性

类别

描述

产品文档

2020-06-03

新增Tunnel overwrite命令。

新说明

支持Tunnel overwrite命令。

Tunnel命令

2020-06-01

优化Spark访问VPC实例。

新说明和示例

新增内容如下:

  • Spark访问VPC的白名单和地域的限制说明。

  • Spark访问不同实例时,合并JSON文本的结果示例。

Spark访问VPC实例

2020-06-01

PolicyDownload权限控制。

新示例

新增Policy授权和撤销的用法示例。

Policy权限控制

05

时间

特性

类别

描述

产品文档

2020-05-25

新增数据科学(Mars)。

新说明

新增数据科学(Mars)。

2020-05-25

新增创建PyODPS 3节点。

新说明

介绍如何创建PyODPS 3节点。

开发PyODPS 3任务

2020-05-11

新增Spark访问OSS配置说明。

新说明

新增Spark访问OSS配置说明。

Spark访问OSS

2020-05-11

新增审计日志功能。

新功能

新增审计日志功能。完整地记录您在MaxCompute服务内的各项操作行为。

审计日志

2020-05-08

新增华东2(金融云)区域。

新说明

新增华东2(金融云)区域。

Endpoint

2020-05-08

1.0数据类型版本新增复杂数据类型。

新说明

介绍数据类型版本新增复杂数据类型。

1.0数据类型版本

04

时间

特性

类别

描述

产品文档

2020-04-21

MaxCompute权限新增Label、DownloadPolicy相关功能。

新说明

新增权限相关功能如下:

  • 支持将Label授权给角色(Role)。

  • Policy支持GRANT方式授权。

  • 支持Download权限控制。

2020-04-10

新增基于MaxCompute的大数据BI分析最佳实践。

新视频

介绍如何使用Quick BI可视化分析MaxCompute数据。

基于MaxCompute的大数据BI分析最佳实践

2020-04-03

新增MaxCompute支持限制单SQL消费功能。

新说明

介绍Project级别和Session级别的单SQL限制消费。

消费监控告警

03

时间

特性

类别

描述

产品文档

2020-03-27

支持三种MaxCompute数据类型版本。

新说明

介绍三种MaxCompute数据类型版本配置、适用场景和支持的数据类型。

2020-03-20

新增支持Spark on MaxCompute访问VPC实例。

新说明

您可以通过Spark on MaxCompute访问VPC实例,包括用户自定义私有域名。

Spark访问VPC实例

2020-03-16

新增LOAD语法。

新说明

您可以通过LOAD命令从外部存储导入数据,向表或表的分区中追加数据、覆盖重写数据。

LOAD

2020-03-16

新增内建函数MUMERIC_HISTOGRAMPERCENTILE_APPROXPERCENTILE_APPROX

新说明

  • MUMERIC_HISTOGRAM:统计指定列的近似直方图。

  • PERCENTILE_APPROX:返回给定百分比下数值的近似百分比值。

  • FORMAT_NUMBER:将数字格式化为指定形式的字符串。

2020-03-04

新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。

新实践

新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。

迁移ECS自建MySQL数据库至MaxCompute

02

时间

特性

类别

描述

产品文档

2020-02-26

新增内建函数TABLE_EXISTSPARTITION_EXISTS

新说明

新增内建函数TABLE_EXISTSPARTITION_EXISTS

2020-02-26

表级别支持禁止生命周期。

新说明

表级别支持禁止生命周期。

禁止或恢复生命周期

2020-02-26

OSS外表功能增强。

更新功能

  • 外表访问OSS支持HTTPS。

  • 支持MSCK REPAIR TABLE语法。

创建OSS外部表

2020-02-26

MaxCompute提供了CLONE TABLE功能,将表数据复制到另一个表中,让数据移动和复制更便捷。

新功能

MaxCompute提供了CLONE TABLE功能,支持将表数据复制到另一个表中,让数据移动和复制更便捷。

CLONE TABLE

2020-02-26

MaxCompute正式支持Python 3 UDF。

新功能

Python 2官方即将停止维护,越来越多的三方库也开始只支持 Python 3,因此MaxCompute也正式支持Python 3 UDF。

UDF开发(Python3)

2020-02-26

MaxCompute扩充了GROUPING的表达方式,支持CUBE、 ROLLUPGROUPING SETS的嵌套使用。

新说明

MaxCompute扩充了GROUPING的表达方式,支持CUBE、ROLLUPGROUPING SETS的嵌套使用。

GROUPING SETS

2020-02-25

MaxCompute SQLHive进行对比分析。

新视频

MaxCompute SQLHive进行对比分析。

MaxCompute SQLHive对比分析

2020-02-25

介绍Spark on MaxCompute。

新视频

介绍Spark on MaxCompute。

Spark on MaxCompute介绍

2020-02-18

新增设置子账号为超级管理员最佳实践。

新实践

介绍将子账号设置为超级管理员的操作方法、提供了超级管理员在工作中的使用建议。

MaxCompute项目设置RAM子账号为超级管理员

2020-02-03

新增Super_Administrator内置角色。

新说明

内置Super_Administrator角色,拥有项目内所有管理权限和资源权限。

角色规划

01

时间

特性

类别

描述

产品文档

2020-01-14

新增MMA迁移工具说明。

新说明

对迁移工具MMA的原理、安装以及使用的说明。

MMA概述

2020-01-14

SQL兼容性升级。

新说明

get_idcard_ageconcat_wslike函数行为变更说明。

2020-01-09

新增参数说明。

新说明

对示例中的参数进行详细的说明。

数据保护机制

2020-01-07

新增结巴分词自定义词典最佳实践。

新实践

PyODPS节点实现结巴中文分词的基础上新增自定义词典的示例。

PyODPS节点实现结巴中文分词

2019

12

时间

特性

类别

描述

产品文档

2019-12-31

新增Oracle数据迁移MaxCompute最佳实践。

新实践

新增Oracle数据迁移MaxCompute最佳实践。

迁移Oracle数据至MaxCompute最佳实践

2019-12-26

新增日志数据迁移至MaxCompute最佳实践。

新实践

新增日志数据迁移至MaxCompute最佳实践。

2019-12-25

新增开源地理空间UDF。

新功能

您可以将开源地理空间UDF注册到MaxCompute中,以兼容开源Hive UDF的方式使用地理空间函数。

UDF(地理空间)

11

时间

特性

类别

描述

产品文档

2019-11-29

支持设置消费监控告警。

新说明

说明如何设置消费监控告警。

消费监控告警

2019-11-27

PyODPS节点实现避免将数据下载到本地的功能。

新实践

说明如何使用PyODPS节点实现避免将数据下载到本地。

PyODPS节点实现避免将数据下载到本地

2019-11-22

CDM接口层以及其他对象的命名规范。

新说明

说明CDM接口层以及其他对象的命名规范。

2019-11-22

SQL结果动态脱敏。

新功能

说明动态脱敏功能的使用以及自定义脱敏规则的方法。

数据动态脱敏

2019-11-18

支持将日志服务数据同步到MaxCompute。

新视频

说明日志服务数据如何同步到MaxCompute。

日志服务数据如何同步到MaxCompute

​2019-11-15

监控报警新增监测MaxCompute按量付费的Project的作业消费情况。

新说明

监控报警新增监测MaxCompute按量付费的Project的作业消费情况。

监控报警

​2019-11-12

新增MaxCompute JDBC介绍。

新说明

  • 新增MaxCompute JDBC功能介绍。

  • 新增MaxComputeTableau集成说明。

  • 新增MaxComputeSQL Workbench/J集成说明。

2019-11-06

新增MySQLRDS数据如何同步到MaxCompute视频。

新视频

新增MySQLRDS数据如何同步到MaxCompute视频。

MySQLRDS数据如何同步到MaxCompute

2019-11-06

新增MaxCompute不支持分区剪裁函数说明。

新说明

新增MaxCompute不支持分区剪裁函数说明。

Hive、MySQL、Oracle内建函数对照表

2019-11-01

新增迁移工具。

新说明

新增MaxCompute迁移工具MMA。

MMA概述

10

时间

特性

类别

描述

产品文档

2019-10-31

新增Hive迁移到MaxCompute最佳实践视频。

新视频

新增Hive迁移到MaxCompute最佳实践视频。

Hive迁移到MaxCompute最佳实践

2019-10-28

新增支持VPC网络IP白名单设置。

新功能

新增支持VPC网络IP白名单设置。

2019-10-18

新增PyODPS示例。

新示例

  • 新增PyODPS的排序示例。

  • 新增PyODPS的去重。

  • 新增PyODPS的采样。

  • 新增PyODPS的数据缩放。

  • 新增PyODPS的空值处理。

2019-10-17

新增成本优化最佳实践。

新实践

新增成本优化最佳实践。

成本优化

2019-10-09

SQL语法新增功能。

新功能

  • 新增合并分区语法。

  • 新增JOINSETOP支持括号指定优先级语法。

  • 新增内置函数JSON_TUPLE。

  • 新增日期函数EXTRACT。

  • 新增两个flag。

  • 支持LIMIT OFFSET。

  • 支持指定表的列默认值。

  • 支持自然连接。

  • 支持新运算符。

  • 新增删除分区语法。

09

时间

特性

类别

描述

产品文档

2019-09-02

新增PyODPS的聚合操作示例。

新示例

新增PyODPS的聚合操作示例。

PyODPS的聚合操作

2019-09-02

新增PyODPS的列运算示例。

新示例

新增PyODPS的列运算示例。

PyODPS的列运算

08

时间

特性

类别

描述

产品文档

2019-08-13

新增PyODPSSequence及执行操作最佳实践。

新实践

新增PyODPSSequence及执行操作最佳实践。

PyODPSSequence及执行操作

2019-08-07

新增MaxCompute数据迁移至OSS最佳实践。

新实践

新增MaxCompute数据迁移至OSS最佳实践。

MaxCompute数据迁移至OSS

2019-08-01

新增PyODPS读取分区表数据最佳实践。

新实践

新增PyODPS读取分区表数据最佳实践。

PyODPS读取分区表数据

2019-08-01

新增PyODPS查看一级分区最佳实践。

新实践

新增PyODPS查看一级分区最佳实践。

PyODPS查看一级分区

07

时间

特性

类别

描述

产品文档

2019-07-29

新增MaxCompute数据迁移至OTS最佳实践。

新实践

新增MaxCompute数据迁移至OTS最佳实践。

MaxCompute数据迁移至OTS

2019-07-25

新增PyODPS使用第三方包最佳实践。

新实践

新增PyODPS使用第三方包最佳实践。

PyODPS使用第三方包

2019-07-22

新增PyODPS节点实现结巴中文分词最佳实践。

新实践

新增PyODPS节点实现结巴中文分词最佳实践。

使用PyODPS节点进行结巴中文分词

2019-07-22

新增PyODPS参数传递最佳实践。

新实践

新增PyODPS参数传递最佳实践。

PyODPS参数传递

2019-07-12

新增set命令odps-sql-reshuffle-dynamicpt说明。

新命令

该命令用于设置动态分区,以避免拆分动态分区时产生过多小文件。

SET操作

2019-07-11

新增tablestore-columns-mapping说明点。

新说明

在指定映射时,提供的属性列必须是Table Store表的列,否则即使外部表可以创建成功,查询时也会报错。

创建外部表

2019-07-09

新增子账号进行权限管理的案例。

新案例

以案例分析的形式为您介绍如何使用子账号进行权限管理。

为用户赋予内置管理角色

2019-07-08

新增数据质量保障教程。

新教程

新增数据质量保障教程。

数据质量教程概述

2019-07-05

新增UDF支持分区裁剪的说明引导。

新说明

新增UDF支持分区裁剪的说明引导。

分区剪裁失效的场景分析

2019-07-05

新增成都地区​的外网Endpoint和外网Tunnel Endpoint。

新功能

新增成都地区​的外网Endpoint和外网Tunnel Endpoint。

Endpoint

2019-07-04

新增开通MaxCompute服务说明。

新说明

开通MaxCompute服务后,您可以进入管理控制台创建项目。MaxCompute管理控制台即为DataWorks管理控制台,因此您在创建项目前,请先开通DataWorks服务。

开通MaxComputeDataWorks

06

时间

特性

类别

描述

产品文档

2019-06-28

新增创建项目的前提条件说明。

新说明

创建项目前,您需要先开通DataWorks服务,并确保开通的RegionMaxCompute开通的Region保持一致。

创建MaxCompute项目

2019-06-25

新增时区配置功能介绍。

新功能

新增时区配置功能介绍。

时区配置操作

2019-06-25

新增MaxCompute跨项目迁移的最佳实践。

新实践

介绍了同区域下不同的MaxCompute项目如何实现配置与数据的迁移。

通过DataWorks实现MaxCompute跨项目迁移

2019-06-25

SQL语言功能升级。

新功能

  • UDT支持资源的访问。

  • UDT实现函数重载。

  • UDAF/UDTF支持动态参数。

  • 支持参数化视图。

  • UDF支持分区裁剪。

  • 支持直接查看建表语句。

2019-06-20

新增教程。

新教程

新增搭建互联网在线运营分析平台的教程。

搭建互联网在线运营分析平台

2019-06-19

更新NOT IN/IN子查询返回数量超1000时的解决方案。

新方案

更新NOT IN/IN子查询返回数量超1000时的解决方案。

在执行MaxCompute SQL过程中,使用NOT IN后面接子查询,子查询返回的结果是上万级别的数据量,但当INNOT IN后面的子查询返回的是分区时,返回的数量上限为1000。在必须使用NOT IN的情况下,该如何实现此查询?

2019-06-19

新增PyODPS最佳实践参考示例。

新示例

新增PyODPS最佳实践参考示例。

PyODPS常见问题

2019-06-18

新增包年包月资源组监控报警。

新功能

阿里云的云监控服务中的监控报警功能可用于监测MaxCompute包年包月资源组的使用情况。

监控报警

2019-06-17

新增VALUES文档引导说明。

新说明

介绍了如何在业务测试阶段,创建数据进行简单的测试。

VALUES

2019-06-05

新增复杂类型数据的上传下载示例。

新示例

新增复杂类型数据的上传下载示例。

复杂数据类型上传下载示例

2019-06-04

新增复杂类型数据的说明。

新说明

MaxCompute的复杂数据类型可以被任意嵌套使用。

数据类型版本说明

2019-06-03

新增阿里云Elasticsearch数据迁移至MaxCompute最佳实践。

新实践

新增阿里云Elasticsearch数据迁移至MaxCompute最佳实践。

Elasticsearch数据迁移至MaxCompute

2019-06-03

新增服务注销与资源释放介绍。

新说明

开通MaxCompute服务后,不支持注销服务。

服务注销与资源释放

2019-06-01

新增教程。

新教程

新增构建与优化数据仓库的教程。

构建与优化数据仓库

05

时间

特性

类别

描述

产品文档

2019-05-31

新增Java SDK示例。

新示例

新增Java SDK示例。

2019-05-29

新增Kafka数据迁移至MaxCompute最佳实践。

新实践

新增Kafka数据迁移至MaxCompute最佳实践。

Kafka数据迁移MaxCompute最佳实践

2019-05-28

新增用户自定义获取计量信息说明。

新说明

可通过计量API获取MaxCompute使用记录。

查看账单详情

2019-05-24

新增MaxComputeACID语义说明。

新说明

当遇到并发写入时,MaxCompute会根据ACID进行并发写的保障。

ACID语义Upload命令格式

2019-05-13

更新Spark开发指南。

新示例

新增Java、ScalaPySpark开发示例。

搭建Linux开发环境概述PySpark开发示例

2019-05-10

新增欠费预警接收设置步骤说明。

新说明

主账号可以设置子账号接收欠费预警消息。

欠费预警消息设置

2019-05-08

新增包年包月套餐版说明。

新规格

介绍包年包月套餐版的基础资源、售价、注意事项和使用说明。

套餐计费包年包月套餐版

2019-05-06

新增数仓建设指南。

新指南

介绍数仓建设规范。

数据模型架构规范公共规范ODS层设计规范CDM公共维度层设计规范CDM明细层设计规范CDM汇总层设计规范MaxCompute数据开发规范

2019-05-06

新增表设计指南。

新指南

介绍表设计指南。

表概述表设计规范表设计最佳实践MaxCompute表的高级功能

2019-05-06

新增数据管理指南。

新指南

介绍数据管理指南。

数据质量评估标准数据质量管理流程数据加工过程卡点校验数据风险点监控数据质量追溯

2019-05-06

新增安全管理案例执行级别权限控制。

新案例

介绍如何实现行级别权限控制。

行级别权限控制