本文为您介绍了MaxCompute内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。
MaxCompute的重要功能发布记录请参见产品重大更新。
2024年
12月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-12-24 | 新增作业洞察 | 新说明 | MaxCompute提供作业洞察能力,支持查看作业概览信息、智能诊断详情、资源消耗情况及特定时刻计算Quota的资源分配情况。同时,还能够对相似作业(以相同的Signature或ExtNodeId为识别依据)在过去一段时间内的历次运行指标进行对比分析。您可通过作业洞察优化任务执行情况,以提高执行效率。 | |
2024-12-23 | 新增OpenAPI | 新说明 | 新增MMS(数据迁移)相关API。 | |
2024-12-23 | 新增FAILIF | 新说明 | FAILIF函数支持根据表达式判断结果返回true或自定义错误信息的报错提示。本文为您介绍FAILIF函数使用命令。 | |
2024-12-10 | 新增CLI集成示例 | 新说明 | 本文以调用云原生大数据计算服务 MaxCompute | |
2024-12-09 | 新增INTERVAL数据类型 | 新说明 | MaxCompute提供了DATE、DATETIME、TIMESTAMP及TIMESTAMP_NTZ四种日期时间相关数据类型。另外也提供代表时间段的INTERVAL数据类型,用来表示两个日期或时间之间的时间间隔。本文为您介绍INTERVAL类型的使用方法。 | |
2024-12-06 | 新增列操作 | 新说明 | MaxCompute支持对已有表的列执行变更操作,如添加列、删除列、更改列数据类型等,您可以根据实际业务场景执行相应操作。 | |
2024-12-06 | 新增物化视图定时更新 | 新说明 | 本文为您介绍物化视图定时更新功能和相关操作。 | |
2024-12-06 | 新增物化视图查询改写 | 新说明 | MaxCompute支持将包含过滤条件或部分算子类型的原始SQL查询语句改写为物化视图进行查询,以便于您获取所需数据。本文将详细介绍相关SQL改写的具体操作。 | |
2024-12-06 | 新增物化视图操作 | 新说明 | 物化视图(Materialized View)是一种预先计算的方式,通过保存某些耗时操作(例如JOIN、AGGREGATE)的结果,以便在查询时直接复用,从而避免重复执行这些耗时操作,最终实现加速查询的目的。 |
11月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-11-29 | 新增OpenAPI | 新说明 | 新增Quota、项目等相关API。 | |
2024-11-27 | 新增数据传输服务-分时配置 | 新说明 | 您可以在MaxCompute的Quota管理列表查看数据传输服务Quota,并通过分时配置功能设置数据传输服务Quota的并发数。 | |
2024-11-26 | 新增产品版本发布记录 | 新说明 | 本文为您介绍MaxCompute产品功能的发布信息。 | |
2024-11-19 | 新增基于OBJECT TABLE处理非结构化数据 | 新说明 | 本文为您介绍如何使用Object Table对数据湖存储中的非结构化数据及其元信息进行访问。 | |
2024-11-19 | 新增OBJECT TABLE | 新说明 | MaxCompute推出了Object Table功能,该功能支持数仓计算引擎访问数据湖存储中的非结构化数据及其元信息。本文为您介绍Object Table相关的命令语法和示例。 | |
2024-11-18 | 新增Bloomfilter index(Beta版本) | 新说明 | 布隆过滤器(Bloomfilter,简称BF)是一种高效的概率型数据结构,MaxCompute支持使用Bloomfilter index处理大规模数据点查场景,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。本文为您介绍Bloomfilter index的使用说明及示例。 | |
2024-11-15 | 新增SUBQUERY_MAPJOIN HINT | 新说明 | MaxCompute支持子查询操作,部分子查询在执行过程中会被转换成JOIN进行计算。您可以在子查询SUBQUERY语句中使用SUBQUERY_MAPJOIN HINT,以显式指定使用MAPJOIN算法,从而提升子查询的执行效率。本文为您介绍如何使用SUBQUERY_MAPJOIN HINT。 | |
2024-11-15 | 新增SQL注释 | 新说明 | 为了增强代码的可读性,您可以在MaxCompute SQL代码中增加注释。本文为您介绍MaxCompute SQL单行注释与多行注释的使用说明。 | |
2024-11-15 | 新增查看表和视图 | 新说明 | 本文为您详细介绍查看表相关命令。 | |
2024-11-15 | 新增修改表 | 新说明 | 本文为您介绍修改表的相关操作命令。 | |
2024-11-15 | 新增创建和删除表 | 新说明 | 本文为您介绍创建和删除表的相关操作命令。 | |
2024-11-15 | 新增Bitmap Index | 新说明 | Bitmap Index作为一种全新的索引类型,支持在基数较大(存在大量相同值)的列上建立索引,能够提供高效的点值查询和范围查询的能力。本文为您介绍在MaxCompute中如何使用Bitmap Index索引类型。 | |
2024-11-14 | 新增JSON_EXPLODE | 新说明 | MaxCompute JSON_EXPLODE函数支持将JSON数组或JSON对象中的每个元素拆解(展开)成多行记录,本文为您介绍JSON_EXPLODE函数的使用详情以及示例。 | |
2024-11-13 | 新增作业智能诊断 | 新说明 | 本文为您介绍MaxCompute SQL作业的智能诊断功能,旨在尽可能提供诊断结果和建议,以协助您解决作业报错问题或提升查询性能,包括如何查看诊断结果和建议,以及解读分析结果。鉴于查询性能受多种因素影响,智能诊断仅提供整体查询性能的部分异常及建议。 |
10月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-10-21 | 新增Go SDK参考 | 新说明 | Go SDK是MaxCompute提供的一套Go编程语言接口,您可以通过该接口使用Go代码来操作和管理MaxCompute服务,例如访问和管理项目、操作数据表和数据传输等。 | |
2024-10-18 | 新增在DataWorks镜像中安装MaxFrame | 新说明 | 本文将介绍如何在DataWorks的镜像管理中通过自定义镜像安装MaxFrame并进行应用开发,旨在帮助您更迅速地构建开发环境,避免在开发过程中与其他环境版本产生冲突。 | |
2024-10-16 | 新增外部项目1.0迁移为湖仓一体2.0方案 | 新说明 | 由于湖仓一体1.0的外部项目(简称:外部项目1.0)功能及用法不再发展,且会收敛下线,如果继续使用MaxCompute访问联邦数据源,联邦方案需要升级至湖仓一体2.0。本文介绍了使用湖仓一体2.0开启项目级别元数据支持的Schema开关和SQL语法支持的Schema开关后,存量作业的兼容情况,以及将湖仓一体1.0外部项目的存量作业迁移至湖仓一体2.0外部Schema的不同场景的修改方法,以便于您进行评估和迁移。 | |
2024-10-14 | 新增ODPS-1850001 | 新说明 | 本文为您介绍错误码ODPS-1850001: Unsupported feature in session mode的报错场景,并提供对应的解决方案。 |
09月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-09-29 | 新增存储成本优化 | 新说明 | MaxCompute支持通过设置表或分区的分层存储类型,降低数据存储费用。MaxCompute提供存储成本优化功能,可基于表的最近访问时间,根据默认策略评估当前地域是否有存储降本空间,辅助您进行分层存储策略配置。 | |
2024-09-18 | 新增GitHub近实时数据同步以及增全量数据一体化分析 | 新说明 | 本文介绍如何通过MaxCompute实现GitHub近实时数据同步以及增全量数据一体化分析。 | |
2024-09-05 | 新增存储容灾费用(按量付费) | 新说明 | MaxCompute的存储费用包括存储计费和备份存储计费两部分,通过同城容灾功能实现存储容灾后,项目的存储费用将依据存储容灾计费规则来计算,而备份存储的计费方式则维持原状。本文为您介绍存储容灾计费规则详情。 | |
2024-09-03 | 新增跨地域灾备费用(按量计费) | 新说明 | 在使用MaxCompute跨地域灾备功能后,由于涉及跨地域数据复制和跨地域数据存储,将产生相应费用。本文为您介绍相关的计费规则。 | |
2024-09-03 | 新增Metabase连接MaxCompute | 新说明 | MaxCompute提供Metabase Driver(驱动)插件,支持您使用开源的商业智能工具Metabase连接MaxCompute项目,从而理解数据、分析数据,进行数据查询并获取格式化结果(图形化视图),以数据驱动决策。 |
08月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-08-23 | 新增项目级别租户资源访问控制 | 新说明 | 租户资源(包括外部数据源、网络连接、自定义镜像及配额组)的权限均由租户管理员通过RAM Policy控制。用户在项目中使用归属项目的对象(包括Schema、Table、Role、Instance、Resource、Function、View等),权限由项目管理员通过MaxCompute内的授权方案控制。租户资源对象可以跨项目使用,如果租户资源的管理者不希望某个项目使用其创建的租户资源,则可以通过开启项目级别租户资源访问控制来制定租户资源和项目的授权关系。 | |
2024-08-16 | 新增开放存储SDK示例-Python SDK | 新说明 | MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAI和Hologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Python SDK访问MaxCompute的代码示例。 | |
2024-08-16 | 新增开放存储SDK示例-Java SDK | 新说明 | MaxCompute支持第三方引擎(如Spark on EMR、StarRocks、Presto、PAI和Hologres)通过SDK调用Storage API直接访问MaxCompute数据,本文为您介绍使用Java SDK访问MaxCompute的代码示例。 | |
2024-08-15 | 新增开放存储概述 | 新说明 | 为了更好地融入大数据生态,并支持外部引擎访问MaxCompute中的数据,MaxCompute提供了开放存储(Storage API)。第三方主流计算引擎可通过调用Storage API直接访问MaxCompute的底层存储,从而显著提升数据访问和交互效率(本功能处于公测阶段)。 | |
2024-08-14 | 新增利用Flink CDC实现数据同步至Delta Table | 新说明 | MaxCompute为您提供对接Flink CDC的新版插件Connector连接器。您可以通过对接Flink CDC,将数据源(例如MySQL)数据实时同步至MaxCompute的目标表(普通表或Delta表)。本文为您介绍MaxCompute新版插件的能力支持情况与主要操作流程。 | |
2024-08-08 | 新增使用UNLOAD命令 | 新说明 | MaxCompute支持您将MaxCompute项目中的数据导出至外部存储(OSS、Hologres),以供其他计算引擎使用。本文为您介绍UNLOAD命令的使用方法及具体示例。 |
07月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-07-25 | 新增作业级资源分析最佳实践 | 新说明 | 本文以典型场景案例为您介绍如何通过MaxCompute控制台的作业分析功能进行作业级别资源分析,了解作业资源消耗详情,同时为您提供优化作业运行时长的建议。 | |
2024-07-24 | 新增部分列更新 | 新说明 | 当前Delta Table支持对部分列进行更新。即对表执行插入或更新操作时,只需要在SQL中指定您想修改的目标列及其新数据,而无需包含表中的所有列。插入数据时,未被赋值的列会自动被填充为NULL;更新数据时,未被赋值的列保持不变。在多数场景下可大幅提升执行效率,节省存储成本。本文用具体示例为您展示如何在Delta Table中插入或更新部分列的数据。 | |
2024-07-19 | 新增湖仓一体2.0使用指南 | 新说明 | MaxCompute提供湖仓一体2.0方案,允许用户建立定义外部数据源元数据和数据访问方式的管理对象,并通过外部Schema映射机制实现直接访问外部数据源Database或Schema范围内的全部表的功能。该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台(本功能处于公测阶段)。 | |
2024-07-15 | 新增QueryQuota - 获取指定一级Quota组信息 | 新说明 | 获取指定一级Quota组信息。 | |
2024-07-01 | 新增MaxFrame特有API | 新说明 | 本文为您介绍MaxFrame提供的几类特有API,包括Session、Input/Output、Execute及Fetch,用于在MaxFrame任务中进行数据处理。 | |
2024-07-01 | 新增MaxFrame API概览 | 新说明 | MaxFrame API包含两大类,一类是为了方便用户进行数据处理,用于兼容各类标准库(如Pandas)的API,另一类是为了任务的分布式执行而引入的MaxFrame特有API。使用MaxFrame的API开发作业,您可以享受到与标准数据库类似的数据操作体验,并将大规模数据处理任务高效地运行在MaxFrame平台上。 | |
2024-07-01 | 新增引用第三方包及镜像 | 新说明 | 在基于MaxFrame进行Python开发过程中,通常需要引用第三方包或镜像,为方便您的快速使用,MaxFrame支持通过接口方式直接使用已上传的第三方包及镜像。 | |
2024-07-01 | 新增在DataWorks中使用MaxFrame | 新说明 | DataWorks为MaxCompute项目提供任务调度能力,且已在PyODPS 3节点内置了MaxFrame,您可直接使用DataWorks的PyODPS 3节点开发和运行MaxFrame作业。 | |
2024-07-01 | 新增在本地环境中使用MaxFrame | 新说明 | MaxCompute支持您通过标准MaxFrame SDK(本地MaxFrame客户端)的方式使用MaxFrame,本文为您介绍在本地环境中使用MaxFrame的流程。 | |
2024-07-01 | 新增自动化打包服务(邀测) | 新说明 | MaxFrame推出了自动化打包服务,简化了Python开发中第三方包的管理。该服务支持在作业开发时声明所需的外部依赖包,在作业运行时,这些包会自动被打包并集成到作业环境中,无需手动上传,从而减少繁琐的打包管理工作。 |
06月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-06-28 | 新增通过Logview 2.0查看MaxFrame作业 | 新说明 | Logview是MaxCompute作业运行状态信息记录与展现的一个工具,目前已经适配MaxFrame,本文为您介绍如何通过Logview 2.0查看MaxFrame作业的运行信息。 | |
2024-06-28 | 新增常见问题 | 新说明 | 本文为您介绍MaxFrame的常见报错问题,帮助您能迅速识别并解决报错问题。 | |
2024-06-18 | 新增行级访问控制 | 新说明 | 为了便于控制用户或角色对MaxCompute表中特定数据的访问,MaxCompute提供了行级访问控制功能,通过在原表上定义用户与数据(被允许访问的数据)的匹配规则,控制特定用户或角色仅可见其有权限访问的数据,从而提升数据安全性和合规性。 |
05月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-05-31 | 新增Histogram | 新说明 | MaxCompute优化器支持表中列的Histogram(直方图)统计信息,Histogram用于描述表中的列值在不同值域区间内的分布情况,提供更细粒度的统计值估计能力,可以为优化查询性能提供帮助。 | |
2024-05-22 | 新增云原生大数据计算服务MaxCompute系统权限策略参考 | 新说明 | 本文描述云原生大数据计算服务MaxCompute支持的所有系统权限策略及其对应的权限描述,供您授权RAM身份时参考。 | |
2024-05-22 | 新增MaxCompute服务关联角色 | 新说明 | 服务关联角色(ServiceLinkedRole,简称SLR)是一种可信实体为阿里云服务的RAM角色,可解决跨云服务的授权访问问题。如MaxCompute访问大数据计算平台其他云产品(如Hologres),则需要创建服务关联角色AliyunServiceRoleForMaxComputeIdentityMgmt。 | |
2024-05-22 | 新增MaxCompute自定义权限策略参考 | 新说明 | 如果系统权限策略不能满足您的要求,您可以创建自定义权限策略实现最小授权。使用自定义权限策略有助于实现权限的精细化管控,是提升资源访问安全的有效手段。 | |
2024-05-22 | 新增身份管理 | 新说明 | 为确保您的阿里云账号及云资源使用安全,如非必要都应避免直接使用阿里云账号(即主账号)来访问MaxCompute。推荐的做法是使用RAM身份(即RAM用户和RAM角色)来访问MaxCompute。 | |
2024-05-16 | 新增场景实践 | 新说明 | MaxCompute提供用户自定义函数(UDF)及Python(PyODPS和MaxFrame)开发能力,本文为您介绍如何在MaxCompute UDF、PyODPS及MaxFrame作业开发中使用镜像。 | |
2024-05-16 | 新增自定义镜像 | 新说明 | 在SQL或Python开发过程中,会存在较为复杂的业务逻辑,依赖三方包众多,引用资源复杂,因此MaxCompute推出自定义镜像管理功能,您可自由、灵活的使用Docker镜像来构建自己所需的完整开发环境,并在MaxCompute SQL、Python(PyODPS或MaxFrame)开发中使用,本文将详细介绍MaxCompute自定义镜像功能使用流程。 | |
2024-05-16 | 新增内置镜像 | 新说明 | MaxCompute提供丰富的内置镜像,如数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等,方便您在后续开发中直接引用,从而简化开发流程。本文为您介绍如何查看及使用内置镜像。 | |
2024-05-16 | 新增镜像管理概述 | 新说明 | MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,同时支持上传自定义镜像,您可在SQL UDF、PyODPS及MaxFrame开发等场景中直接引用已有镜像,无需执行繁琐的资源打包、上传等流程。 | |
2024-05-13 | 新增数据实时入仓实践 | 新说明 | 为满足业务对数据仓库中高度时效性数据的需求,MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能,显著提升了数据仓库的数据更新效率。 |
04月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-04-28 | 新增MaxCompute近实时增全量一体化架构介绍 | 新说明 | 面对当前日益复杂且对数据时效性要求极高的近实时业务场景,MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。 | |
2024-04-24 | 新增基于MaxFrame实现大语言模型数据处理 | 新说明 | 相较于昂贵的GPU资源,MaxCompute的海量弹性CPU资源能够成为LLM海量数据处理的资源基础,而MaxFrame分布式计算能力可以帮助您更加高效、便捷地完成LLM数据处理工作。 | |
2024-04-24 | 新增基于MaxFrame实现分布式Pandas处理 | 新说明 | MaxFrame可以在分布式环境下使用与Pandas相同的API来分析数据,通过MaxFrame,您能够以高于开源Pandas数十倍的性能在MaxCompute上快速完成数据分析和计算工作。本文为您介绍如何通过MaxFrame使用常用的Pandas算子。 | |
2024-04-23 | 新增租户属性 | 新说明 | 您可以在租户属性页面进行租户级别的操作,包括查看租户ID,用于进行租户级别的资源授权。 | |
2024-04-19 | 新增MaxFrame快速入门 | 新说明 | 本文以具体数据及开发场景为例,为您介绍在DataWorks数据开发的PyODPS 3节点中,如何创建和操作MaxFrame中的DataFrame对象,以及使用DataFrame完成基本的数据处理,帮助您在十分钟内快速使用MaxFrame进行开发。 | |
2024-04-03 | 新增使用MaxCompute控制台(离线) | 新说明 | MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。 |
03月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-03-29 | 新增操作审计事件数据迁移至MaxCompute | 新说明 | 操作审计(ActionTrail)功能允许您追踪和记录阿里云账号在最近90天内的操作事件。当您需要分析更长时间的操作事件时,可以通过操作审计创建跟踪,将操作事件数据投递至MaxCompute,并对其进行查询和分析。 | |
2024-03-26 | 新增Pandas API | 新说明 | MaxFrame提供了兼容Pandas的API接口,您可以用类似于Pandas的方式来操作MaxCompute中的数据,同时利用MaxCompute强大的分布式计算能力,简化您在大数据环境下的数据处理工作。 | |
2024-03-26 | 新增MaxFrame数据输入输出 | 新说明 | MaxFrame支持直连MaxCompute,允许对MaxCompute中的数据进行高效直接读写操作,运行时无需将数据拉取至本地计算,消除了不必要的本地数据传输,提高了执行效率。 | |
2024-03-26 | 新增准备工作 | 新说明 | MaxCompute支持通过标准MaxFrame SDK(本地MaxFrame客户端)、MaxCompute Notebook及DataWorks节点三种方式使用MaxFrame,本文为您介绍使用MaxFrame前需要准备的运行环境。 | |
2024-03-25 | 新增StarRocks Connector | 新说明 | StarRocks Connector通过实现External Catalog机制,无需数据导入或创建外部表即可无缝访问MaxCompute数据源,并执行复杂的SQL查询,提升了数据分析效率并降低了运维难度和成本。 | |
2024-03-22 | 新增FROM_CHARSET | 新说明 | MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。 | |
2024-03-21 | 新增MaxCompute TIMESTAMP_NTZ数据类型介绍 | 新说明 | MaxCompute 2.0新增了无时区时间戳类型(TIMESTAMP_NTZ),该类型表示不包含时区信息的日期和时间点,所有数据均基于统一的时间基准(如UTC)。相较于其他带有时区的时间戳类型(TIMESTAMP),TIMESTAMP_NTZ无需进行时区转换,因此在比较和运算时更为简便。 | |
2024-03-14 | 新增基于Flink创建MaxCompute Paimon外表 | 新说明 | MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系,并访问其中的数据。 | |
2024-03-14 | 新增ECS资源复用版 | 新说明 | ECS资源复用版是MaxCompute按量付费类型中的一种实例规格,旨在将ECS闲置实例转换为可用的MaxCompute计算资源,该方式可以充分利用已有的计算资源,而不需要额外购买新的MaxCompute计算资源,从而在满足大数据处理需求的同时,提高资源利用率并降低总体资源成本。 | |
2024-03-03 | 新增GetTableInfo - 获取表信息 | 新说明 | 获取表信息。 |
02月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-02-27 | 新增正则表达式 | 新说明 | 本文为您介绍MaxCompute SQL中正则表达式支持的元字符、字符组和转义字符。 | |
2024-02-23 | 新增跨地域灾备 | 新说明 | 当您需要保证MaxCompute作业持续运行时,MaxCompute提供跨地域(Region)灾备功能,支持以项目(Project)为单位远程备份数据和元数据,确保备份地点与数据源的地理距离超过一百公里,以提升数据安全性。您能够自定义选择备份目标地域,并监控备份进度。当遇到地域级别的故障时,该功能允许您将项目迅速切换到备份集群地域,并利用已备份的数据恢复业务。 | |
2024-02-08 | 新增镜像管理 | 新说明 | MaxCompute提供镜像管理功能,内置数据分析、科学计算、机器学习(如Pandas、Numpy、Scikit-learn、Xgboost)等各类常用镜像,并已对镜像进行预先加热,您可在SQL UDF、PyODPS开发等场景中直接引用已有镜像,无需执行繁琐的镜像打包、上传等流程。 |
01月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2024-01-05 | 新增MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践 | 新说明 | MaxCompute、DLF和OSS是阿里云提供的一体化解决方案,可以实现数据湖查询和湖数据入仓。通过配置DLF,将数据从OSS导入到MaxCompute中,并使用MaxCompute进行数据湖查询。该方案可以方便地进行数据分析和处理,并保证数据的可靠性和安全性。 |
2023年
12月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-12-11 | 新增ListJobInfos - 查看作业列表 | 新说明 | 查看作业列表。 | |
2023-12-04 | 新增SKEWJOIN HINT | 新说明 | 当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。 |
11月
10月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-10-30 | 新增Spark Connector | 新说明 | 本文为您介绍如何使用第三方计算引擎Spark通过Spark Connector调用Storage API来访问MaxCompute。 | |
2023-10-27 | 新增数据科学计算概述 | 新说明 | MaxFrame是由阿里云自研的分布式科学计算框架,是对历史相关产品功能(PyODPS、Mars)的重大升级,在MaxCompute之上提供一套完全兼容Pandas接口的API,让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍MaxCompute提供的Python开发生态的背景信息及发展路径。 | |
2023-10-27 | 新增MaxFrame概述 | 新说明 | MaxFrame是由阿里云自研的分布式计算框架,提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。 | |
2023-10-27 | 新增打印UDF日志 | 新说明 | 在开发UDF的过程中打印日志有助于用户进行UDF代码调试,本文为您介绍在MaxCompute中如何打印及查看UDF日志。 | |
2023-10-20 | 新增ENHANCED_SYM_ENCRYPT | 新说明 | 本文为您介绍如何使用 | |
2023-10-20 | 新增ENHANCED_SYM_DECRYPT | 新说明 | 本文为您介绍如何使用 | |
2023-10-20 | 新增密钥集(KEYSET)使用说明 | 新说明 | MaxCompute的密钥管理对象Keyset,每个Keyset可以存放1个到多个密钥,您可以在Keyset中增加密钥来实现密钥的轮转,并且可以查看原始密钥。本文介绍KeySet的使用。 | |
2023-10-20 | 新增USE_WRAPPED_KEYSET | 新说明 | MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数 | |
2023-10-20 | 新增ROTATE_WRAPPED_KEYSET | 新说明 | MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数 | |
2023-10-20 | 新增REWRAP_KEYSET | 新说明 | MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍封装密钥集函数 | |
2023-10-20 | 新增ROTATE_KEYSET | 新说明 | 系统自动生产一个新密钥并将新密钥设置为主密钥。 | |
2023-10-20 | 新增KEYSET_FROM_JSON | 新说明 | 将JSON类型的keyset转化为BINARY类型。 | |
2023-10-20 | 新增NEW_WRAPPED_KEYSET | 新说明 | MaxCompute支持结合密钥管理服务(KMS)做密钥管理,本文为您介绍如何使用封装密钥集函数 | |
2023-10-20 | 新增KEYSET_TO_JSON | 新说明 | 将BINARY类型的密钥Keyset转化为可读的JSON格式,以便查看密钥Keyset详情。 | |
2023-10-20 | 新增ADD_KEY_TO_KEYSET | 新说明 | 在Keyset中新增密钥,并将新增的密钥设置为主密钥。 | |
2023-10-20 | 新增NEW_KEYSET | 新说明 | 根据指定的算法类型,创建对应的密钥Keyset。 | |
2023-10-19 | 新增数据传输费用(按时计费) | 新说明 | 本文为您介绍MaxCompute的数据传输服务基于独享资源组做按时计费的规则。 | |
2023-10-13 | 新增GetQuotaSchedule - 获取Quota时间计划信息 | 新说明 | 获取Quota时间计划信息。 | |
2023-10-13 | 新增JSON_INSERT | 新说明 | 在JSON文件指定位置中新增JSON值。 | |
2023-10-13 | 新增JSON_SET | 新说明 | 替换JSON文件指定位置的值或新增对应的值。 | |
2023-10-09 | 新增Sugar BI连接MaxCompute | 新说明 | Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台,MaxCompute支持您将MaxCompute项目数据接入Sugar BI,帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目,并进行可视化数据分析。 |
09月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-09-27 | 新增TPC-DS性能测试 | 新说明 | MaxCompute适用于TB、PB和EB等各个数量级的数据查询场景,并在业界具有较大的性能优势,本文基于MaxCompute提供的公开数据集及测试工具,以大数据基准测试TPC-DS为例为您验证MaxCompute的性能。 | |
2023-09-25 | 新增MapReduce支持SQL运行时执行模式 | 新说明 | MaxCompute新增支持将MapReduce作业指定为SQL运行时(Runtime)执行模式,基于SQL运行时,MapReduce作业可以应用SQL引擎的各种新特性,实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。 | |
2023-09-21 | 新增使用do-while节点实现复杂的数据分析 | 新说明 | 本文以统计电商行业中的订单数据为示例,为您介绍如何使用do-while节点。 | |
2023-09-20 | 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 | 新说明 | 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移,包括两种使用场景:同云账号内不同Region的项目数据迁移;不同云账号间不同Region的项目数据迁移。 | |
2023-09-20 | 新增使用CLONE TABLE实现同地域MaxCompute跨项目数据迁移 | 新说明 | 本文为您介绍如何通过CLONE TABLE功能实现同Region的MaxCompute项目数据迁移,包含两种使用场景:同Region同云账号内不同项目的数据迁移和同Region不同云账号间的项目数据迁移。 | |
2023-09-15 | 新增功能特性 | 新说明 | 本文为您介绍MaxCompute的功能特性。 | |
2023-09-15 | 新增Paimon外部表 | 新说明 | MaxCompute支持在项目中创建Paimon外部表,将其与存储在OSS上的Paimon表目录建立映射关系。通过Paimon外部表,您可以访问存储在OSS上的Paimon表中的数据。本文介绍如何创建Paimon外部表。 | |
2023-09-14 | 新增授权实践 | 新说明 | 为确保MaxCompute项目数据的安全性,项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控,确保权限不会过大也不会过小。本文为您介绍MaxCompute的权限管理案例。 | |
2023-09-14 | 新增(邀测)MaxCompute Notebook使用说明 | 新说明 | MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块,为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、PyODPS、Python等进行数据分析、探索,挖掘数据的价值,完成大数据与AI的融合应用开发。本文为您介绍如何使用Notebook功能。 | |
2023-09-12 | 新增在本地环境上使用PyODPS | 新说明 | PyODPS是阿里云开发的Python SDK,用于在本地环境上使用MaxCompute服务。本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。 | |
2023-09-01 | 新增Lambda函数 | 新说明 | Lambda是一种匿名函数,不需要命名,可以作为参数传递给其他函数或方法。本文介绍Lambda函数的使用限制、语法和使用示例。 |
08月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-08-25 | 新增使用成本优化功能实现降本增效 | 新说明 | MaxCompute为您提供成本优化(计算资源配置优化)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助您进一步优化计算成本。本文通过典型场景案例介绍如何通过成本优化(计算资源优化推荐)功能,为您提供降本增效的参考建议。 | |
2023-08-24 | 新增GetRunningJobs - 获取运行态的作业列表 | 新说明 | 指定时间范围内,所有仍处于“运行中”的作业的运行态数据展示。 | |
2023-08-24 | 新增GetJobResourceUsage - 获得作业执行者级别的资源使用列表 | 新说明 | 指定时间范围内,针对已结束的全部作业进行统计,以“天”为级别展示作业执行者级别的资源使用总量。 | |
2023-08-24 | 新增KillJobs - 终止作业 | 新说明 | 终止正在运行的作业。 | |
2023-08-18 | 新增成本分析 | 新说明 | MaxCompute计费模式有包年包月和按量计费,其中按量计费基本为日账单,MaxCompute新增成本分析功能,从费用出发下钻到用量明细,为关注费用的管理人员提供更便捷的费用分析能力。本文为您介绍如何使用MaxCompute成本分析功能。 | |
2023-08-09 | 新增公开数据集概述 | 新说明 | 如果您已开通MaxCompute服务,可以通过MaxComputeSQL分析连接查询公开数据集中的表,以便您快速试用MaxCompute。本文为您介绍公开数据集信息,并指导您如何通过MaxComputeSQL分析连接查询并分析数据。 | |
2023-08-01 | 新增作业运行常见问题 | 新说明 | 本文为您介绍MaxCompute作业运行过程中的常见问题。 | |
2023-08-01 | 新增Github公开事件数据 | 新说明 | 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。 |
07月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-07-31 | 新增简单用户画像分析(MaxCompute版) | 新说明 | 本文以网站用户画像分析为背景,通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化展现的场景。 | |
2023-07-31 | 新增MaxCompute服务不可用赔付案例说明 | 新说明 | MaxCompute计划于北京时间2023年09月01日变更服务等级协议(SLA),为了使您更加清楚新版SLA协议中各项服务可用性及赔偿标准的计算方式,本文为您介绍不同场景下发生服务不可用时的案例说明。 | |
2023-07-25 | 新增MaxCompute停止服务规格转换操作指引 | 新说明 | 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务,您需要将这些版本的计算资源转换为标准计算资源。本文为您介绍如何转换为标准计算资源。 | |
2023-07-19 | 新增使用命令行(odpscmd)连接 | 新说明 | MaxCompute基于阿里云云命令行,为您提供云上客户端环境,您无需手动安装即可通过云命令行工具使用客户端(odpscmd)。本文为您介绍MaxCompute的云命令行(odpscmd)的使用注意事项和简单示例。 | |
2023-07-17 | 新增按量付费闲时版 | 新说明 | MaxCompute提供单价更低的按量付费计算资源规格类型(按量付费闲时版),为您降低在延迟不敏感场景下使用MaxCompute的成本。本文为您介绍MaxCompute按量付费闲时版的应用场景、资源说明和计费说明,并帮助您了解注意事项和使用方法。 | |
2023-07-17 | 新增PyODPS DataFrame的代码运行环境 | 新说明 | 使用PyODPS DataFrame编写数据应用时,同一个脚本文件中的代码会在不同位置执行,可能导致一些无法预期的问题,本文为您介绍当出现相关问题时,如何确定代码的执行环境,以及提供部分场景下的解决方案。 | |
2023-07-04 | 新增UDF开发示例汇总 | 新说明 | 本文为您汇总典型场景下的UDF示例。 | |
2023-07-03 | 新增Split Size Hint | 新说明 | MaxCompute支持通过调整Split Size控制并发度,调整计算性能。Split Size功能可以作用到表级别。指定的值单位为MB,默认值为256MB。 |
06月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-06-30 | 新增JSON函数 | 新说明 | 介绍JSON类型相关的JSON函数。 | |
2023-06-29 | 新增MaxCompute JSON类型使用指南(试用Beta版本) | 新说明 | MaxCompute当前支持了JSON数据类型,提高了表中带有JSON类型数据的计算和分析的性能,本文为您介绍JSON类型的使用方法。 | |
2023-06-26 | 新增增量查询 | 新说明 | Transactional Table 2.0支持增量写入和存储,最重要的一个考虑就是支持增量查询以及增量计算优化,为此,专门设计开发了新的SQL增量查询语法来支持近实时增量处理链路。 | |
2023-06-26 | 新增事务管理 | 新说明 | 对DTT(Delta Transactional Table)的所有数据修改操作,都会由MetaService统一进行事务管理,满足ACID特性,应用MVCC模型来保障读写快照隔离,采用OCC模型进行乐观事务并发控制。 | |
2023-06-26 | 新增TimeTravel | 新说明 | 基于Transactional Table 2.0,计算引擎可高效支持TimeTravel查询的典型业务场景,即查询历史版本的数据,可用于回溯历史状态的业务数据,或数据出错时,用来恢复历史状态数据进行数据纠正,当然也支持直接使用restore操作恢复到指定的历史版本。 | |
2023-06-26 | 新增SQL处理优化 | 新说明 | 为了方便用户操作Transactional Table 2.0,MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持,并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍数据查询DQL和数据操作DML的架构设计核心要点。 | |
2023-06-26 | 新增数据组织优化 | 新说明 | 本文为您介绍Transactional Table 2.0在数据组织优化服务上的架构设计。 | |
2023-06-26 | 新增TimeTravel查询与Incremental查询 | 新说明 | 对于Transaction Table2.0类型的表,MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询(TimeTravel查询),也支持指定源表某个历史时间区间或者版本区间进行历史增量查询(Incremental查询)。本文为您介绍Transaction Table2.0的查询使用说明和使用限制。 | |
2023-06-26 | 新增近实时增量导入 | 新说明 | 数据流入Transactional Table 2.0主要存在近实时增量写入和批量写入两种场景,本文为您介绍高并发近实时增量写入场景的架构设计。 | |
2023-06-26 | 新增表数据格式 | 新说明 | 为了支持增全量存储和处理一体化架构,Transaction Table2.0(简称TT2)设计了统一的表数据组织格式,既可支持MaxCompute普通表的所有功能,同时也能很好的支持增量处理链路的新场景,包括timetravel查询、upsert操作等。本文为您介绍Transaction Table2.0的表数据格式详情。 | |
2023-06-26 | 新增整体架构 | 新说明 | Transaction Table2.0的增量存储和处理架构的特殊设计主要集中在五个模块:数据接入、计算引擎、数据优化服务、元数据管理、数据文件组织,其他部分与MaxCompute通用的架构一致。本文为您介绍Transaction Table2.0的核心架构要点。 | |
2023-06-26 | 新增COMPACTION | 新说明 | Compaction可以把所有的数据文件按照一定策略进行Merge操作,可提升查询效率。 | |
2023-06-26 | 新增使用Flink(流式数据传输-新版) | 新说明 | 当前MaxCompute为您提供了新版的Flink Connector插件,新版插件支持将Flink数据写入至MaxCompute的普通表和Transaction Table2.0类型表,提高了Flink数据写入MaxCompute的便捷性。本文为您介绍新版Flink Connector写入MaxCompute的能力支持情况与主要操作流程。 | |
2023-06-26 | 新增基本操作 | 新说明 | Transaction Table2.0 支持更多能力,同时在DDL,DML和DQL以及数据管理上都有很多独特的方式,本文为您汇总介绍Transaction Table2.0相关的主要操作。 | |
2023-06-26 | 新增Transaction Table2.0概述 | 新说明 | 随着当前数据处理业务场景日趋复杂,很多业务场景并不要求延时秒级更新可见或者行级更新,更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景,MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案,本文为您介绍本方案可解决的业务痛点和主要架构功能。 | |
2023-06-16 | 新增NOW | 新说明 | 返回当前系统日期与时间。 | |
2023-06-16 | 新增MaxCompute+DLF+OSS实践 | 新说明 | 由于DLF中数据入湖功能已经停止更新,本文采用DataWorks数据集成的入湖方式,以MySQL数据入湖为例,为您介绍在MaxCompute中如何创建外部项目,并查询DLF中的表数据。 | |
2023-06-16 | 新增MaxCompute+Hadoop搭建实践 | 新说明 | 本文以E-MapReduce的Hive为例,为您介绍在MaxCompute中如何创建外部项目,并查询Hadoop中的表数据。 | |
2023-06-16 | 新增对于外部项目的用户以及权限操作 | 新说明 | 当External Project创建完毕之后,其中的表的所有者归属于创建External Project的账号。如果您需要授权其他用户外部表项目操作权限,请根据本文进行操作。 | |
2023-06-16 | 新增基于Hadoop集群支持Delta Lake或Hudi存储机制 | 新说明 | Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据变化。本文为您介绍如何构建基于Delta Lake或Hudi存储机制的湖仓一体方案。 | |
2023-06-16 | 新增搭建与管理 | 新说明 | 本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体。 | |
2023-06-16 | 新增搭建与管理 | 新说明 | 本文为您介绍如何通过MaxCompute与DLF和OSS构建湖仓一体。 | |
2023-06-07 | 新增计算资源优化推荐 | 新说明 | MaxCompute计算资源优化推荐功能基于您包年包月一级Quota作业资源请求量及对资源配置的期望,推荐并生成更优的计算资源配置方案,帮助您进一步优化计算成本。本文为您介绍如何通过MaxCompute控制台获取计算资源优化配置方案。 | |
2023-06-07 | 新增数据重排 | 新说明 | 在MaxCompute的使用过程中,如果已经积累了大量数据占用了大量存储资源,且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理,在您的存储预算有限,计算资源还有冗余的情况下,可以考虑使用数据重排方式对存储空间进行优化。本文以MaxCompute公共数据集中表为例为您介绍如何通过数据重排方式进行存储优化。 |
05月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-05-31 | 新增COMBINATIONS | 新说明 | 返回输入数组元素的N元组合组成的数组。 | |
2023-05-31 | 新增NGRAMS | 新说明 | 返回指定数组元素的N元语法(n-gram)数组。 | |
2023-05-31 | 新增ARRAY_NORMALIZE | 新说明 | 返回根据指定p范数(p Norm)对数组元素规范化后的数组。 | |
2023-05-31 | 新增SEQUENCE | 新说明 | 根据表达式生成包含指定元素的数组。 | |
2023-05-31 | 新增FLATTEN | 新说明 | 将数组类型的数组转换为单个数组。 | |
2023-05-31 | 新增SHUFFLE | 新说明 | 返回指定数组的元素随机排列数组。 | |
2023-05-31 | 新增MULTIMAP_ FROM_ENTRIES | 新说明 | 返回由结构体数组中的Key和包含所有Value的数组所组成的Map。 | |
2023-05-24 | 新增Quota调度策略说明 | 新说明 | 本文为您介绍MaxCompute的包年包月二级Quota调度策略模式,并提供设置和查看二级Quota调度策略的操作指导。 | |
2023-05-19 | 新增Purge | 新说明 | 清除当前表或者整个项目下所有表的备份数据,清除后不可以恢复。 | |
2023-05-10 | 新增聚类分片 | 新说明 | Proxima CE支持使用聚类分片方式检索任务,本文为您介绍聚类分片检索功能的使用方法及示例。 | |
2023-05-10 | 新增多类目检索 | 新说明 | Proxima CE支持多类目检索方式检索任务,本文为您介绍多类目检索功能的使用方法及示例。 | |
2023-05-10 | 新增基础向量检索 | 新说明 | Proxima CE支持使用基础向量检索和百万TopK检索的方式检索任务,本文为您介绍Proxima CE中使用基础向量检索离线任务的方法及示例。 | |
2023-05-06 | 新增错误码问题ODPS-0110042 | 新说明 | 为您介绍错误码ODPS-0110042的产生原因及解决方案。 |
04月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-04-19 | 新增PyODPS使用第三方包 | 新说明 | 本文为您介绍如何在PyODPS中使用第三方包。 | |
2023-04-19 | 新增PyODPS制作第三方包 | 新说明 | PyODPS自V0.11.3版本开始提供了 | |
2023-04-17 | 新增ListProjectUsers - 获取项目用户列表 | 新说明 | 获取项目用户列表。 | |
2023-04-11 | 新增使用SQL分析连接 | 新说明 | MaxCompute控制台提供SQL分析,方便您快速执行SQL语句操作。本文为您介绍如何通过SQL分析使用MaxCompute服务。 | |
2023-04-11 | 新增新用户免费试用额度 | 新说明 | 您在注册阿里云账号并进行实名认证后,如果未购买任何MaxCompute产品,可免费试用MaxCompute。试用期内您可以免费试用一定额度的计算消耗量,同时免费存储一定额度的标准存储数据。本文为您介绍免费试用额度类型、支持地域等内容。 | |
2023-04-10 | 新增物化视图 | 新说明 | 随着MaxCompute的深入使用,会出现对MaxCompute的表有很多重复查询的情况,并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算,同时加速用户计算。MaxCompute提供物化视图智能计算加速,为您智能分析推荐创建物化视图。本文为您介绍如何通过智能分析创建物化视图。 | |
2023-04-07 | 新增基于GitHub公开事件数据集的离线实时一体化实践 | 新说明 | 本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓,然后通过Hologres和MaxCompute分别进行实时与离线数据分析,从而实现实时离线一体化解决方案。 |
03月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-03-31 | 新增作业运维(新版) | 新说明 | MaxCompute提供作业运维管理功能,数据开发人员和管理员可通过MaxCompute控制台的作业运维功能查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute控制台运维和管理作业。 | |
2023-03-31 | 新增External Volume SDK说明 | 新说明 | 本文为您介绍使用Java SDK操作External Volume的说明。 | |
2023-03-31 | 新增利用MaxCompute External Volume处理非结构化数据 | 新说明 | External Volume是MaxCompute提供的分布式文件系统和数据存储方案,为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径,利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制,同时利用 MaxCompute引擎处理External Volume内部的文件数据。每个Project中可以有多个External Volume。本文为您介绍如何利用MaxCompute External Volume处理非结构化数据。 | |
2023-03-30 | 新增向量计算(Proxima CE) | 新说明 | Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等功能。本文为您介绍在MaxCompute中如何使用向量计算功能。 | |
2023-03-30 | 新增External Volume操作 | 新说明 | External Volume是MaxCompute提供的分布式文件系统和非结构化数据存储方案,通过External Volume可以实现使用MaxCompute引擎处理OSS上的文件数据。本文为您介绍常用的External Volume操作。 | |
2023-03-24 | 新增内建函数 | 新说明 | MaxCompute自身预置了诸多函数,可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。 新增函数包括:CURRENT_TIMEZONE、DAYOFYEAR、DAYOFWEEK、INITCAP、NEGATIVE、POSITIVE、ATAN2、ISNAN。 | |
2023-03-20 | 新增独享数据传输服务资源组 | 新说明 | MaxCompute为您提供独享数据传输服务资源组,本文为您介绍如何购买、使用独享数据传输服务资源组。 | |
2023-03-17 | 新增PyODPS Schema | 新说明 | Schema是MaxCompute介于项目和表、资源、函数之间的概念,对表、资源、函数进行进一步归类。本文为您介绍Schema的基本操作。 | |
2023-03-14 | 新增TPC-DS数据 | 新说明 | MaxCompute通过TPC-DS官方工具生成了1GB、10GB、100GB、1TB、10TB、100TB六个规格的TPC-DS数据,此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息,以及如何通过MaxCompute执行TPC-DS数据查询。 | |
2023-03-13 | 新增加密函数 | 新说明 | MaxCompute SQL提供了加密函数和解密函数,您可以根据实际需要选择合适的函数,对指定列进行随机性加密或解密。本文为您提供MaxCompute SQL支持的加密函数的命令格式、参数说明及示例,指导您使用加密函数完成开发。 | |
2023-03-10 | 新增PIVOT、UNPIVOT | 新说明 | MaxCompute支持PIVOT和UNPIVOT关键字,通过PIVOT关键字可以基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可以将一个或者多个列转换为行。本文为您介绍PIVOT和UNPIVOT关键字的使用和示例。 | |
2023-03-09 | 新增QUALIFY | 新说明 | MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗(Window)函数的结果,QUALIFY语法过滤Window函数数据类似于HAVING语法处理经过聚合函数和GROUP BY后的数据。本文为您介绍QUALIFY语法和使用示例。 | |
2023-03-08 | 新增TABLESAMPLE采样 | 新说明 | MaxCompute支持通过TABLESAMPLE功能来对表数据进行采样,包含三种采样方式:分桶采样、指定采样百分比采样和随机返回指定记录数采样。本文为您介绍使用TABLESAMPLE采样的命令语法和使用示例。 | |
2023-03-06 | 新增使用Tunnel命令或Tunnel SDK | 新说明 | MaxCompute的客户端(odpscmd)、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载,本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。 |
02月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-02-28 | 新增周期性调度作业概述 | 新说明 | 如果您希望周期性运行MaxCompute作业,可使用DataWorks的DataStudio开发周期性MaxCompute作业,并配置周期性调度的时间属性、调度依赖等配置项,将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks开发周期性作业的能力。 | |
2023-02-28 | 新增GetProject - 获取项目信息 | 新说明 | 查询MaxCompute项目的基本信息。 | |
2023-02-28 | 新增在DataWorks运维中心查看作业运行信息 | 新说明 | DataWorks运维中心展示离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息,帮助您提升任务运维效率。当您在DataStudio中完成节点开发,并提交和发布至生产环境后,即可在运维中心查看作业运行详情、监控作业运行状态等操作。本文为您介绍如何通过DataWorks运维中心查看MaxCompute作业的运行信息。 | |
2023-02-28 | 新增MaxCompute作业概述 | 新说明 | 本文为您介绍MaxCompute作业的基本概念和常用场景。 | |
2023-02-28 | 新增数据传输作业:数据集成 | 新说明 | MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute,数据集成作业主要有三种类型:离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。 | |
2023-02-28 | 新增作业优先级管理与成本优化 | 新说明 | 本文为您介绍MaxCompute作业优先级管理与成本优化。 | |
2023-02-28 | 新增数据传输与迁移概述 | 新说明 | MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。 | |
2023-02-23 | 新增数据分析作业 | 新说明 | MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库,支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业,推荐您使用查询编辑器或DataWorks的临时查询等工具,高效便捷地完成数据分析作业。本文为您介绍数据分析场景下的常用工具与使用注意事项。 | |
2023-02-22 | 新增高级应用:实现复杂作业逻辑 | 新说明 | 使用DataWorks周期性调度MaxCompute作业时,您也可以灵活使用DataWorks已有的通用节点,例如虚拟节点、分支和归并节点、循环类节点等,与MaxCompute的其他节点联合使用可实现更复杂的业务效果,本文为您概要介绍常用的通用节点和典型应用场景。 | |
2023-02-13 | 新增函数概述 | 新说明 | 为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工,MaxCompute提供了丰富的内建函数,以便您在日常开发和分析中使用,您可以根据需要从不同维度快速查询目标函数。 | |
2023-02-07 | 新增使用标签分账 | 新说明 | MaxCompute支持为项目(Project)、一级Quota绑定标签,绑定标签后,您可以通过阿里云费用与成本使用分账账单或成本分析功能查看费用情况。本文为您介绍在MaxCompute中使用标签进行分账。 | |
2023-02-07 | 新增最佳实践Range Clustering | 新说明 | Range Clustering作为一种新的数据切分方式,提供了一个全局有序的数据分布,一是可以避免Hash Clustering可能造成的数据倾斜问题;二是在数据有序分布的前提下,创建两级索引(Index),支持对Clustering Key的区域查询以及多键的组合查询等场景。本文为您介绍如何在MaxCompute中使用Range Clustering。 | |
2023-02-02 | 新增最佳实践Hash Clustering | 新说明 | 哈希聚簇(Hash Clustering)表通过设置表的Shuffle和Sort属性,进而MaxCompute根据数据已有的存储特性,优化执行计划,提高效率,节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。 |
01月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2023-01-31 | 新增搭建Windows开发环境。 | 新说明 | 本文为您介绍如何在Windows操作系统下搭建Spark on MaxCompute开发环境。 如果您安装了Linux操作系统,请前往搭建Linux开发环境。 | |
2023-01-31 | 新增获取任务执行进度示例。 | 新说明 | 本文为您介绍如何使用Java SDK获取任务(Task)的执行进度。 | |
2023-01-17 | 新增OSS外部表根据字段名称Mapping数据。 | 新说明 | OSS支持用户在OSS目录下上传不同表结构的数据,MaxCompute建立的OSS外部表可以根据字段名称对数据进行读写。本文为您介绍在MaxCompute中使用OSS外部表根据字段名称对数据进行读写。 | |
2023-01-09 | 新增迁移任务查看与操作。 | 新说明 | 本文为您介绍迁移任务查看与操作的功能。您可以在迁移任务子任务列表中查看子迁移任务的相关信息,在子迁移任务的详情⾥查看任务执⾏的日志。 | |
2023-01-09 | 新增分区过滤表达式说明。 | 新说明 | 本文为您提供分区过滤表达式的相关说明,用于数据迁移时的参数配置场景。 | |
2023-01-09 | 新增MaxCompute数据迁移。 | 新说明 | 本文为您介绍MaxCompute数据迁移的准备事项和操作步骤。 | |
2023-01-09 | 新增Hive数据迁移。 | 新说明 | 本文为您介绍通过Hive UDTF迁移Hive数据的方法。 |
2022年
12月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-12-29 | 新增API | 新说明 | 本文为开发者封装了常见编程语言的SDK,开发者可通过下载SDK直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可通过签名机制进行自签名对接。 | |
2022-12-29 | 新增MaxCompute后付费消费突增排查。 | 新说明 | 在使用MaxCompute开发过程中会产生费用,如果平时每日消费比较平稳,某段时间的费用增长翻倍。在排除业务增长的情况下,可以进行费用分析,排查导致费用突增的项目、作业是哪些,进而及时优化和调整作业,优化成本。本文为您介绍如何结合账单详情和MaxCompute元数据服务(Information Schema)排查MaxCompute后付费消费突增。 | |
2022-12-20 | 新增通过控制台(新版)管理用户权限。 | 新说明 | MaxCompute支持用户在MaxCompute控制台(新版)通过角色为RAM账号(RAM用户、RAM角色)授予相应的MaxCompute权限。本文为您介绍各类权限的授权操作步骤与示例。 | |
2022-12-15 | 新增MASK_HASH函数。 | 新说明 | 返回基于字符串表达式(expr)计算的Hash值。Hash值相同证明表达式的值相同。 | |
2022-12-14 | 新增Flag参数列表。 | 新说明 | 您可在参数列表页面搜索参数,查看参数的影响范围、属性名称和属性描述。 | |
2022-12-14 | 新增WINDOW关键字。 | 新说明 | 您可以使用WINDOW关键字自定义窗口,为窗口函数自定义名称。 | |
2022-12-13 | 新增时区列表。 | 新说明 | 您可以使用FROM_UTC_TIMESTAMP函数将一个UTC时区的时间戳转换成一个指定时区的时间戳。 | |
2022-12-11 | 新增错误码。 | 新说明 | MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息,帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。 | |
2022-12-09 | 新增压缩数据从OSS迁移至MaxCompute。 | 新说明 | 本文为您介绍如何通过MaxCompute外部表能力,将SNAPPY压缩文件数据(以半角逗号分隔)从OSS迁移至MaxCompute。 | |
2022-12-02 | 新增合并小文件。 | 新说明 | 分布式文件系统按块(Block)存放数据,文件大小比块大小(64MB)小的文件称为小文件。分布式系统不可避免会产生小文件,比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。 |
11月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-11-16 | 新增弹性预留CU最佳实践。 | 新说明 | 本文通过典型场景案例介绍如何选择并配置包年包月预留和弹性预留计算资源,为您提供降本增效的参考建议。 | |
2022-11-15 | 新增Analyze命令。 | 新说明 | ANALYZE命令用于收集表数据统计信息来获取元数据,为优化查询性能提供帮助。 | |
2022-11-15 | 新增新版控制台。 | 新说明 | MaxCompute新版控制台将提供全新的项目管理、Quota(配额)管理交互,同时集成全新功能:弹性预留CU、自定义项目管理类角色访问控制。 | |
2022-11-15 | 新增弹性预留CU | 新说明 | 本文为您介绍弹性预留CU包含的基础资源和计费规则,并帮助您了解使用方法和注意事项。 | |
2022-11-01 | 新增计算抵扣包和存储抵扣包。 | 新说明 | MaxCompute提供了两种资源抵扣包:计算抵扣包和存储抵扣包,抵扣您使用MaxCompute实例时产生的计算和存储用量,增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。 |
10月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-10-31 | 新增权限授权说明。 | 新说明 | MaxCompute支持通过使用阿里云的访问控制RAM(Resource Access Management)服务授权,将您云账号下MaxCompute资源的访问及管理权限授予RAM用户和RAM角色,按需为用户分配最小权限,从而降低企业的信息安全风险。本文为您介绍MaxCompute中支持的两种权限策略。 | |
2022-10-28 | 新增MaxCompute在普通模式和Hive兼容模式下使用的区别。 | 新说明 | 介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。 | |
2022-10-13 | 新增MaxCompute Schema。 | 新说明 | MaxCompute支持Schema,在Project之下对Table、Resource、Function进行归类。本文为您介绍Schema的概念、权限内容以及如何使用Schema。 |
09月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-09-28 | 新增内建函数(按字母顺序排序)。 | 新说明 | MaxCompute提供的内建函数按照首字母顺序进行排序,方便您查找使用。 | |
2022-09-28 | 新增所有命令(按字母顺序)。 | 新说明 | MaxCompute支持的SQL命令按照首字母顺序进行排序,方便您查找使用。 | |
2022-09-26 | 新增Spark访问湖仓一体外部数据源。 | 新说明 | Spark on MaxCompute目前已支持访问湖仓一体外部数据源,解决从Spark更换为MaxCompute处理数据时,需要迁移Spark作业到MaxCompute的问题,降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。 | |
2022-09-22 | 新增(进阶)RAM角色授信策略。 | 新说明 | 企业用户通常通过常规登录方式(即在阿里云控制台输入账号、密码)登录阿里云,管理、使用云资源。随着企业安全监管要求的日益严格,部分企业更愿意通过角色登录(Role Base_SSO)的方式登录阿里云。本文为您介绍使用角色SSO的方式登录MaxCompute新版控制台需要配置的角色授信策略。 | |
2022-09-16 | 新增项目管理(新版)。 | 新说明 | 项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。您开通MaxCompute服务后,需要通过项目使用MaxCompute。本文为您介绍如何通过MaxCompute新版控制台创建、管理MaxCompute项目。 | |
2022-09-15 | 新增RAM权限(新版控制台)。 | 新说明 | MaxCompute部分资源管理类的操作只能通过管理控制台来完成,其中有些操作权限通过RAM进行鉴权,本文为您介绍MaxCompute管理相关操作对接RAM的权限点列表及权限策略。 | |
2022-09-15 | 新增计算费用(按时计费)。 | 新说明 | 按时计费规格基于包年包月规格进行弹性扩、缩容预留CU,支持对包年包月一级Quota在每天某个时间段临时扩容部分计算资源,从而满足业务高峰期资源供给。按时计费规格以使用的CU量和使用时长作为计量指标,并在CU缩容成功后收取费用。 | |
2022-09-15 | 新增Quota管理(新版)。 | 新说明 | Quota管理是为您在MaxCompute管理控制台提供计算资源消耗查看、调整、增删改查等涉及日常资源管理运维的功能模块。 |
08月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-08-31 | 新增Spark-2.x示例。 | 更新说明 | 新增Spark on MaxCompute支持访问MaxCompute OSS外部表的示例,底层文件格式支持PARQUET、TEXTFILE、ORC、AVRO和SEQUENCEFILE格式。 | |
2022-08-27 | 聚合函数。 | 更新说明 | 新增三个聚合函数,分别是 | |
2022-08-19 | 新增物化视图状态查看函数。 | 更新说明 | 物化视图状态查看函数可以判断当前物化视图或者物化视图的分区的数据是否跟原表的数据一致,如果一致返回为True,否则返回False。 | |
2022-08-04 | 新增计算资源使用 | 新说明 | 通过MaxCompute的Use Quota功能,实现作业级别指定Quota,提升Quota使用的灵活性。 |
07月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-07-28 | 离线实时一体化数仓。 | 新说明 | 系统讲解阿里云离线实时一体化数仓的能力,帮助您设计构建离线实时一体化数仓。 | |
2022-07-14 | 字符串函数。 | 更新说明 | 新增 | |
2022-07-13 | 新增模拟IDC Spark读写MaxCompute实践。 | 新实践 | 现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据,有些线下IDC场景,客户不愿意对公网暴露集群内部信息,需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce(云上Hadoop)方式模拟本地Hadoop集群,为您介绍如何读写MaxCompute数据。 | |
2022-07-07 | Unload。 | 更新说明 | 支持使用Unload函数从MaxCompute导出数据到OSS时,自定义设置导出数据文件名的前缀和后缀。 | |
2022-07-07 | 支持表级别设置Split Size参数。 | 更新说明 | 在表级别设置Split Size参数控制并发度,当您发现资源比较充足且作业跑的比较慢的时候或者发现作业等待资源时间比较长且资源不足时,可以通过调整该参数,提升计算效率。 | |
2022-07-07 | 聚合函数。 | 更新说明 | 新增 |
06月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-06-30 | MaxCompute湖仓一体。 | 更新说明 | 支持在DataWorks公共表中查看外部数据源的元数据信息,使基于湖仓的数据开发人员方便查看外部数据源的表、字段和分区信息。 | |
2022-06-24 | 包年包月规格下使用查询加速。 | 新说明 | MaxCompute产品规格使用的是包年包月,可以通过创建查询加速独享资源配额,实现包年包月产品规格下对应项目的查询加速(MCQA)支持。本文为您介绍如何使用查询加速对MaxCompute包年包月规格实例下的项目进行加速。 | |
2022-06-01 | 字符串函数。 | 更新说明 | 新增 |
04月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-04-14 | 新增MaxCompute如何访问Hologres最佳实践。 | 新实践 | 新增MaxCompute如何访问Hologres最佳实践。 | |
2022-04-14 | 新增EXCEPT、REPLACE子句。 | 更新说明 | 支持您通过SELECT语句排除表中的少数列或对少数列的数据进行修改。 | |
2022-04-14 | 整改OSS外部表内容。 | 更新说明 | 将OSS外部表内容结构进行整改,信息聚焦呈现。 | |
2022-04-07 | 新增Python UDF示例。 | 新示例 | 新增复杂数据类型示例、引用表或资源示例。 |
03月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-03-24 | 计算费用(按量计费) | 更新说明 | 增加Lightning不建议使用说明。 | |
2022-03-24 | 行转列及列转行最佳实践 | 新增 | 新增行转列及列转行最佳实践。 基于示例为您介绍如何使用SQL实现行转列、列转行需求。 | |
2022-03-18 | 支持开源格式数据 | 更新说明 | 补充PARQUET属性:
| |
2022-03-18 | 复杂类型函数 | 更新说明 | 补充GET_JSON_OBJECT、JSON_TUPLE示例。 | |
2022-03-18 | 字符串函数 | 更新说明 | 更新TRIM、LTRIM、RTRIM函数。 | |
2022-03-18 | DISTRIBUTED MAPJOIN | 新增 | 新增DISTRIBUTED MAPJOIN。 DISTRIBUTED MAPJOIN是MAPJOIN的升级版,适用于小表JOIN大表的场景。 | |
2022-03-15 | SHOW命令 | 新增 | 新增SHOW命令章节。 涵盖MaxCompute所有SHOW命令。 | |
2022-03-09 | 常见问题补充 | 更新说明 |
| |
2022-03-01 | 权限管理 | 更新说明 | 权限内容整改。 | |
2022-03-01 | MaxCompute兼容开源Spark 3.1版本 | 更新说明 | MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后,全新支持Spark 3.1版本。 |
02月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-02-28 | 使用SQL管理外部项目。 | 更新说明 | 重构使用SQL方式管理外部项目内容。 | |
2022-02-23 | 新增列,删除列,列顺序变更。 | 新增 | 增加新增列、删除列的命令格式以及示例。调整列的顺序。 | |
2022-02-15 | 新增Tunnel错误码信息。 | 新增 | 新增Tunnel错误码信息。 | |
2022-02-14 | 新增内建函数常见错误码。 | 新增 | 新增内建函数常见错误码。 | |
2022-02-11 | 更新Graph操作案例。 | 更新说明 | 优化以单源最短距离算法为例的Graph作业编写。 |
01月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2022-01-30 | 常见问题整改。 | 更新说明 | 将常见问题拆解到各个模块,便于用户在遇到问题时快速查找解决措施。 | |
2022-01-30 | 增加外部项目概念。 | 更新说明 | MaxCompute支持通过外部项目实现湖仓一体能力。 | |
2022-01-24 | 新增权限管理最佳实践。 | 新实践 | 新增基于Policy对具备内置角色的用户进行权限管理最佳实践。 | |
2022-01-21 | 补充内建函数典型使用案例。 | 新说明 | 针对用户反馈较多的问题,补充实现GROUP_CONCAT函数能力案例和ROUND函数精度问题案例。 | |
2022-01-18 | 新增最佳实践。 | 新实践 | 新增Spark on MaxCompute如何访问HBase最佳实践。 | |
2022-01-17 | 新增最佳实践。 | 新实践 | 新增MaxCompute在电商场景中如何进行漏斗模型分析最佳实践。 | |
2022-01-07 | 整改产品计费、规格类型文档内容。 | 更新说明 | 优化产品计费、规格类型文档内容。 | |
2022-01-07 | 新增产品最佳实践视频。 | 新视频 | 新增产品最佳实践视频。 | |
2022-01-05 | 复杂类型函数变更。 | 更新说明 | MAP_CONCAT、MAP_FROM_ARRAYS、MAP_FROM_ENTRIES、MAP、STR_TO_MAP函数增加mapDupKeyPolicy参数并支持通过odps.sql.map.key.dedup.policy设置。 | |
2022-01-05 | 新增最佳实践。 | 新实践 | 新增Spark On MaxCompute访问Phoenix数据最佳实践。 |
2021年
12月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-12-22 | 重构湖仓一体。 | 更新说明 | 支持MaxCompute湖仓一体自助构建流程。 | |
2021-12-03 | 新增MaxCompute支持渐进式计算。 | 新说明 | MaxCompute支持渐进式计算,在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据,在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据,从而降低了计算资源消耗、执行调度时间,为客户节省了费用的同时提高了作业的运行效率。 | |
2021-12-01 | MaxCompute物化视图功能增强。 | 新说明 | MaxCompute物化视图支持创建分区和聚簇,在查询物化视图时如果发现有分区数据不存在物化视图中时,可以设置系统自动穿透去查询源表,并返回源表和物化视图的汇总数据。 |
11月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-11-29 | 新增Policy授权最佳实践。 | 新实践 | 支持基于Policy对具备内置角色的用户进行权限管理。 | |
2021-11-29 | MaxCompute开放租户级别的用户管理能力。 | 更新说明 | 支持通过MaxCompute控制台管理用户。 | |
2021-11-23 | 重构MMA内容。 | 更新说明 | 重构MMA内容。 | |
2021-11-18 | 新增网易BI数据连接MaxCompute操作指导。 | 新说明 | MaxCompute支持您将MaxCompute项目数据接入网易有数BI,帮助您轻松完成数据分析和数据可视化工作。 | |
2021-11-15 | 新增IP地址转换归属地最佳实践。 | 新实践 | MaxCompute支持基于MaxCompute UDF将IPv4或IPv6地址转换为归属地。 | |
2021-11-10 | 完善Python UDF上传及注册操作。 | 新说明 | 完成Python程序开发及调试后,您需要将Python程序以资源形式上传至MaxCompute项目后,才可以注册MaxCompute UDF。 | |
2021-11-10 | 新增MaxCompute Studio可视化管理函数内容。 | 新说明 | MaxCompute Studio的Project Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中注册自定义函数(MaxCompute UDF),并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。 | |
2021-11-08 | 补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。 | 更新说明 | 补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。 | |
2021-11-03 | 支持清空分区表的分区数据。 | 新说明 | MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。 | |
2021-11-02 | 新增MaxCompute Studio可视化管理资源内容。 | 新说明 | MaxCompute Studio的Project Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源,例如表、JAR包、PY脚本或压缩包等,并提供获取及删除资源的入口。 |
10月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-10-26 | 支持清空分区表的分区数据。 | 新说明 | MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。 | |
2021-10-19 | 新增日期数据格式转换最佳实践。 | 新实践 | 新增STRING、TIMESTAMP、DATETIME互相转换实践案例。 | |
2021-10-12 | 新增观远数据连接MaxCompute操作指导。 | 新说明 | MaxCompute支持您将MaxCompute项目数据接入观远数据(GuanData),帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。 |
09月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-09-30 | MaxCompute UDF内容整改。 | 更新说明 | 重构MaxCompute UDF目录结构及内容结构,按照UDF、UDTF、UDAF进行整改并补充示例及常见问题。 | |
2021-09-26 | 补充物化视图使用限制。 | 更新说明 | 补充物化视图使用限制。 | |
2021-09-22 | 网络开通流程处理方式变更,从提工单变更为填写表单。 | 更新说明 | 网络开通流程处理方式变更,从提工单变更为填写表单。 | |
2021-09-15 | 新增日期函数DATE_SUB。 | 新说明 | 按照指定的幅度增减天数,与DATE_ADD逻辑相反。 | |
2021-09-15 | 补充Spark Java示例。 | 更新说明 | 补充Spark Java示例。 | |
2021-09-08 | 补充核心概念的层次结构。 | 新说明 | 补充核心概念的层次结构。 |
08月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-08-27 | 支持基于Delta Lake或Hudi存储机制实现湖仓一体能力。 | 新功能 | Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。 | |
2021-08-26 | 数学函数新增CORR函数。 | 新说明 | 支持计算两列数据的皮尔逊系数。 | |
2021-08-25 | 新增资源规划及规格选型指导。 | 新说明 | 帮助您预估购买的资源数量并选择合适的规格类型。 | |
2021-08-20 | 聚合函数语法变更。 | 更新说明 | 增加聚合函数语法模块,提供语法详细说明。 | |
2021-08-19 | 其他函数下新增HASH、COMPRESS、DECOMPRESS、NULLIF、FORMAT_NUMBER、SHA、SHA1、SHA2、CRC32函数。 | 新说明 |
| |
2021-08-19 | 日期函数新增TO_MILLIS函数。 | 新说明 | 将指定日期转换为以毫秒为单位的UNIX时间戳。 | |
2021-08-18 | 起售CU数量变更。 | 更新说明 | MaxCompute的CU起售数量从10 CU变更为50 CU。 | |
2021-08-11 | MaxCompute新增物化视图功能。 | 新功能 | 物化视图(Materialized View)本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。 | |
2021-08-11 | UPDATE、DELETE和MERGE INTO功能商业化。 | 更新说明 | 自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能,届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。 | |
2021-08-10 | 新增复杂类型函数。 | 新功能 | MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据,提供多种函数支持多样化数据处理。 | |
2021-08-04 | 新增ETL工具连接MaxCompute操作指导。 | 新说明 | MaxCompute支持连接ETL工具管理MaxCompute项目。 | |
2021-08-02 |
| 更新说明 | 兼容PostgreSQL支持多列的需求。 |
07月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-07-28 | MaxCompute支持删除项目。 | 更新说明 | 您可以通过MaxCompute控制台删除已创建的MaxCompute项目。 | |
2021-07-21 | 新增数据库管理工具连接MaxCompute操作指导。 | 新说明 | MaxCompute支持连接数据库管理工具管理MaxCompute项目。 | |
2021-07-19 | 新增商业智能BI工具连接MaxCompute操作指导。 | 新说明 | MaxCompute支持连接商业智能BI工具以图表形式展现数据分析结果。 | |
2021-07-19 | 新增最佳实践。 | 新实践 | 新增通过Logview诊断慢作业最佳实践。 | |
2021-07-14 | 新增客户案例页面。 | 新说明 | 新增MaxCompute典型客户案例内容。 |
06月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-06-07 | 数据集成导入导出数据内容整改。 | 更新说明 | 重构数据集成导入导出数据内容。 |
05月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-05-31 | 准备工作内容整改。 | 更新说明 | 重构准备工作流程及内容。 | |
2021-05-31 | 快速入门内容整改。 | 更新说明 | 按照工具展示快速入门操作。 | |
2021-05-24 | 更新监控报警。 | 更新说明 | 完善监控报警机制,补充作业超时告警和累计消费告警内容。 | |
2021-05-21 | 补充Java SDK常见问题。 | 更新说明 | 基于用户反馈补充Java SDK使用过程中的常见问题。 |
04月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-04-29 | 新增数加体验馆页面。 | 新说明 | 链接至数加体验馆,方便用户快速基于场景使用MaxCompute。 | |
2021-04-06 | 新增动态过滤功能。 | 新功能 | 利用等值JOIN的特性,基于运行时动态生成过滤器,以便在Shuffle或JOIN之前提前过滤数据,实现加速查询运行。 | |
2021-04-02 | 根据用户反馈补充常见SQL问题。 | 更新说明 | 补充SQL语句使用过程中的常见问题。 |
03月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-03-25 | 补全MaxCompute错误码列表信息。 | 更新说明 | 完善MaxCompute错误码列表。 | |
2021-03-19 | 补充常见问题。 | 更新说明 | 根据用户反馈问题合入常见问题。 | |
2021-03-16 | 建表语法支持指定列的NOT NULL属性。 | 更新说明 | 禁止该列的值为NULL。 | |
2021-03-16 | 新增FROM_JSON和TO_JSON函数。 | 新说明 | FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。 | |
2021-03-16 | 新增OSS外部表支持处理压缩格式数据功能。 | 新功能 | 如果OSS上的数据为LZO或SNAPPY压缩格式,您需要在创建OSS外部表时,指定压缩格式相关信息。 | |
2021-03-16 | 新增作业超时报警功能。 | 新功能 | MaxCompute支持通过配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。 | |
2021-03-16 | 支持Transactional表的ACID属性。 | 新功能 | Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。 | |
2021-03-12 | 支持列级别权限控制。 | 更新说明 | 对表列级别进行权限控制。 | |
2021-03-12 | 支持通过Java SDK查询权限信息。 | 新功能 | MaxCompute支持您通过Java SDK方式查询指定用户、角色或资源的授权信息,以JSON格式展示权限查询结果,满足多样化展示需求。 | |
2021-03-12 | 支持对Package进行权限控制。 | 新功能 | 安装Package后,如果您需要对Package进行更细微的权限控制,例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列,您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。 | |
2021-03-12 | 支持通过属性打开或关闭Download权限。 | 更新说明 | 开启或关闭该功能,需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。 | |
2021-03-01 | 新增MaxCompute湖仓一体功能。 | 新功能 | MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。 |
02月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-02-23 | 新增Python 2 UDTF使用示例。 | 新示例 | 新增Python 2 UDTF读取MaxCompute资源示例。 | |
2021-02-23 | 新增Python 3 UDTF使用示例。 | 新示例 | 新增Python 3 UDTF读取MaxCompute资源示例。 | |
2021-02-23 | 新增Spark作业引用外部文件描述。 | 新说明 | 新增Spark作业引用外部文件描述。 | |
2021-02-20 | 新增UDTF与Lateral View结合的使用示例。 | 新示例 | 新增UDTF与Lateral View结合的使用示例。 | |
2021-02-09 | 补充清除用户权限描述。 | 新说明 | 补充清除用户权限描述。 | |
2021-02-09 | 新增MaxCompute SQLML功能。 | 新功能 | SQLML是MaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖PAI平台做模型创建、预测、评估等操作。 | |
2021-02-07 | 删除VALUES中只能使用常量的限制。 | 更新说明 | 删除VALUES中只能使用常量的限制。 | |
2021-02-07 | OSS外部表支持分片上传功能。 | 新说明 | 支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。 | |
2021-02-07 | 新增 | 新说明 | 新增 | |
2021-02-07 | 新增过滤条件表达式和 | 新说明 | 增加过滤条件表达式支持,可以对 | |
2021-02-07 | 增强日期函数 | 新说明 | 增强日期函数 | |
2021-02-07 | 新增 | 新说明 | 新增字符串函数 | |
2021-02-07 | MaxCompute命令行支持关闭表头显示,便于Shell调用。 | 新说明 | 在Shell(或Windows命令行)执行窗口,用户可能需要使用 | |
2021-02-07 | MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 | 新功能 | MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 | |
2021-02-07 | 支持SkewJoin Hint。 | 新功能 | 当两张表Join存在热点,导致出现长尾问题时,您可以通过提取热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。 | |
2021-02-07 | MaxCompute推出Freeride及Analyze两种优化器元数据收集工具。 | 新功能 | MaxCompute目前提供两种方式收集表的元数据:
| |
2021-02-07 | MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 | 新功能 | MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | |
2021-02-07 | MaxCompute支持云HBase外部表。 | 新功能 | MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以将HBase中的数据同步到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | |
2021-02-07 | MaxCompute支持RDS外部表。 | 新功能 | MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | |
2021-02-01 | 新增Mars v0.6.3版本变更记录。 | 新说明 | 新增Mars v0.6.3版本变更记录。 |
01月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2021-01-22 | 支持配置JDBC使用FineBI。 | 新功能 | 介绍如何通过MaxCompute JDBC驱动,使用FineBI对MaxCompute的数据进行可视化分析。 | |
2021-01-21 |
| 更新说明 | 新建MaxCompute项目的 | |
2021-01-19 | SELECT目录整改并优化内容。 | 更新说明 | 调整SELECT模块内容并完善命令示例。 | |
2021-01-13 | 新增MaxCompute云数据仓库最佳实践。 | 新视频 | 介绍MaxCompute云数据仓库最佳实践。 | |
2021-01-13 | 新增MaxCompute Tunnel视频。 | 新视频 | 介绍MaxCompute Tunnel实现与操作。 | |
2021-01-13 | 新增MaxCompute消费预警与控制视频。 | 新视频 | 介绍MaxCompute消费预警与控制实现操作。 | |
2021-01-11 | 存储计费规则变更。 | 更新说明 | 自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)。 | |
2021-01-07 | 新增查询加速(MCQA)免费体验功能。 | 新功能 | MaxCompute为使用包年包月资源的SQL作业提供了查询加速(MCQA)免费体验功能,当前处于公测阶段。 | |
2021-01-05 | 新增流式数据通道(Streaming Tunnel)。 | 新功能 | 新增流式数据通道、SDK接口及SDK示例。 | |
2021-01-05 | 新增数据迁移目录。 | 新说明 | 数据上传下载及迁移工具内容调整到新增目录。 | |
2021-01-04 | 新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 | 新实践 | 介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 | |
2021-01-04 | 新增包年包月资源隔离最佳实践。 | 新实践 | 介绍通过MaxCompute管理控制台的配额(Quota)管理功能对包年包月资源进行隔离的最佳实践。 |
2020年
12月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-12-28 | 新增Streaming Tunnel服务。 | 新功能 | MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务,提供了一套全新的API及后端服务,方便流式服务作为上游服务将数据写入MaxCompute。 | |
2020-12-24 | 新增Spark on MaxCompute使用及常见问题视频。 | 新视频 | 介绍Spark on MaxCompute使用及常见问题。 | |
2020-12-24 | 新增MaxCompute Logview2.0参数详解及常见问题视频。 | 新视频 | 介绍MaxCompute Logview2.0参数及常见问题。 | |
2020-12-21 | 新增STACK和GET_USER_ID函数。 | 新说明 | 新增STACK函数用于将指定的数据分隔为指定列数。新增GET_USER_ID函数用于获取当前账号的账号ID。 | |
2020-12-21 | 新建MaxCompute项目默认提供Information Schema服务。 | 更新说明 | 新建MaxCompute项目默认提供Information Schema服务,无需手动安装Information Schema权限包。 | |
2020-12-16 | 新增包年包月分时配额最佳实践。 | 新实践 | 对包年包月计算资源按照时间段设置资源配额,协助您更快上手使用分时配额功能,提高计算资源使用率。 | |
2020-12-15 | 新增Mars版本变更说明。 | 新说明 | 提供Mars各版本的变更记录。 | |
2020-12-15 | 新增Java SDK版本变更说明。 | 新说明 | 提供Java各版本的变更记录。 | |
2020-12-15 | 新增JDBC版本变更说明。 | 新说明 | 提供JDBC各版本的变更记录。 | |
2020-12-11 | 元数据视图列表新增TASK视图。 | 新说明 | TASK视图用于保存运行中作业的实时快照信息。 | |
2020-12-10 | 新增添加项目空间成员并设置角色操作指导。 | 新说明 | 如果您使用阿里云账号创建了项目空间,需要RAM用户协助开发时,可以将RAM用户添加为项目空间成员并设置角色,RAM用户才可以协同开发。 | |
2020-12-09 | 新增AdminEvent事件。 | 新说明 | 新增CreateProject、UpdateProject、DeleteProject事件,记录项目相关日志。 | |
2020-12-08 | 常用命令整改并优化内容。 | 更新说明 | 调整常用命令内容并完善命令示例。 | |
2020-12-08 | Insert语句整改并优化内容。 | 更新说明 | 调整Insert语句内容并完善命令示例。 | |
2020-12-08 | DDL语句整改并优化内容。 | 更新说明 | 调整DDL语句内容并完善命令示例。 |
11月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-11-30 | MaxCompute Lightning升级为MaxCompute交互式分析(MC-Hologres)。 | 新功能 | MC-Hologres是为大数据设计的实时交互式分析产品,它与MaxCompute无缝打通,支持数据实时写入,支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议,可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务探索,同时也支持超高QPS点查能力,满足数仓分析、服务一体化需求。 | |
2020-11-27 | 更新升级和降配操作流程。 | 更新说明 | 通过新版MaxCompute控制台执行升级和降配操作。 | |
2020-11-27 | 支持将消息队列Kafka版数据导入MaxCompute。 | 新功能 | MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。 | |
2020-11-26 | 刷新审计日志字段内容。 | 更新说明 | 刷新审计日志字段内容。 | |
2020-11-20 | 支持解除 | 新说明 | 支持解除 | |
2020-11-20 | MaxCompute支持以RAM角色身份访问使用服务。 | 新说明 | MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。 | |
2020-11-17 | 新增Python UDF使用第三方包操作指导。 | 新说明 | MaxCompute支持您在Python UDF中引用第三方包,例如NumPy包、需要编译的第三方包或依赖动态链接库的第三方包。 | |
2020-11-12 | 支持突破屏显10000行限制。 | 新说明 | 当使用无 | |
2020-11-04 | 补充配置JDBC启用MCQA功能下的可选配置参数。 | 更新说明 | 补充配置JDBC启用MCQA功能下的可选配置参数。 |
10月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-10-30 | SEMI JOIN支持MAPJOIN Hint。 | 更新说明 | SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMI或ANTI JOIN的性能,为数据倾斜问题提供解决方案。 | |
2020-10-30 | MaxCompute支持SORT BY不带 DISTRIBUTE BY。 | 更新说明 | MaxCompute支持不带DISTRIBUTE BY的SORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。 | |
2020-10-30 | INSERT命令支持ZORDER BY子句,提升查询时的过滤性能。 | 新功能 | 支持把数据相近的行排列在一起,提升查询时的过滤性能,同时降低存储成本。 | |
2020-10-30 | 支持通过条件筛选方式批量删除分区。 | 新功能 | 如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。 | |
2020-10-30 | OSS外部表CSV或TSV文件支持GBK编码格式。 | 更新说明 |
| |
2020-10-30 | 时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 | 更新说明 | 时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 | |
2020-10-30 | 新增WIDTH_BUCKET函数。 | 新功能 | 支持获取某个字段值落入的分组编号。 | |
2020-10-12 | 查询加速(MCQA)功能商业化。 | 更新说明 | 查询加速(MCQA)功能商业化,正式开始收费。 | |
2020-10-10 | 支持修改表的聚簇属性。 | 新说明 | 新增修改表的聚簇属性说明。 |
09月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-09-30 | MaxCompute控制台改版。 | 新功能 | MaxCompute控制台改版,新版用户界面和新功能简化了用户在开通服务、创建项目、管理及监控计算资源和分析SQL查询结果等方面的操作。 | |
2020-09-17 | 新增创建RAM用户描述。 | 新说明 | 新增创建RAM用户描述。 | |
2020-09-11 | 新增Logview 2.0功能。 | 新功能 | 新增Logview 2.0功能。 | |
2020-09-08 | 更新服务注销说明。 | 更新说明 | 更新服务注销操作说明。 | |
2020-09-03 | 更新Tunnel Upload说明。 | 更新说明 | 更新Tunnel Upload命令使用说明。 | |
2020-09-01 | 新增BigQuery数据迁移至MaxCompute最佳实践。 | 新实践 | 为您介绍如何将BigQuery数据迁移至MaxCompute。 | |
2020-09-01 | 新增Amazon Redshift数据迁移至MaxCompute最佳实践。 | 新实践 | 为您介绍如何将Amazon Redshift数据迁移至MaxCompute。 | |
2020-09-01 | 新增内建函数常见问题。 | 新说明 | 为您介绍内建函数的常见问题。 |
08月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-08-20 | 新增查询加速(MCQA)功能。 | 新功能 | 为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景、使用限制和使用说明。 | |
2020-08-20 | 新增备份存储计费详情。 | 更新说明 | 为您介绍备份存储计费详情。 | |
2020-08-17 | 新增数据科学(Mars)和备份存储计费方式。 | 更新说明 | 为您介绍数据科学(Mars)和备份存储计费方式。 | |
2020-08-17 | 新增数据科学(Mars)和查询加速(MCQA)计费详情。 | 更新说明 | 为您介绍数据科学(Mars)和查询加速(MCQA)计费详情。 | |
2020-08-05 | 新增SERDEPROPERTIES支持的属性项 | 新说明 | 指定是否识别CSV的列分隔符 |
07月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-07-29 | 新增迁移MaxCompute数据至OTS最佳实践。 | 新实践 | 为您介绍如何将MaxCompute数据迁移至表格存储OTS。 | |
2020-07-29 | 新增迁移MaxCompute数据至OSS最佳实践。 | 新实践 | 为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。 | |
2020-07-24 | 新增数据加密功能。 | 新功能 | MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。 | |
2020-07-23 | 新增聚合函数。 | 新说明 | 新增 | |
2020-07-23 | Python UDF增加支持的数据类型。 | 新说明 | Python UDF增加支持的数据类型。 | |
2020-07-23 | 新增SQL语言定义函数。 | 新功能 | MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。 | |
2020-07-23 | 新增代码嵌入式UDF。 | 新功能 | MaxCompute支持通过代码嵌入式UDF(Embedded UDF)将Java或Python代码嵌入SQL脚本。 | |
2020-07-23 | MaxCompute的包年包月项目支持对指定SQL作业使用按量计费资源。 | 新功能 | MaxCompute支持设置包年包月项目使用包年包月CU资源,而项目中的某些作业使用按量计费CU资源。只支持设置SQL类型作业使用按量计费CU资源。 | |
2020-07-23 | 新增包年包月作业优先级功能。 | 新功能 | 新增包年包月作业优先级功能,并提供开启、设置和查看作业优先级的操作指导。 | |
2020-07-02 | 新增备份与恢复功能。 | 新功能 | 新增备份与恢复功能,并提供相关操作命令和参考示例。 |
06月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-06-03 | 新增Tunnel overwrite命令。 | 新说明 | 支持Tunnel overwrite命令。 | |
2020-06-01 | 优化Spark访问VPC实例。 | 新说明和示例 | 新增内容如下:
| |
2020-06-01 | Policy和Download权限控制。 | 新示例 | 新增Policy授权和撤销的用法示例。 |
05月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-05-25 | 新增数据科学(Mars)。 | 新说明 | 新增数据科学(Mars)。 | |
2020-05-25 | 新增创建PyODPS 3节点。 | 新说明 | 介绍如何创建PyODPS 3节点。 | |
2020-05-11 | 新增Spark访问OSS配置说明。 | 新说明 | 新增Spark访问OSS配置说明。 | |
2020-05-11 | 新增审计日志功能。 | 新功能 | 新增审计日志功能。完整地记录您在MaxCompute服务内的各项操作行为。 | |
2020-05-08 | 新增华东2(金融云)区域。 | 新说明 | 新增华东2(金融云)区域。 | |
2020-05-08 | 1.0数据类型版本新增复杂数据类型。 | 新说明 | 介绍数据类型版本新增复杂数据类型。 |
04月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-04-21 | MaxCompute权限新增Label、Download和Policy相关功能。 | 新说明 | 新增权限相关功能如下:
| |
2020-04-10 | 新增基于MaxCompute的大数据BI分析最佳实践。 | 新视频 | 介绍如何使用Quick BI可视化分析MaxCompute数据。 | |
2020-04-03 | 新增MaxCompute支持限制单SQL消费功能。 | 新说明 | 介绍Project级别和Session级别的单SQL限制消费。 |
03月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-03-27 | 支持三种MaxCompute数据类型版本。 | 新说明 | 介绍三种MaxCompute数据类型版本配置、适用场景和支持的数据类型。 | |
2020-03-20 | 新增支持Spark on MaxCompute访问VPC实例。 | 新说明 | 您可以通过Spark on MaxCompute访问VPC实例,包括用户自定义私有域名。 | |
2020-03-16 | 新增LOAD语法。 | 新说明 | 您可以通过LOAD命令从外部存储导入数据,向表或表的分区中追加数据、覆盖重写数据。 | |
2020-03-16 | 新增内建函数 | 新说明 |
| |
2020-03-04 | 新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。 | 新实践 | 新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。 |
02月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2020-02-26 | 新增内建函数 | 新说明 | 新增内建函数 | |
2020-02-26 | 表级别支持禁止生命周期。 | 新说明 | 表级别支持禁止生命周期。 | |
2020-02-26 | OSS外表功能增强。 | 更新功能 |
| |
2020-02-26 | MaxCompute提供了CLONE TABLE功能,将表数据复制到另一个表中,让数据移动和复制更便捷。 | 新功能 | MaxCompute提供了CLONE TABLE功能,支持将表数据复制到另一个表中,让数据移动和复制更便捷。 | |
2020-02-26 | MaxCompute正式支持Python 3 UDF。 | 新功能 | Python 2官方即将停止维护,越来越多的三方库也开始只支持 Python 3,因此MaxCompute也正式支持Python 3 UDF。 | |
2020-02-26 | MaxCompute扩充了GROUPING的表达方式,支持CUBE、 ROLLUP和GROUPING SETS的嵌套使用。 | 新说明 | MaxCompute扩充了GROUPING的表达方式,支持CUBE、ROLLUP和GROUPING SETS的嵌套使用。 | |
2020-02-25 | 对MaxCompute SQL与Hive进行对比分析。 | 新视频 | 对MaxCompute SQL与Hive进行对比分析。 | |
2020-02-25 | 介绍Spark on MaxCompute。 | 新视频 | 介绍Spark on MaxCompute。 | |
2020-02-18 | 新增设置子账号为超级管理员最佳实践。 | 新实践 | 介绍将子账号设置为超级管理员的操作方法、提供了超级管理员在工作中的使用建议。 | |
2020-02-03 | 新增Super_Administrator内置角色。 | 新说明 | 内置Super_Administrator角色,拥有项目内所有管理权限和资源权限。 |
2019年
12月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-12-31 | 新增Oracle数据迁移MaxCompute最佳实践。 | 新实践 | 新增Oracle数据迁移MaxCompute最佳实践。 | |
2019-12-26 | 新增日志数据迁移至MaxCompute最佳实践。 | 新实践 | 新增日志数据迁移至MaxCompute最佳实践。 | |
2019-12-25 | 新增开源地理空间UDF。 | 新功能 | 您可以将开源地理空间UDF注册到MaxCompute中,以兼容开源Hive UDF的方式使用地理空间函数。 |
11月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-11-29 | 支持设置消费监控告警。 | 新说明 | 说明如何设置消费监控告警。 | |
2019-11-27 | PyODPS节点实现避免将数据下载到本地的功能。 | 新实践 | 说明如何使用PyODPS节点实现避免将数据下载到本地。 | |
2019-11-22 | CDM接口层以及其他对象的命名规范。 | 新说明 | 说明CDM接口层以及其他对象的命名规范。 | |
2019-11-22 | SQL结果动态脱敏。 | 新功能 | 说明动态脱敏功能的使用以及自定义脱敏规则的方法。 | |
2019-11-18 | 支持将日志服务数据同步到MaxCompute。 | 新视频 | 说明日志服务数据如何同步到MaxCompute。 | |
2019-11-15 | 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。 | 新说明 | 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。 | |
2019-11-12 | 新增MaxCompute JDBC介绍。 | 新说明 |
| |
2019-11-06 | 新增MySQL或RDS数据如何同步到MaxCompute视频。 | 新视频 | 新增MySQL或RDS数据如何同步到MaxCompute视频。 | |
2019-11-06 | 新增MaxCompute不支持分区剪裁函数说明。 | 新说明 | 新增MaxCompute不支持分区剪裁函数说明。 | |
2019-11-01 | 新增迁移工具。 | 新说明 | 新增MaxCompute迁移工具MMA。 |
10月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-10-31 | 新增Hive迁移到MaxCompute最佳实践视频。 | 新视频 | 新增Hive迁移到MaxCompute最佳实践视频。 | |
2019-10-28 | 新增支持VPC网络IP白名单设置。 | 新功能 | 新增支持VPC网络IP白名单设置。 | |
2019-10-18 | 新增PyODPS示例。 | 新示例 |
| |
2019-10-17 | 新增成本优化最佳实践。 | 新实践 | 新增成本优化最佳实践。 | |
2019-10-09 | SQL语法新增功能。 | 新功能 |
|
09月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-09-02 | 新增PyODPS的聚合操作示例。 | 新示例 | 新增PyODPS的聚合操作示例。 | |
2019-09-02 | 新增PyODPS的列运算示例。 | 新示例 | 新增PyODPS的列运算示例。 |
08月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-08-13 | 新增PyODPS的Sequence及执行操作最佳实践。 | 新实践 | 新增PyODPS的Sequence及执行操作最佳实践。 | |
2019-08-07 | 新增MaxCompute数据迁移至OSS最佳实践。 | 新实践 | 新增MaxCompute数据迁移至OSS最佳实践。 | |
2019-08-01 | 新增PyODPS读取分区表数据最佳实践。 | 新实践 | 新增PyODPS读取分区表数据最佳实践。 | |
2019-08-01 | 新增PyODPS查看一级分区最佳实践。 | 新实践 | 新增PyODPS查看一级分区最佳实践。 |
07月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-07-29 | 新增MaxCompute数据迁移至OTS最佳实践。 | 新实践 | 新增MaxCompute数据迁移至OTS最佳实践。 | |
2019-07-25 | 新增PyODPS使用第三方包最佳实践。 | 新实践 | 新增PyODPS使用第三方包最佳实践。 | |
2019-07-22 | 新增PyODPS节点实现结巴中文分词最佳实践。 | 新实践 | 新增PyODPS节点实现结巴中文分词最佳实践。 | |
2019-07-22 | 新增PyODPS参数传递最佳实践。 | 新实践 | 新增PyODPS参数传递最佳实践。 | |
2019-07-12 | 新增set命令odps-sql-reshuffle-dynamicpt说明。 | 新命令 | 该命令用于设置动态分区,以避免拆分动态分区时产生过多小文件。 | |
2019-07-11 | 新增tablestore-columns-mapping说明点。 | 新说明 | 在指定映射时,提供的属性列必须是Table Store表的列,否则即使外部表可以创建成功,查询时也会报错。 | |
2019-07-09 | 新增子账号进行权限管理的案例。 | 新案例 | 以案例分析的形式为您介绍如何使用子账号进行权限管理。 | |
2019-07-08 | 新增数据质量保障教程。 | 新教程 | 新增数据质量保障教程。 | |
2019-07-05 | 新增UDF支持分区裁剪的说明引导。 | 新说明 | 新增UDF支持分区裁剪的说明引导。 | |
2019-07-05 | 新增成都地区的外网Endpoint和外网Tunnel Endpoint。 | 新功能 | 新增成都地区的外网Endpoint和外网Tunnel Endpoint。 | |
2019-07-04 | 新增开通MaxCompute服务说明。 | 新说明 | 开通MaxCompute服务后,您可以进入管理控制台创建项目。MaxCompute管理控制台即为DataWorks管理控制台,因此您在创建项目前,请先开通DataWorks服务。 |
06月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-06-28 | 新增创建项目的前提条件说明。 | 新说明 | 创建项目前,您需要先开通DataWorks服务,并确保开通的Region与MaxCompute开通的Region保持一致。 | |
2019-06-25 | 新增时区配置功能介绍。 | 新功能 | 新增时区配置功能介绍。 | |
2019-06-25 | 新增MaxCompute跨项目迁移的最佳实践。 | 新实践 | 介绍了同区域下不同的MaxCompute项目如何实现配置与数据的迁移。 | |
2019-06-25 | SQL语言功能升级。 | 新功能 |
| |
2019-06-20 | 新增教程。 | 新教程 | 新增搭建互联网在线运营分析平台的教程。 | |
2019-06-19 | 更新NOT IN/IN子查询返回数量超1000时的解决方案。 | 新方案 | 更新NOT IN/IN子查询返回数量超1000时的解决方案。 | |
2019-06-19 | 新增PyODPS最佳实践参考示例。 | 新示例 | 新增PyODPS最佳实践参考示例。 | |
2019-06-18 | 新增包年包月资源组监控报警。 | 新功能 | 阿里云的云监控服务中的监控报警功能可用于监测MaxCompute包年包月资源组的使用情况。 | |
2019-06-17 | 新增VALUES文档引导说明。 | 新说明 | 介绍了如何在业务测试阶段,创建数据进行简单的测试。 | |
2019-06-05 | 新增复杂类型数据的上传下载示例。 | 新示例 | 新增复杂类型数据的上传下载示例。 | |
2019-06-04 | 新增复杂类型数据的说明。 | 新说明 | MaxCompute的复杂数据类型可以被任意嵌套使用。 | |
2019-06-03 | 新增阿里云Elasticsearch数据迁移至MaxCompute最佳实践。 | 新实践 | 新增阿里云Elasticsearch数据迁移至MaxCompute最佳实践。 | |
2019-06-03 | 新增服务注销与资源释放介绍。 | 新说明 | 开通MaxCompute服务后,不支持注销服务。 | |
2019-06-01 | 新增教程。 | 新教程 | 新增构建与优化数据仓库的教程。 |
05月
时间 | 特性 | 类别 | 描述 | 产品文档 |
2019-05-31 | 新增Java SDK示例。 | 新示例 | 新增Java SDK示例。 | |
2019-05-29 | 新增Kafka数据迁移至MaxCompute最佳实践。 | 新实践 | 新增Kafka数据迁移至MaxCompute最佳实践。 | |
2019-05-28 | 新增用户自定义获取计量信息说明。 | 新说明 | 可通过计量API获取MaxCompute使用记录。 | |
2019-05-24 | 新增MaxCompute的ACID语义说明。 | 新说明 | 当遇到并发写入时,MaxCompute会根据ACID进行并发写的保障。 | |
2019-05-13 | 更新Spark开发指南。 | 新示例 | 新增Java、Scala和PySpark开发示例。 | |
2019-05-10 | 新增欠费预警接收设置步骤说明。 | 新说明 | 主账号可以设置子账号接收欠费预警消息。 | |
2019-05-08 | 新增包年包月套餐版说明。 | 新规格 | 介绍包年包月套餐版的基础资源、售价、注意事项和使用说明。 | |
2019-05-06 | 新增数仓建设指南。 | 新指南 | 介绍数仓建设规范。 | 数据模型架构规范、公共规范、ODS层设计规范、CDM公共维度层设计规范、CDM明细层设计规范、CDM汇总层设计规范、MaxCompute数据开发规范 |
2019-05-06 | 新增表设计指南。 | 新指南 | 介绍表设计指南。 | |
2019-05-06 | 新增数据管理指南。 | 新指南 | 介绍数据管理指南。 | |
2019-05-06 | 新增安全管理案例执行级别权限控制。 | 新案例 | 介绍如何实现行级别权限控制。 |