2023年

本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新。

2023年4月更新记录

时间	特性	类别	描述	产品文档
2023-04-19	新增PyODPS使用第三方包	新说明	本文为您介绍如何在PyODPS中使用第三方包。	PyODPS使用第三方包
2023-04-19	新增PyODPS制作第三方包	新说明	PyODPS自V0.11.3版本开始提供了`pyodps-pack`命令行工具，用于制作符合PyODPS及DataWorks PyODPS节点标准的三方包，使用方法类似`pip`命令。您可以使用该工具将所有依赖项目制作成一个后缀为`.tar.gz`的压缩包，其中包含所有依照MaxCompute或DataWorks环境编译并打包的项目依赖。您也可以使用该工具打包您项目中自行创建的Python包。	PyODPS制作第三方包
2023-04-17	新增ListProjectUsers - 获取项目用户列表	新说明	获取项目用户列表。	ListProjectUsers - 获取项目用户列表
2023-04-11	新增使用SQL分析连接	新说明	MaxCompute控制台提供SQL分析，方便您快速执行SQL语句操作。本文为您介绍如何通过SQL分析使用MaxCompute服务。	使用SQL分析连接
2023-04-11	新增新用户免费试用额度	新说明	您在注册阿里云账号并进行实名认证后，如果未购买任何MaxCompute产品，可免费试用MaxCompute。试用期内您可以免费试用一定额度的计算消耗量，同时免费存储一定额度的标准存储数据。本文为您介绍免费试用额度类型、支持地域等内容。	新用户免费试用额度
2023-04-10	新增物化视图	新说明	随着MaxCompute的深入使用，会出现对MaxCompute的表有很多重复查询的情况，并且不同使用者之间互相不知道其他人也在使用同样的计算逻辑。为了提高用户的计算效率、减少重复计算，同时加速用户计算。MaxCompute提供物化视图智能计算加速，为您智能分析推荐创建物化视图。本文为您介绍如何通过智能分析创建物化视图。	物化视图
2023-04-07	新增基于GitHub公开事件数据集的离线实时一体化实践	新说明	本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。	基于GitHub公开事件数据集的离线实时一体化实践

2023年3月更新记录

时间	特性	类别	描述	产品文档
2023-03-31	新增作业运维（新版）	新说明	MaxCompute提供作业运维管理功能，数据开发人员和管理员可通过MaxCompute控制台的作业运维功能查看历史作业和正在运行的作业，方便了解作业运行详情。本文为您介绍如何通过MaxCompute控制台运维和管理作业。	作业运维（新版）
2023-03-31	新增External Volume SDK说明	新说明	本文为您介绍使用Java SDK操作External Volume的说明。	External Volume SDK说明
2023-03-31	新增利用MaxCompute External Volume处理非结构化数据	新说明	External Volume是MaxCompute提供的分布式文件系统和数据存储方案，为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径，利用MaxCompute权限管理系统对用户访问External Volume做细粒度的权限控制，同时利用 MaxCompute引擎处理External Volume内部的文件数据。每个Project中可以有多个External Volume。本文为您介绍如何利用MaxCompute External Volume处理非结构化数据。	利用MaxCompute External Volume处理非结构化数据
2023-03-30	新增向量计算（Proxima CE）	新说明	Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量检索任务，包括基础的向量检索、多类目检索及百万TopK检索等功能。本文为您介绍在MaxCompute中如何使用向量计算功能。	向量计算（Proxima CE）概述
2023-03-30	新增External Volume操作	新说明	External Volume是MaxCompute提供的分布式文件系统和非结构化数据存储方案，通过External Volume可以实现使用MaxCompute引擎处理OSS上的文件数据。本文为您介绍常用的External Volume操作。	External Volume操作
2023-03-24	新增内建函数	新说明	MaxCompute自身预置了诸多函数，可以满足大部分业务场景的数据处理需求。本文为您介绍MaxCompute提供的函数类型及函数使用相关说明。新增函数包括：CURRENT_TIMEZONE、DAYOFYEAR、DAYOFWEEK、INITCAP、NEGATIVE、POSITIVE、ATAN2、ISNAN。	内建函数概述
2023-03-20	新增独享数据传输服务资源组	新说明	MaxCompute为您提供独享数据传输服务资源组，本文为您介绍如何购买、使用独享数据传输服务资源组。	数据传输服务概述购买与使用独享数据传输服务资源组独享数据传输服务资源组（包年包月）资源观测
2023-03-17	新增PyODPS Schema	新说明	Schema是MaxCompute介于项目和表、资源、函数之间的概念，对表、资源、函数进行进一步归类。本文为您介绍Schema的基本操作。	Schema
2023-03-14	新增TPC-DS数据	新说明	MaxCompute通过TPC-DS官方工具生成了1GB、10GB、100GB、1TB、10TB、100TB六个规格的TPC-DS数据，此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息，以及如何通过MaxCompute执行TPC-DS数据查询。	TPC-DS数据
2023-03-13	新增加密函数	新说明	MaxCompute SQL提供了加密函数和解密函数，您可以根据实际需要选择合适的函数，对指定列进行随机性加密或解密。本文为您提供MaxCompute SQL支持的加密函数的命令格式、参数说明及示例，指导您使用加密函数完成开发。	加密函数 SYM_ENCRYPT SYM_DECRYPT
2023-03-10	新增PIVOT、UNPIVOT	新说明	MaxCompute支持PIVOT和UNPIVOT关键字，通过PIVOT关键字可以基于聚合将一个或者多个指定值的行转换为列；通过UNPIVOT关键字可以将一个或者多个列转换为行。本文为您介绍PIVOT和UNPIVOT关键字的使用和示例。	PIVOT、UNPIVOT
2023-03-09	新增QUALIFY	新说明	MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗（Window）函数的结果，QUALIFY语法过滤Window函数数据类似于HAVING语法处理经过聚合函数和GROUP BY后的数据。本文为您介绍QUALIFY语法和使用示例。	QUALIFY
2023-03-08	新增TABLESAMPLE采样	新说明	MaxCompute支持通过TABLESAMPLE功能来对表数据进行采样，包含三种采样方式：分桶采样、指定采样百分比采样和随机返回指定记录数采样。本文为您介绍使用TABLESAMPLE采样的命令语法和使用示例。	TABLESAMPLE采样
2023-03-06	新增使用Tunnel命令或Tunnel SDK	新说明	MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具均通过Tunnel功能实现数据的上传与下载，本文为您介绍如何使用Tunnel命令或Tunnel SDK上传数据至MaxCompute。	使用Tunnel命令或Tunnel SDK

2023年2月更新记录

时间	特性	类别	描述	产品文档
2023-02-28	新增周期性调度作业概述	新说明	如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks开发周期性作业的能力。	周期性调度作业概述
2023-02-28	新增GetProject - 获取项目信息	新说明	查询MaxCompute项目的基本信息。	GetProject - 获取项目信息
2023-02-28	新增在DataWorks运维中心查看作业运行信息	新说明	DataWorks运维中心展示离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息，帮助您提升任务运维效率。当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等操作。本文为您介绍如何通过DataWorks运维中心查看MaxCompute作业的运行信息。	在DataWorks运维中心查看作业运行信息
2023-02-28	新增MaxCompute作业概述	新说明	本文为您介绍MaxCompute作业的基本概念和常用场景。	MaxCompute作业概述
2023-02-28	新增数据传输作业：数据集成	新说明	MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。	数据传输作业：数据集成
2023-02-28	新增作业优先级管理与成本优化	新说明	本文为您介绍MaxCompute作业优先级管理与成本优化。	作业优先级管理与成本优化
2023-02-28	新增数据传输与迁移概述	新说明	MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。	数据传输与迁移概述
2023-02-23	新增数据分析作业	新说明	MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用查询编辑器或DataWorks的临时查询等工具，高效便捷地完成数据分析作业。本文为您介绍数据分析场景下的常用工具与使用注意事项。	数据分析作业
2023-02-22	新增高级应用：实现复杂作业逻辑	新说明	使用DataWorks周期性调度MaxCompute作业时，您也可以灵活使用DataWorks已有的通用节点，例如虚拟节点、分支和归并节点、循环类节点等，与MaxCompute的其他节点联合使用可实现更复杂的业务效果，本文为您概要介绍常用的通用节点和典型应用场景。	高级应用：实现复杂作业逻辑
2023-02-13	新增函数概述	新说明	为了供您方便快捷的使用MaxCompute SQL进行数据分析和数据加工，MaxCompute提供了丰富的内建函数，以便您在日常开发和分析中使用，您可以根据需要从不同维度快速查询目标函数。	概述
2023-02-07	新增使用标签分账	新说明	MaxCompute支持为项目（Project）、一级Quota绑定标签，绑定标签后，您可以通过阿里云用户中心使用分账账单或成本分析功能查看费用情况。本文为您介绍在MaxCompute中使用标签进行分账。	使用标签分账
2023-02-07	新增最佳实践Range Clustering	新说明	Range Clustering作为一种新的数据切分方式，提供了一个全局有序的数据分布，一是可以避免Hash Clustering可能造成的数据倾斜问题；二是在数据有序分布的前提下，创建两级索引（Index），支持对Clustering Key的区域查询以及多键的组合查询等场景。本文为您介绍如何在MaxCompute中使用Range Clustering。	Range Clustering
2023-02-02	新增最佳实践Hash Clustering	新说明	哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。	Hash Clustering

2023年1月更新记录

时间	特性	类别	描述	产品文档
2023-01-31	新增搭建Windows开发环境。	新说明	本文为您介绍如何在Windows操作系统下搭建MaxCompute Spark开发环境。如果您安装了Linux操作系统，请前往搭建Linux开发环境。	搭建Windows开发环境
2023-01-31	新增获取任务执行进度示例。	新说明	本文为您介绍如何使用Java SDK获取任务（Task）的执行进度。	获取任务执行进度示例
2023-01-17	新增OSS外部表根据字段名称Mapping数据。	新说明	OSS支持用户在OSS目录下上传不同表结构的数据，MaxCompute建立的OSS外部表可以根据字段名称对数据进行读写。本文为您介绍在MaxCompute中使用OSS外部表根据字段名称对数据进行读写。	OSS外部表根据字段名称Mapping数据
2023-01-09	新增迁移任务查看与操作。	新说明	本文为您介绍迁移任务查看与操作的功能。您可以在迁移任务子任务列表中查看子迁移任务的相关信息，在子迁移任务的详情⾥查看任务执⾏的日志。	迁移任务查看与操作
2023-01-09	新增分区过滤表达式说明。	新说明	本文为您提供分区过滤表达式的相关说明，用于数据迁移时的参数配置场景。	分区过滤表达式说明
2023-01-09	新增MaxCompute数据迁移。	新说明	本文为您介绍MaxCompute数据迁移的准备事项和操作步骤。	MaxCompute数据迁移
2023-01-09	新增Hive数据迁移。	新说明	本文为您介绍通过Hive UDTF迁移Hive数据的方法。	Hive数据迁移