本文为您介绍了MaxCompute 2.0版本内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2020年7月更新记录

时间 特性 类别 描述 产品文档
2020-07-02 新增备份与恢复功能。 新说明 新增备份与恢复功能,并提供相关操作命令和参考示例。 备份与恢复

2020年6月更新记录

时间 特性 类别 描述 产品文档
2020-06-03 新增Tunnel overwrite命令。 新增说明 支持Tunnel overwrite命令。 Tunnel命令参考
2020-06-01 优化Spark访问VPC实例。 新增说明和示例。 新增内容如下:
  • Spark访问VPC的白名单和地域的限制说明。
  • Spark访问不同实例时,合并JSON文本的结果示例。
Spark访问VPC实例
2020-06-01 Policy和Download权限控制。 新增示例。 新增Policy授权和撤销的用法示例。 Policy和Download权限控制

2020年5月更新记录

时间 特性 类别 描述 产品文档
2020-05-25 新增数据科学(Mars)。 新说明 新增数据科学(Mars)。
2020-05-25 新增创建PyODPS 3节点。 新说明 介绍如何创建PyODPS 3节点。 创建PyODPS 3节点
2020-05-11 新增Spark访问OSS配置说明。 新说明 新增Spark访问OSS配置说明。 Spark访问OSS
2020-05-11 新增审计日志功能。 新说明 新增审计日志功能。完整地记录您在MaxCompute服务内的各项操作行为。 日志审计
2020-05-08 新增华东2(金融云)区域。 新说明 新增华东2(金融云)区域。 配置Endpoint
2020-05-08 1.0数据类型版本新增复杂数据类型。 新说明 介绍数据类型版本新增复杂数据类型。 1.0数据类型版本
2020-05-08 MMA迁移工具升级为2.0版本。 新说明 MMA迁移工具升级为2.0版本。

2020年4月更新记录

时间 特性 类别 描述 产品文档
2020-04-21 MaxCompute权限新增Label、Download和Policy相关功能。 新说明 新增权限相关功能如下:
  • 支持将Label授权给角色(Role)。
  • Policy支持GRANT方式授权。
  • 支持Download权限控制。
2020-04-20 MaxCompute数据存储格式全面升级为AliORC,为您提供MaxCompute数据存储性能参照。 新说明 通过TPC-DS测试数据对AliORC、Apache ORC和Apache Parquet进行测试对比,为您提供MaxCompute数据存储性能参照。 存储性能
2020-04-10 新增基于MaxCompute的大数据BI分析最佳实践。 新视频 介绍如何使用Quick BI可视化分析MaxCompute数据。 基于MaxCompute的大数据BI分析最佳实践
2020-04-03 新增MaxCompute管家详解。 新视频 介绍MaxCompute管家的功能和使用方法。 MaxCompute管家详解
2020-04-03 新增MaxCompute支持限制单SQL消费功能。 新说明 介绍Project级别和Session级别的单SQL限制消费。 消费监控告警

2020年3月更新记录

时间 特性 类别 描述 产品文档
2020-03-27 支持三种MaxCompute数据类型版本。 新说明 介绍三种MaxCompute数据类型版本配置、适用场景和支持的数据类型。
2020-03-27 新增MaxCompute购买规格说明。 新视频 介绍MaxCompute购买规格和适用场景。 MaxCompute规格详解
2020-03-25 新增概览页面和查看历史作业快照功能。 新说明 新增概览页面和查看历史作业快照功能。 MaxCompute管家
2020-03-20 新增支持MaxCompute Spark访问VPC实例。 新说明 您可以通过MaxCompute Spark访问VPC实例,包括用户自定义私有域名。 Spark访问VPC实例
2020-03-16 新增Load语法。 新说明 您可以通过LOAD命令从外部存储导入数据,向表或表的分区中追加数据、覆盖重写数据。 LOAD
2020-03-16 新增内建函数MUMERIC_HISTOGRAM、PERCENTILE_APPROX和PERCENTILE_APPROX。 新说明
  • MUMERIC_HISTOGRAM:统计指定列的近似直方图。
  • PERCENTILE_APPROX:返回给定百分比下数值的近似百分比值。
  • FORMAT_NUMBER:将数字格式化为指定形式的字符串。
2020-03-04 新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。 新实践 新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。 迁移ECS自建MySQL数据库至MaxCompute

2020年2月更新记录

时间 特性 类别 描述 产品文档
2020-02-26 新增内建函数TABLE_EXISTS和PARTITION_EXISTS。 新说明 新增内建函数TABLE_EXISTS和PARTITION_EXISTS。
2020-02-26 表级别支持禁止生命周期。 新说明 表级别支持禁止生命周期。 禁止/恢复生命周期
2020-02-26 OSS外表功能增强。 新说明
  • 外表访问OSS支持HTTPS。
  • 支持MSCK REPAIR TABLE语法。
内置Extractor访问OSS
2020-02-26 MaxCompute提供了CLONE TABLE功能,将表数据复制到另一个表中,让数据移动和复制更便捷。 新说明 MaxCompute提供了CLONE TABLE功能,将表数据复制到另一个表中,让数据移动和复制更便捷。 CLONE TABLE
2020-02-26 MaxCompute正式支持Python 3 UDF。 新说明 Python 2官方即将停止维护,越来越多的三方库也开始只支持 Python 3,因此MaxCompute也正式支持Python 3 UDF。 Python 3 UDF
2020-02-26 MaxCompute扩充了GROUPING的表达方式,支持CUBE、 ROLLUP和GROUPING SETS的嵌套使用。 新说明 MaxCompute扩充了GROUPING的表达方式,支持CUBE、ROLLUP和GROUPING SETS的嵌套使用。 GROUPING SETS
2020-02-25 对MaxCompute SQL与Hive进行对比分析。 新视频 对MaxCompute SQL与Hive进行对比分析。 MaxCompute SQL与Hive对比分析
2020-02-25 介绍Spark on MaxCompute。 新视频 介绍Spark on MaxCompute。 Spark on MaxCompute介绍
2020-02-18 新增设置子账号为超级管理员最佳实践。 新实践 介绍将子账号设置为超级管理员的操作方法、提供了超级管理员在工作中的使用建议。 MaxCompute项目设置RAM子账号为超级管理员
2020-02-03 新增Super_Administrator内置角色。 新说明 内置Super_Administrator角色,拥有项目内所有管理权限和资源权限。

2020年1月更新记录

时间 特性 类别 描述 产品文档
2020-01-14 新增MMA迁移工具说明。 新说明 对迁移工具MMA的原理、安装以及使用的说明。
2020-01-14 SQL兼容性升级。 新说明 get_idcard_ageconcat_wslike函数行为变更说明。
2020-01-09 新增参数说明。 新说明 对示例中的参数进行详细的说明。 项目空间的数据保护
2020-01-07 新增结巴分词自定义词典最佳实践。 新示例 在PyODPS节点实现结巴中文分词的基础上新增自定义词典的示例。 PyODPS节点实现结巴中文分词

2019年12月更新记录

时间 特性 类别 描述 产品文档
2019-12-31 新增Oracle数据迁移MaxCompute最佳实践。 新示例 新增Oracle数据迁移MaxCompute最佳实践。 迁移Oracle数据至MaxCompute最佳实践
2019-12-26 新增日志数据迁移至MaxCompute最佳实践。 新示例 新增日志数据迁移至MaxCompute最佳实践。
2019-12-25 开源地理空间UDF。 新特性 您可以将开源地理空间UDF注册到MaxCompute中,以兼容开源Hive UDF的方式使用地理空间函数。 开源地理空间UDF
2019-12-19 包年包月新增非预留资源规格。 新特性 包年包月发布新规格非预留计算资源,售价为40元/CU/月。

2019年11月更新记录

时间 特性 类别 描述 产品文档
2019-11-29 支持设置消费监控告警。 新说明 说明如何设置消费监控告警。 消费监控告警
2019-11-27 PyODPS节点实现避免将数据下载到本地的功能。 新实践 说明如何使用PyODPS节点实现避免将数据下载到本地。 PyODPS节点实现避免将数据下载到本地
2019-11-22 CDM接口层以及其他对象的命名规范。 新说明 说明CDM接口层以及其他对象的命名规范。
2019-11-22 SQL结果动态脱敏。 新功能 说明动态脱敏功能的使用以及自定义脱敏规则的方法。
​2019-11-18 支持将日志服务数据同步到MaxCompute。 新视频 说明日志服务数据如何同步到MaxCompute。 日志服务数据如何同步到MaxCompute
​2019-11-15 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。 新说明 监控报警新增监测MaxCompute按量付费的Project的作业消费情况。 监控报警
​2019-11-12 新增MaxCompute JDBC介绍。 新说明
  • 新增MaxCompute JDBC功能介绍。
  • 新增MaxCompute与Tableau集成说明。
  • 新增MaxCompute与SQL Workbench/J集成说明。
2019-11-06 新增MySQL或RDS数据如何同步到MaxCompute视频。 新视频 新增MySQL或RDS数据如何同步到MaxCompute视频。 MySQL或RDS数据如何同步到MaxCompute
2019-11-06 新增MaxCompute不支持分区剪裁函数说明。 新说明 新增MaxCompute不支持分区剪裁函数说明。 与MySQL、Oracle内建函数对照表
2019-11-01 新增迁移工具。 新说明 新增MaxCompute迁移工具MMA。 MMA2.0迁移概述

2019年10月更新记录

时间 特性 类别 描述 产品文档
2019-10-31 新增Hive迁移到MaxCompute最佳实践视频。 新视频 新增Hive迁移到MaxCompute最佳实践视频。 Hive迁移到MaxCompute最佳实践
2019-10-28 新增支持VPC网络IP白名单设置。 新说明 新增支持VPC网络IP白名单设置。
2019-10-18 新增PyODPS示例。 新示例
  • 新增PyODPS的排序示例。
  • 新增PyODPS的去重。
  • 新增PyODPS的采样。
  • 新增PyODPS的数据缩放。
  • 新增PyODPS的空值处理。
2019-10-17 新增成本优化最佳实践。 新说明 新增成本优化最佳实践。 成本优化
2019-10-09 SQL语法新增功能。 新功能
  • 新增合并分区语法。
  • 新增JOIN与SETOP支持括号指定优先级语法。
  • 新增内置函数JSON_TUPLE。
  • 新增日期函数EXTRACT。
  • 新增两个flag。
  • 支持LIMIT OFFSET。
  • 支持指定表的列默认值 。
  • 支持自然连接。
  • 支持新运算符。
  • 新增删除分区语法。

2019年9月更新记录

时间 特性 类别 描述 产品文档
2019-09-02 新增PyODPS的聚合操作示例。 新示例 新增PyODPS.10.9的聚合操作示例。 PyODPS的聚合操作
2019-09-02 新增PyODPS的列运算示例。 新示例 新增PyODPS的列运算示例。 PyODPS的列运算

2019年8月更新记录

时间 特性 类别 描述 产品文档
2019-08-13 新增PyODPS的Sequence及执行操作最佳实践。 新示例 新增PyODPS的Sequence及执行操作最佳实践。 PyODPS的Sequence及执行操作
2019-08-07 新增MaxCompute数据迁移至OSS最佳实践。 新示例 新增MaxCompute数据迁移至OSS最佳实践。 MaxCompute数据迁移至OSS
2019-08-01 新增PyODPS读取分区表数据最佳实践。 新示例 新增PyODPS读取分区表数据最佳实践。 PyODPS读取分区表数据
2019-08-01 新增PyODPS查看一级分区最佳实践。 新示例 新增PyODPS查看一级分区最佳实践。 PyODPS查看一级分区

2019年7月更新记录

时间 特性 类别 描述 产品文档
2019-07-29 新增MaxCompute数据迁移至OTS最佳实践。 新示例 新增MaxCompute数据迁移至OTS最佳实践。 MaxCompute数据迁移至OTS
2019-07-25 新增PyODPS使用第三方包最佳实践。 新示例 新增PyODPS使用第三方包最佳实践。 PyODPS使用第三方包
2019-07-22 新增PyODPS节点实现结巴中文分词最佳实践。 新示例 新增PyODPS节点实现结巴中文分词最佳实践。 PyODPS节点实现结巴中文分词
2019-07-22 新增PyODPS参数传递最佳实践。 新示例 新增PyODPS参数传递最佳实践。 PyODPS参数传递
2019-07-12 新增set命令odps-sql-reshuffle-dynamicpt说明。 新命令 该命令用于设置动态分区,以避免拆分动态分区时产生过多小文件。 SET操作
2019-07-11 新增tablestore-columns-mapping说明点。 新说明 在指定映射时,提供的属性列必须是Table Store表的列,否则即使外部表可以创建成功,查询时也会报错。 创建外部表
2019-07-09 新增子账号进行权限管理的案例。 新案例 以案例分析的形式为您介绍如何使用子账号进行权限管理。 子账号进行权限管理
2019-07-08 新增数据质量保障教程。 新教程 新增数据质量保障教程。 数据质量教程概述
2019-07-05 新增UDF支持分区裁剪的说明引导。 新说明 新增UDF支持分区裁剪的说明引导。 分区剪裁失效的场景分析
2019-07-05 新增成都地区​的外网Endpoint和外网Tunnel Endpoint。 新功能 新增成都地区​的外网Endpoint和外网Tunnel Endpoint。 配置Endpoint
2019-07-04 新增开通MaxCompute服务说明。 新说明 开通MaxCompute服务后,您可以进入管理控制台创建项目。MaxCompute管理控制台即为DataWorks管理控制台,因此您在创建项目前,请先开通DataWorks服务。 开通MaxCompute

2019年6月更新记录

时间 特性 类别 描述 产品文档
2019-06-28 新增创建项目的前提条件说明。 新说明 创建项目前,您需要先开通DataWorks服务,并确保开通的Region与MaxCompute开通的Region保持一致。 创建项目空间
2019-06-25 新增时区配置功能介绍。 新功能 新增时区配置功能介绍。 时区配置操作
2019-06-25 新增MaxCompute跨项目迁移的最佳实践。 新示例 介绍了同区域下不同的MaxCompute项目如何实现配置与数据的迁移。 MaxCompute跨项目迁移
2019-06-25 SQL语言功能升级。 新功能
  • UDT支持资源的访问。
  • UDT实现函数重载。
  • UDAF/UDTF支持动态参数。
  • 支持参数化视图。
  • UDF支持分区裁剪。
  • 支持直接查看建表语句。
2019-06-20 新增教程。 新教程 新增搭建互联网在线运营分析平台的教程。 搭建互联网在线运营分析平台
2019-06-19 更新NOT IN/IN子查询返回数量超1000时的解决方案。 新方案 更新NOT IN/IN子查询返回数量超1000时的解决方案。 MaxCompute SQL中,使用NOT IN后面接子查询,子查询返回的结果是上万级别的数据量,但当IN和NOT IN后面的子查询返回的是分区时,返回的数量上限为1000。在NOT IN必须使用的情况下,该如何实现此查询?
2019-06-19 新增PyODPS最佳实践参考示例。 新示例 新增PyODPS最佳实践参考示例。 常见问题与最佳实践
2019-06-18 新增Package授权引导说明。 新说明 完成Package授权后,使用方在读Package中的表时,表名的写法为:表所属Project名称-表名。 Package授权管理
2019-06-18 新增包年包月资源组监控报警介绍。 新功能 阿里云的云监控服务中的监控报警功能可用于监测MaxCompute包年包月资源组的使用情况。 监控报警
2019-06-17 新增VALUES文档引导说明。 新说明 介绍了如何在业务测试阶段,创建数据进行简单的测试。 VALUES
2019-06-05 新增复杂类型数据的上传下载示例。 新示例 新增复杂类型数据的上传下载示例。 复杂数据类型上传下载示例
2019-06-04 新增复杂类型数据的说明。 新说明 MaxCompute的复杂数据类型可以被任意嵌套使用。 数据类型版本说明
2019-06-03 新增阿里云Elasticsearch数据迁移至MaxCompute最佳实践。 新示例 新增阿里云Elasticsearch数据迁移至MaxCompute最佳实践。 Elasticsearch数据迁移至MaxCompute
2019-06-03 新增服务注销与资源释放介绍。 新说明 开通MaxCompute服务后,不支持注销服务。 服务注销与资源释放
2019-06-01 新增教程。 新教程 新增构建与优化数据仓库的教程。 构建与优化数据仓库

2019年5月更新记录

时间 特性 类别 描述 产品文档
2019-05-31 新增Java SDK示例。 新示例 新增Java SDK示例。
2019-05-29 新增Kafka数据迁移至MaxCompute最佳实践。 新示例 新增Kafka数据迁移至MaxCompute最佳实践。 Kafka数据迁移MaxCompute最佳实践
2019-05-28 新增用户自定义获取计量信息说明。 新说明 可通过计量API获取MaxCompute使用记录。 查看账单详情
2019-05-24 新增MaxCompute的ACID语义说明。 新说明 当遇到并发写入时,MaxCompute会根据ACID进行并发写的保障。 ACID语义UploadINSERT命令说明
2019-05-13 更新Spark开发指南。 新案例 新增Java、Scala和PySpark开发示例。 搭建开发环境Java和Scala开发示例概述PySpark开发示例
2019-05-10 新增欠费预警接收设置步骤说明。 新说明 主账号可以设置子账号接收欠费预警消息。 欠费预警接收设置
2019-05-08 新增包年包月套餐版说明。 新规格 介绍包年包月套餐版的基础资源、售价、注意事项和使用说明。 套餐计费(包年包月)包年包月套餐版
2019-05-06 新增数仓建设指南。 新指南 介绍数仓建设规范。 数据模型架构规范公共规范ODS层设计规范CDM公共维度层设计规范CDM明细层设计规范CDM汇总层设计规范MaxCompute数据开发规范
2019-05-06 新增表设计指南。 新指南 介绍表设计指南。 表的基本概念和原理表设计规范表设计最佳实践MaxCompute表的高级功能
2019-05-06 新增数据管理指南。 新指南 介绍数据管理指南。 数据质量评估标准数据质量管理流程数据加工过程卡点校验数据风险点监控数据质量追溯
2019-05-06 新增安全管理案例之行级别权限控制。 新案例 介绍如何实现行级别权限控制。 行级别权限控制