本文为您介绍了MaxCompute 2020年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

2020年12月更新记录

时间

特性

类别

描述

产品文档

2020-12-28

新增Streaming Tunnel服务。

新功能

MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务,提供了一套全新的API及后端服务,方便流式服务作为上游服务将数据写入MaxCompute。

流式数据通道概述

2020-12-24

新增Spark on MaxCompute使用及常见问题视频。

新视频

介绍Spark on MaxCompute使用及常见问题。

Spark on MaxCompute使用及常见问题

2020-12-24

新增MaxCompute Logview2.0参数详解及常见问题视频。

新视频

介绍MaxCompute Logview2.0参数及常见问题。

MaxCompute Logview2.0参数详解及常见问题

2020-12-21

新增STACK和GET_USER_ID函数。

新说明

新增STACK函数用于将指定的数据分隔为指定列数。新增GET_USER_ID函数用于获取当前账号的账号ID。

其他函数

2020-12-21

新建MaxCompute项目默认提供Information Schema服务。

更新说明

新建MaxCompute项目默认提供Information Schema服务,无需手动安装Information Schema权限包。

项目级别Information Schema(即将下线)

2020-12-16

新增包年包月分时配额最佳实践。

新实践

对包年包月计算资源按照时间段设置资源配额,协助您更快上手使用分时配额功能,提高计算资源使用率。

包年包月资源分时配额

2020-12-15

新增Mars版本变更说明。

新说明

提供Mars各版本的变更记录。

Mars版本更新记录

2020-12-15

新增Java SDK版本变更说明。

新说明

提供Java各版本的变更记录。

Java SDK版本更新记录

2020-12-15

新增JDBC版本变更说明。

新说明

提供JDBC各版本的变更记录。

JDBC版本更新记录

2020-12-11

元数据视图列表新增TASK视图。

新说明

TASK视图用于保存运行中作业的实时快照信息。

元数据视图列表

2020-12-10

新增添加项目空间成员并设置角色操作指导。

新说明

如果您使用阿里云账号创建了项目空间,需要RAM用户协助开发时,可以将RAM用户添加为项目空间成员并设置角色,RAM用户才可以协同开发。

授权给其他用户

2020-12-09

新增AdminEvent事件。

新说明

新增CreateProject、UpdateProject、DeleteProject事件,记录项目相关日志。

审计日志

2020-12-08

常用命令整改并优化内容。

更新说明

调整常用命令内容并完善命令示例。

常用命令列表

2020-12-08

Insert语句整改并优化内容。

更新说明

调整Insert语句内容并完善命令示例。

2020-12-08

DDL语句整改并优化内容。

更新说明

调整DDL语句内容并完善命令示例。

2020年11月更新记录

时间

特性

类别

描述

产品文档

2020-11-30

MaxCompute Lightning升级为MaxCompute交互式分析(MC-Hologres)。

新功能

MC-Hologres是为大数据设计的实时交互式分析产品,它与MaxCompute无缝打通,支持数据实时写入,支持PB级数据进行高并发、低延时的分析处理。兼容PostgreSQL协议,可以使用您最熟悉的BI工具对海量数据进行自助的多维分析透视和业务探索,同时也支持超高QPS点查能力,满足数仓分析、服务一体化需求。

MaxCompute Lightning升级为实时数仓Hologres

2020-11-27

更新升级和降配操作流程。

更新说明

通过新版MaxCompute控制台执行升级和降配操作。

升级和降配

2020-11-27

支持将消息队列Kafka版数据导入MaxCompute。

新功能

MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。

使用Kafka(离线与实时)

2020-11-26

刷新审计日志字段内容。

更新说明

刷新审计日志字段内容。

审计日志

2020-11-20

支持解除order by必须带limit的限制。

新说明

支持解除order by必须带limit的限制。

SELECT语法

2020-11-20

MaxCompute支持以RAM角色身份访问使用服务。

新说明

MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。

2020-11-17

新增Python UDF使用第三方包操作指导。

新说明

MaxCompute支持您在Python UDF中引用第三方包,例如NumPy包、需要编译的第三方包或依赖动态链接库的第三方包。

UDF示例:Python UDF使用第三方包

2020-11-12

支持突破屏显10000行限制。

新说明

当使用无LIMITSELECT语句或LIMITnumber数量超过设置的屏显上限时,如果您直接从屏显窗口查看结果,最多只能输出屏显上限设置的行数。每个项目空间的屏显上限可能不同,您可以根据提供的解决方案进行设置。

SELECT语法

2020-11-04

补充配置JDBC启用MCQA功能下的可选配置参数。

更新说明

补充配置JDBC启用MCQA功能下的可选配置参数。

使用说明

2020年10月更新记录

时间

特性

类别

描述

产品文档

2020-10-30

SEMI JOIN支持MAPJOIN Hint。

更新说明

SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMI或ANTI JOIN的性能,为数据倾斜问题提供解决方案。

SEMI JOIN(半连接)

2020-10-30

MaxCompute支持SORT BY不带 DISTRIBUTE BY。

更新说明

MaxCompute支持不带DISTRIBUTE BY的SORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。

SELECT语法

2020-10-30

INSERT命令支持ZORDER BY子句,提升查询时的过滤性能。

新功能

支持把数据相近的行排列在一起,提升查询时的过滤性能,同时降低存储成本。

插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

2020-10-30

支持通过条件筛选方式批量删除分区。

新功能

如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。

分区和列操作

2020-10-30

OSS外部表CSV或TSV文件支持GBK编码格式。

更新说明

odps.text.option.encoding属性支持GBK编码格式。

创建OSS外部表

2020-10-30

时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。

更新说明

时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。

日期与时间函数

2020-10-30

新增WIDTH_BUCKET函数。

新功能

支持获取某个字段值落入的分组编号。

数学函数

2020-10-12

查询加速(MCQA)功能商业化。

更新说明

查询加速(MCQA)功能商业化,正式开始收费。

MCQA概述

2020-10-10

支持修改表的聚簇属性。

新说明

新增修改表的聚簇属性说明。

表操作

2020年9月更新记录

时间

特性

类别

描述

产品文档

2020-09-30

MaxCompute控制台改版。

新功能

MaxCompute控制台改版,新版用户界面和新功能简化了用户在开通服务、创建项目、管理及监控计算资源和分析SQL查询结果等方面的操作。

2020-09-17

新增创建RAM用户描述。

新说明

新增创建RAM用户描述。

准备RAM用户

2020-09-11

新增Logview 2.0功能。

新功能

新增Logview 2.0功能。

使用Logview 2.0查看作业运行信息

2020-09-08

更新服务注销说明。

更新说明

更新服务注销操作说明。

服务注销与资源释放

2020-09-03

更新Tunnel Upload说明。

更新说明

更新Tunnel Upload命令使用说明。

Tunnel命令

2020-09-01

新增BigQuery数据迁移至MaxCompute最佳实践。

新实践

为您介绍如何将BigQuery数据迁移至MaxCompute。

BigQuery数据迁移至MaxCompute

2020-09-01

新增Amazon Redshift数据迁移至MaxCompute最佳实践。

新实践

为您介绍如何将Amazon Redshift数据迁移至MaxCompute。

Amazon Redshift数据迁移至MaxCompute

2020-09-01

新增内建函数常见问题。

新说明

为您介绍内建函数的常见问题。

内建函数常见问题

2020年8月更新记录

时间

特性

类别

描述

产品文档

2020-08-20

新增查询加速(MCQA)功能。

新功能

为您介绍MaxCompute查询加速MCQA(MaxCompute Query Acceleration)功能,并帮助您了解该功能的系统架构、关键特性、应用场景、使用限制和使用说明。

MCQA概述

2020-08-20

新增备份存储计费详情。

更新说明

为您介绍备份存储计费详情。

存储费用

2020-08-17

新增数据科学(Mars)和备份存储计费方式。

更新说明

为您介绍数据科学(Mars)和备份存储计费方式。

计费项与计费方式概述

2020-08-17

新增数据科学(Mars)和查询加速(MCQA)计费详情。

更新说明

为您介绍数据科学(Mars)和查询加速(MCQA)计费详情。

计算费用(按量付费)

2020-08-05

新增SERDEPROPERTIES支持的属性项odps.text.option.use.quote

新说明

指定是否识别CSV的列分隔符"

创建OSS外部表

2020年7月更新记录

时间

特性

类别

描述

产品文档

2020-07-29

新增迁移MaxCompute数据至OTS最佳实践。

新实践

为您介绍如何将MaxCompute数据迁移至表格存储OTS。

MaxCompute数据迁移至OTS

2020-07-29

新增迁移MaxCompute数据至OSS最佳实践。

新实践

为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。

MaxCompute数据迁移至OSS

2020-07-24

新增数据加密功能。

新功能

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。

存储加密

2020-07-23

新增聚合函数。

新说明

新增APPROX_DISTINCTANY_VALUEARG_MAXARG_MIN函数。

聚合函数

2020-07-23

Python UDF增加支持的数据类型。

新说明

Python UDF增加支持的数据类型。

2020-07-23

新增SQL语言定义函数。

新功能

MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。

UDF(SQL自定义函数)

2020-07-23

新增代码嵌入式UDF。

新功能

MaxCompute支持通过代码嵌入式UDF(Embedded UDF)将Java或Python代码嵌入SQL脚本。

2020-07-23

MaxCompute的包年包月项目支持对指定SQL作业使用按量计费资源。

新功能

MaxCompute支持设置包年包月项目使用包年包月CU资源,而项目中的某些作业使用按量计费CU资源。只支持设置SQL类型作业使用按量计费CU资源。

包年包月项目使用按量计费资源

2020-07-23

新增包年包月作业优先级功能。

新功能

新增包年包月作业优先级功能,并提供开启、设置和查看作业优先级的操作指导。

作业优先级

2020-07-02

新增备份与恢复功能。

新功能

新增备份与恢复功能,并提供相关操作命令和参考示例。

备份与恢复

2020年6月更新记录

时间

特性

类别

描述

产品文档

2020-06-03

新增Tunnel overwrite命令。

新说明

支持Tunnel overwrite命令。

Tunnel命令

2020-06-01

优化Spark访问VPC实例。

新说明和示例

新增内容如下:

  • Spark访问VPC的白名单和地域的限制说明。

  • Spark访问不同实例时,合并JSON文本的结果示例。

Spark访问VPC实例

2020-06-01

Policy和Download权限控制。

新示例

新增Policy授权和撤销的用法示例。

Policy权限控制

2020年5月更新记录

时间

特性

类别

描述

产品文档

2020-05-25

新增数据科学(Mars)。

新说明

新增数据科学(Mars)。

2020-05-25

新增创建PyODPS 3节点。

新说明

介绍如何创建PyODPS 3节点。

开发PyODPS 3任务

2020-05-11

新增Spark访问OSS配置说明。

新说明

新增Spark访问OSS配置说明。

Spark访问OSS

2020-05-11

新增审计日志功能。

新功能

新增审计日志功能。完整地记录您在MaxCompute服务内的各项操作行为。

审计日志

2020-05-08

新增华东2(金融云)区域。

新说明

新增华东2(金融云)区域。

Endpoint

2020-05-08

1.0数据类型版本新增复杂数据类型。

新说明

介绍数据类型版本新增复杂数据类型。

1.0数据类型版本

2020年4月更新记录

时间

特性

类别

描述

产品文档

2020-04-21

MaxCompute权限新增Label、Download和Policy相关功能。

新说明

新增权限相关功能如下:

  • 支持将Label授权给角色(Role)。

  • Policy支持GRANT方式授权。

  • 支持Download权限控制。

2020-04-10

新增基于MaxCompute的大数据BI分析最佳实践。

新视频

介绍如何使用Quick BI可视化分析MaxCompute数据。

基于MaxCompute的大数据BI分析最佳实践

2020-04-03

新增MaxCompute支持限制单SQL消费功能。

新说明

介绍Project级别和Session级别的单SQL限制消费。

消费监控告警

2020年3月更新记录

时间

特性

类别

描述

产品文档

2020-03-27

支持三种MaxCompute数据类型版本。

新说明

介绍三种MaxCompute数据类型版本配置、适用场景和支持的数据类型。

2020-03-20

新增支持Spark on MaxCompute访问VPC实例。

新说明

您可以通过Spark on MaxCompute访问VPC实例,包括用户自定义私有域名。

Spark访问VPC实例

2020-03-16

新增LOAD语法。

新说明

您可以通过LOAD命令从外部存储导入数据,向表或表的分区中追加数据、覆盖重写数据。

LOAD

2020-03-16

新增内建函数MUMERIC_HISTOGRAMPERCENTILE_APPROXPERCENTILE_APPROX

新说明

  • MUMERIC_HISTOGRAM:统计指定列的近似直方图。

  • PERCENTILE_APPROX:返回给定百分比下数值的近似百分比值。

  • FORMAT_NUMBER:将数字格式化为指定形式的字符串。

2020-03-04

新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。

新实践

新增使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute的示例。

迁移ECS自建MySQL数据库至MaxCompute

2020年2月更新记录

时间

特性

类别

描述

产品文档

2020-02-26

新增内建函数TABLE_EXISTSPARTITION_EXISTS

新说明

新增内建函数TABLE_EXISTSPARTITION_EXISTS

2020-02-26

表级别支持禁止生命周期。

新说明

表级别支持禁止生命周期。

禁止或恢复生命周期

2020-02-26

OSS外表功能增强。

更新功能

  • 外表访问OSS支持HTTPS。

  • 支持MSCK REPAIR TABLE语法。

创建OSS外部表

2020-02-26

MaxCompute提供了CLONE TABLE功能,将表数据复制到另一个表中,让数据移动和复制更便捷。

新功能

MaxCompute提供了CLONE TABLE功能,支持将表数据复制到另一个表中,让数据移动和复制更便捷。

CLONE TABLE

2020-02-26

MaxCompute正式支持Python 3 UDF。

新功能

Python 2官方即将停止维护,越来越多的三方库也开始只支持 Python 3,因此MaxCompute也正式支持Python 3 UDF。

UDF开发(Python3)

2020-02-26

MaxCompute扩充了GROUPING的表达方式,支持CUBE、 ROLLUP和GROUPING SETS的嵌套使用。

新说明

MaxCompute扩充了GROUPING的表达方式,支持CUBE、ROLLUP和GROUPING SETS的嵌套使用。

GROUPING SETS

2020-02-25

对MaxCompute SQL与Hive进行对比分析。

新视频

对MaxCompute SQL与Hive进行对比分析。

MaxCompute SQL与Hive对比分析

2020-02-25

介绍Spark on MaxCompute。

新视频

介绍Spark on MaxCompute。

Spark on MaxCompute介绍

2020-02-18

新增设置子账号为超级管理员最佳实践。

新实践

介绍将子账号设置为超级管理员的操作方法、提供了超级管理员在工作中的使用建议。

MaxCompute项目设置RAM子账号为超级管理员

2020-02-03

新增Super_Administrator内置角色。

新说明

内置Super_Administrator角色,拥有项目内所有管理权限和资源权限。

角色规划

2020年1月更新记录

时间

特性

类别

描述

产品文档

2020-01-14

新增MMA迁移工具说明。

新说明

对迁移工具MMA的原理、安装以及使用的说明。

MMA概述

2020-01-14

SQL兼容性升级。

新说明

get_idcard_ageconcat_wslike函数行为变更说明。

2020-01-09

新增参数说明。

新说明

对示例中的参数进行详细的说明。

数据保护机制

2020-01-07

新增结巴分词自定义词典最佳实践。

新实践

在PyODPS节点实现结巴中文分词的基础上新增自定义词典的示例。

PyODPS节点实现结巴中文分词