本文为您提供MaxCompute产品在2020年的重要功能发布信息。

2020-12

功能名称

功能描述

发布时间

发布区域

相关文档

流式数据写入服务(Streaming Tunnel)开始公测

MaxCompute Streaming Tunnel服务,支持通过API方式实现流式数据无感知高QPS写入MaxCompute。

2020-12-28

所有区域

流式数据通道概述

新建Project默认提供Information Schema服务

新建的Project,无需管理员手动安装,默认自动提供Information Schema元数据服务,便于用户查看使用。

2020-12-21

所有区域

项目级别Information Schema

运行中作业快照Information_Schema.Tasks内测发布

以Information_Schema.Tasks视图方式,提供当前运行中作业的详细信息,包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等信息。通过该视图,使用人员可以快速定位运行时间较长的慢作业、资源消耗高的大作业,从而有针对性地进行作业优化或资源容量规划。

2020-12-08

无。

元数据视图列表

按量计费SQL支持日累计消费限制

MaxCompute发布按量计费SQL日累计消费限制功能,提供对整个Project标准SQL日累计消费限制。Project内当日标准SQL发生的计量累计消费与正在发起的标准SQL预估消费总和大于设定的值,则正发起SQL会被限制执行,返回失败状态并给出失败信息,通过此功能阻止标准SQL日累计消费超出预算。在设置前,需要充分评估日常的消费量,并设置合理的值,避免累计消费超过值之后SQL作业无法执行耽误业务产出。如果发现设置不合理,Project Owner或拥有SuperAdministrator权限的管理员也可以随时进行调整。

2020-12-07

所有区域

消费监控告警

查询编辑器支持查询加速提升数据分析能力

MaxCompute数据分析查询模式原先是离线模式,此次发布查询模式支持MaxCompute查询加速,对于中、小数据量查询作业将执行时间从分钟级缩减至秒级,即查速度上提升至秒级。 通过MaxCompute查询编辑器发起查询SQL,会优先通过查询加速进行查询。若满足查询加速要求,则秒级返回结果;若不满足查询加速条件,则会回退至离线查询模式,保障查询作业正常执行。结合数据分析的丰富的Web-Excel分析功能,数据分析师可以通过MaxCompute数据分析一站式快速进行数据查询、结果二次分析、分享。MaxCompute查询加速功能主要支持按量计费资源,若项目使用包年包月资源,暂时无法满足查询加速要求。

2020-12-05

所有区域

使用DataWorks连接

2020-11

功能名称

功能描述

发布时间

发布区域

相关文档

MaxCompute支持消息队列Kafka版通过Connector持续导入数据

MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。

2020-11-27

全部区域

使用Kafka(离线与实时)

MaxCompute支持以RAM角色身份访问使用服务

MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。

2020-11-24

全部区域

用户认证

2020-10

功能名称

功能描述

发布时间

发布区域

相关文档

SEMI JOIN支持MAPJOIN Hint

SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMI或ANTI JOIN的性能,为数据倾斜问题提供解决方案。

2020-10-30

全部区域

SEMI JOIN(半连接)

MaxCompute支持SORT BY不带 DISTRIBUTE BY

MaxCompute支持不带DISTRIBUTE BY的SORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。当SORT BY语句前没有DISTRIBUTE BY时,能够增加存储压缩率,同时读取的时候如果有过滤,能够利用这个信息减少真正从磁盘读取的数据量,提高后续进行全局排序的效率。

2020-10-30

全部区域

SELECT语法

OSS外部表CSV/TSV文件支持GBK编码格式

OSS外部表odps.text.option.encoding原先支持UTF-8、UTF-16和US-ASCII,新版本支持GBK编码格式。

2020-10-30

全部区域

创建OSS外部表

批量Drop Partition支持条件筛选

如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。

2020-10-30

全部区域

分区和列操作

新增WIDTH_BUCKET函数且时间函数的输入数据类型增加DATETIME

新增WIDTH_BUCKET函数获取某个字段值落入的分组编号。时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。

2020-10-30

全部区域

写表支持ZORDER BY语句

支持把数据相近的行排列在一起,提升查询时的过滤性能,一定程度上也能降低存储成本。

2020-10-30

全部区域

插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

MaxCompute查询加速(MCQA)商业化发布

MaxCompute的查询加速功能可以在EB级数据仓库服务内提供弹性并发的秒级查询能力,在MaxCompute原先吞吐量优化的基础上,补足对延迟优先场景的支持能力。查询加速让MaxCompute一个服务同时满足数据准备(ETL)、数据挖掘(机器学习)、数据探索(Ad-hoc)、报表分析等多使用场景需要。通过自动识别短查询作业并加速处理、快速响应查询结果的方式,增强了MaxCompute SQL的整体处理性能,满足报表分析、即席查询场景的使用要求。

2020-10-12

全部区域

MCQA概述

2020-09

功能名称

功能描述

发布时间

发布区域

相关文档

MaxCompute提供新版控制台

MaxCompute向MaxCompute用户提供新版Web控制台。新版用户界面和新功能简化了用户在服务开通、项目创建、计算资源管理及监控、SQL查询分析方面的操作使用。用户可以在一个更简单易用的界面里快速创建数据仓库环境、管理和监控计算资源及作业、开展数据分析探查。新版控制台功能点如下:

  • 提供简单易用的数据查询分析编辑器(Query Editor),缩短了日常SQL分析的操作路径。

  • 提供电子表格(Web Excel)丰富、便捷的数据分析功能,其操作与Office Excel高度一致,用户可以快速上手实现线上数据查询、分析快捷操作。

  • 默认开放MaxCompute公开数据集,可直接基于公开数据集进行体验、测试。

  • 集成了MaxCompute项目创建管理、资源管理相关功能,管理员可快速进行数据管理、计算资源管理及监控以及用户管理。

2020-09-29

全部区域

MaxCompute作业监控诊断工具Logview功能升级发布

Logview 2.0扩展了MaxCompute作业的监控指标,提供作业回放功能,新增Fuxi Sensor支持查看作业内存及CPU使用情况。

2020-09-10

全部区域

使用Logview 2.0查看作业运行信息

备份与恢复功能商业化发布

MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

2020-09-01

全部区域

备份与恢复

2020-08

功能名称

功能描述

发布时间

发布区域

相关文档

数据科学(Mars)功能商业化发布

Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术,加速Python数据科学栈,包括Numpy、Pandas和Scikit-learn。

2020-08-31

全部区域

查询加速MCQA(MaxCompute Query Acceleration)功能公测发布

MaxCompute的MCQA功能可以对中、小型查询作业进行加速优化,将执行时间为分钟级的查询作业缩减至秒级,且兼容原查询功能。

2020-08-31

全部区域

2020-07

功能名称

功能描述

发布时间

发布区域

相关文档

新增项目的默认数据类型版本从1.0变更为2.0

MaxCompute通过DataWorks控制台新增项目时,项目的默认数据类型版本从1.0变更为2.0。

2020-07-29

全部区域

Python UDF支持更多数据类型

  • Python 2 UDF和Python 3 UDF支持的数据类型增加DECIMAL、数据类型2.0的DECIMAL、复杂数据类型(ARRAY、MAP和STRUCT)和复杂数据类型嵌套。

  • Python 3 UDF中get_cache_table引用的资源表支持BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、数据类型2.0的DECIMAL、FLOAT、CHAR、VARCHAR、BINARY、DATE、ARRAY、MAP和STRUCT数据类型。

2020-07-24

全部区域

新增聚合函数

MaxCompute新增聚合函数APPROX_DISTINCT(value)ANY_VALUE(value)ARG_MAX(valueToMaximize, valueToReturn)ARG_MIN(valueToMinimize, valueToReturn)

2020-07-24

全部区域

聚合函数

支持代码嵌入式UDF

代码嵌入式UDF支持将Java或Python代码嵌入SQL脚本。您可以将SQL脚本和第三方代码放入同一个源码文件,减少使用UDT或UDF的操作步骤,方便日常开发。

2020-07-24

全部区域

UDF(嵌入式)

支持SQL语言定义函数

MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。

2020-07-24

全部区域

UDF(SQL自定义函数)

支持设置使用包年包月计算资源Project的作业优先级

您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级,优先保障高优先级作业的计算资源。当高优先级作业启动时,可以抢占低优先级作业的计算资源。

2020-07-24

全部区域

作业优先级

备份与恢复

MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

2020-07-01

全部区域

备份与恢复

2020-06

功能名称

功能描述

发布时间

发布区域

相关文档

新增项目支持选择数据类型版本

通过MaxCompute创建新项目时,您需要指定初始化数据类型版本。

2020-06-30

全部区域

数据类型版本说明

2020-05

功能名称

功能描述

发布时间

发布区域

相关文档

支持创建PyODPS 3节点

MaxCompute支持Python 3。您可以通过DataWorks创建PyODPS 3节点,提升数据处理能力。

2020-05-22

全部区域

开发PyODPS 3任务

日志审计

MaxCompute完整地记录用户的各项操作行为,并通过阿里云ActionTrail服务将用户行为日志实时推送给ActionTrail。您可以在ActionTrail中查看和检索用户行为日志,同时通过ActionTrail将日志投递到日志服务项目或指定的OSS Bucket中,满足实时审计、问题回溯分析等需求。

2020-05-12

全部区域

审计日志

MMA迁移工具升级为2.0版本

MMA在功能和架构上实现重大升级,支持C/S架构,实现队列的智能化调度管理、数据迁移中的自动重试、断点续传、数据校验和增量更新功能。相比1.0版本提升了易用性、稳定性和迁移效率。

2020-05-08

全部区域

MMA概述

2020-04

功能名称

功能描述

发布时间

发布区域

相关文档

Policy支持GRANT方式授权

MaxCompute支持通过GRANT命令实现Policy授权,授权操作更加便捷。

2020-04-23

全部区域

Policy权限控制

限制单SQL消费

MaxCompute支持监控单个SQL语句的消费,在SQL语句执行前先预估SQL语句的消费,预防单个SQL语句产生意料之外的高额费用。

2020-04-14

全部区域

消费监控告警

2020-03

功能名称

功能描述

发布时间

发布区域

相关文档

新增LOAD命令

您可以通过LOAD命令从外部存储(例如OSS或OTS)将数据导入表或表分区。

2020-03-17

全部区域

LOAD

新增5个内建函数

MaxCompute新增5个内建函数:TABLE_EXISTS()PARTITION_EXISTS()MUMERIC_HISTOGRAM()PERCENTILE_APPROX()FORMAT_NUMBER()

2020-03-17

全部区域

2020-02

功能名称

功能描述

发布时间

发布区域

相关文档

支持取消表的生命周期

您可以通过DISABLE LIFECYCLE参数,取消表的生命周期。

2020-02-26

全部区域

生命周期操作

新增CLONE TABLE命令

CLONE TABLE可以复制表数据到另一个表。

2020-02-26

全部区域

CLONE TABLE

升级GROUPING SETS

MaxCompute扩充GROUPING SETS,支持CUBEROLLUPGROUPING SETS嵌套使用。

2020-02-26

全部区域

GROUPING SETS

支持通过HTTPS获取外部表数据

如果需要底层通过HTTPS获取数据,您可以将命令set odps.sql.unstructured.data.oss.use.https=true;与SQL语句一起提交执行。

2020-02-26

全部区域

创建OSS外部表

外部表支持MSCK REPAIR TABLE语法

MaxCompute支持根据数据所在的OSS文件路径自动补全外部表分区。

2020-02-26

全部区域

创建OSS外部表

支持SQL中列名书写智能纠错

运行SQL时,如果输入的字段名有误,SQL引擎将进行联想并提示您正确的字段名。

2020-02-26

全部区域

公告

支持Python 3 UDF

Python 2官方即将停止维护,MaxCompute支持Python 3。

2020-02-26

全部区域

UDF开发(Python3)

Tunnel增加overwrite参数

指定上传数据是否覆盖表或分区。

2020-02-21

全部区域

Tunnel命令

2020-01

功能名称

功能描述

发布时间

发布区域

相关文档

支持DATE和CHAR数据类型

您可以通过打开MaxCompute数据类型2.0,在创建或读取表的数据时,使用DATE和CHAR数据类型。

2020-01-03

全部区域

数据类型版本说明

支持指定作业的Quota组

您可以通过set odps.task.quota.preference.tag=tag_name;指定作业的Quota组,即配额组。

2020-01-03

全部区域

SET操作