本文为您提供MaxCompute产品在2020年的重要功能发布信息。
2020-12
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 流式数据写入服务（Streaming Tunnel）开始公测 | MaxCompute Streaming Tunnel服务，支持通过API方式实现流式数据无感知高QPS写入MaxCompute。 | 2020-12-28 | 所有区域 | 概述 |
| 新建Project默认提供Information Schema服务 | 新建的Project，无需管理员手动安装，默认自动提供Information Schema元数据服务，便于用户查看使用。 | 2020-12-21 | 所有区域 | Information Schema概述 |
| 运行中作业快照Information_Schema.Tasks内测发布 | 以Information_Schema.Tasks视图方式，提供当前运行中作业的详细信息，包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等信息。通过该视图，使用人员可以快速定位运行时间较长的慢作业、资源消耗高的大作业，从而有针对性地进行作业优化或资源容量规划。 | 2020-12-08 | 无。 | 元数据视图列表 |
| 按量计费SQL支持日累计消费限制 | MaxCompute发布按量计费SQL日累计消费限制功能，提供对整个Project标准SQL日累计消费限制。Project内当日标准SQL发生的计量累计消费与正在发起的标准SQL预估消费总和大于设定的值，则正发起SQL会被限制执行，返回失败状态并给出失败信息，通过此功能阻止标准SQL日累计消费超出预算。在设置前，需要充分评估日常的消费量，并设置合理的值，避免累计消费超过值之后SQL作业无法执行耽误业务产出。如果发现设置不合理，Project Owner或拥有SuperAdministrator权限的管理员也可以随时进行调整。 | 2020-12-07 | 所有区域 | 消费监控告警 |
| 查询编辑器支持查询加速提升数据分析能力 | MaxCompute数据分析查询模式原先是离线模式，此次发布查询模式支持MaxCompute查询加速，对于中、小数据量查询作业将执行时间从分钟级缩减至秒级，即查速度上提升至秒级。 通过MaxCompute查询编辑器发起查询SQL，会优先通过查询加速进行查询。若满足查询加速要求，则秒级返回结果；若不满足查询加速条件，则会回退至离线查询模式，保障查询作业正常执行。结合数据分析的丰富的Web-Excel分析功能，数据分析师可以通过MaxCompute数据分析一站式快速进行数据查询、结果二次分析、分享。MaxCompute查询加速功能主要支持按量计费资源，若项目使用包年包月资源，暂时无法满足查询加速要求。 | 2020-12-05 | 所有区域 | MaxCompute控制台-查询编辑器 |
2020-11
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| MaxCompute支持消息队列Kafka版通过Connector持续导入数据 | MaxCompute与消息队列Kafka版服务紧密集成，借助消息队列Kafka版服务的MaxCompute Sink Connector，无需第三方工具及二次开发，即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路，并显著降低开发和运维成本。 | 2020-11-27 | 全部区域 | 消息队列Kafka版数据导入MaxCompute |
| MaxCompute支持以RAM角色身份访问使用服务 | MaxCompute项目空间在云账号、RAM用户基础上，增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权，通过STS认证方式登录访问服务，实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证，使用RAM角色在Web控制台操作访问MaxCompute项目空间，进行数据分析、数据开发。 | 2020-11-24 | 全部区域 | 用户认证 |
2020-10
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| SEMI JOIN支持MAPJOIN Hint | SEMI JOIN支持MAPJOIN Hint，提高LEFT SEMI或ANTI JOIN的性能，为数据倾斜问题提供解决方案。 | 2020-10-30 | 全部区域 | SEMI JOIN（半连接） |
| MaxCompute支持SORT BY不带 DISTRIBUTE BY | MaxCompute支持不带DISTRIBUTE BY的SORT BY，提供数据重排的解决方案，提高SQL执行的过滤性能。当SORT BY语句前没有DISTRIBUTE BY时，能够增加存储压缩率，同时读取的时候如果有过滤，能够利用这个信息减少真正从磁盘读取的数据量，提高后续进行全局排序的效率。 | 2020-10-30 | 全部区域 | SELECT语法 |
| OSS外部表CSV/TSV文件支持GBK编码格式 | OSS外部表odps.text.option.encoding原先支持UTF-8、UTF-16和US-ASCII，新版本支持GBK编码格式。
|
2020-10-30 | 全部区域 | 内置Extractor访问OSS |
| 批量Drop Partition支持条件筛选 | 如果用户希望一次性删除符合某个规则条件的一个或多个分区，可以使用条件表达式匹配分区进行批量删除。 | 2020-10-30 | 全部区域 | 分区和列操作 |
| 新增WIDTH_BUCKET函数且时间函数的输入数据类型增加DATETIME | 新增WIDTH_BUCKET函数获取某个字段值落入的分组编号。时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 | 2020-10-30 | 全部区域 | |
| 写表支持ZORDER BY语句 | 支持把数据相近的行排列在一起，提升查询时的过滤性能，一定程度上也能降低存储成本。 | 2020-10-30 | 全部区域 | 插入或覆写数据（INSERT INTO | INSERT OVERWRITE） |
| MaxCompute查询加速（MCQA）商业化发布 | MaxCompute的查询加速功能可以在EB级数据仓库服务内提供弹性并发的秒级查询能力，在MaxCompute原先吞吐量优化的基础上，补足对延迟优先场景的支持能力。查询加速让MaxCompute一个服务同时满足数据准备（ETL）、数据挖掘（机器学习）、数据探索（Ad-hoc）、报表分析等多使用场景需要。通过自动识别短查询作业并加速处理、快速响应查询结果的方式，增强了MaxCompute SQL的整体处理性能，满足报表分析、即席查询场景的使用要求。 | 2020-10-12 | 全部区域 | MCQA概述 |
2020-09
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| MaxCompute提供新版控制台 | MaxCompute向MaxCompute用户提供新版Web控制台。新版用户界面和新功能简化了用户在服务开通、项目创建、计算资源管理及监控、SQL查询分析方面的操作使用。用户可以在一个更简单易用的界面里快速创建数据仓库环境、管理和监控计算资源及作业、开展数据分析探查。新版控制台功能点如下：
|
2020-09-29 | 全部区域 | |
| MaxCompute作业监控诊断工具Logview功能升级发布 | Logview 2.0扩展了MaxCompute作业的监控指标，提供作业回放功能，新增Fuxi Sensor支持查看作业内存及CPU使用情况。 | 2020-09-10 | 全部区域 | 使用Logview 2.0查看Job运行信息 |
| 备份与恢复功能商业化发布 | 2020-09-01 | 全部区域 | 备份与恢复 |
2020-08
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 数据科学（Mars）功能商业化发布 | Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术，加速Python数据科学栈，包括Numpy、Pandas和Scikit-learn。 | 2020-08-31 | 全部区域 | |
| 查询加速MCQA（MaxCompute Query Acceleration）功能公测发布 | MaxCompute的MCQA功能可以对中、小型查询作业进行加速优化，将执行时间为分钟级的查询作业缩减至秒级，且兼容原查询功能。 | 2020-08-31 | 全部区域 |
2020-07
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 新增项目的默认数据类型版本从1.0变更为2.0 | MaxCompute通过DataWorks控制台新增项目时，项目的默认数据类型版本从1.0变更为2.0。 | 2020-07-29 | 全部区域 | |
| Python UDF支持更多数据类型 |
|
2020-07-24 | 全部区域 | |
| 新增聚合函数 | MaxCompute新增聚合函数APPROX_DISTINCT(value)、ANY_VALUE(value)、ARG_MAX(valueToMaximize, valueToReturn)和ARG_MIN(valueToMinimize, valueToReturn)。
|
2020-07-24 | 全部区域 | 聚合函数 |
| 支持代码嵌入式UDF | 代码嵌入式UDF支持将Java或Python代码嵌入SQL脚本。您可以将SQL脚本和第三方代码放入同一个源码文件，减少使用UDT或UDF的操作步骤，方便日常开发。 | 2020-07-24 | 全部区域 | 代码嵌入式UDF |
| 支持SQL语言定义函数 | MaxCompute支持通过SQL语言定义函数（SQL Function）在SQL脚本中使用SQL定义的UDF。 | 2020-07-24 | 全部区域 | SQL语言定义函数 |
| 支持设置使用包年包月计算资源Project的作业优先级 | 您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级，优先保障高优先级作业的计算资源。当高优先级作业启动时，可以抢占低优先级作业的计算资源。 | 2020-07-24 | 全部区域 | 作业优先级 |
| 备份与恢复 | MaxCompute提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据。 | 2020-07-01 | 全部区域 | 备份与恢复 |
2020-06
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 新增项目支持选择数据类型版本 | 通过MaxCompute创建新项目时，您需要指定初始化数据类型版本。 | 2020-06-30 | 全部区域 | 数据类型版本说明 |
2020-05
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 支持创建PyODPS 3节点 | MaxCompute支持Python 3。您可以通过DataWorks创建PyODPS 3节点，提升数据处理能力。 | 2020-05-22 | 全部区域 | 创建PyODPS 3节点 |
| 日志审计 | MaxCompute完整地记录用户的各项操作行为，并通过阿里云ActionTrail服务将用户行为日志实时推送给ActionTrail。您可以在ActionTrail中查看和检索用户行为日志，同时通过ActrionTrail将日志投递到日志服务项目或指定的OSS Bucket中，满足实时审计、问题回溯分析等需求。 | 2020-05-12 | 全部区域 | 审计日志 |
| MMA迁移工具升级为2.0版本 | MMA在功能和架构上实现重大升级，支持C/S架构，实现队列的智能化调度管理、数据迁移中的自动重试、断点续传、数据校验和增量更新功能。相比1.0版本提升了易用性、稳定性和迁移效率。 | 2020-05-08 | 全部区域 | 概述 |
2020-04
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| Policy支持GRANT方式授权 | MaxCompute支持通过GRANT命令实现Policy授权，授权操作更加便捷。 | 2020-04-23 | 全部区域 | Policy和Download权限控制 |
| 限制单SQL消费 | MaxCompute支持监控单个SQL语句的消费，在SQL语句执行前先预估SQL语句的消费，预防单个SQL语句产生意料之外的高额费用。 | 2020-04-14 | 全部区域 | 消费监控告警 |
| 升级MaxCompute管家 | MaxCompute管家强化CU资源监控管理、提升作业查看和管理的易用性，方便您管理计算资源。 | 2020-04-13 | 全部区域 | MaxCompute管家 |
2020-03
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 新增LOAD命令 | 您可以通过LOAD命令从外部存储（例如OSS或OTS）将数据导入表或表分区。 | 2020-03-17 | 全部区域 | LOAD |
| 新增5个内建函数 | MaxCompute新增5个内建函数：TABLE_EXISTS()、PARTITION_EXISTS()、MUMERIC_HISTOGRAM()、PERCENTILE_APPROX()和FORMAT_NUMBER()。
|
2020-03-17 | 全部区域 |
2020-02
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 支持取消表的生命周期 | 您可以通过DISABLE LIFECYCLE参数，取消表的生命周期。
|
2020-02-26 | 全部区域 | 生命周期操作 |
| 新增CLONE TABLE命令 | CLONE TABLE可以复制表数据到另一个表。 | 2020-02-26 | 全部区域 | CLONE TABLE |
升级GROUPING SETS |
MaxCompute扩充GROUPING SETS，支持CUBE、ROLLUP和GROUPING SETS嵌套使用。
|
2020-02-26 | 全部区域 | GROUPING SETS |
| 支持通过HTTPS获取外部表数据 | 如果需要底层通过HTTPS获取数据，您可以将命令set odps.sql.unstructured.data.oss.use.https=true;与SQL语句一起提交执行。
|
2020-02-26 | 全部区域 | 内置Extractor访问OSS |
外部表支持MSCK REPAIR TABLE语法
|
MaxCompute支持根据数据所在的OSS文件路径自动补全外部表分区。 | 2020-02-26 | 全部区域 | 内置Extractor访问OSS |
| 支持SQL中列名书写智能纠错 | 运行SQL时，如果输入的字段名有误，SQL引擎将进行联想并提示您正确的字段名。 | 2020-02-26 | 全部区域 | 公告 |
| 支持Python 3 UDF | Python 2官方即将停止维护，MaxCompute支持Python 3。 | 2020-02-26 | 全部区域 | Python 3 UDF |
Tunnel增加overwrite参数
|
指定上传数据是否覆盖表或分区。 | 2020-02-21 | 全部区域 | Tunnel命令 |
2020-01
| 功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
|---|---|---|---|---|
| 支持DATE和CHAR数据类型 | 您可以通过打开MaxCompute数据类型2.0，在创建或读取表的数据时，使用DATE和CHAR数据类型。 | 2020-01-03 | 全部区域 | 数据类型版本说明 |
| 支持指定作业的Quota组 | 您可以通过set odps.task.quota.preference.tag=tag_name;指定作业的Quota组，即MaxCompute管家中的配额组。
|
2020-01-03 | 全部区域 | SET操作 |