本文为您介绍了MaxCompute 2021年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

MaxCompute的重要功能发布记录请参见产品重大更新

2021年2月更新记录

时间 特性 类别 描述 产品文档
2021-02-25 流式数据计费单价变更。 更新说明 单价由0.12元/GB变更为0.08元/GB。 流式数据写入费用(按量计费)
2021-02-23 新增Python 2 UDTF使用示例。 新示例 新增Python 2 UDTF读取MaxCompute资源示例。 Python 2 UDF
2021-02-23 新增Python 3 UDTF使用示例。 新示例 新增Python 3 UDTF读取MaxCompute资源示例。 Python 3 UDF
2021-02-23 新增Spark作业引用外部文件描述。 新说明 新增Spark作业引用外部文件描述。 搭建开发环境
2021-02-20 新增UDTF与Laterval View结合的使用示例。 新示例 新增UDTF与Laterval View结合的使用示例。 UDTF使用说明
2021-02-09 补充清除用户权限描述。 新说明 补充清除用户权限描述。 用户管理
2021-02-09 新增MaxCompute SQLML功能。 新功能 SQLML是MaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖机器学习PAI平台做模型创建、预测、评估等操作。
2021-02-07 删除VALUES中只能使用常量的限制。 更新说明 删除VALUES中只能使用常量的限制。 VALUES
2021-02-07 OSS外部表支持分片上传功能。 新说明 支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。 输出到OSS的非结构化数据
2021-02-07 新增array_intersect函数,修改sort_array函数。 新说明 新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。 其他函数
2021-02-07 新增过滤条件表达式和count_if函数。 新说明 增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。 聚合函数
2021-02-07 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。 新说明 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。 日期函数
2021-02-07 新增base64unbase64parse_url函数。 新说明 新增字符串函数parse_url对URL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。 字符串函数
2021-02-07 MaxCompute命令行支持关闭表头显示,便于Shell调用。 新说明 在Shell(或Windows命令行)执行窗口,用户会可能需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关掉表头显示,将计算结果stdout部分输出到目标句柄。 客户端
2021-02-07 MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 新功能 MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 UNLOAD
2021-02-07 支持SkewJoin Hint。 新功能 当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。
2021-02-07 MaxCompute推出Freeride及Analyze两种优化器元数据收集工具。 新功能 MaxCompute目前提供两种方式收集表的元数据:
  • 异步收集(Analyze):需要您通过命令对表进行主动、异步收集。扫描表数据会产生计费。
  • 同步收集(Freeride):需要您在create table ... as ...insert语句前设置运行参数,配置收集计划启用Freeride功能,在数据生成的同时,自动收集列统计信息。这种方式更加自动化,但对查询时延有影响。
优化器信息收集
2021-02-07 MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 新功能 MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 Hologres外部表
2021-02-07 MaxCompute支持云HBase外部表。 新功能 MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 HBase外部表
2021-02-07 MaxCompute支持RDS外部表。 新功能 MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 RDS外部表
2021-02-01 新增Mars v0.6.3版本变更记录。 新说明 新增Mars v0.6.3版本变更记录。 版本更新记录

2021年1月更新记录

时间 特性 类别 描述 产品文档
2021-01-22 支持配置JDBC使用FineBI。 新功能 介绍如何通过MaxCompute JDBC驱动,使用FineBI对MaxCompute的数据进行可视化分析。 配置JDBC使用FineBI
2021-01-21 get_json_object函数返回行为变更。 更新说明 新建MaxCompute项目的get_json_object函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式 GET_JSON_OBJECT
2021-01-19 SELECT目录整改并优化内容。 更新说明 调整SELECT模块内容并完善命令示例。 SELECT语法
2021-01-13 新增MaxCompute云数据仓库最佳实践。 新视频 介绍MaxCompute云数据仓库最佳实践。
2021-01-13 新增MaxCompute Tunnel视频。 新视频 介绍MaxCompute Tunnel实现与操作。 MaxCompute Tunnel
2021-01-13 新增MaxCompute消费预警与控制视频。 新视频 介绍MaxCompute消费预警与控制实现操作。 MaxCompute 消费预警与控制
2021-01-11 存储计费规则变更。 更新说明 自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)。 存储费用(按量计费)
2021-01-07 新增查询加速(MCQA)免费体验功能。 新功能 MaxCompute为使用包年包月资源的SQL作业提供了查询加速(MCQA)免费体验功能,当前处于公测阶段。 免费体验
2021-01-07 MaxCompute管家新增作业管理及权限设置功能。 新功能 MaxCompute提供作业管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。

MaxCompute管家针对项目、配额、作业等功能入口进行了权限管控,主要对以RAM用户身份登录MaxCompute管家的用户进行权限控制,提升作业管理安全性。

2021-01-05 新增流式数据通道(Streaming Tunnel)。 新功能 新增流式数据通道、SDK接口及SDK示例。
2021-01-05 新增数据迁移目录。 新说明 数据上传下载及迁移工具内容调整到新增目录。
2021-01-04 新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 新实践 介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 统计MaxCompute TOPN费用账号及耗时作业
2021-01-04 新增包年包月资源隔离最佳实践。 新实践 介绍通过MaxCompute管家对包年包月资源进行隔离的最佳实践。 包年包月资源隔离