本文为您介绍了MaxCompute 2021年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。
MaxCompute的重要功能发布记录请参见产品重大更新。
2021年2月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021-02-25 | 流式数据计费单价变更。 | 更新说明 | 单价由0.12元/GB变更为0.08元/GB。 | 流式数据写入费用(按量计费) |
2021-02-23 | 新增Python 2 UDTF使用示例。 | 新示例 | 新增Python 2 UDTF读取MaxCompute资源示例。 | Python 2 UDF |
2021-02-23 | 新增Python 3 UDTF使用示例。 | 新示例 | 新增Python 3 UDTF读取MaxCompute资源示例。 | Python 3 UDF |
2021-02-23 | 新增Spark作业引用外部文件描述。 | 新说明 | 新增Spark作业引用外部文件描述。 | 搭建开发环境 |
2021-02-20 | 新增UDTF与Laterval View结合的使用示例。 | 新示例 | 新增UDTF与Laterval View结合的使用示例。 | UDTF使用说明 |
2021-02-09 | 补充清除用户权限描述。 | 新说明 | 补充清除用户权限描述。 | 用户管理 |
2021-02-09 | 新增MaxCompute SQLML功能。 | 新功能 | SQLML是MaxCompute提供的应用机器学习能力的SQL语言入口。MaxCompute SQLML在底层依赖机器学习PAI平台做模型创建、预测、评估等操作。 | |
2021-02-07 | 删除VALUES中只能使用常量的限制。 | 更新说明 | 删除VALUES中只能使用常量的限制。 | VALUES |
2021-02-07 | OSS外部表支持分片上传功能。 | 新说明 | 支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。 | 输出到OSS的非结构化数据 |
2021-02-07 | 新增array_intersect 函数,修改sort_array 函数。
|
新说明 | 新增array_intersect ,用于计算两个array 的交集。sort_array 增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。
|
其他函数 |
2021-02-07 | 新增过滤条件表达式和count_if 函数。
|
新说明 | 增加过滤条件表达式支持,可以对select 子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if 函数对满足if 条件的记录进行计数。
|
聚合函数 |
2021-02-07 | 增强日期函数date 、datediff 、datepart 、datetrunc 对DATE、TIMESTAMP日期数据类型的支持。
|
新说明 | 增强日期函数date 、datediff 、datepart 、datetrunc 对DATE、TIMESTAMP日期数据类型的支持。
|
日期函数 |
2021-02-07 | 新增base64 、unbase64 和parse_url 函数。
|
新说明 | 新增字符串函数parse_url 对URL进行解析;新增base64 和unbase64 函数实现二进制和BASE64格式字符串互转。
|
字符串函数 |
2021-02-07 | MaxCompute命令行支持关闭表头显示,便于Shell调用。 | 新说明 | 在Shell(或Windows命令行)执行窗口,用户会可能需要使用odpscmd -e SQL 语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""}; 关掉表头显示,将计算结果stdout部分输出到目标句柄。
|
客户端 |
2021-02-07 | MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 | 新功能 | MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 | UNLOAD |
2021-02-07 | 支持SkewJoin Hint。 | 新功能 | 当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。 | |
2021-02-07 | MaxCompute推出Freeride及Analyze两种优化器元数据收集工具。 | 新功能 | MaxCompute目前提供两种方式收集表的元数据:
|
优化器信息收集 |
2021-02-07 | MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 | 新功能 | MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | Hologres外部表 |
2021-02-07 | MaxCompute支持云HBase外部表。 | 新功能 | MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | HBase外部表 |
2021-02-07 | MaxCompute支持RDS外部表。 | 新功能 | MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | RDS外部表 |
2021-02-01 | 新增Mars v0.6.3版本变更记录。 | 新说明 | 新增Mars v0.6.3版本变更记录。 | 版本更新记录 |
2021年1月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021-01-22 | 支持配置JDBC使用FineBI。 | 新功能 | 介绍如何通过MaxCompute JDBC驱动,使用FineBI对MaxCompute的数据进行可视化分析。 | 配置JDBC使用FineBI |
2021-01-21 | get_json_object 函数返回行为变更。
|
更新说明 | 新建MaxCompute项目的get_json_object 函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式
|
GET_JSON_OBJECT |
2021-01-19 | SELECT目录整改并优化内容。 | 更新说明 | 调整SELECT模块内容并完善命令示例。 | SELECT语法 |
2021-01-13 | 新增MaxCompute云数据仓库最佳实践。 | 新视频 | 介绍MaxCompute云数据仓库最佳实践。 | |
2021-01-13 | 新增MaxCompute Tunnel视频。 | 新视频 | 介绍MaxCompute Tunnel实现与操作。 | MaxCompute Tunnel |
2021-01-13 | 新增MaxCompute消费预警与控制视频。 | 新视频 | 介绍MaxCompute消费预警与控制实现操作。 | MaxCompute 消费预警与控制 |
2021-01-11 | 存储计费规则变更。 | 更新说明 | 自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)。 | 存储费用(按量计费) |
2021-01-07 | 新增查询加速(MCQA)免费体验功能。 | 新功能 | MaxCompute为使用包年包月资源的SQL作业提供了查询加速(MCQA)免费体验功能,当前处于公测阶段。 | 免费体验 |
2021-01-07 | MaxCompute管家新增作业管理及权限设置功能。 | 新功能 | MaxCompute提供作业管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。
MaxCompute管家针对项目、配额、作业等功能入口进行了权限管控,主要对以RAM用户身份登录MaxCompute管家的用户进行权限控制,提升作业管理安全性。 |
|
2021-01-05 | 新增流式数据通道(Streaming Tunnel)。 | 新功能 | 新增流式数据通道、SDK接口及SDK示例。 | |
2021-01-05 | 新增数据迁移目录。 | 新说明 | 数据上传下载及迁移工具内容调整到新增目录。 | |
2021-01-04 | 新增统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 | 新实践 | 介绍如何统计MaxCompute TOPN费用账号及耗时作业的最佳实践。 | 统计MaxCompute TOPN费用账号及耗时作业 |
2021-01-04 | 新增包年包月资源隔离最佳实践。 | 新实践 | 介绍通过MaxCompute管家对包年包月资源进行隔离的最佳实践。 | 包年包月资源隔离 |
在文档使用中是否遇到以下问题
更多建议
匿名提交