本文为您提供MaxCompute产品在2021年的重要功能发布信息。
MaxCompute的重要功能发布详情请参见产品重大更新。
2021-03
功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
---|---|---|---|---|
MaxCompute Project全量作业或Project全量SQL作业超时监控告警功能发布 | MaxCompute支持通过云监控配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。 | 2021-03-16 | 全部区域 | 作业超时监控告警 |
MaxCompute 外部表支持SNAPPY、LZO压缩格式 | 如果您的数据格式为TEXTFILE,例如JSON,存放在OSS,希望通过外部表读写且支持压缩,MaxCompute提供了开源数据格式外部表对SNAPPY、LZO压缩文件的读写能力。 | 2021-03-16 | 全部区域 | 支持压缩格式数据 |
MaxCompute SQL支持FROM_JSON/TO_JSON函数 | FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。 | 2021-03-16 | 全部区域 | 字符串函数 |
MaxCompute SQL支持UPDATE/DELETE/MERGE INTO语法(公测) | UPDATE/DELETE是MaxCompute新支持的在行级别操作表或者分区数据的语句。相比之前订正表或者分区中的少量数据,也需要读取全量数据,关联生成新数据之后再INSERT
OVERWRITE全量写回的方法,UPDATE/DELETE操作读写数据量都显著下降。
当您对目标表的一次操作包括INSERT、UPDATE、DELETE逻辑时,MERGE INTO功能可以用一条SQL语句进行一次扫描完成全部操作,执行效率更高。同时,MERGE INTO任务具备原子性,任一内部逻辑处理失败,则整体作业执行失败,避免同一批操作部分逻辑无法回退或重做的问题。您需要创建Transactional表才能使用UPDATE/DELETE/MERGE INTO功能。并且因为大数据系统保证任务级别的ACID,当作业并发运行且操作的目标表相同时,可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段,不收取计算费用,但公测期间也暂时不对您使用此功能用于生产的作业和数据提供保证,重要数据请做好备份。 |
2021-03-16 | 全部区域 | |
MaxCompute管家作业诊断功能发布 | MaxCompute管家发布的慢作业、错作业诊断功能,可以帮助大数据开发者和分析师在日常作业运维中,对慢作业和错作业进行自助诊断分析,通过诊断分析结果给出的建议,对作业进行优化,从而提示作业的运行效率。诊断功能主要支持7天以内的SQL、MapReduce类型的作业诊断,基于作业运行时产生的各个阶段状态信息,与作业历史运行数据进行对比分析,得出作业相比历史在某些环节或诊断维度上的缺陷和问题,并针对问题给出相应的原因和解决方案。诊断信息展示主要分为4大块内容,分别是作业基础信息、作业历史运行Instance列表、控制集群历史耗时分析、计算集群历史耗时分析,方便用户对诊断结果进行阅览,并快速获取到诊断建议。 | 2021-03-12 | 全部区域 | MaxCompute管家 |
MaxCompute管家SQL周期作业持续空输出或持续全表扫描推荐功能发布 | MaxCompute管家将定期推荐需要进行性能或成本优化的作业列表,本次主要是针对“SQL周期作业持续空输出或持续全表扫描”。推荐的结果列表将给出最近一次执行的InstanceID(单击可进入Logview)以及最近一个月持续运行的次数,可以很方便的获取到需要优化的作业信息,通过信息辅助判断是否需要对作业进行优化,如持续空输出是否是无效作业无需运行避免资源浪费;如持续全表扫描是否是因为脚本遗漏了分区条件需要加上以便减少输入量减少资源消耗。 | 2021-03-12 | 全部区域 | MaxCompute管家 |
2021-02
功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
---|---|---|---|---|
MaxCompute 湖仓一体功能商业化发布 | MaxCompute湖仓一体方案通过数据仓库 MaxCompute、数据湖(对象存储OSS或Hadoop HDFS)共同实现。本次发布两种构建湖仓一体的方式:
|
2021-02-26 |
|
MaxCompute湖仓一体 |
MaxCompute支持云HBase外部表(公测) | MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | 2021-02-08 |
|
HBase外部表 |
MaxCompute命令行支持关闭表头显示,便于Shell调用 | 在Shell(或Windows命令行)执行窗口,用户会可能需要使用odpscmd -e SQL语句 执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""}; 关掉表头显示,将计算结果stdout部分输出到目标句柄。
|
2021-02-08 | 全部区域 | 客户端 |
MaxCompute外部表OSS写入场景能力增强 | MaxCompute支持使用OSS的分片上传(Multipart Upload)功能,在INSERT操作向OSS外部表写入数据时,提高写数据效率。此外MaxCompute写入到OSS外部表的数据,会存储在LOCATION目录下的.odps 文件夹中,并维护了一个.meta 文件,用于保证MaxCompute数据的一致性。.odps 文件夹中的内容只有MaxCompute能正确处理,其他引擎读取可能报错。MaxCompute新增 odps.sql.unstructured.oss.commit.mode 属性,设置为true 时(默认为false ),MaxCompute使用分片上传功能,且以two-phase commit 的方式保证数据的一致性,同时也不会有.odps 目录以及.meta 文件,以便兼容其他数据处理引擎读取。
|
2021-02-08 | 全部区域 | 将数据输出到OSS |
MaxCompute外部表Hive兼容模式支持用户自定义Serde类 | MaxCompute提供了兼容Hive Serde接口处理开源格式数据的能力,并对各种常见的数据格式都有内建的默认的Serde Class进行处理。如果用户有数据格式要指定自定义的ROW
FORMAT SERDE,在建外部表的时候需要指定依赖的资源,添加JAR包,并在建表时定义using jar 的方式,使用自定义的Serde类实现外部表对特殊数据格式的兼容。
|
2021-02-08 | 全部区域 | 支持开源格式数据 |
MaxCompute内建函数新增或增强 | 变更点如下:
|
2021-02-08 | 全部区域 | |
MaxCompute推出Freeride及Analyze两种优化器元数据收集工具 | MaxCompute目前提供两种方式收集表的元数据:
|
2021-02-08 | 全部区域 | 优化器信息收集 |
MaxCompute支持RDS外部表(公测) | MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | 2021-02-08 | 全部区域 | RDS外部表 |
MaxCompute外部表支持通过JDBC方式读写MC-Hologres(公测) | MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 | 2021-02-08 | 全部区域 | MC-Hologres外部表 |
MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储 | MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 | 2021-02-08 | 全部区域 | UNLOAD |
MaxCompute SQLML功能商业化发布 | MaxCompute SQLML可以让数据工程师、分析师和数据科学家使用SQL语言在MaxCompute中创建、训练和应用机器学习模型,使SQL从业人员利用现有的SQL工具和技能就能应用机器学习的能力,同时无需做数据迁移,实现机器学习的普惠。 | 2021-02-01 | 全部区域 |
2021-01
功能名称 | 功能描述 | 发布时间 | 发布区域 | 相关文档 |
---|---|---|---|---|
MaxCompute全量作业管理 | MaxCompute管家推出作业管理功能,为开发人员和管理人员提供对全量作业按照时间段、状态以及更多细粒度条件查找作业并进行相应管理。 | 2021-01-13 | 全部区域 | MaxCompute作业运维管理 |
MaxCompute管家支持RAM用户权限管理 | MaxCompute管家针对项目、配额、作业等功能入口进行了权限管控,主要对以RAM用户身份登录MaxCompute管家的用户进行权限控制,提升作业管理安全性。RAM用户需要具备相应功能模块的权限才具备操作权限。
MaxCompute管家权限主要分为以下4种角色:
|
2021-01-13 | 全部区域 | MaxCompute管家权限 |
MaxCompute存储服务单价调整 | 自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天) | 2021-01-10 | 全部区域 | 存储费用(按量计费) |
在文档使用中是否遇到以下问题
更多建议
匿名提交