文档

2024年

更新时间:

本文为您介绍MaxCompute 2024年产品公告,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更等信息,以提升项目开发效率。

2024年05月17日-MaxCompute Logview安全升级公告

尊敬的MaxCompute用户:

MaxCompute计划于北京时间2024年06月03日(周一)14:00起逐步对西南1(成都)、华北3(张家口)、华南1(深圳)、华北2(北京)、华东2(上海)、华东1(杭州)、华北6(乌兰察布)地域的Logview进行全面安全升级。安全升级后,使用公共调度资源组的DataWorks数据开发、数据分析提交的作业生成的Logview链接将跳转至MaxCompute管理控制台,并且需要用户同时满足以下条件,方可访问作业归属项目的Logview:

  • 具备阿里云账号:用户需持有有效的阿里云账号,并已完成实名认证。

  • 用户为作业归属MaxCompute项目的成员(可由项目管理员将其添加至项目中)。

因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute引擎访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。

为避免上述情形,请您确保以下两点:

  • 所有需要访问Logview的团队成员均已注册阿里云账号并完成实名认证。

  • 及时将团队成员添加为相应的MaxCompute项目成员,并通过授权操作,授予用户指定对象的指定权限。

    说明

    更多用户管理、授权操作,详情请参见用户规划与管理MaxCompute权限

在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。 感谢您的配合!

2024年05月13日-MaxCompute ETCD证书升级

尊敬的MaxCompute用户:

MaxCompute计划对澳大利亚(悉尼)和印度(孟买)地域集群的ETCD证书进行升级,具体升级时间如下:

  • 北京时间2024年05月15日(周三)10:00~16:00升级澳大利亚(悉尼)地域。

  • 北京时间2024年05月16日(周四)10:00~16:00升级印度(孟买)地域。

  • 北京时间2024年05月20日(周一)10:00~16:00升级新加坡地域。

预计升级过程不会影响您的作业运行,但在极小概率下,若影响了作业并导致执行失败,请尝试重新执行。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年05月08日-MaxCompute作业性能观测功能发布公告

尊敬的MaxCompute用户:

MaxCompute作业性能观测功能将于北京时间2024年05月08日(周三)20:00发布,功能包括支持查看一段时间内的作业数、CU用量以及作业运行时长的变化趋势。

说明

上述指标均支持按时间范围、项目、Quota进行过滤,按作业类型、运行状态、项目、Quota进行分组统计。

您可以通过指标确认是否存在作业数量或资源用量异常激增等问题,并及时进行治理。通过对比不同时间的作业运行时长,判断是否存在异常慢作业拉低了整体作业性能。

更多功能介绍和使用说明,请参见作业性能观测

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年04月30日-MaxCompute存储服务升级

尊敬的MaxCompute用户:

MaxCompute将于北京时间2024年05月08日(周三)10:00~13:00对华东2金融云(上海)地域进行存储升级,以及北京时间2024年05月15日(周三)10:00~16:00对中国香港地域的集群进行存储升级(低风险变更)。预计升级过程不会影响您的作业运行,但在极小概率下,若影响了作业并导致执行失败,请尝试重新执行。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年04月23日-海外地域MaxCompute项目生命周期变更公告

尊敬的MaxCompute用户:

北京时间2024年04月25日(周四)起,在中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、阿联酉(迪拜)或沙特(利雅得)地域新开通按量付费标准服务,对应地域所有项目的生命周期都将与按量付费标准服务的生命周期保持一致,所有项目的存储、下载等按量付费账单归属的产品明细为大数据计算服务MaxCompute(按量付费),同时对应的用量明细选择的计量规格变为大数据计算服务MaxCompute(按量付费)。对应地域若购买了包年包月资源,仅预付款资源的生命周期与包年包月实例的生命周期保持一致。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年04月11日-MaxCompute存储服务升级

尊敬的MaxCompute用户:

MaxCompute将于北京时间2024年04月18日(周四)15:00~18:00对西南1(成都)地域进行存储升级,以及北京时间2024年04月24日(周三)15:00~18:00对华南1(深圳)地域进行存储升级。预计升级过程不会影响您的作业运行,但在极小概率下,若影响了作业并导致执行失败,请尝试重新执行。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年04月07日-MaxCompute包年包月产品新折扣生效

尊敬的MaxCompute用户:

MaxCompute包年包月商品的预付款资源新折扣于2024年4月7日10点(UTC+8)生效,包括标准计算资源、数据传输服务等包年包月资源规格。新折扣如下:

一次交易购买时长为1年可享8.5折优惠;2年可享7折优惠;3年可享5折优惠;4年可享4折优惠;5年可享3.5折优惠

2024年03月26日-分布式计算框架MaxFrame功能开放试用公告

尊敬的MaxCompute用户:

分布式计算框架MaxFrame功能将于北京时间2024年03月28日(周四)华东2(上海)华南1(深圳)西南1(成都)地域开始开放试用,其他地域也将陆续开放,如需申请试用,请填写MaxFrame免费试用申请表

MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析及科学计算、ML/AL开发等工作。

MaxFrame功能介绍和使用说明请参见MaxFrame概述

您有任何相关问题或需要协助,可以通过您的专属钉群、MaxFrame官方用户支持群(钉钉群号:37130012987)或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年03月20日-MaxCompute发布ECS资源复用版公告

尊敬的MaxCompute用户:

MaxCompute-ECS资源复用版将于北京时间2024年03月21日(周四)华东2(上海)地域正式发布。

MaxCompute-ECS资源复用版是一种按量付费计算资源规格类型,开通后意味着您可以通过资源共享将ECS立即生效容量预定(CR)共享至MaxCompute,共享后,MaxCompute将在共享时段内有权通过服务账号购买您预定单内未被购买的ECS实例,并部署MaxCompute服务,将ECS资源转换为您可直接使用的MaxCompute计算资源,实现在ECS资源闲置的情况下,降低使用云服务的总体资源成本。

更多计费与使用说明请参见ECS资源复用版

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年03月18日-云监控指标类型调整公告

尊敬的MaxCompute用户:

MaxCompute将于北京时间2024年3月19日(周二)开始对现有接入云监控的部分Tunnel相关指标和消费相关指标进行调整:

  • 新增MaxCompute-共享数据传输服务指标类型,将原MaxCompute-通用类型下的Tunnel相关指标迁移到此新增类型下。

  • 将原MaxCompute-按量付费指标类型下的所有指标(主要为消费监控相关指标)都迁移至MaxCompute-通用类型下,同时下线MaxCompute-按量付费指标类型。

迁移后,不影响原来的配置规则和历史指标数据展示,也不影响新的告警触发,仅会查询不到历史的告警记录。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年02月29日-DataWorks独享资源组PyODPS节点升级公告

尊敬的MaxCompute用户:

DataWorks将于北京时间2024年04月08日(周一)2024年05月30日(周四)期间,逐步升级各个地域的独享资源组,以增强PyODPS支持。本次升级的主要内容及各地域具体升级日期请见下表,升级后,节点的PyODPS包版本将保持不变。

升级内容

地域

升级日期

  • 增加DataWorks PyODPS节点的load_resource_package支持。

  • 增加多进程支持。

  • 增加出错自动提示功能。

西南1(成都)、华北3(张家口)

2024年04月08日~2024年04月11日

华南1(深圳)

2024年04月15日~2024年04月18日

华北2(北京)

2024年04月22日~2024年04月25日

华东2(上海)

2024年05月06日~2024年05月09日

华东1(杭州)

2024年05月13日~2024年05月16日

中国香港、海外地域

2024年05月20日~2024年05月23日

华东1(金融云)、华东2(金融云)

2024年05月27日~2024年05月30日

在服务升级期间可能会影响当前正在运行的PyODPS作业,若您遇到独享资源组PyODPS作业失败问题,或其他任何相关问题需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年02月29日-MaxCompute SQL反向访问VPC方案下线公告

尊敬的MaxCompute用户:

MaxCompute将于北京时间2024年03月31日下线SQL反向访问VPC方案,需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连(Network_Link)方案。SQL反向访问VPC方案因技术迭代即将退市,新的专线直连(Network_Link)方案技术更稳定,性能更优越,使用成本更低。如果您正在使用SQL反向访问VPC方案,阿里云的技术支持人员会在3月份主动联系您,并提供升级方案。若您未收到联系,则无需关注。MaxCompute反向访问VPC的设置升级为专线直连(Network_Link)方案操作如下:

  1. 开通对odps.vpc.id对应的VPC网络连接。具体操作,请参见访问VPC方案(专线直连)

  2. 升级设置。

    MaxCompute在使用SQL UDF和外部表场景下,提供了SQL反向访问VPC的设置方法,支持UDF和外部表访问VPC中的服务,这里分别介绍两种场景的设置升级方法。

    • UDF场景

      在执行包含UDF的SQL任务时,若您是通过以下参数指定UDF访问的VPC以及对应的IP地址和端口信息。

      set odps.vpc.id=vpc_name;
      set odps.vpc.access.ips=ip:port; 
      
      --示例
      set odps.vpc.id=vpc-bp1e4p7fey****; 
      set odps.vpc.access.ips=ip:port; 

      那么您需要在运行含有UDF的SQL任务前,将上述的两个参数替换为如下新参数即可,详情请参见通过UDF访问VPC网络资源

      set odps.session.networklink=your_networklink_name
    • 外部表场景

      若您在建表DDL语句中加入VPC开关、访问的VPC、对应的IP和端口以及地域参数,指定外部表映射的VPC中的数据源。

      //RDS外表例子
      CREATE EXTERNAL TABLE mc_vpc_rds_external (
      id int,
      name string
      )
      STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
      WITH SERDEPROPERTIES (
      'odps.external.net.vpc'='true',
      'odps.vpc.id'='vpc-bp1e4p7fey****',
      'odps.vpc.access.ips'='rm-uf6i43****.mysql.rds.aliyuncs.com:3306',
      'odps.vpc.region'='cn-shanghai'
      )
      location 'jdbc:mysql://rm-uf6i43****.mysql.rds.aliyuncs.com:3306/dataccc?useSSL=false&user=user_name&password=password_value&table=data_modify'
      TBLPROPERTIES(
      'mcfed.mapreduce.jdbc.input.query'='select * from cxzccc.data_modify'
      );

      您仍然可以用以上方式创建外部表,且存量表不变。同时您也可以使用network_link参数创建外部表,详情请参见RDS外部表HBase外部表(HBase标准版或增强版)

      //RDS外表例子
      CREATE EXTERNAL TABLE mc_vpc_rds_external (
      id int,
      name string
      )
      STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
      location 'jdbc:mysql://rm-uf6i43****.mysql.rds.aliyuncs.com:3306/dataccc?useSSL=false&user=user_name&password=password_value&table=data_modify'
      TBLPROPERTIES(
      'mcfed.mapreduce.jdbc.input.query'='select * from cxzccc.data_modify',
      'networklink'='your_networklink_name'
      );
      说明

      Spark on MaxCompute访问VPC不受影响,您不需要创建网络连接(network_link)或修改Spark的代码或配置。详情请参见Spark访问VPC实例

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年02月28日-MaxCompute单机宕机演练

尊敬的MaxCompute用户:

MaxCompute将于北京时间2024年02月28日(周三)15:00~16:00,在中国华北3(张家口)、西南1(成都)地域进行接入服务可靠性演练,预计不会对用户作业运行产生影响。在极小概率下,若影响了用户的作业并导致执行失败,请重新尝试执行作业。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年02月23日-MaxCompute跨地域灾备功能邀测公告

尊敬的MaxCompute用户:

MaxCompute跨地域(Region)灾备功能将于北京时间2024年02月23日(周五)起在华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)地域发布并开始邀测。

跨地域灾备提供项目级别数据及元数据远程备份能力,同时保证备份地理距离大于一百公里。备份以项目(Project)为粒度,可以设置备份的目标地域,观测备份进度情况。当地域级别故障发生时,可以进行地域切换,在备份集群地域基于已备份数据恢复生产。功能详细说明及使用请参见跨地域灾备

目前跨地域灾备处于邀测阶段,如您需要使用此功能,请单击申请开通,在新功能试用申请页面申请开通使用跨地域灾备功能。邀测期间,对开通跨地域灾备功能的MaxCompute项目,备份集群的存储和跨地域流量都暂不收费,后续正式商业化收费前会提前至少一个月通过文档公告通知。

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

2024年01月25日-MaxCompute计算成本优化功能发布公告

尊敬的MaxCompute用户:

MaxCompute计算资源优化功能于北京时间2024年01月25日(周四)升级为计算成本优化功能。

计算成本优化功能在原计算资源优化功能(对包年包月一级Quota类型的计算资源生成更优的资源配置方案)的基础上增加支持查看使用按量付费计算资源调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。更多功能介绍和使用说明请参见计算成本优化

您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。

感谢您的配合!

  • 本页导读 (1)