本文为您介绍MaxCompute 2024年产品公告,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更等信息,以提升项目开发效率。
2024年11月14日-MaxCompute Logview安全升级
尊敬的MaxCompute用户:
MaxCompute计划于北京时间2024年12月02日(周一)14:00起逐步对中国香港、华东 2 金融云、华北 2 金融云(邀测)、华北 2 阿里政务云1、华南 1 金融云、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、阿联酋(迪拜)、沙特(利雅得)地域的Logview进行全面安全升级。安全升级后,使用公共调度资源组的DataWorks数据开发、数据分析提交的作业生成的Logview链接将跳转至MaxCompute管理控制台,并且需要用户同时满足以下条件,方可访问作业归属项目的Logview:
具备阿里云账号:用户需持有有效的阿里云账号,并已完成实名认证。
用户为作业归属MaxCompute项目的成员(可由项目管理员将其添加至项目中)。
因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute数据源访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。
为避免上述情形,请您确保以下两点:
所有需要访问Logview的团队成员均已注册阿里云账号并完成实名认证。
及时将团队成员添加为相应的MaxCompute项目成员,并通过授权操作,授予用户指定对象的指定权限。
说明更多用户管理、授权操作,详情请参见用户规划与管理、MaxCompute权限。
同时,升级后的Logview将默认不再展示作业运行结果。
在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年11月13日-MaxCompute作业智能诊断功能发布
尊敬的MaxCompute用户:
MaxCompute作业智能诊断功能将于北京时间2024年11月13日(周三)起在各个地域陆续发布。该功能会基于作业的详细执行信息,对SQL作业进行智能诊断:
针对运行失败的作业:根据错误信息匹配报错原因类别,并提供相应的错误描述及解决方案。
针对运行“慢”作业:根据作业运行过程中的资源消耗情况和执行详情,诊断作业存在的异常项(如资源不足、数据倾斜、数据膨胀、模式回退),同时提供造成此异常的原因及解决方案。
该功能将协助您及时发现作业报错或作业运行时长不符合预期等问题,并进行自主分析与解决。更多功能介绍和使用说明,请参见作业智能诊断。
使用过程中,您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年10月30日-MaxCompute数据传输服务升级和跨Region流量治理说明
MaxCompute将于北京时间2024年11月18日(周一)起,对数据传输服务进行陆续升级并实施跨Region流量治理,详情如下:
数据通道读写性能和流量控制
流式数据通道(Streaming Tunnel)的单并发(Slot)写入限速阈值从1 MB/s提升到10 MB/s,单Slot写入请求数限制从每秒10个提升到每秒100个。批量数据通道(Batch Tunnel)的单并发(Slot)写入限速阈值控制到10 MB/s。
流式数据通道的并发(Slot)占用数计算方式优化,由创建StreamUploadSession时指定Slot数变更为一个RecordPack写入时占用一个Slot,写入完成即释放,与批量数据通道的计算方式一致。详情请参考数据传输服务概述。
跨Region流量治理
禁止通过非MaxCompute项目所在地域(Region)的Endpoint连接该项目,需配置您项目所在地域的Endpoint或Tunnel Endpoint。Endpoint地址详情,请参见Endpoint。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年10月28日-MaxCompute动态分区转静态分区优化对UPDATE/DELETE/MERGE INTO行为变更的影响说明
尊敬的MaxCompute用户:
MaxCompute已于北京时间2024年10月24日(周四)起,默认对所有DML操作开启动态分区转静态分区优化功能,以提升查询性能。该优化对于UPDATE/DELETE/MERGE INTO操作有行为变更影响,即当您对不存在的分区执行UPDATE/DELETE/MERGE INTO操作时,会出现类似如下报错信息:
ODPS-0110061: Failed to run ddltask - Operation DELETE expect target partition exist, but object not found.
ODPS-0422141: Partition not found - Partition 'projectName.tableName(pt=xxx)' does not exist.
若遇到该情况,您可在Session级别设置SET odps.optimizer.cbo.rule.filter.black=re;
参数关闭该优化,之后即可正常执行UPDATE/DELETE/MERGE INTO操作。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年10月22日-MaxCompute Go SDK正式发布
尊敬的MaxCompute用户:
MaxCompute已于北京时间2024年10月22日(周二)正式发布Go SDK。Go SDK是MaxCompute提供的一套Go编程语言接口,您可以通过该接口使用Go代码来操作和管理MaxCompute服务,例如访问和管理项目、操作数据表和数据传输等。更多信息请参见Go SDK概述。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年10月15日-MaxCompute阿里云经典网络连接方式下线以及Endpoint地址更新
尊敬的MaxCompute用户:
MaxCompute阿里云经典网络连接方式将于北京时间2024年11月30日(周六)下线,由阿里云产品互联网络连接方式替代,请您及时确认并切换为阿里云VPC网络连接方式或阿里云产品互联网络连接方式,避免因网络连接中断对您的业务造成影响。同时,金融云、政务云以及其他国际地域的阿里云VPC网络连接方式或阿里云产品互联网络连接方式的Endpoint地址存在更新,请及时关注并更新相关配置。Endpoint详情,请参见Endpoint。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年10月14日-MaxCompute同地域下支持购买多份包年包月计算资源
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年10月14日(周一)起,陆续支持同账号在同地域下购买多份包年包月计算资源,即同一个云账号在同地域下支持购买多个一级Quota,且多个一级Quota之间资源相互独立。
此功能开放后,可以优化以下业务情形:
同一个账号内,不同业务包年包月计算资源需要强隔离。
同一个账号内,不同业务账务需要拆分。原来使用MaxCompute的包年包月计算资源,无法通过二级Quota分账,开放该功能后可通过购买多个一级Quota直接按订单分账。
关于MaxCompute Quota更多信息,请参见计算资源-Quota管理。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年09月27日-MaxCompute存储成本优化功能发布
尊敬的MaxCompute用户:
MaxCompute存储成本优化功能将于北京时间2024年09月27日(周五)起在中国公共云地域陆续发布,该功能依据固定优化策略(近30天无访问的标准存储推荐转为低频存储;近180天无访问的标准存储推荐转为长期存储),结合表/分区的最近访问时间,判断是否可以您的表/分区的分层存储属性由标准变更为低频或长期,并推算可能节省的存储成本(目录价),辅助您进行分层存储策略配置。
更多功能介绍和使用说明,请参见分层存储配置优化。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年09月26日-MaxCompute分布式计算框架MaxFrame服务正式商业化
尊敬的MaxCompute用户:
MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口,并直接使用MaxCompute的计算资源和数据接口,MaxFrame不仅兼容Pandas、Xgboost接口,还自动实现分布式处理,使得Python开发者可以更加高效、便捷地在MaxCompute上完成大规模数据处理及ML/AI数据预处理等工作。关于MaxFrame详情请参见:
MaxFrame功能介绍:分布式计算框架 MaxCompute MaxFrame。
MaxFrame使用文档:MaxFrame。
MaxCompute MaxFrame将逐步替换PyODPS DataFrame及Mars接口,同时在算子兼容性和分布式性能方面有明显提升,推荐新用户和新作业可直接基于MaxFrame进行Python开发,使用PyODPS DataFrame和Mars的历史作业建议逐步迁移至MaxFrame执行以获取更好的开发体验和服务支持。
MaxCompute分布式计算框架MaxFrame服务于北京时间2024年09月27日(周五)在华北2(北京)、华东1(杭州)、华东2(上海)、华南1(深圳)、西南1(成都)、华北6(乌兰察布)和中国(香港)地域正式对外商业化。商业化后MaxFrame按照作业计算资源使用量进行计费,支持按量付费和包年包月的付费方式。关于计费详情,请参见计算费用(包年包月)和MaxFrame作业按量付费。
您有任何相关问题或需要协助,可以通过填写钉钉群申请表单加入MaxCompute开发者社区群(钉钉群号:11782920)、您的专属钉群或者MaxFrame官方用户支持群(钉钉群号:37130012987)等方式联系我们。
感谢您的配合!
2024年09月20日-MaxCompute控制台功能增加RAM权限管控
尊敬的MaxCompute用户:
为确保安全性,MaxCompute将于2024年10月08日(周二)对控制台部分功能增加RAM权限管控,阿里云账号(主账号)默认拥有控制台所有功能的访问或操作权限,RAM用户需要添加对应功能的权限点方可访问,本次增加权限管控的功能及对应的RAM权限点如下:
模块 | 功能 | 权限点Action |
工作区>Notebook |
| |
租户管理>外部数据源 |
| |
数据传输>迁移服务(MMA) |
|
具体的权限点说明请参见RAM权限。
为了避免到期控制台功能无法使用,请务必于2024年10月08日(周二)前对需要访问相关功能模块的RAM用户添加对应RAM权限。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年09月19日-MaxCompute开放云栖新功能邀测
尊敬的MaxCompute用户:
2024年云栖大会,MaxCompute多项重磅产品新功能邀测发布,新特性包括支持OpenLake的湖仓一体2.0、Object Table支持SQL或MaxFrame处理非结构化数据、Delta Table增量表格式、基于增量物化视图的增量计算、MCQA2.0 SQL引擎查询加速等。其相关特性将在中国区公共云的华东1(杭州)、华东2(上海)、华北2(北京)及华南1(深圳)地域上线并开放试用,如您有兴趣深入了解,请在新功能邀测申请表单中填写注册信息。
注册完成后,您可通过以下两种方式开始体验新功能:
在MaxCompute控制台新建项目时,选择项目类型为云栖新功能邀测项目。
在DataWorks数据开发(Data Studio)(新版)公测版本中绑定MaxCompute计算资源时,新增内部项目时选择项目类型为云栖新功能邀测项目。
邀测功能仅在标注为云栖邀测版的新建项目中提供试用,由于功能还在迭代完善中,邀测期间无法保证邀测版项目和功能达到支持生产的能力,因此请您避免基于云栖邀测版项目和功能执行重要数据和业务。
邀测结束后,云栖新功能邀测项目将自动转为普通生产项目,项目中的数据和配置信息不会丢失。MaxCompute会根据邀测结果,完善和迭代邀测功能,但不保证所有邀测功能自动合入普通项目。
2024年09月05日-MaxCompute控制台配额(Quota)管理交互界面优化
尊敬的MaxCompute用户:
MaxCompute将于2024年09月11日(周三)所有地域陆续发布控制台Quota管理的包年包月计算Quota配置交互界面优化版本。该版本主要针对“无需使用分时伸缩”和“需要使用分时伸缩”两个使用场景进行优化,若您无需使用Quota的分时伸缩功能,可通过新界面的基础配置页签完成包年包月计算Quota的管理配置;若您需要使用分时伸缩能力,则可在完成基础配置后,再进入伸缩配置页签进行相关设置。
届时您通过MaxCompute控制台的配额(Quota)管理页面进行包年包月计算Quota配置时,会有如下变化:
原Quota模版更名为基础配置,能力如下:
通过编辑基础配置,可新增二级Quota,并可对二级Quota中的基础参数(包括是否独占、单作业CU上限、开启优先级、非预留CU、调度策略)进行编辑。同时还可以编辑预留CU量[minCU,maxCU]和弹性预留CU,但只作用于当前生效的Quota资源配置方案(原Quota计划),若您使用了分时伸缩能力,建议前往伸缩配置页签对预留CU量[minCU,maxCU]和弹性预留CU进行设置。
在基础配置页签的Quota列表中,可以删除二级Quota,与原Quota模板中的删除逻辑一致。
原Quota计划和时间计划合入伸缩配置,并只保留预留CU量[minCU,maxCU]和弹性预留CU的配置管理。能力如下:
新增配置方案:即原来的添加计划,仅支持Quota的预留CU量[minCU,maxCU]和弹性预留CU参数的配置。
资源配置方案列表:原Quota计划列表,新增支持展开每个方案的详情以便更好地查看对比各方案的配置内容。
分时管理:即原来的时间计划,能力保持不变。
分时伸缩预览:新增功能,支持选择某个二级Quota以查看各个时段的CU分配趋势图。
伸缩配置全局视图:新增功能,支持全局视图以表格方式展示所有配置方案明细,可方便查看所有Quota的Min/Max CU量和弹性预留CU在各个分时时段的设置。
详细使用方式后续可直接查看计算资源-Quota管理,使用过程中您有任何相关问题或需要协助,可以通过您的专属钉群、MaxFrame官方用户支持群(钉钉群号:37130012987)或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年08月29日-MaxCompute控制台功能增加RAM权限管控
尊敬的MaxCompute用户:
为确保安全性,MaxCompute将于2024年09月10日(周二)对控制台部分功能增加RAM权限管控,阿里云账号(主账号)默认拥有控制台所有功能的访问或操作权限,RAM用户需要添加对应功能的权限点方可访问,本次增加权限管控的功能及对应的RAM权限点如下:
模块 | 功能 | 权限点Action |
工作区>项目管理 | odps:ListOutboundInternetAddress | |
工作区>项目管理 | odps:UpdateUsersToRole | |
工作区>配额(Quota)管理 |
| |
工作区>资源观测 |
| |
odps:ListTopJobInfo | ||
| ||
工作区>作业运维 | odps:ListJobSnapshotInfos | |
工作区>物化视图 |
| |
租户管理>网络连接 |
| |
租户管理>镜像管理 |
|
具体的权限点说明请参见RAM权限。
为了避免到期控制台功能无法使用,请务必于2024年09月10日(周二)前对需要访问相关功能模块的RAM用户添加对应RAM权限,例如您希望某RAM用户有Quota对象管理权限策略,则需要配置如下RAM权限策略:
{
"Version": "1",
"Statement": [
{
"Effect": "Allow",
"Action": [
"odps:UpdateQuota",
"odps:UpdateQuotaPlan",
"odps:UpdateSubQuotas",
"odps:UpdateQuotaSchedule",
"odps:CreateQuotaPlan",
"odps:DeleteQuotaPlan",
"odps:CreateQuotaSchedule",
"odps:ListQuotaRoutingRules",
"odps:CreateQuotaRoutingRule",
"odps:GetQuotaRoutingRule",
"odps:RemoveQuotaRoutingRule",
"odps:UpdateQuotaRoutingRule"
],
"Resource": "*"
}
]
}
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年08月19日-MaxCompute资源观测功能升级
尊敬的MaxCompute用户:
MaxCompute资源观测新增存储资源和作业性能观测部分指标。
存储资源
方便您查看存储资源水位变化及存储分布详情。您可以查看所选地域下总存储用量以及各种存储类型占比情况,并根据项目和需要观测的时间区间去观测各类存储的变化趋势,以及详细的表或分区存储信息。以此判断是否存在存储异常激增的情况,及时对存储用量Top的项目或表/分区进行优化。
作业性能观测新增指标
提供在所选过滤范围内消耗CPU时/内存时最多的前10个作业,共计/平均消耗CPU时/内存时最多的前10个Signature、ExtNodeId;
提供在所选过滤范围内总运行时长最长的前10个作业,共计/平均总运行时长最长的前10个Signature、ExtNodeld;
支持查看一段时间内的作业扫描量趋势;
支持查看一段时间内的单位CU时处理的作业扫描量趋势。
您可以通过上述指标快速定位资源用量较多、耗时较长的作业,并及时治理。通过对比单位CU时处理的作业扫描量,判断是否存在性能异常时段,结合作业运维功能定位引发原因,并及时治理。
更多功能介绍和使用说明,请参见资源观测。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年07月31日-PyTorch算法服务下线
尊敬的MaxCompute用户:
因整体系统升级,人工智能平台PAI将于2024年08月30日正式下线所有集群中的老版本PyTorch算法组件,若您有通过PAI命令pai -name pytorch100/pytorch131/pytorch151
提交至MaxCompute的PyTorch作业,请注意及时迁移,建议使用PAI-DLC提交PyTorch任务,详情请参见创建训练任务。自2024年08月31日起,老版本PyTorch算法组件的存量任务将不受SLA保障。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年07月18日-部分OpenAPI下线
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年07月31日(周三)对MaxCompute中的部分OpenAPI进行下线操作。具体如下:
下线OpenAPI清单及功能替代OpenAPI
下线OpenAPI版本及名称
功能替代OpenAPI版本:名称
版本
OpenAPI名称
2019-06-12
CreateProject
2022-01-04:CreateProject
DeleteProject
暂不提供
GetProject
2022-01-04:GetProject
OpenMaxComputeService
暂不提供
2022-01-04
2022-01-04:QueryQuota
下线原因
MaxCompute 2019-06-12版本提供的OpenAPI,由于已经更换功能提供方式,且经系统长期检测未发现外部客户调用,该版本OpenAPI将不再提供服务。
为了提供更加完整的Quota相关信息,MaxCompute将会对MaxCompute 2022-01-04版本中的GetQuota接口返回内容进行改造,且经系统长期检测未发现外部客户调用,此OpenAPI将不再提供服务。
下线影响
下线后,代码中涉及到的OpenAPI调用将全部返回
InvalidApi.NotFound
或InvalidAction.NotFound
错误码。替代方案或执行建议
如有代码中依赖这部分OpenAPI SDK(特定Request、Response或相关代码),在后续升级SDK版本过程中可能会发生依赖无法找到的情况,请进行方法替换或删除相关功能。如果在代码中直接依赖此部分OpenAPI,也请进行替换或删除相关功能。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年07月04日-作业运维提供作业开始运行时间、等待时长及运行时长参数
尊敬的MaxCompute用户:
MaxCompute在作业运维列表、作业分析概览页提供作业开始运行时间、等待时长及运行时长参数,参数说明如下:
开始运行时间:作业拿到第一份计算资源的时间。对于运行时间过短或不消耗计算资源(如DDL语句)的作业,以作业提交时间替代。
等待时长:作业从提交时间到开始运行时间的时长。
运行时长:作业从开始运行时间到结束运行时间的时长。
以上参数在作业运维列表默认隐藏,您可单击自定义列表选项设置显示。 通过以上参数,您可以快速定位作业是否因等待资源耗时过长而导致整体运行较慢,进而结合作业分析判断具体由于资源供给不足或是存在多作业抢占资源导致,后续您可以依据具体业务情况优化作业执行情况、进行作业优先级调整或计算资源管理。
更多功能介绍和使用说明,请参见作业运维。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年07月03日-云监控部分指标类型下线
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年08月01日(周四)开始对现有接入云监控的部分指标类型进行下线操作,您可重新配置等价的告警。具体如下:
下线内容
指标类型
对应ProductCategory
措施
(废弃)MaxCompute-按量付费
maxcompute_post
所有对应的指标可前往MaxCompute-通用类型中的cost分类下重新配置。
(废弃)MaxCompute-包年包月用户资源
maxcomute_prepay_user
所有对应的指标可前往MaxCompute-包年包月计算Quota类型中配置。
(废弃)MaxCompute-包年包月quota组资源
maxcomute_prepay_quota
所有对应的指标可前往MaxCompute-包年包月计算Quota类型中配置。
下线影响
非常抱歉,由于系统设计原因,迁移后您配置的原“MaxCompute-按量付费”、“MaxCompute-包年包月用户资源”和“MaxCompute-包年包月quota组资源”的告警规则可能会无法使用,请您重新配置等价的告警。
我们将在变更后及时通知您,请您留意相关通知消息。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年07月03日-MaxFrame功能发布
尊敬的MaxCompute用户:
分布式计算框架MaxFrame功能已于北京时间2024年07月03日(周三)在华东2(上海)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)和西南1(成都)地域正式发布,其他地域也将陆续发布。
MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口,并能直接利用MaxCompute的计算资源和数据接口,使得Python开发者可以更加高效、便捷地进行大规模数据处理和AI模型开发。MaxFrame不仅完全兼容Pandas接口,且自动实现分布式处理,您能够以更熟悉、高效的方式利用MaxCompute海量计算资源及数据完成数据处理、可视化探索、科学计算及ML/AI开发工作。
MaxFrame功能介绍和使用说明请参见MaxFrame概述。
您有任何相关问题或需要协助,可以通过您的专属钉群、MaxFrame官方用户支持群(钉钉群号:37130012987)或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年07月01日-计算成本优化功能在中国香港、新加坡等4个地域发布
尊敬的MaxCompute用户:
MaxCompute计算成本优化功能在中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)地域发布。 该功能可基于您的实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,也支持查看当前使用按量付费计算资源的项目调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。 此次发布后,共有以下十个地域提供该功能: 华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)、中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)。
更多功能介绍和使用说明,请参见计算资源配置优化。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年05月17日-MaxCompute Logview安全升级
尊敬的MaxCompute用户:
MaxCompute计划于北京时间2024年06月03日(周一)14:00起逐步对西南1(成都)、华北3(张家口)、华南1(深圳)、华北2(北京)、华东2(上海)、华东1(杭州)、华北6(乌兰察布)地域的Logview进行全面安全升级。安全升级后,使用公共调度资源组的DataWorks数据开发、数据分析提交的作业生成的Logview链接将跳转至MaxCompute管理控制台,并且需要用户同时满足以下条件,方可访问作业归属项目的Logview:
具备阿里云账号:用户需持有有效的阿里云账号,并已完成实名认证。
用户为作业归属MaxCompute项目的成员(可由项目管理员将其添加至项目中)。
因此,您需要特别注意,当DataWorks工作空间配置的MaxCompute引擎访问身份与用户身份不一致时,可能会由于用户本身未加入作业所归属的MaxCompute项目而导致无法访问自身提交的作业Logview。例如:DataWorks工作空间为标准模式,用户在开发环境提交作业至生产环境,若用户本身未加入生产环境的MaxCompute项目,则无法访问自己提交但归属于生产环境项目的作业Logview。
为避免上述情形,请您确保以下两点:
所有需要访问Logview的团队成员均已注册阿里云账号并完成实名认证。
及时将团队成员添加为相应的MaxCompute项目成员,并通过授权操作,授予用户指定对象的指定权限。
说明更多用户管理、授权操作,详情请参见用户规划与管理、MaxCompute权限。
在升级过程中或升级后,遇到任何Logview访问、权限配置等问题或需要技术支持协助,欢迎您通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。 感谢您的配合!
2024年05月13日-MaxCompute ETCD证书升级
尊敬的MaxCompute用户:
MaxCompute计划在北京时间2024年05月20日(周一)10:00~16:00升级新加坡地域集群的ETCD证书进行升级,预计升级过程不会影响您的作业运行,但在极小概率下,若影响了作业并导致执行失败,请尝试重新执行。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年05月08日-MaxCompute作业性能观测功能发布
尊敬的MaxCompute用户:
MaxCompute作业性能观测功能将于北京时间2024年05月08日(周三)20:00发布,功能包括支持查看一段时间内的作业数、CU用量以及作业运行时长的变化趋势。
上述指标均支持按时间范围、项目、Quota进行过滤,按作业类型、运行状态、项目、Quota进行分组统计。
您可以通过指标确认是否存在作业数量或资源用量异常激增等问题,并及时进行治理。通过对比不同时间的作业运行时长,判断是否存在异常慢作业拉低了整体作业性能。
更多功能介绍和使用说明,请参见作业性能观测。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年04月30日-MaxCompute存储服务升级
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年05月08日(周三)10:00~13:00对华东2金融云(上海)地域进行存储升级,以及北京时间2024年05月15日(周三)10:00~16:00对中国香港地域的集群进行存储升级(低风险变更)。预计升级过程不会影响您的作业运行,但在极小概率下,若影响了作业并导致执行失败,请尝试重新执行。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年04月23日-海外地域MaxCompute项目生命周期变更
尊敬的MaxCompute用户:
从北京时间2024年04月25日(周四)起,在中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、阿联酉(迪拜)或沙特(利雅得)地域新开通按量付费标准服务,对应地域所有项目的生命周期都将与按量付费标准服务的生命周期保持一致,所有项目的存储、下载等按量付费账单归属的产品明细为大数据计算服务MaxCompute(按量付费),同时对应的用量明细选择的计量规格变为大数据计算服务MaxCompute(按量付费)。对应地域若购买了包年包月资源,仅预付款资源的生命周期与包年包月实例的生命周期保持一致。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年04月11日-MaxCompute存储服务升级
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年04月18日(周四)15:00~18:00对西南1(成都)地域进行存储升级,以及北京时间2024年04月24日(周三)15:00~18:00对华南1(深圳)地域进行存储升级。预计升级过程不会影响您的作业运行,但在极小概率下,若影响了作业并导致执行失败,请尝试重新执行。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年04月07日-MaxCompute包年包月产品新折扣生效
尊敬的MaxCompute用户:
MaxCompute包年包月商品的预付款资源新折扣于2024年4月7日10点(UTC+8)生效,包括标准计算资源、数据传输服务等包年包月资源规格。新折扣如下:
一次交易购买时长为1年可享8.5折优惠;2年可享7折优惠;3年可享5折优惠;4年可享4折优惠;5年可享3.5折优惠。
2024年03月26日-分布式计算框架MaxFrame功能开放试用
尊敬的MaxCompute用户:
分布式计算框架MaxFrame功能将于北京时间2024年03月28日(周四)在华东2(上海)、华南1(深圳)、西南1(成都)地域开始开放试用,其他地域也将陆续开放,如需申请试用,请填写MaxFrame免费试用申请表。
MaxFrame是由阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口且自动进行分布式计算,同时可直接使用MaxCompute计算资源及数据接口,与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析及科学计算、ML/AL开发等工作。
MaxFrame功能介绍和使用说明请参见MaxFrame概述。
您有任何相关问题或需要协助,可以通过您的专属钉群、MaxFrame官方用户支持群(钉钉群号:37130012987)或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年03月20日-MaxCompute发布ECS资源复用版
尊敬的MaxCompute用户:
MaxCompute-ECS资源复用版将于北京时间2024年03月21日(周四)在华东2(上海)地域正式发布。
MaxCompute-ECS资源复用版是一种按量付费计算资源规格类型,开通后意味着您可以通过资源共享将ECS立即生效容量预定(CR)共享至MaxCompute,共享后,MaxCompute将在共享时段内有权通过服务账号购买您预定单内未被购买的ECS实例,并部署MaxCompute服务,将ECS资源转换为您可直接使用的MaxCompute计算资源,实现在ECS资源闲置的情况下,降低使用云服务的总体资源成本。
更多计费与使用说明请参见ECS资源复用版。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年03月18日-云监控指标类型调整
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年3月19日(周二)开始对现有接入云监控的部分Tunnel相关指标和消费相关指标进行调整:
新增
MaxCompute-共享数据传输服务
指标类型,将原MaxCompute-通用
类型下的Tunnel相关指标迁移到此新增类型下。将原
MaxCompute-按量付费
指标类型下的所有指标(主要为消费监控相关指标)都迁移至MaxCompute-通用
类型下,同时下线MaxCompute-按量付费
指标类型。
迁移后,不影响原来的配置规则和历史指标数据展示,也不影响新的告警触发,仅会查询不到历史的告警记录。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年03月14日-MaxCompute支持将操作审计事件迁移入仓
尊敬的MaxCompute用户:
MaxCompute支持通过操作审计创建跟踪,将操作事件迁移入仓。
当您需要分析更长时间(超过最近90天)的操作事件时,可以通过操作审计创建跟踪,将操作事件投递至MaxCompute,方便进行查询和分析。
更多功能介绍和使用说明,请参见操作审计事件数据迁移至MaxCompute。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年02月29日-DataWorks独享资源组PyODPS节点升级
尊敬的MaxCompute用户:
DataWorks将于北京时间2024年04月08日(周一)至2024年05月30日(周四)期间,逐步升级各个地域的独享资源组,以增强PyODPS支持。本次升级的主要内容及各地域具体升级日期请见下表,升级后,节点的PyODPS包版本将保持不变。
升级内容 | 地域 | 升级日期 |
| 西南1(成都)、华北3(张家口) | 2024年04月08日~2024年04月11日 |
华南1(深圳) | 2024年04月15日~2024年04月18日 | |
华北2(北京) | 2024年04月22日~2024年04月25日 | |
华东2(上海) | 2024年05月06日~2024年05月09日 | |
华东1(杭州) | 2024年05月13日~2024年05月16日 | |
中国香港、海外地域 | 2024年05月20日~2024年05月23日 | |
华东1(金融云)、华东2(金融云) | 2024年05月27日~2024年05月30日 |
在服务升级期间可能会影响当前正在运行的PyODPS作业,若您遇到独享资源组PyODPS作业失败问题,或其他任何相关问题需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年02月29日-MaxCompute SQL反向访问VPC方案下线
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年03月31日下线SQL反向访问VPC方案,需要您配合将原有MaxCompute SQL反向访问VPC的设置升级为专线直连(Network_Link)方案。SQL反向访问VPC方案因技术迭代即将退市,新的专线直连(Network_Link)方案技术更稳定,性能更优越,使用成本更低。如果您正在使用SQL反向访问VPC方案,阿里云的技术支持人员会在3月份主动联系您,并提供升级方案。若您未收到联系,则无需关注。MaxCompute反向访问VPC的设置升级为专线直连(Network_Link)方案操作如下:
开通对
odps.vpc.id
对应的VPC网络连接。具体操作,请参见访问VPC方案(专线直连)。升级设置。
MaxCompute在使用SQL UDF和外部表场景下,提供了SQL反向访问VPC的设置方法,支持UDF和外部表访问VPC中的服务,这里分别介绍两种场景的设置升级方法。
UDF场景
在执行包含UDF的SQL任务时,若您是通过以下参数指定UDF访问的VPC以及对应的IP地址和端口信息。
set odps.vpc.id=vpc_name; set odps.vpc.access.ips=ip:port; --示例 set odps.vpc.id=vpc-bp1e4p7fey****; set odps.vpc.access.ips=ip:port;
那么您需要在运行含有UDF的SQL任务前,将上述的两个参数替换为如下新参数即可,详情请参见通过UDF访问VPC网络资源。
set odps.session.networklink=your_networklink_name
外部表场景
若您在建表DDL语句中加入VPC开关、访问的VPC、对应的IP和端口以及地域参数,指定外部表映射的VPC中的数据源。
//RDS外表例子 CREATE EXTERNAL TABLE mc_vpc_rds_external ( id int, name string ) STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' WITH SERDEPROPERTIES ( 'odps.external.net.vpc'='true', 'odps.vpc.id'='vpc-bp1e4p7fey****', 'odps.vpc.access.ips'='rm-uf6i43****.mysql.rds.aliyuncs.com:3306', 'odps.vpc.region'='cn-shanghai' ) location 'jdbc:mysql://rm-uf6i43****.mysql.rds.aliyuncs.com:3306/dataccc?useSSL=false&user=user_name&password=password_value&table=data_modify' TBLPROPERTIES( 'mcfed.mapreduce.jdbc.input.query'='select * from cxzccc.data_modify' );
您仍然可以用以上方式创建外部表,且存量表不变。同时您也可以使用
network_link
参数创建外部表,详情请参见RDS外部表、HBase外部表(HBase标准版或增强版)。//RDS外表例子 CREATE EXTERNAL TABLE mc_vpc_rds_external ( id int, name string ) STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' location 'jdbc:mysql://rm-uf6i43****.mysql.rds.aliyuncs.com:3306/dataccc?useSSL=false&user=user_name&password=password_value&table=data_modify' TBLPROPERTIES( 'mcfed.mapreduce.jdbc.input.query'='select * from cxzccc.data_modify', 'networklink'='your_networklink_name' );
说明Spark on MaxCompute访问VPC不受影响,您不需要创建网络连接(network_link)或修改Spark的代码或配置。详情请参见Spark访问VPC实例。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年02月28日-MaxCompute单机宕机演练
尊敬的MaxCompute用户:
MaxCompute将于北京时间2024年02月28日(周三)15:00~16:00,在中国华北3(张家口)、西南1(成都)地域进行接入服务可靠性演练,预计不会对用户作业运行产生影响。在极小概率下,若影响了用户的作业并导致执行失败,请重新尝试执行作业。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年02月23日-MaxCompute跨地域灾备功能邀测
尊敬的MaxCompute用户:
MaxCompute跨地域(Region)灾备功能将于北京时间2024年02月23日(周五)起在华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)、西南1(成都)地域发布并开始邀测。
跨地域灾备提供项目级别数据及元数据远程备份能力,同时保证备份地理距离大于一百公里。备份以项目(Project)为粒度,可以设置备份的目标地域,观测备份进度情况。当地域级别故障发生时,可以进行地域切换,在备份集群地域基于已备份数据恢复生产。功能详细说明及使用请参见跨地域灾备。
目前跨地域灾备处于邀测阶段,如您需要使用此功能,请单击申请开通,在新功能试用申请页面申请开通使用跨地域灾备功能。邀测期间,对开通跨地域灾备功能的MaxCompute项目,备份集群的存储和跨地域流量都暂不收费,后续正式商业化收费前会提前至少一个月通过文档公告通知。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!
2024年01月25日-MaxCompute计算成本优化功能发布
尊敬的MaxCompute用户:
MaxCompute计算资源优化功能于北京时间2024年01月25日(周四)升级为计算成本优化功能。
计算成本优化功能在原计算资源优化功能(对包年包月一级Quota类型的计算资源生成更优的资源配置方案)的基础上增加支持查看使用按量付费计算资源调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。更多功能介绍和使用说明请参见计算资源配置优化。
您有任何相关问题或需要协助,可以通过您的专属钉群或MaxCompute开发者社区群(钉钉群号:11782920)联系我们。
感谢您的配合!