版本发布说明

更新时间:
复制为 MD 格式

MaxFrame版本发布说明。

202604

202604MaxFrame新增功能如下:

重要

重大版本更新,请及时升级客户端 MaxFrame SDK 至 2.6.0 及以上版本。

  • 支持全部地域。

  • 发布时间:北京时间2026428日。

DataFrameGroupBy.mf.apply_chunk 行为变更

功能描述

MaxFrame SDK 自 2.6 版本起,变更DataFrameGroupBy.mf.apply_chunk方法的行为,主要涉及 Index 参数简化及 DPE 与 MaxCompute SQL 引擎间的行为统一。新行为通过prepend_index_group_keys参数控制,当前默认为False以保持兼容,未来版本将切换为True

  • MaxFrame SDK 2.6之前版本

    MaxFrame DataFrameGroupBy.mf.apply_chunk需要在index参数中指定输出DataFrame的完整Index形态,例如

    def process(df):
        df = df.copy()
        df["total"] += 1
        return df
    
    # 2.5及之前的版本需要指定返回的所有字段,其中yeargroupby中指定的group keys
    expect_index = pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])
    
    md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
        process,
        batch_rows=10,
        dtypes=result_dtypes,
        index=expect_index,
        output_type="dataframe",
        skip_infer=True
    )

    与此同时,由于实现的问题,MaxFrame DPE引擎中用户函数接受的列会包含group keys,而MaxCompute SQL引擎中用户函数接受的列不包含group keys。

  • MaxFrame SDK 2.6及之后版本

    上面的例子将被改写为

    def process(df):
        df = df.copy()
        df["total"] += 1
        return df
        
    md_result_df = md_df.groupby(["year"]).mf.apply_chunk(
        process,
        batch_rows=10,
        dtypes=result_dtypes,
        skip_infer=True,
        prepend_index_group_keys=True,
    )

    其中,prepend_index_group_keys参数填写为True表示采用新行为。在此行为中,DPEMaxCompute SQL引擎中函数接受的输入DataFrame都将默认不包括group keys。与此同时,apply_chunk传入的index参数仅表示用户函数输出的index类型而不是apply_chunk方法输出对象的Index,与最终Index的关系取决于groupby函数的参数,具体如下:

    参数

    group_keys=True(默认)

    group_keys=False

    as_index=True(默认)

    在用户Index前追加输入的分组列作为Index

    不追加任何列为Index

    as_index=False

    在用户Index前追加Group ID作为Index(仅限DPE)

迁移方法:

groupby.mf.apply_chunk调用增加prepend_index_group_keys=True参数,并执行下列更改:

  1. 如果有index参数输入,从中删除group keys。例如,从pd.MultiIndex.from_tuples([(0, 0)], names=["year", None])改为pd.Index([0])。如果自定义函数中未更改Index类型,可以删除index参数的定义;

  2. 如果在MaxFrame DPE引擎中使用groupby.mf.apply_chunk,需要检查自定义函数。如果函数中包含对分组列的引用,或者输出中未滤出分组列,要手动在groupby后加入对分组列的引用,以避免该列从自定义函数输入中被排除。例如,将df.groupby("col").mf.apply_chunk(func)更改为df.groupby("col")[list(df.dtypes.index)].mf.apply_chunk(func)

MaxFrame Coding Skill

功能描述

MaxFrame Coding Skill 正式发布,全面赋能 AI Agent 实现智能化 MaxFrame 作业开发。该技能套件支持 MaxFrame 会话管理、算子推荐、代码生成与交互式调试等核心能力,帮助开发者在 MaxFrame 上高效构建大规模数据处理流程。

通过 AI Agent 可自动完成从数据读取、数据处理到结果写入的端到端作业编排,结合 MaxFrame 延迟执行与资源清理机制,确保作业稳定与性能优化。通过自然语言描述需求即可生成可运行代码,显著降低分布式数据处理门槛,真正实现 Data + AI 无缝融合的一站式开发体验。

详情参见:MaxFrame Coding Skill

MaxFrame AI Function 功能增强

功能描述

  • 新增支持阿里云百炼商业化大模型(qwen3-max、text-embedding-v4)。

  • 提供按 Token 计费模式(按量付费),进一步降低大模型离线推理的使用门槛与成本。

无需关心模型部署与运维,只需通过简单的 AI Function 接口即可调用百炼平台丰富的模型资源,实现海量数据批量推理,同时结合 MaxFrame 海量数据分布式处理能力,完成 Data+AI 一站式开发。

详情参见:MaxFrame AI Function

MaxFrame 新增多模态数据处理算子模块

功能描述

为满足日益增长的多模态数据处理需求,MaxFrame 新增多模态数据处理算子模块。本次新增内置图片处理相关算子,支持海量图像数据的分布式处理。

  • 提供image.decode解码算子;

  • 提供image.widthimage.heightimage.sizeimage.modeimage.format等属性提取算子;

  • 支持一站式完成图像解码、属性获取、尺寸过滤、缩放裁剪及格式转换等操作。

无需搭建独立的图像处理服务,即可在 MaxFrame DataFrame 中高效完成图像数据的清洗与预处理工作。

MaxFrame 新增本地化调试功能

功能描述

MaxFrame 新增本地调试模式(Local Debug Mode)。在传统 MaxFrame UDF 开发流程中,调试apply()apply_chunk()等函数时,需要将代码提交到远程集群环境执行,且每次修改后需重新提交远程运行。

本地调试模式具备以下优势:

  • 开启本地调试模式后,MaxFrame UDF 函数支持在本地 Python 环境中直接执行。

  • 支持 IDE 断点调试,完全离线可用。

  • 同一份代码可在本地调试和集群生产环境运行之间无缝切换。

详情参见:MaxFrame 本地调试模式(Local Debug)

MaxFrame DPE 引擎自定义镜像支持

功能描述

MaxFrame 现已支持在 DPE(分布式 Python 计算引擎)中使用用户自定义镜像,满足特定依赖与运行环境需求。

用户可通过配置项指定镜像名称,例如:{"odps.session.image": "maxframe_image_v1"},即可在 MaxFrame 分布式计算环境中加载用户预装特定依赖的运行环境。该功能适用于需要使用用户自定义镜像环境,同时无需在每次任务执行时重复安装依赖,显著提升任务开发效率及使用灵活度。

详情参见:自定义镜像

OSS挂载功能变更

功能描述

MaxFrame 增强 OSS 数据挂载功能,现支持多 OSS Bucket 挂载与路径前缀配置。通过使用@with_fs_mount装饰器可以同时挂载多个 OSS Bucket 或同一 Bucket 的不同路径前缀,灵活适配复杂的数据组织结构。此外,新增cache_memory_limit参数,支持配置挂载点的内存缓存上限,有效控制资源占用,提升大规模文件读取场景下的性能与稳定性。

详情参见:OSS挂载功能(邀测)

网络与安全增强

功能描述

MaxFrame DPE 引擎新增对网络访问白名单配置,用于控制 MaxFrame UDF 执行时的网络访问权限。

相关配置说明:

  • substep.public_network_whitelist:公网访问白名单,允许访问外部公网服务(如 API、模型服务)。

  • substep.internal_network_whitelist:内网访问白名单,允许访问阿里云内网服务(如 OSS 内网 Endpoint)。

详情参见:MaxFrame Flag配置指南

202511

202511MaxFrame新增功能如下:

GU计算资源购买及使用

支持地域

华东1(杭州)、华东2(上海)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)

发布时间

北京时间20251230日。

功能描述

  • MaxCompute 新增 AI 计算资源(GPU Units,简称GU)计算规格,支持购买独立 GU 计算资源 Quota 组,可按具体规格需求进行购买、使用。官网公告:MaxCompute AI计算资源正式商业化

  • MaxFrame新增maxframe.udf.with_running_options接口,增加对GPU资源调度功能,为MaxFrame UDF(用户自定义函数)提供了精细化的GPU资源管理能力。通过指定GU(GPU单元数)和gu_quota(GPU资源配额)参数,可以实现动态控制计算任务对GPU资源的使用比例和优先级,实现异构计算资源的智能分配。

  • 在典型应用场景中,该功能可应用于多模态数据预处理等计算密集型作业。通过GPU加速,显著缩短数据处理耗时,实现作业迭代效率的指数级提升。

详情参考:购买与使用MaxCompute AI计算资源

MaxFrame AI Function 功能扩展

支持地域

华东1(杭州)、华东2(上海)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)

发布时间

北京时间20251230日。

功能描述

  • 模型集成:通过 MaxFrame AI Function 功能实现大模型与MaxCompute深度集成,提供开箱即用的Qwen 3系列、DeepSeek等主流模型及自定义模型托管能力,同时支持AI Function On GU版本,支持更多尺寸模型,提升离线推理效率。

  • 接口整合:

    • 支持generate接口自定义Prompt模板,灵活完成大模型开发、调用任务;

    • 内置translate(翻译)extract(结构化抽取)embedding(向量化)等预设任务接口,简化常用大模型场景调用;

    • 依托MaxCompute弹性资源,实现离线高并发大模型推理。

  • 结合DataFrame APIPython生态,用户可以在MaxCompute实现数据清洗、处理、AI推理全流程一体化处理,降低大模型部署成本,满足海量结构化、非结构化数据的离线处理需求,适用于多模态数据处理、大模型离线推理等典型场景。

详情参考:MaxFrame AI Function

MaxFrame 支持「OSS 挂载」功能(邀测)

支持地域

华东1(杭州)、华东2(上海)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、印度尼西亚(雅加达)、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)、杭州金融云。

发布时间

北京时间20251230日。

功能描述

MaxFrame新增OSS挂载能力,实现OSSBucketMaxCompute本地文件系统的无缝映射。

可通过声明式配置@with_fs_mount定义挂载路径,以类POSIX 接口操作OSS 数据,规避传统 SDK 开发模式的复杂编码需求。

详情参考:OSS挂载功能(邀测)

MaxFrame 新增 DataFrame 、Series 等 API 支持

支持地域

华东1(杭州)、华东2(上海)、华北2(北京)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、印度尼西亚(雅加达)、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)、杭州金融云。

发布时间

北京时间20251230日。

功能描述

  • 新增处理数值数据API:to_numeric

  • 新增DataFrame GroupBy API

  • 新增索引API:

    • Index.get_level_values

    • Index.to_series

  • 新增MaxFrame扩展API:

    • 键值收集:DataFrame.mf.collect_kv

    • 键值提取:DataFrame.mf.extract_kv

    • 映射归约:DataFrame.mf.map_reduce

    • 数据再平衡:DataFrame.mf.rebalance

  • 新增Sklearn评估指标API

  • 新增MaxFrame tensor API:

  • 覆盖以下10大类数学运算:

    • 快速傅里叶变换(FFT)

    • 索引操作(Indexing)

    • 线性代数(Linalg)

    • 数据操作(Manipulation)

    • 数学函数(Math)

    • 常规操作(Routines)

    • 排序算法(Sorting)

    • 特殊函数(Special)

    • 统计计算(Statistics)

详情参考:MaxFrame特有API

202507

202507MaxFrame新增功能如下:

支持作业“部分提交”功能

支持地域

全部地域

发布时间

北京时间2025717日。

功能描述

对整体作业允许小范围的忽略和丢失,即使在作业失败的情况下也可获得已成功运行的Fuxi Instances结果数据。

详情参考:MaxFrame作业部分提交功能​。

AI Function新增内置大模型

支持地域

全部地域

发布时间

北京时间2025717日。

功能描述

MaxFrame AI Function新增内置Qwen 3系列模型,Qwen3-0.6B~Qwen3-14B。​

详情参考:MaxFrame AI Function

支持Worker级别CPU、内存监控

支持地域

全部地域

发布时间

北京时间2025717日。

功能描述

支持通过Fuxi Sensor查看具体某一WorkerCPU及内存的实际消耗量。​

详情参考:Fuxi Sensor