ack-fluid组件介绍及变更说明

ack-fluid组件是云原生AI套件提供的分布式数据集编排和加速引擎,主要提供云原生数据密集型应用场景下的数据集抽象、数据访问接入和加速、数据编排调度等能力,帮助您简化AI生产过程中的数据管理过程,并提升AI模型训练和模型推理场景的数据访问效率。本文介绍ack-fluid组件的基础信息、使用说明和变更记录。

组件介绍

ack-fluid通过定义数据集(Dataset)和数据运行时引擎(Runtime)等Kubernetes自定义资源,允许用户以Kubernetes原生方式查询和管理集群中待访问数据的生命周期。

ack-fluid通过编排管理分布式缓存系统以实现集群内应用的数据访问加速。目前,Fluid支持多种不同的分布式缓存系统作为数据运行时引擎,包括Alluxio、JuiceFS、JindoFS、EFC等。另外,Fluid还支持可扩展的通用存储系统实现(ThinRuntime),允许您以低代码方式接入您自建的存储系统,复用Fluid提供的数据编排管理、运行时平台访问接入等核心能力。

ack-fluid提供标准化的数据访问接入API,用户可以在Kubernetes Pod中挂载特定的PVC,从而实现容器内数据访问。Fluid根据底层运行环境的不同,分别在标准Kubernetes环境和Serverless Kubernetes环境使用Fluid CSI Plugin和Fluid FUSE Sidecar Plugin进行存储系统挂载,帮助您屏蔽底层运行环境的差异。

关于ack-fluid的更多信息,例如使用场景和功能介绍,请参见数据加速Fluid概述

使用说明

ack-fluid组件仅支持在ACK Pro版集群、ACK Serverless集群Pro版以及ACK Edge集群Pro版中安装,且集群版本需为1.18及以上。关于ack-fluid组件的安装和使用,请参见数据加速访问

变更说明

2024年04月

版本号

变更内容

变更时间

变更影响

v1.0.8

Fluid新增数据集动态挂载的能力,支持在容器内对所引用的PV、PVC对应的数据集挂载点做自动的更新和动态挂载。

说明

此功能为白名单功能。请提交工单申请。

2024年04月25日

此次升级不会对业务造成影响。

2024年02月

版本号

变更内容

变更时间

变更影响

v1.0.7

  • JindoRuntime升级至JindoCache作为默认缓存引擎。

  • 支持FUSE客户端亲和调度语义。

  • 修复数据集默认只读权限没有传递给ThinRuntime客户端的问题。

  • 支持根据集群资源类型自动启用控制面组件。

  • Fluid组件安全加固。

2024年02月04日

此次升级不会对业务造成影响。

2023年12月

版本号

变更内容

变更时间

变更影响

v1.0.6

  • 数据操作支持设置资源请求/限制。

  • 支持多级亲和性调度策略自定义配置。

  • JindoRuntime支持加速PV和主机目录数据访问。

2023年12月14日

此次升级不会对业务造成影响。

2023年11月

版本号

变更内容

变更时间

变更影响

v1.0.5

  • 修复Fluid CSI Plugin挂载点传播问题。

  • 支持多级亲和性调度策略。

  • JindoRuntime支持Master组件元信息持久存储。

  • JuiceFSRuntime支持FUSE组件动态更新。

  • 数据操作支持定时回收功能。

  • 定时回收CRD自动升级任务的Pod。

  • 修复JindoFSx缓存引擎的AK、SK以及Token冗余挂载问题。

  • 修复Alluxio缓存引擎解析sharedOptions失败的问题。

2023年11月17日

此次升级不会对业务造成影响。

2023年09月

版本号

变更内容

变更时间

变更影响

v1.0.4

  • 修复Fluid CSI插件相关Bug。

  • 支持可配置FUSE Sidecar以非阻塞方式启动。

  • 支持JuiceFSRuntime配置动态更新。

  • 兼容ACK灵骏集群环境部署。

2023年09月18日

此次升级不会对业务造成影响。

2023年08月

版本号

变更内容

变更时间

变更影响

v1.0.3

  • 新增支持FUSE Sidecar特权挂载模式。

  • 修复JuiceFSRuntime控制器OOM问题。

  • 修复FUSE自动恢复功能相关问题。

  • 修复升级后Runtime资源残留问题。

2023年08月18日

此次升级不会对业务造成影响。

2023年07月

版本号

变更内容

变更时间

变更影响

v1.0.2

  • Helm后端存储驱动(HELM_DRIVER)切换成Configmap模式,进一步收敛Fluid控制面组件RBAC(Role-Based Access Control)权限。

  • 新增支持ThinRuntime对接第三方存储功能,使用Configmap作为参数信息存储。

  • 新增支持ECI实例本地盘作为缓存存储介质。

  • 新增支持定时DataLoad缓存预热任务。

2023年07月18日

  • Helm后端存储驱动变更可能会造成部分Helm相关的Secret资源残留。

  • 如果集群中使用了ThinRuntime对接第三方存储系统功能,那么ack-fluid从低版本升级到v1.0.2及以上版本后,新创建的ThinRuntime存储客户端服务可能因兼容问题无法正常运行。详细信息,请参见Fluid

    说明

    已正常拉起的ThinRuntime存储客户端服务不会受到组件升级的影响。

2023年06月

版本号

变更内容

变更时间

变更影响

v1.0.1

  • 新增支持ARM64节点反亲和调度约束。

  • 新增支持配置是否自动升级CRD。

  • 修复Fluid CSI插件残留HostPath挂载点问题。

  • 修复与1.21以下版本Kubernetes兼容性问题。

2023年06月19日

此次升级不会对业务造成影响。

v1.0.0

  • JuiceFSRuntime新增支持定时DataMigrate任务。

  • 修复EFCRuntime FUSE Sidecar模式存储卷注入问题。

  • 优化Dataset状态更新逻辑,加速应用Pod启动速度。

  • Runtime部署失败时增加详细错误信息输出。

2023年06月07日

此次升级不会对业务造成影响。

2023年05月

版本号

变更内容

变更时间

变更影响

v0.9.10

  • ASK环境控制面组件资源上调。

  • 新增支持EFCRuntime控制器组件。

2023年05月09日

此次升级不会对业务造成影响。

2023年04月

版本号

变更内容

变更时间

变更影响

v0.9.9

  • JindoRuntime新增支持环境变量配置。

  • JuiceFSRuntime控制器新增支持控制器并发度配置。

  • JuiceFSRuntime新增支持子目录Quota配置。

  • 修复DataMigrate与DataLoad路径原则不一致的问题。

  • 优化Fluid PVC和PV绑定时间。

2023年04月25日

此次升级不会对业务造成影响。

v0.9.8

  • DataMigrate新增支持使用PVC作为数据源。

  • JindoRuntime新增支持设置容器镜像信息。

  • 新增支持数据集PVC子路径挂载。

  • 新增支持Fluid控制面组件监控。

2023年04月18日

此次升级不会对业务造成影响。

v0.9.7

  • Fluid组件安全加固。

  • Alluxio组件模板渲染相关Bug修复。

2023年04月06日

  • 此次升级涉及安全漏洞修复。

  • 此次升级不会对业务造成影响。

2023年03月

版本号

变更内容

变更时间

变更影响

v0.9.6

  • 新增支持DataMigrate数据迁移。

  • DataLoad新增支持可配置的节点亲和性调度能力。

  • 优化Fluid CSI挂载逻辑。

2023年03月22日

此次升级不会对业务造成影响。