生命周期管理
配置生命周期策略,将长期未访问的数据自动转为低频存储,降低存储成本。需要时可直接访问或批量取回,实现数据冷热分层的智能管理。
生命周期管理功能目前处于邀测阶段。如需体验,请提交工单申请开通。
工作原理
CPFS生命周期管理基于文件访问时间实现数据冷热分层:
-
自动分层存储:配置策略后,系统定期扫描文件系统,将超过指定天数未访问的文件从标准存储自动转为低频存储。
-
透明访问机制:低频存储中的数据可直接访问,支持所有标准POSIX操作,无需改变访问方式。
-
灵活取回策略:根据策略配置,首次访问时可自动转回标准存储,或保持低频状态直接读取。
配置生命周期策略
步骤一:创建策略
同一文件系统可创建多个策略,应用于不同目录。
-
登录CPFS控制台,进入目标文件系统详情页。
-
在左侧导航栏选择生命周期,在生命周期策略页签下,单击创建生命周期管理策略。
-
配置策略参数:
参数
说明
策略名称
自定义策略名称,例如“AI训练数据归档策略”
生效对象
-
/ 整个文件系统:应用于所有文件。
-
输入目录路径:仅应用于指定目录,如
/training/completed/。
转换为低频存储
设置天数(1~365天),文件超过该天数未访问后自动转为低频存储。
未访问时间 = 未被读取或修改的天数,ls、stat不会重置计时
转换为标准存储
-
勾选:访问时自动转回标准存储,适合后续频繁使用的数据。
-
不勾选:保持低频状态,适合偶尔查看的数据。
-
-
单击确定完成创建。
步骤二:验证策略生效
策略在创建后的下一个扫描周期生效。系统每24小时执行一次扫描,首次执行时间取决于创建时间。
-
在策略列表中确认状态为已启用。
-
等待24小时后,在文件系统详情页的基本信息中查看低频存储容量是否开始增加。
-
在性能监控页面查看标准转低频成功率指标。
配置参考
根据不同使用场景,推荐以下配置方案:
|
场景 |
生效对象 |
转换为低频存储 |
转换为标准存储 |
适用说明 |
|
AI训练数据归档 |
|
30天 |
勾选 |
训练完成的数据集,可能用于复现实验 |
|
自动驾驶数据归档 |
|
60天 |
不勾选 |
历史传感器数据,长期保存,很少访问 |
|
日志审计归档 |
|
7天 |
不勾选 |
系统日志需长期保留,偶尔查看 |
|
全盘冷数据归档 |
/整个文件系统 |
90天 |
不勾选 |
整个文件系统长期归档 |
低频数据的访问与转回
低频存储中的数据可随时使用,支持两种方式:
方式一:直接访问
直接通过挂载路径读写低频存储文件,适用于临时查看或少量文件操作场景。支持所有标准文件操作,包括读取、写入、修改和删除,使用体验与访问本地文件完全一致。访问性能取决于低频存储策略配置:
-
若勾选了转为标准存储:首次访问时存在轻微延迟。同时系统会异步将该文件转为标准存储,转换完成后即可享受标准存储的高性能表现。
-
若未勾选:每次访问都直接从低频存储读取数据,文件始终保持低频状态。虽然访问性能略低于标准存储,但可持续享受低频存储的成本优势。
方式二:批量取回
当需要批量访问大量低频文件时(如AI训练读取数千个文件),建议创建数据取回任务,批量将文件转为标准存储,避免累积延迟影响业务性能。
-
在文件系统详情页,选择生命周期 > 数据取回任务列表页签。
-
单击创建数据取回任务,配置以下参数:
-
策略名称:为任务命名,例如"训练数据预热-2024Q1"。
-
生效对象:选择/整个文件系统或者输入目录路径 (必须以"/"开头的绝对路径)。
-
-
单击确定创建任务。
-
在任务列表中查看取回进度:
-
等待中:任务已创建,等待执行。
-
运行中:正在将低频存储文件转为标准存储,可查看进度百分比。
-
已完成:所有文件已成功转为标准存储,可以开始训练。
-
部分失败:部分文件转换失败,可查看详情并重试失败的文件。
-
失败:任务失败,可单击重试。
-
查看存储使用情况
在文件系统详情页,您可以查看:
-
基本信息:标准存储和低频存储的使用量。
-
监控:容量趋势、IOPS、吞吐、时延、转换成功率。
配额与限制
|
项目 |
限制 |
|
生命周期策略数量 |
每个阿里云账号在单个地域最多创建20个策略 |
|
单个策略包含的目录数 |
最多10个目录 |
|
数据取回任务数量 |
每个账号在单个地域最多同时运行20个任务 |
|
文件系统类型 |
仅支持CPFS智算版 |
计费说明
低频存储采用按量付费,不支持包年包月。低频存储没有最低保存时间限制,删除文件时无需支付额外费用。
|
计费项 |
是否收费 |
说明 |
|
低频存储空间 |
收费 |
按实际使用的低频存储容量计费,每小时统计一次,按月结算 |
|
标准转低频 |
不收费 |
数据从标准存储转为低频存储不收取流量费 |
|
低频转标准 |
不收费 |
数据从低频存储转回标准存储不收取流量费 |
|
API请求 |
不收费 |
访问低频存储文件的请求次数不收费 |
|
数据取回任务 |
不收费 |
批量取回任务不收取额外费用 |
常见问题
为什么我的文件还没有转为低频存储?
生命周期策略不是实时生效的,系统会定期扫描文件系统并应用策略。通常在策略创建后的24小时内开始执行。
访问低频存储的文件会有延迟吗?
-
如果您勾选了转为标准存储,首次访问时数据返回会有轻微延迟,同时异步转换存储类型。
-
如果没有勾选,直接从低频存储读取,性能略低于标准存储。
如何知道哪些文件在低频存储中?
目前不支持直接查看低频存储文件列表。您可以通过控制台查看文件系统的低频存储总使用量。
修改低频存储中的文件会怎样?
修改低频存储中的文件时,系统会自动将文件取回到标准存储,然后再进行修改。修改完成后,该文件会重新开始计算未访问时间。
一个目录可以配置多个策略吗?
可以。如果一个文件匹配多条规则,按以下优先级执行: 转为低频存储 > 转为标准存储