本文介绍如何在创建 RAY 资源组时开启共享存储。
前提条件
已开通 Lindorm 计算引擎。
准备创建 RAY 资源组。
功能说明
Lindorm 的 RAY 资源组支持共享存储功能。您可以将第三方存储作为共享存储挂载到 RAY 资源组中,这样您的 RAY 作业可以在任意节点操作本地挂载路径中的文件,等同于对该存储服务上的数据做读写操作。共享存储主要用于:
为 RAY 资源组的所有节点提供统一挂载目录。
让集群内的多节点共享同一份数据。
Ray 资源组支持以下类型的共享存储:
存储类型 | 说明 |
OSS | 阿里云对象存储服务,默认类型,具体可参考OSS 共享存储。 |
CPFS | 阿里云并行文件存储服务,具体可参考CPFS 共享存储。 |
其他类型 | 如 |
使用方式
配置共享存储:在 开通RAY资源组时,单击高级配置,填写共享存储相关配置。
读写共享存储:您可以在 RAY 作业中直接读写本地的挂载路径,等同于读写您的第三方存储。
警告删除操作会同步删除第三方存储上的数据,请谨慎操作。
示例:将 OSS 中名为 your-bucket 的存储空间(Bucket)挂载到 RAY 资源组的 /mnt/data 目录,配置如下:
{
"clusterConfig.sharedStorage.type":"OSS",
"clusterConfig.sharedStorage.sizeGB":"100",
"clusterConfig.sharedStorage.mountPath": "/mnt/data",
"clusterConfig.sharedStorage.oss.url":"oss-cn-hangzhou-internal.aliyuncs.com",
"clusterConfig.sharedStorage.oss.bucket": "your-bucket",
"clusterConfig.sharedStorage.oss.accessID": "your-access-id",
"clusterConfig.sharedStorage.oss.accessSecret": "your-access-secret"
}当 RAY 资源组创建完成后,您可在 RAY 作业中直接读写本地/mnt/data路径,此时等同于读写您的 OSS 存储空间(Bucket)。
共享存储配置项
通用配置项
配置项 | 说明 | 默认值 |
| 共享存储的类型,包括:
|
|
| 挂载路径能存储的最大数据量,单位是 GB,必填项。 | 无 |
| 共享存储的挂载路径,必须是绝对路径。 仅支持挂载到 警告 删除该目录下的数据会同步删除对应的存储服务上的数据,请谨慎操作。 |
|
OSS 共享存储
OSS 为默认的共享存储类型。使用前,请确保已开通阿里云OSS服务。
配置项说明
配置项 | 说明 | 默认值 |
| 阿里云账号或RAM用户的AccessKey ID。 如何获取AccessKey ID和AccessKey Secret,请参见获取AccessKey。 | 无 |
| 阿里云账号或RAM用户的AccessKey Secret。 如何获取AccessKey ID和AccessKey Secret,请参见获取AccessKey。 | 无 |
| OSS的Endpoint。获取Endpoint,请参见OSS地域和Endpoint。 | 无 |
| OSS 的存储空间(Bucket) 名称,如何创建存储空间,请参见创建OSS Bucket。 | 无 |
| 存储空间(Bucket) 中被挂载的目录路径,默认为根目录 / 。 |
|
配置示例
{
"clusterConfig.sharedStorage.type": "OSS",
"clusterConfig.sharedStorage.mountPath": "/mnt",
"clusterConfig.sharedStorage.sizeGB": "100",
"clusterConfig.sharedStorage.oss.accessID": "your-ak",
"clusterConfig.sharedStorage.oss.accessSecret": "your-sk",
"clusterConfig.sharedStorage.oss.url": "oss-cn-hangzhou-internal.aliyuncs.com",
"clusterConfig.sharedStorage.oss.bucket": "your-bucket",
"clusterConfig.sharedStorage.oss.bucketPath": "/your-bucket-path"
}CPFS 共享存储
使用前,请确保已开通阿里云CPFS服务。
配置项说明
配置项 | 说明 | 默认值 |
| CPFS 的 NFS 协议挂载地址。开通方式请参见 开通 CPFS-NFS。 | 无 |
| CPFS 中被挂载的目录路径。 | 无 |
配置示例
{
"clusterConfig.sharedStorage.type": "CPFS",
"clusterConfig.sharedStorage.mountPath": "/mnt",
"clusterConfig.sharedStorage.sizeGB": "100",
"clusterConfig.sharedStorage.cpfs.server": "cpfs-xxxx.cn-hangzhou.cpfs.aliyuncs.com",
"clusterConfig.sharedStorage.cpfs.path": "/share"
}其它类型共享存储
如果您需要使用其它类型的第三方存储,如JuiceFS、JindoFS等,需要提交工单开启该功能。工单通过后,请联系Lindorm技术支持(钉钉号:s0s3eg3)咨询如何使用。