数据缓存可以提前拉取业务所需数据,以便在创建ECI实例时可以直接挂载使用。本文介绍数据缓存的配置参数以及如何创建、查询、更新、拷贝和删除数据缓存。
创建数据缓存
创建方式如下:
OpenAPI:调用CreateDataCache接口可以创建数据缓存。更多信息,请参见CreateDataCache。
控制台:在弹性容器实例控制台的数据缓存页面,单击创建数据缓存。按照需求配置数据缓存相关参数,单击确定。
配置说明
创建数据缓存需要配置的参数如下:
基本属性
API
控制台
说明
RegionId
地域
数据缓存所属地域。
Bucket
缓存所属Bucket
数据的存储空间。默认为default。支持自定义,以便进行业务分组和避免路径冲突。
eci-system为ECI保留空间,不可使用。
Path
缓存所属目录
数据存储的路径。
Name
缓存名
数据缓存名称。
Size
缓存大小
数据缓存大小。单位为GiB,默认为20 GiB。请根据实际数据量评估所需大小。
RetentionDays
保留天数
数据缓存保留天数。过期会被清理。默认不过期。
数据源
API
控制台
说明
DataSource.Type
类型
数据源类型。
DataSource.Options
参数
数据源配置参数。格式为JSON对象,不同类型数据源要传入的参数不同。
各类型数据源及其配置参数说明如下:
重要如果通过OpenAPI门户创建数据缓存,DataSource.Options中各个参数前需要添加参数名的长度,例如
url
需要写成#3#url
,repoId
需要写成#6#repoId
,repoSource需要写成#10#repoSource
。如果通过SDK创建数据缓存,无需添加。数据源类型
数据来源说明
配置参数
URL
链接地址
url:数据下载地址。
accessToken:拉取私有数据时,需配置该参数来验证身份以访问数据。
HuggingFace或ModelScope
repoSource:取值范围为ModelScope/Model、ModelScope/DataSet、HuggingFace/Model、HuggingFace/DataSet,表示从ModelScope或HuggingFace社区拉取模型或者数据集。
repoId:模型ID或数据集ID。
revision:版本。默认为main或者master。
accessToken:拉取私有数据时,需配置该参数来验证身份以访问数据。
NAS
NAS文件系统
server:NAS文件系统的挂载点。
path:挂载子目录。极速型NAS需要以
/share
为前缀,例如/share/path
。vers:挂载NAS的NFS协议版本号。推荐使用v3,极速型NAS仅支持v3。
options:挂载选项。建议使用NAS服务推荐选项,例如
nolock,tcp,noresvport
。
OSS
OSS存储空间
bucket:OSS Bucket的名称。
url:OSS的接入域名(Endpoint)。
path:挂载子目录。相对Bucket根目录的目录,默认为
/
。otherOpts:挂载OSS时支持输入定制化参数,格式为
-o *** -o ***
,例如-o max_stat_cache_size=0 -o allow_other
。ramRole:使用RAM角色授权时,对应的RAM角色。
akId:使用AccessKey直接授权时,对应的AccessKey ID。
akSecret:使用AccessKey直接授权时,对应的AccessKey Secret。
SNAPSHOT
快照
snapshotId:快照ID。
网络参数
如果需要通过公网拉取数据,在指定的交换机没有配置SNAT时,支持绑定EIP来拉取公网数据。
API
控制台
说明
EipInstanceId
使用已有
绑定已有的EIP。
EipCreateParam包含的参数
自动创建
自动创建并绑定EIP。
其他参数
除上述参数外,创建数据缓存时还需指定专有网络、交换机、安全组等参数,用于在创建数据缓存的过程中创建临时资源。
配置示例
以OpenAPI为例,创建各类型数据缓存的参数配置示例如下:
URL
从链接地址拉取数据
{ "RegionId": "cn-beijing", "SecurityGroupId": "sg-2ze63v3jtm8e6syi****", "VSwitchId": "vsw-2ze94pjtfuj9vaymf****", "Bucket": "test", "Path": "/demo/url", "Name": "test-url-1", "DataSource": { "Type": "URL", "Options": { "#10#url": "https://www.example.com" } }, "RetentionDays": 1 }
从HuggingFace拉取模型
{ "RegionId": "cn-beijing", "SecurityGroupId": "sg-2ze63v3jtm8e6syi****", "VSwitchId": "vsw-2ze94pjtfuj9vaymf****", "Bucket": "test", "Path": "/demo/url", "Name": "test-url-2", "DataSource": { "Type": "URL", "Options": { "#10#repoSource": "HuggingFace/Model", "#6#repoId": "stabilityai/stable-diffusion-2-1" } }, "RetentionDays": 1 }
NAS
{
"RegionId": "cn-beijing",
"SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
"VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
"Bucket": "test",
"Path": "/demo/nas",
"Name": "test-nas",
"DataSource": {
"Type": "NAS",
"Options": {
"#6#server": "126c24****-tw***.cn-beijing.nas.aliyuncs.com",
"#4#path": "/",
"#4#vers": "3",
"#7#options": "nolock,tcp,noresvport"
}
},
"RetentionDays": 1
}
OSS
{
"RegionId": "cn-beijing",
"SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
"VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
"Bucket": "test",
"Path": "/demo/oss",
"Name": "test-oss",
"DataSource": {
"Type": "OSS",
"Options": {
"#6#bucket": "test-***",
"#3#url": "oss-cn-beijing-internal.aliyuncs.com",
"#4#path": "/test",
"#9#otherOpts": "-o max_stat_cache_size=0 -o allow_other",
"#7#ramRole": "<your RAM Role Name>"
}
},
"RetentionDays": 1,
"SourceIp": "2401:b180:1000:3:a4ba:83d6:a4ba:83d6"
}
SNAPSHOT
{
"RegionId": "cn-beijing",
"SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
"VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
"Bucket": "test",
"Path": "/demo/snapshot",
"Name": "test-snapshot",
"DataSource": {
"Type": "SNAPSHOT",
"Options": {
"#10#snapshotId": "s-2zehb6jegdehec19****"
}
},
"RetentionDays": 1,
"Size": 40
}
管理数据缓存
查询
创建数据缓存后,您可以查询数据缓存信息,包括状态、所属Bucket、在Bucket中的存储路径等。当数据缓存状态为Available时,表示可以使用该数据缓存。
查询方式如下:
OpenAPI:调用DescribeDataCaches接口可以查询数据缓存信息。
控制台:在数据缓存页面可以查看当前地域下所有数据缓存列表。单击某一数据缓存ID后,可以查看该数据缓存的详细信息。
更新
对于状态为Available或者UpdateFailed的数据缓存,支持更新所属Bucket、数据源、保留时长、大小等。
更新方式如下:
OpenAPI:调用UpdateDataCache接口可以更新数据缓存。
控制台:暂不支持。
拷贝
数据缓存不支持跨地域使用。使用数据缓存时,如果待创建的ECI实例和数据缓存不属于同一地域,您可以将数据缓存从原有地域拷贝到新的地域。
拉取外网数据时,如果您的业务部署在中国内地地域,建议您在中国香港地域创建数据缓存,然后拷贝数据缓存到您需要的地域。
拷贝方式如下:
OpenAPI:调用CopyDataCache接口可以拷贝数据缓存。
控制台:在数据缓存页面,单击目标数据缓存对应的复制。
删除
数据缓存对应一份快照,保留数据缓存需要支付相应的快照存储费用。对于不再使用的数据缓存,如果在创建时未设置保留时长,建议您及时手动删除。
删除方式如下:
OpenAPI:调用DeleteDataCache接口可以删除数据缓存。
控制台:在数据缓存页面,单击目标数据缓存对应的删除。