文档

创建和管理数据缓存

更新时间:

数据缓存可以提前拉取业务所需数据,以便在创建ECI实例时可以直接挂载使用。本文介绍数据缓存的配置参数以及如何创建、查询、更新、拷贝和删除数据缓存。

创建数据缓存

创建方式如下:

  • OpenAPI:调用CreateDataCache接口可以创建数据缓存。更多信息,请参见CreateDataCache

  • 控制台:在弹性容器实例控制台数据缓存页面,单击创建数据缓存。按照需求配置数据缓存相关参数,单击确定

配置说明

创建数据缓存需要配置的参数如下:

  • 基本属性

    API

    控制台

    说明

    RegionId

    地域

    数据缓存所属地域。

    Bucket

    缓存所属Bucket

    数据的存储空间。默认为default。支持自定义,以便进行业务分组和避免路径冲突。

    eci-system为ECI保留空间,不可使用。

    Path

    缓存所属目录

    数据存储的路径。

    Name

    缓存名

    数据缓存名称。

    Size

    缓存大小

    数据缓存大小。单位为GiB,默认为20 GiB。请根据实际数据量评估所需大小。

    RetentionDays

    保留天数

    数据缓存保留天数。过期会被清理。默认不过期。

  • 数据源

    API

    控制台

    说明

    DataSource.Type

    类型

    数据源类型。

    DataSource.Options

    参数

    数据源配置参数。格式为JSON对象,不同类型数据源要传入的参数不同。

    各类型数据源及其配置参数说明如下:

    重要

    如果通过OpenAPI门户创建数据缓存,DataSource.Options中各个参数前需要添加参数名的长度,例如url需要写成#3#urlrepoId需要写成#6#repoId,repoSource需要写成#10#repoSource。如果通过SDK创建数据缓存,无需添加。

    数据源类型

    数据来源说明

    配置参数

    URL

    链接地址

    • url:数据下载地址。

    • accessToken:拉取私有数据时,需配置该参数来验证身份以访问数据。

    HuggingFace或ModelScope

    • repoSource:取值范围为ModelScope/Model、ModelScope/DataSet、HuggingFace/Model、HuggingFace/DataSet,表示从ModelScope或HuggingFace社区拉取模型或者数据集。

    • repoId:模型ID或数据集ID。

    • revision:版本。默认为main或者master。

    • accessToken:拉取私有数据时,需配置该参数来验证身份以访问数据。

    NAS

    NAS文件系统

    • server:NAS文件系统的挂载点。

    • path:挂载子目录。极速型NAS需要以/share为前缀,例如/share/path

    • vers:挂载NAS的NFS协议版本号。推荐使用v3,极速型NAS仅支持v3。

    • options:挂载选项。建议使用NAS服务推荐选项,例如nolock,tcp,noresvport

    OSS

    OSS存储空间

    • bucket:OSS Bucket的名称。

    • url:OSS的接入域名(Endpoint)。

    • path:挂载子目录。相对Bucket根目录的目录,默认为/

    • otherOpts:挂载OSS时支持输入定制化参数,格式为-o *** -o ***,例如-o max_stat_cache_size=0 -o allow_other

    • ramRole:使用RAM角色授权时,对应的RAM角色。

    • akId:使用AccessKey直接授权时,对应的AccessKey ID。

    • akSecret:使用AccessKey直接授权时,对应的AccessKey Secret。

    SNAPSHOT

    快照

    snapshotId:快照ID。

  • 网络参数

    如果需要通过公网拉取数据,在指定的交换机没有配置SNAT时,支持绑定EIP来拉取公网数据。

    API

    控制台

    说明

    EipInstanceId

    使用已有

    绑定已有的EIP。

    EipCreateParam包含的参数

    自动创建

    自动创建并绑定EIP。

  • 其他参数

    除上述参数外,创建数据缓存时还需指定专有网络、交换机、安全组等参数,用于在创建数据缓存的过程中创建临时资源。

配置示例

以OpenAPI为例,创建各类型数据缓存的参数配置示例如下:

URL

  • 从链接地址拉取数据

    {
      "RegionId": "cn-beijing",
      "SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
      "VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
      "Bucket": "test",
      "Path": "/demo/url",
      "Name": "test-url-1",
      "DataSource": {
        "Type": "URL",
        "Options": {
          "#10#url": "https://www.example.com"
        }
      },
      "RetentionDays": 1
    }
  • 从HuggingFace拉取模型

    {
      "RegionId": "cn-beijing",
      "SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
      "VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
      "Bucket": "test",
      "Path": "/demo/url",
      "Name": "test-url-2",
      "DataSource": {
        "Type": "URL",
        "Options": {
          "#10#repoSource": "HuggingFace/Model",
          "#6#repoId": "stabilityai/stable-diffusion-2-1"
        }
      },
      "RetentionDays": 1
    }

NAS

{
  "RegionId": "cn-beijing",
  "SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
  "VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
  "Bucket": "test",
  "Path": "/demo/nas",
  "Name": "test-nas",
  "DataSource": {
    "Type": "NAS",
    "Options": {
      "#6#server": "126c24****-tw***.cn-beijing.nas.aliyuncs.com",
      "#4#path": "/",
      "#4#vers": "3",
      "#7#options": "nolock,tcp,noresvport"
    }
  },
  "RetentionDays": 1
}

OSS

{
  "RegionId": "cn-beijing",
  "SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
  "VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
  "Bucket": "test",
  "Path": "/demo/oss",
  "Name": "test-oss",
  "DataSource": {
    "Type": "OSS",
    "Options": {
      "#6#bucket": "test-***",
      "#3#url": "oss-cn-beijing-internal.aliyuncs.com",
      "#4#path": "/test",
      "#9#otherOpts": "-o max_stat_cache_size=0 -o allow_other",
      "#7#ramRole": "<your RAM Role Name>"
    }
  },
  "RetentionDays": 1,
  "SourceIp": "2401:b180:1000:3:a4ba:83d6:a4ba:83d6"
}

SNAPSHOT

{
  "RegionId": "cn-beijing",
  "SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
  "VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
  "Bucket": "test",
  "Path": "/demo/snapshot",
  "Name": "test-snapshot",
  "DataSource": {
    "Type": "SNAPSHOT",
    "Options": {
      "#10#snapshotId": "s-2zehb6jegdehec19****"
    }
  },
  "RetentionDays": 1,
  "Size": 40
}

管理数据缓存

查询

创建数据缓存后,您可以查询数据缓存信息,包括状态、所属Bucket、在Bucket中的存储路径等。当数据缓存状态为Available时,表示可以使用该数据缓存。

查询方式如下:

  • OpenAPI:调用DescribeDataCaches接口可以查询数据缓存信息。

  • 控制台:在数据缓存页面可以查看当前地域下所有数据缓存列表。单击某一数据缓存ID后,可以查看该数据缓存的详细信息。

更新

对于状态为Available或者UpdateFailed的数据缓存,支持更新所属Bucket、数据源、保留时长、大小等。

更新方式如下:

  • OpenAPI:调用UpdateDataCache接口可以更新数据缓存。

  • 控制台:暂不支持。

拷贝

数据缓存不支持跨地域使用。使用数据缓存时,如果待创建的ECI实例和数据缓存不属于同一地域,您可以将数据缓存从原有地域拷贝到新的地域。

说明

拉取外网数据时,如果您的业务部署在中国内地地域,建议您在中国香港地域创建数据缓存,然后拷贝数据缓存到您需要的地域。

拷贝方式如下:

  • OpenAPI:调用CopyDataCache接口可以拷贝数据缓存。

  • 控制台:在数据缓存页面,单击目标数据缓存对应的复制

删除

重要

数据缓存对应一份快照,保留数据缓存需要支付相应的快照存储费用。对于不再使用的数据缓存,如果在创建时未设置保留时长,建议您及时手动删除。

删除方式如下:

  • OpenAPI:调用DeleteDataCache接口可以删除数据缓存。

  • 控制台:在数据缓存页面,单击目标数据缓存对应的删除

  • 本页导读 (1)
文档反馈