创建和管理DataCache

配置说明

DataCache的YAML配置参数如下：

apiVersion: eci.aliyun.com/v1alpha1
kind: DataCache
metadata:
  name: test-url
spec:
  bucket: default
  path: /demo/url
  size: 20
  retentionDays: 3
  dataSource:
    type: URL 
    options:
      url: https://www.example.com
  netConfig: 
    securityGroupId: sg-2ze63v3jtm8e6sy******
    vSwitchId: vsw-2ze94pjtfuj9vaym******

参数说明如下：

• apiVersion：API版本，固定为eci.aliyun.com/v1alpha1。

• kind：资源类型，固定为DataCache。

• metadata

  • name：DataCache名称。

• spec

  • bucket：数据的存储空间。默认为default，支持自定义。eci-system为ECI保留空间，不可使用。

  • path：数据存储的路径。

  • size：DataCache大小。单位为GiB，默认为20 GiB。请根据实际数据量评估所需大小。

  • retentionDays：DataCache保留天数。过期会被清理。默认不过期。

  • dataSource：数据源，包括数据源类型type和配置参数options。

    数据源类型	数据来源说明	配置参数
    URL	链接地址	url：数据下载地址。 accessToken：拉取私有数据时，需配置该参数来验证身份以访问数据。
    	HuggingFace或ModelScope	repoSource：取值范围为ModelScope/Model、ModelScope/DataSet、HuggingFace/Model、HuggingFace/DataSet，表示从ModelScope或HuggingFace社区拉取模型或者数据集。 repoId：模型ID或数据集ID。 revision：版本。默认为main或者master。 accessToken：拉取私有数据时，需配置该参数来验证身份以访问数据。
    NAS	NAS文件系统	server：NAS文件系统的挂载点。 path：挂载子目录。极速型NAS需要以/share为前缀，例如/share/path。 vers：挂载NAS的NFS协议版本号。推荐使用v3，极速型NAS仅支持v3。 options：挂载选项。建议使用NAS服务推荐选项，例如nolock,tcp,noresvport。
    OSS	OSS存储空间	bucket：OSS Bucket的名称。 url：OSS的接入域名（Endpoint）。 path：挂载子目录。相对Bucket根目录的目录，默认为/。 otherOpts：挂载OSS时支持输入定制化参数，格式为-o *** -o ***，例如-o max_stat_cache_size=0 -o allow_other。 ramRole：使用RAM角色授权时，对应的RAM角色。 akId：使用AccessKey直接授权时，对应的AccessKey ID。 akSecret：使用AccessKey直接授权时，对应的AccessKey Secret。
    SNAPSHOT	快照	snapshotId：快照ID。

  • netConfig

    • securityGroupId：创建DataCache过程中生成的ECI实例所属的安全组ID。

    • vSwitchId：创建DataCache过程中生成的ECI实例所属的交换机ID。

    如果需要通过公网拉取数据，在指定的交换机没有配置SNAT时，支持绑定EIP来拉取公网数据。此时，可在netConfig下添加EIP相关参数。

    netConfig: 
      eipInstanceId: eip-2zey74a7zienoxf*****  #与eipCreateParam二选一
      eipCreateParam:  #与eipInstanceId二选一
        bandwidth: 5
        commonBandwidthPackage:  cbwp-2zeukbj916scmj5******
        internetChargeType:  PayByTraffic
        publicIpAddressPoolId: pippool-bp187arfugi543y1s****
        ISP: BGP

    • eipInstanceId：如果指定的交换机没有配置SNAT，可以绑定已有的可用EIP，以便拉取公网数据。

    • eipCreateParam：如果指定的交换机没有配置SNAT，且没有可用的EIP，此时如果想要拉取公网数据，可以配置以下参数创建一个EIP并绑定。

      • bandwidth：EIP带宽。单位为Mbps。默认为5 Mbps。

      • commonBandwidthPackage：绑定已有的共享带宽包。更多信息，请参见共享带宽。

      • internetChargeType：EIP的计量方式。取值范围为PayByBandwidth（按带宽计费）和PayByTraffic（按流量计费）。更多信息，请参见EIP计费方式。

      • publicIpAddressPoolId：IP地址池ID。 EIP将从该IP地址池中分配。 IP地址池功能默认不开放。如需使用，请在配额中心申请IP地址池功能权益配额。更多信息，请参见创建和管理IP地址池。

      • ISP：EIP的线路类型。取值范围为BGP（默认值）和BGP_PRO。更多信息，请参见EIP线路类型。

配置示例

编写DataCache的YAML配置文件（假设名称为datacache.yaml），通过kubectl命令即可创建DataCache。

• 全新创建

  kubectl create -f datacache.yaml

• 更新创建

  kubectl apply -f datacache.yaml

各类型DataCache的YAML示例如下：

apiVersion: eci.aliyun.com/v1alpha1
kind: DataCache
metadata:
  name: test-nas
spec:
  path: /demo/nas
  dataSource:
    type: NAS 
    options:
      server: "0389a***-nh**.cn-beijing.extreme.nas.aliyuncs.com"
      path: "/"
      vers: "3"
      options: "nolock,tcp,noresvport"
  netConfig: 
    securityGroupId: sg-2ze63v3jtm8e6sy******
    vSwitchId: vsw-2ze94pjtfuj9vaym******

apiVersion: eci.aliyun.com/v1alpha1
kind: DataCache
metadata:
  name: test-oss
spec:
  path: /demo/oss
  dataSource:
    type: OSS 
    options:
      bucket: "oss-***"
      url: "oss-cn-beijing-internal.aliyuncs.com"
      path: "/test"
      otherOpts: "-o max_stat_cache_size=0 -o allow_other"
      ramRole: "<your RAM Role Name>"
  netConfig: 
    securityGroupId: sg-2ze63v3jtm8e6sy******
    vSwitchId: vsw-2ze94pjtfuj9vaym******

apiVersion: eci.aliyun.com/v1alpha1
kind: DataCache
metadata:
  name: test-snapshot
spec:
  path: /demo/snapshot
  dataSource:
    type: SNAPSHOT 
    options:
      snapshotId: s-uf6j98q2tvfcjz******
  netConfig: 
    securityGroupId: sg-2ze63v3jtm8e6sy******
    vSwitchId: vsw-2ze94pjtfuj9vaym***

查询DataCache

创建DataCache后，您可以根据需要查询集群下所有DataCache列表或者查看某个DataCache的详细信息。

• 查询集群下所有DataCache列表

  kubectl get edc 

  返回示例如下，状态为Available表示可以使用该DataCache。

  

• 查看某个DataCache的详细信息

  kubectl describe edc <edc-name>

  返回示例如下，包括DataCache的基本信息、元数据、配置、状态和事件信息等。

  

删除DataCache

如果想要删除某个DataCache，可执行以下命令：

kubectl delete edc <edc-name>