文档

管理数据集

更新时间:

数据集是一种由数据所组成的集合,这些数据通常具有相似的特征或支撑目标。通过AI运维控制台管理数据集,您可以更新和删除从不同数据源添加的数据。

前提条件

  • 已安装配置AI运维控制台组件。具体操作,请参见安装云原生AI套件

  • 已获取AI运维控制台管理员账号和密码。

基于已有PVC创建

  1. 登录AI运维控制台。具体操作,请参见访问AI运维控制台

  2. 在AI运维控制台左侧导航栏中,选择数据集 > 数据集列表

  3. 单击目标加速数据集名称右侧操作列下的一键加速

    说明

    如果没有创建其他数据类型,数据集列表页面会默认展示当前集群的所有PVC。

  4. 编辑数据集对话框中:

    • 输入加速数据集名称,选择所属Namespace

    • 数据源类型选中PVC,选择数据源,输入子目录名

    • 配置runtime配置,runtime的name需与数据集的相同才能绑定成功。

      runtime配置的模板样例如下:

      apiVersion: data.fluid.io/v1alpha1
      kind: JindoRuntime
      metadata:
        name: fluid-imagenet
      spec:
        replicas: 4
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: "0.99"
              low: "0.8"
  5. 单击执行,数据的状态刚开始为NotReady,大约几秒后会变为Ready

基于OSS创建

步骤一:创建Secret

由于OSS的部分配置是敏感数据,需要通过加密方式传递。您需要提前创建Secret,具体YAML模板如下:

apiVersion: v1
kind: Secret
metadata:
  name: imagenet-oss-xxx
  namespace: default
type: kubernetes.io/basic-auth
stringData:
  username: <ACCESS_ID>
  password: <ACCESS_KEY>

执行以下命令创建Secret。

kubectl create -f oss_access_secret.yaml

步骤二:基于OSS创建加速数据集

  1. 登录AI运维控制台。具体操作,请参见访问AI运维控制台

  2. 在AI运维控制台左侧导航栏中,选择数据集 > 数据集列表

  3. 单击添加

  4. 创建数据集对话框中:

    1. 输入数据集名称,选择所属Namespace

    2. 数据源类型选中OSS,相关参数的输入说明请参见下表。

      AI-6

      参数

      示例

      说明

      名称

      oss-imagenet

      可以自定义。

      Namespace

      default

      使用创建Secret操作中创建的namespace,请参见步骤一:创建Secret

      数据源

      oss://my-dawnbench-v2/

      无。

      子目录名

      mydawnbench-v2

      可以自定义。

      endpoint

      oss-xxx.aliyuncs.com

      无。

      accessKeyId

      • secret:imagenet-oss-xxx

      • secretKey:username

      accessKeySecret

      • secret:imagenet-oss-xxx

      • secretKey:password

    3. 为了控制数据集创建在待访问的节点上,执行以下命令添加节点亲和性。

      aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB
    4. 设置runtime配置,runtime的name需与创建数据集名称保持一致。

      runtime配置的模板样例如下:

      apiVersion: data.fluid.io/v1alpha1
      kind: JindoRuntime
      metadata:
        name: oss-imagenet
      spec:
        replicas: 2
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: '0.99'
              low: '0.8'
  5. 单击保存后,数据的状态刚开始为NotReady,过几秒后状态会变为Ready

基于外部存储创建

  1. 登录AI运维控制台。具体操作,请参见访问AI运维控制台

  2. 在AI运维控制台左侧导航栏中,选择数据集 > 数据集列表

  3. 单击创建

  4. 创建数据集对话框中:

    • 输入数据集名称,选择所属Namespace

    • 数据源类型选中其他,输入数据源子目录名

    • 配置runtime配置,runtime的name需与创建数据集名称保持一致。

      runtime配置的模板样例如下:

      apiVersion: data.fluid.io/v1alpha1
      kind: JindoRuntime
      metadata:
        name: fluid-imagenet
      spec:
        replicas: 4
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: "0.99"
              low: "0.8"
  5. 单击执行后,数据的状态刚开始为NotReady,等待几秒后状态会变为Ready

删除数据集

重要

暂不支持在用户界面删除未加速的数据集,请联系主账号(即阿里云账号)管理员在阿里云控制台删除。

  1. 用管理员账号登录AI-Dashboard控制台。

  2. 单击待删除数据集名称右侧操作列下的删除