数据集是一种由数据所组成的集合，这些数据通常具有相似的特征或支撑目标。通过管理数据集您可以更新和删除从不同数据源添加的数据。本文介绍如何通过AI运维控制台管理数据集。

前提条件

  • 已安装配置AI运维控制台组件。具体操作，请参见安装云原生AI套件。
  • 已获取AI运维控制台管理员账号和密码。

基于现有PVC创建加速数据集

  1. 用管理员账号登录AI运维控制台。
  2. 在AI运维控制台左侧导航栏中，选择数据集 > 数据集列表。
  3. 单击待加速数据集名称右侧操作列下的一键加速。
    说明 在没有创建其他数据类型的情况下，数据集列表页面会默认展示当前集群的所有PVC。
  4. 在编辑数据集对话框中：
    • 输入加速数据集名称，选择所属Namespace。
    • 数据源类型选中PVC，选择数据源，输入子目录名。
    • 配置runtime配置，runtime的name需与数据集的相同才能绑定成功。

      runtime配置的模板样例如下： 

      apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: fluid-imagenet
spec:
  replicas: 4
  data:
    replicas: 1
  tieredstore:
    levels:
      - mediumtype: SSD
        path: /var/lib/docker/alluxio
        quota: 150Gi
        high: "0.99"
        low: "0.8"
  5. 单击执行后，数据的状态刚开始为NotReady，过几秒后状态会变为Ready。

基于OSS创建加速数据集

步骤一：创建Secret

由于OSS的部分配置是敏感数据，需要通过加密方式传递。您需要提前创建Secret，具体YAML模板如下：
apiVersion: v1
kind: Secret
metadata:
  name: imagenet-oss-xxx
  namespace: default
type: kubernetes.io/basic-auth
stringData:
  username: <ACCESS_ID>
  password: <ACCESS_KEY>

执行以下命令创建Secret。

kubectl create -f oss_access_secret.yaml

步骤二：基于OSS创建加速数据集

  1. 用管理员账号登录AI运维控制台。
  2. 在AI运维控制台左侧导航栏中，选择数据集 > 数据集列表。
  3. 单击添加。
  4. 在创建数据集对话框中：
    1. 输入数据集名称，选择所属Namespace。
    2. 数据源类型选中OSS，相关参数的输入说明请参见下表。
      AI-6
      参数 示例 说明
      名称 oss-imagenet 可以自定义。
      Namespace default 使用创建Secret操作中创建的namespace，请参见创建Secret。
      数据源 oss://my-dawnbench-v2/ 无。
      子目录名 mydawnbench-v2 可以自定义。
      endpoint oss-xxx.aliyuncs.com 无。
      accessKeyId
      • secret：imagenet-oss-xxx
      • secretKey：username
      • secret使用创建Secret操作中创建的name，请参见创建Secret。
      • secretkey使用创建Secret操作中创建的username，请参见创建Secret。
      accessKeySecret
      • secret：imagenet-oss-xxx
      • secretKey：password
      • secret使用创建Secret操作中创建的name，请参见创建Secret。
      • secretkey使用创建Secret操作中创建的password，请参见创建Secret。
    3. 为了控制数据集创建在待访问的节点上，执行以下命令添加节点亲和性。
      aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB
    4. 设置runtime配置，runtime的name需与创建数据集名称保持一致。

      runtime配置的模板样例如下： 

      apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: oss-imagenet
spec:
  replicas: 2
  data:
    replicas: 1
  tieredstore:
    levels:
      - mediumtype: SSD
        path: /var/lib/docker/alluxio
        quota: 150Gi
        high: '0.99'
        low: '0.8'
  5. 单击保存后，数据的状态刚开始为NotReady，过几秒后状态会变为Ready。

基于其他外部存储创建加速数据集

  1. 用管理员账号登录AI运维控制台。
  2. 在AI运维控制台左侧导航栏中，选择数据集 > 数据集列表。
  3. 单击创建。
  4. 在创建数据集对话框中：
    • 输入数据集名称，选择所属Namespace。
    • 数据源类型选中其他，输入数据源和子目录名。
    • 配置runtime配置，runtime的name需与创建数据集名称保持一致。

      runtime配置的模板样例如下： 

      apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: fluid-imagenet
spec:
  replicas: 4
  data:
    replicas: 1
  tieredstore:
    levels:
      - mediumtype: SSD
        path: /var/lib/docker/alluxio
        quota: 150Gi
        high: "0.99"
        low: "0.8"
  5. 单击执行后，数据的状态刚开始为NotReady，等待几秒后状态会变为Ready。

删除数据集

注意 暂不支持在用户界面删除未加速的数据集，请联系主账号（即阿里云账号）管理员在阿里云控制台删除。
  1. 用管理员账号登录AI-Dashboard控制台。
  2. 单击待删除数据集名称右侧操作列下的删除。