数据集是一种由数据所组成的集合,这些数据通常具有相似的特征或支撑目标。通过AI运维控制台管理数据集,您可以更新和删除从不同数据源添加的数据。
前提条件
已安装配置AI运维控制台组件。具体操作,请参见安装云原生AI套件。
已获取AI运维控制台管理员账号和密码。
基于已有PVC创建
登录AI运维控制台。具体操作,请参见访问AI运维控制台。
在AI运维控制台左侧导航栏中,选择
。单击目标加速数据集名称右侧操作列下的一键加速。
说明如果没有创建其他数据类型,数据集列表页面会默认展示当前集群的所有PVC。
在编辑数据集对话框中:
输入加速数据集名称,选择所属Namespace。
数据源类型选中PVC,选择数据源,输入子目录名。
配置runtime配置,runtime的
name
需与数据集的相同才能绑定成功。runtime配置的模板样例如下:
apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: fluid-imagenet spec: replicas: 4 data: replicas: 1 tieredstore: levels: - mediumtype: SSD path: /var/lib/docker/alluxio quota: 150Gi high: "0.99" low: "0.8"
单击执行,数据的状态刚开始为NotReady,大约几秒后会变为Ready。
基于OSS创建
步骤一:创建Secret
由于OSS的部分配置是敏感数据,需要通过加密方式传递。您需要提前创建Secret,具体YAML模板如下:
apiVersion: v1
kind: Secret
metadata:
name: imagenet-oss-xxx
namespace: default
type: kubernetes.io/basic-auth
stringData:
username: <ACCESS_ID>
password: <ACCESS_KEY>
执行以下命令创建Secret。
kubectl create -f oss_access_secret.yaml
步骤二:基于OSS创建加速数据集
登录AI运维控制台。具体操作,请参见访问AI运维控制台。
在AI运维控制台左侧导航栏中,选择
。单击添加。
在创建数据集对话框中:
输入数据集名称,选择所属Namespace。
数据源类型选中OSS,相关参数的输入说明请参见下表。
参数
示例
说明
名称
oss-imagenet
可以自定义。
Namespace
default
使用创建Secret操作中创建的
namespace
,请参见步骤一:创建Secret。数据源
oss://my-dawnbench-v2/
无。
子目录名
mydawnbench-v2
可以自定义。
endpoint
oss-xxx.aliyuncs.com
无。
accessKeyId
secret:imagenet-oss-xxx
secretKey:username
secret使用创建Secret操作中创建的
name
,请参见步骤一:创建Secret。secretkey使用创建Secret操作中创建的
username
,请参见步骤一:创建Secret。
accessKeySecret
secret:imagenet-oss-xxx
secretKey:password
secret使用创建Secret操作中创建的
name
,请参见步骤一:创建Secret。secretkey使用创建Secret操作中创建的
password
,请参见步骤一:创建Secret。
为了控制数据集创建在待访问的节点上,执行以下命令添加节点亲和性。
aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB
设置runtime配置,runtime的name需与创建数据集名称保持一致。
runtime配置的模板样例如下:
apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: oss-imagenet spec: replicas: 2 data: replicas: 1 tieredstore: levels: - mediumtype: SSD path: /var/lib/docker/alluxio quota: 150Gi high: '0.99' low: '0.8'
单击保存后,数据的状态刚开始为NotReady,过几秒后状态会变为Ready。
基于外部存储创建
登录AI运维控制台。具体操作,请参见访问AI运维控制台。
在AI运维控制台左侧导航栏中,选择
。单击创建。
在创建数据集对话框中:
输入数据集名称,选择所属Namespace。
数据源类型选中其他,输入数据源和子目录名。
配置runtime配置,runtime的name需与创建数据集名称保持一致。
runtime配置的模板样例如下:
apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: fluid-imagenet spec: replicas: 4 data: replicas: 1 tieredstore: levels: - mediumtype: SSD path: /var/lib/docker/alluxio quota: 150Gi high: "0.99" low: "0.8"
单击执行后,数据的状态刚开始为NotReady,等待几秒后状态会变为Ready。
删除数据集
暂不支持在用户界面删除未加速的数据集,请联系主账号(即阿里云账号)管理员在阿里云控制台删除。
用管理员账号登录AI-Dashboard控制台。
单击待删除数据集名称右侧操作列下的删除。