构建含有OSS Connector for AI/ML环境的Docker镜像

前提条件

• 已安装Docker。

• 已创建访问凭证配置文件和OSS Connector配置文件。具体操作，请参见配置OSS Connector for AI/ML。

示例

以下示例用于构建包含OSS Connector for AI/ML Python3.12版本的Docker镜像：

1. 在Linux系统中创建用于构建Docker镜像的文本文件Dockerfile。

   touch Dockerfile

2. 在Dockerfile文本文件中添加如下配置并保存。

   # 基础镜像，可替换为用户镜像。
   FROM python:3.12.4
   # 设置工作目录。
   WORKDIR /app
   # 将当前目录文件复制到容器内/app目录中，一般用于拷贝项目文件以及所需配置文件。
   COPY . /app
   # 安装OSS Connector for AI/ML。
   RUN pip install osstorchconnector

3. 执行命令构建Docker镜像。

   命令中的your_image_name为构建的镜像名称，请根据实际需要填写。

   docker build -t your_image_name .

4. 执行命令启动容器并挂载宿主机上的访问凭证配置文件和OSS Connector配置文件。

   docker run -it --name new-container-name -v /root/.alibabacloud/credentials:/app/credentials -v /etc/oss-connector/config.json:/app/config.json your_image_name bash

   启动完容器后，你将获得一个拥有OSS Connector for AI/ML的容器化环境。该环境中包含OSS Connector配置文件以及访问凭证配置文件，如下图所示。

   

相关文档

在使用带有OSS Connector for AI/ML的容器化环境进行训练任务时，您可以：

• 使用OssMapDataset构建适用于随机读取操作的映射式数据集。具体操作，请参见使用OSS中的数据构建适用于随机读取的映射式数据集。

• 使用OssIterableDataset构建适用于流式顺序访问的可迭代式数据集。具体操作，请参见使用OSS中的数据构建适用于流式顺序读取的迭代式数据集。

• 使用OssCheckpoint实现OSS中Checkpoint的读写操作。具体操作，请参见使用OssCheckpoint读写checkpoint文件。