安装OSS Connector

当您需要在PyTorch训练任务中高效地访问和存储OSS中的数据集时,您可以安装OSS Connector for AI/ML。

说明

当前OSS Connector for AI/ML为预览版本,如果您在使用中有任何问题。欢迎通过技术支持联系我们。

部署环境

  • 操作系统:Linux x86-64

  • glibc:>=2.17

  • Python:3.8-3.12

  • PyTorch: >=2.0

  • 使用OSS Checkpoint功能需Linux内核支持userfaultfd

    说明

    以Ubuntu系统为例,您可以执行sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)命令确认Linux是否支持userfaultfd,当返回结果中显示CONFIG_USERFAULTFD=y时,则表示内核支持。返回结果显示CONFIG_USERFAULTFD=n时,则表示内核不支持,即无法使用OSS Checkpoint功能。

安装步骤

以下内容为Python3.12版本安装OSS Connector for AI/ML示例:

  1. 在Linux操作系统或基于Linux操作系统构建镜像所生成容器空间内,执行pip3.12 install osstorchconnector命令安装OSS Connector for AI/ML。

    pip3.12 install osstorchconnector
  2. 执行pip3.12 show osstorchconnector查看是否安装成功。

    pip3.12 show osstorchconnector

    当返回结果中显示osstorchconnector的版本信息时表示OSS Connector for AI/ML安装成功。

    image

后续步骤

为了确保OSS Connector for AI/ML能够正常地与OSS进行通信,并正确初始化其相关配置,您需要完成访问凭证配置和OSS Connector的相应设置。具体操作,请参见配置OSS Connector for AI/ML