NIM模型使用指引

阿里云人工智能平台PAI是NVIDIA授权的中国NIM合作伙伴。

NIM是英伟达推出的一套易于使用的预构建容器工具，目的是帮助企业客户在云、数据中心和工作站上安全、可靠的部署高性能的Al模型推理。NIM模型是通过NIM优化工具加工的性能优化后模型，相比原始开源模型有显著的推理性能提升。

在PAI-Model Gallery中提供了多个NIM模型（可通过在模型广场的左侧筛选栏选择“模型来源”为“NIM”来获取），支持2种使用方式：

• 在PAI-Model Gallery中一键部署使用

• 下载后在本地部署使用

支持的NIM模型列表

当前在人工智能平台PAI-Model Gallery中可直接部署的NIM模型如下：

在PAI-Model Gallery中一键部署使用

1. 进入PAI Model Gallery。

2. 在模型广场的左侧筛选栏选择“模型来源”为“NIM”，找到NIM模型

3. 选择NIM模型进入模型详情页，点击右上角部署按钮即可进入部署页面。请注意，在PAI中部署NIM模型需要您已经是 NVIDIA AI Enterprise 用户或 NVIDIA Developer Program 用户。

4. 配置运行资源等信息后，点击部署按钮即可拉起NIM模型在线服务。调用方式请参考模型介绍。

   本示例中资源类型选择公共资源，部署资源选择ecs.gn8v.6xlarge（24 vCPU, 128 GiB, GPU H * 1）实例，实例数设为1。

本地部署使用

NIM模型允许用户下载镜像和模型，在本地部署使用。（需要您已经是 NVIDIA AI Enterprise 用户或 NVIDIA Developer Program 用户）

1. 配置环境。详情请参见Getting Started。

2. 在NIM模型的模型详情页点击「下载地址」，确认NIM下载条款许可声明，获取镜像和模型地址。

3. 通过以下命令拉取镜像（请替换 ${镜像地址} 为实际的镜像地址）

   docker pull ${镜像地址}

4. 使用阿里云ossutil工具下载模型文件。

5. 使用命令启动容器（以模型文件保存在您本地的/local/model/目录下为例；请替换 ${模型挂载路径} 和 ${镜像地址} 为实际的模型挂载路径和镜像地址）

   docker run --rm \
   --runtime=nvidia \
   --gpus all \
   -u $(id -u) \
   -v /local/model/:${模型挂载路径} ${镜像地址}

附录：首次使用PAI平台开通流程

对于未注册/未登录阿里云的用户，首次使用PAI-Model Gallery可参考以下流程：

1. 访问阿里云，单击右上角登录，输入账号和密码进行登录（或注册新用户）。

2. 登录成功并且实名认证后，访问人工智能平台PAI。

   如果您是首次使用PAI平台，需要先完成实名认证以及授权，所有选项保持默认，确认后等待十几秒钟即可完成创建，即可前往默认工作空间进行部署使用。