Modelscope镜像部署

背景信息

ModelScope旨在打造下一代开源的模型即服务共享平台，为广泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，使模型应用变的更简单。

对于部署到EAS的Modelscope社区中的模型，可以分为普通模型和大语言对话模型，由于加载和使用方式的不同，两种模型的部署和调用方式稍有区别，详情请参见：

• 普通模型

• 大语言对话模型

普通模型

Modelscope社区中的大部分模型都可以通过Pipeline定义和调用，这些模型即为普通模型。使用普通模型的通用操作流程如下：

步骤一：选择模型

在官方库中选择要部署的模型，本文以机器翻译模型为例，进入damo/nlp_csanmt_translation_en2zh模型页面，分别获取MODEL_ID、TASK、REVISION的值并保存到本地。

• MODEL_ID：模型ID。

• TASK：模型对应的TASK。

• REVISION：模型版本。

  说明

  需要配置为一个确定的模型版本，例如：v1.0.1或v1.0.0，不能配置为master。

  

• （可选）ACCESS_TOKEN：SDK访问令牌。

  当需要部署非公开模型时，需要填写SDK访问令牌以获取模型。请在ModelScope首页的左侧导航栏中，单击访问令牌，在该页面获取SDK令牌。在后续部署服务时，您需要将SDK令牌配置到环境变量中。

步骤二：部署模型

在PAI-EAS模型在线服务页面，部署ModelScope模型。具体操作步骤如下：

1. 进入部署服务页面，配置以下关键参数，其他参数配置详情，请参见服务部署：控制台。

   参数	描述
   服务名称	参照界面提示自定义配置服务名称。
   部署方式	选择镜像部署AI-Web应用。
   镜像选择	在PAI平台镜像列表中选择modelscope-inference；镜像版本选择最高版本。
   环境变量	配置以下参数为步骤一中查询的结果： MODEL_ID：damo/nlp_csanmt_translation_en2zh。 TASK：translation。 REVISION：v1.0.1。 如果部署非公开模型，您需要新增一个环境变量配置访问令牌： 变量名：配置为ACCESS_TOKEN。 变量值：配置为已获取的SDK访问令牌。
   运行命令	配置镜像版本后，系统会自动配置运行命令，您无需修改配置。

2. 单击部署。当服务状态变为运行中时，表明服务已部署成功。

步骤三：调用服务

更多参考案例

上述示例以文本模型为例，EAS同样支持语音或图像领域的模型。您可以参照上述步骤部署语音类和图像类模型，以及调用模型来验证模型效果。

• 语音合成tts模型：damo/speech_sambert-hifigan_tts_zh-cn_16k。示例效果如下图所示：

• 图像相关的人像美肤模型：damo/cv_unet_skin-retouching。示例效果如下图所示：

  对于图像类模型，输入需要传入图片的Base64编码或图片的URL地址。如果选择使用URL地址作为输入，需要确保部署的服务具有公网访问权限，详情请参见公网连接及白名单配置。

  调用代码示例如下，该代码下载了一张公开的图像，将其转换为Base64编码，并将其作为请求的内容发送到已部署的服务接口，以获取模型输出的结果。

  import requests
  import json
  import base64
  
  service_url = 'YOUR_SERVICE_URL'
  token = 'YOUR_SERVICE_TOKEN'
  
  with requests.get('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/retina_face_detection.jpg') as img_url:
      img = img_url.content
      img_base64encoded = base64.b64encode(img)
      request = {"input": {"image": img_base64encoded.decode()}}
      request_data = json.dumps(request)
      resp = requests.post(service_url,
                           headers={"Authorization": token},
                           data=request_data)
                          # 传入图片URL需要服务开通公网访问权限。
                          # data=json.dumps({"input": {"image": 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/retina_face_detection.jpg'}}))
  
  
      print(resp.text) # 输出为模型的输出结果。
  

  其中：

  • service_url：配置为已获取的服务访问地址。

  • token：配置为已获取的服务Token。

• 图像人脸融合模型：damo/cv_unet-image-face-fusion_damo。示例效果如下图所示：

大语言对话模型

目前支持一键部署的大语言对话模型列表，请参见附录：目前支持一键部署的大语言对话模型列表。使用大语言对话模型的通用流程如下：

步骤一：部署模型

1. 进入部署服务页面，配置以下关键参数，其他参数配置详情，请参见服务部署：控制台。

   参数	描述
   服务名称	参照界面提示自定义配置服务名称。
   部署方式	选择镜像部署AI-Web应用。
   镜像选择	在PAI平台镜像列表中选择modelscope-inference，版本选择1.9.1及其以上版本。
   环境变量	MODEL_ID配置详情请参见附录：目前支持一键部署的大语言对话模型列表；TASK均配置为chat。您需要参考步骤一：选择模型来查询REVISION的配置。以chatglm系列模型为例： MODEL_ID：ZhipuAI/chatglm2-6b。 TASK：chat。 REVISION：v1.0.11。 如果部署非公开模型，您需要新增两个环境变量用来配置访问令牌和MODEL_TYPE： 变量名：配置为ACCESS_TOKEN；变量值：配置为已获取的SDK访问令牌。获取方法，请参见步骤一：选择模型。 变量名：配置为MODEL_TYPE；变量值：配置为对应的模型类型，详情请参见附录：目前支持一键部署的大语言对话模型列表。
   运行命令	配置镜像版本后，系统会自动配置运行命令，您无需修改配置。
   资源配置选择	本方案选择ml.gu7i.c16m60.1-gu30。 由于大语言模型的体积通常较大，并且对于GPU的要求较高，建议根据实际模型需求选择合适的GPU资源。 针对7B模型，建议选择GU30系列机型。对于更大的模型，可能需要考虑双卡机型或拥有更大显存的机型，请按实际需求选择。

2. 单击部署。当服务状态变为运行中时，表明服务已部署成功。

步骤二：调用服务

大语言对话模型同样支持WebUI和API接口两种调用方式。

附录：目前支持一键部署的大语言对话模型列表

相关文档

• EAS提供了预置镜像，用于一键部署Huggingface社区模型。具体操作，请参见Huggingface镜像部署。

• 如何基于Triton Server推理服务引擎部署EAS服务，请参见Triton Inference Server镜像部署。

• 您也可以开发自定义镜像，使用自定义镜像部署EAS服务。具体操作，请参见服务部署：自定义镜像。