Modelscope镜像部署

背景信息

ModelScope旨在打造下一代开源的模型即服务共享平台，为广泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，使模型应用变的更简单。

对于部署到EAS的ModelScope社区中的模型，可以分为普通Pipeline模型和大语言对话模型，由于加载和使用方式的不同，两种模型的部署和调用方式稍有区别，详情请参见：

• 部署ModelScope模型服务

• 调用服务

部署ModelScope模型服务

支持以下两种部署方式。其中使用场景化方式部署的ModelScope模型服务，仅支持API接口调用方式，不支持WebUI调用方式。

方式一：场景化模型部署

具体操作步骤如下：

1. 进入模型在线服务（EAS）页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2. 在模型在线服务（EAS）页面，单击部署服务，在场景化模型部署区域，单击ModelScope模型部署。

3. 在ModelScope模型部署页面，配置以下关键参数，其他参数配置详情，请参见服务部署：控制台。

   参数		描述
   基本信息	选择模型	在下拉框中选择需要部署的ModelScope模型。
   	模型版本	选择模型后，系统会自动配置模型版本，您也可以在下拉框中选择其他模型版本。
   	模型类别	选择模型后，系统会自动配置模型类别。
   资源配置	资源配置选择	当选择普通Pipeline模型时，您选择的实例规格的内存不能小于8 GB。 当选择大语言对话模型时，建议选择ml.gu7i.c16m60.1-gu30。 说明 目前支持的大语言对话模型列表，请参见步骤一：选择模型。 由于大语言对话模型的体积通常较大，并且对于GPU的要求较高，建议根据实际模型需求选择合适的GPU资源。 针对7B模型，建议选择GU30系列机型。对于更大的模型，可能需要考虑双卡机型或拥有更大显存的机型，请按实际需求选择。

4. 参数配置完成后，单击部署。

方式二：自定义模型部署

具体操作步骤如下：

步骤一：选择模型

在场景化部署模型时，系统自动预设了模型类别和版本信息；而采用自定义部署方式时，您则需手动获取MODEL_ID、TASK和REVISION的值，并保存到本地。

步骤二：部署模型

1. 进入模型在线服务（EAS）页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入模型在线服务（EAS）页面。

2. 在模型在线服务（EAS）页面，单击部署服务，在自定义模型部署区域，单击自定义部署。

3. 在新建服务页面，配置以下关键参数，其他参数配置详情，请参见服务部署：控制台。

   参数	描述
   服务名称	参照界面提示自定义配置服务名称。
   部署方式	选择镜像部署AI-Web应用。
   镜像选择	在PAI平台镜像列表中选择modelscope-inference；镜像版本选择最高版本。
   环境变量	配置以下参数为步骤一中查询的结果： 普通模型（以机器翻译模型为例）： MODEL_ID：iic/nlp_csanmt_translation_en2zh TASK：translation REVISION：v1.0.1 大语言对话模型（以ChatGLM系列模型为例）： MODEL_ID：ZhipuAI/chatglm2-6b。 TASK：chat。 REVISION：v1.0.11。 如果部署非公开模型，您需要新增一个环境变量配置访问令牌，如何获取访问令牌，请参见步骤一：选择模型。 变量名：配置为ACCESS_TOKEN。 变量值：配置为已获取的SDK访问令牌。
   运行命令	配置镜像版本后，系统会自动配置运行命令，您无需修改配置。
   资源配置选择	普通Pipeline模型：您选择的实例规格的内存不能小于8 GB。 大语言对话模型：建议选择ml.gu7i.c16m60.1-gu30。 说明 目前支持的大语言对话模型列表，请参见步骤一：选择模型。 由于大语言模型的体积通常较大，并且对于GPU的要求较高，建议根据实际模型需求选择合适的GPU资源。 针对7B模型，建议选择GU30系列机型。对于更大的模型，可能需要考虑双卡机型或拥有更大显存的机型，请按实际需求选择。

4. 单击部署。当服务状态变为运行中时，表明服务已部署成功。

调用服务

使用场景化方式部署的ModelScope模型服务仅支持API接口调用方式。

调用普通Pipeline模型服务

以机器翻译模型为例：

上述示例以文本模型为例，EAS同样支持语音或图像领域的模型。您可以参照上述步骤部署语音类和图像类模型，以及调用模型来验证模型效果。

• 语音合成tts模型：damo/speech_sambert-hifigan_tts_zh-cn_16k。示例效果如下图所示：

• 图像相关的人像美肤模型：damo/cv_unet_skin-retouching。示例效果如下图所示：

  对于图像类模型，输入需要传入图片的Base64编码或图片的URL地址。如果选择使用URL地址作为输入，需要确保部署的服务具有公网访问权限，详情请参见公网连接及白名单配置。

  调用代码示例如下，该代码下载了一张公开的图像，将其转换为Base64编码，并将其作为请求的内容发送到已部署的服务接口，以获取模型输出的结果。

  import requests
  import json
  import base64
  
  service_url = 'YOUR_SERVICE_URL'
  token = 'YOUR_SERVICE_TOKEN'
  
  with requests.get('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/retina_face_detection.jpg') as img_url:
      img = img_url.content
      img_base64encoded = base64.b64encode(img)
      request = {"input": {"image": img_base64encoded.decode()}}
      request_data = json.dumps(request)
      resp = requests.post(service_url,
                           headers={"Authorization": token},
                           data=request_data)
                          # 传入图片URL需要服务开通公网访问权限。
                          # data=json.dumps({"input": {"image": 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/retina_face_detection.jpg'}}))
  
  
      print(resp.text) # 输出为模型的输出结果。
  

  其中：

  • service_url：配置为已获取的服务访问地址。

  • token：配置为已获取的服务Token。

• 图像人脸融合模型：damo/cv_unet-image-face-fusion_damo。示例效果如下图所示：

调用大语言对话模型服务

以ChatGLM系列模型为例：

相关文档

• EAS提供了预置镜像，用于一键部署Huggingface社区模型。具体操作，请参见HuggingFace镜像部署。

• 如何基于Triton Server推理服务引擎部署EAS服务，请参见Triton Inference Server镜像部署。

• 您也可以开发自定义镜像，使用自定义镜像部署EAS服务。具体操作，请参见服务部署：自定义镜像。