SAM自动图片分割和预标注

背景信息

Grounded SAM模型是一个最强的零样本视觉应用，它可以通过文本输入，检测、分割和生成任何图像。它是由IDEA领衔的国内专业团队打造的，基于Meta的SAM模型和其他三个强大的零样本模型。

Grounded SAM模型主要由Grounding DINO和SAM（Segment Anything Model）两个模型组成。其中SAM是一个零样本分割模型，它可以为图像或视频中的任何物体生成MASK，包括训练过程中没出现过的物体和图像。Grounding DINO是一个先进的零样本检测器，它可以通过文本描述找到图像中的任意物体。

一、进入模型详情页面

1. 进入快速开始页面。

   1. 登录PAI控制台。

   2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

   3. 在左侧导航栏单击快速开始，进入快速开始页面。

2. 选择模型。

   1. 在快速开始首页，单击计算机视觉区域下的图像分割卡片，进入模型列表页面。

   2. 在模型列表页面，单击modelscope_segment-anything模型卡片，进入模型详情页面。

二、部署在线服务

PAI-快速开始集成了模型在线服务（PAI-EAS）的功能，可以直接将Grounded-SAM模型部署为在线服务，并生成一个 WebUI应用。通过WebUI应用，您可以便捷的体验Grounded-SAM模型所拥有的强大图片分割功能。通过PAI-快速开始部署在线服务的操作步骤如下：

1. 在模型详情页面部署服务区域，确认模型服务信息和资源部署信息。

   快速开始已经预先根据模型特点预置了每个模型部署相关的计算资源和服务名称，本案例使用默认配置。您也可以根据业务需要对部署的相关配置进行更改。如何配置参数，请参见部署模型和调试模型。

2. 在部署服务区域，单击部署。并在部署服务对话框，单击确定。

   页面自动跳转到服务详情页面，您可以在基本信息区域查看模型服务部署状态。同时您也可以在PAI EAS模型在线服务页面推理服务页签下，查看到部署任务。如何进入PAI EAS模型在线服务页面，请参见服务部署：控制台&Designer。由于模型较大，部署过程大约持续10分钟，当状态变为运行中时，表明模型服务已部署成功。

后续，您可以启动WebUI应用，来体验Grounded SAM模型的推理效果，详情请参见三、体验Grounded SAM模型。

三、体验Grounded SAM模型

1. 在快速开始的服务详情页面，单击查看Web应用，启动WebUI应用。

2. 在WebUI应用页面，进行推理验证。

   Grounded SAM模型提供了多种任务模式。在页面左侧的Image区域，您可以上传自己需要进行图像分割的图片；在页面下方选择合适的task_type以及对应的Text Prompt后，单击Run，即可进行图像分割任务。

   本案例主要介绍以下两种task_type（任务模式），通过这两种模式，您可以体验到Grounded-SAM模型在图像分割任务上的强大功能。

   • automatic模式

     task_type选择automatic，您无需提供任何其他信息，在上传图片后直接单击Run，便会自动进行图像分割，实现无交互式检测分割。

   • scribble模式

     task_type选择scribble，您可以在图片上通过鼠标单击想要分隔的部分进行标记，同automatic模式，您无需输入Text Prompt信息。随后单击Run，便会进行图像分割。