内容安全审核大模型最佳实践

阿里云内容安全增强版推出基于通义定制的图片、文本、视频审核大模型服务,能够全方位识别图片、文本、视频中的色情、性感、涉政、暴恐、违禁、宗教、引流广告、不良等违规内容,拥有更精准的效果和更强的扩展能力。本文介绍内容安全审核大模型实践。

前提条件

  1. 开通内容安全增强版

  2. 集成内容安全增强版-文本审核大模型内容安全增强版-图片审核大模型内容安全增强版-视频检测大模型版

内容审核大模型一览表

  1. 阿里云内容安全当前提供图片审核大模型、文本审核大模型和视频审核大模型服务,具体的服务如下表:

模态

服务(service)

检测内容

适用场景

图片审核大模型

大小模型融合图片审核服务(postImageCheckByVL)

综合应用图片审核大模型和专家模型能力,能够全方位识别图片中的色情、性感、涉政、暴恐、违禁、宗教、引流广告、不良等违规内容,可返回详细标签

针对图片审核场景,保障最好的效果为优先。建议需要保障效果优先的时候选择该服务。更多信息请参考基于大模型的图片审核增强版服务

大小模型融合图片审核服务_出海版(postImageCheckByVL_cb)

针对出海场景,综合应用图片审核大模型和专家模型能力,能够全方位识别图片中的色情、性感、涉政、暴恐、违禁、宗教、旗帜、引流广告、不良、辱骂等违规内容,可返回详细标签。

针对图片审核场景,保障最好的效果为优先。建议需要保障高效果的时候选择该服务。更多信息请参考基于大模型的图片审核增强版服务

通用图片审核大模型服务(baselineCheckByVL)

基于图片审核场景定制训练的审核大模型,能够识别图片中的涉黄、涉政、暴恐、违禁、不良、辱骂、广告等风险,可返回大类标签。

主要应用图片审核大模型的检测服务。需要体验大模型审核能力时,建议选择该服务。更多信息请参考基于大模型的图片审核增强版服务

文本审核大模型

UGC场景文本审核大模型服务(ugc_moderation_byllm)

UGC场景的各类文本审核。可以检测文本中的各项违规内容,具有更强的前后文分析理解能力,擅长正负向、暗喻、意识形态等审核能力。

基于大模型能力构建的文本审核服务,能够高效精准地识别各类文本违规内容。具体参考基于大模型能力构建的文本审核服务

AIGC场景文本审核大模型服务(aigc_moderation_byllm)

AIGC场景的各类文本审核。可以检测文本中的各项违规内容,具有更强的前后文分析理解能力,擅长正负向、暗喻、意识形态等审核能力。

基于大模型能力构建的文本审核服务,能够高效精准地识别各类文本违规内容。具体参考基于大模型能力构建的文本审核服务

视频审核大模型版

视频文件检测_大模型版(videoDetectionByVL)

视频画面基于图片审核大模型服务,检测视频文件中是否包含画面或语音违规信息。

检测视频文件中是否存在违规或不宜传播的内容,可配置图片大模型审核规则,默认为5路,请控制调用路数。具体参考视频文件检测_大模型版

视频直播流检测_大模型版(liveStreamDetectionByVL)

视频画面基于图片审核大模型服务,检测视频直播流中是否包含画面或语音违规信息。

检测视频直播流中是否存在违规或不宜传播的内容,可配置图片大模型审核规则,默认为5路,请控制调用路数。具体参考视频直播流审核_大模型版

  1. 所需集成和配置的API:

模态

API接口

API service配置

图片审核大模型

ImageModeration

postImageCheckByVL

baselineCheckByVL

文本审核大模型

TextModerationPlus

ugc_moderation_byllm

aigc_moderation_byllm

视频审核大模型

VideoModeration

videoDetectionByVL

liveStreamDetectionByVL

对检测规则进行调整

阿里云内容安全支持通过控制台对检测规则进行调整,具体参见内容安全控制台。以ImageModeration接口为例:

  1. 在左侧导航栏,选择机器审核增强版>图片审核>规则配置

  2. 规则管理页签,以大小模型融合图片审核服务(postImageCheckByVL)场景为例,单击操作设置规则

    1. 选择需要调整的检测类型,以不良内容检测为例。

    2. 单击编辑进入编辑模式,修改对应检测状态。

    3. 单击保存,保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。

image