阿里云内容安全增强版推出基于通义定制的图片、文本、视频审核大模型服务,能够全方位识别图片、文本、视频中的色情、性感、涉政、暴恐、违禁、宗教、引流广告、不良等违规内容,拥有更精准的效果和更强的扩展能力。本文介绍内容安全审核大模型实践。
前提条件
内容审核大模型一览表
阿里云内容安全当前提供图片审核大模型、文本审核大模型和视频审核大模型服务,具体的服务如下表:
模态 | 服务(service) | 检测内容 | 适用场景 |
图片审核大模型 | 大小模型融合图片审核服务(postImageCheckByVL) | 综合应用图片审核大模型和专家模型能力,能够全方位识别图片中的色情、性感、涉政、暴恐、违禁、宗教、引流广告、不良等违规内容,可返回详细标签。 | 针对图片审核场景,保障最好的效果为优先。建议需要保障效果优先的时候选择该服务。更多信息请参考基于大模型的图片审核增强版服务。 |
大小模型融合图片审核服务_出海版(postImageCheckByVL_cb) | 针对出海场景,综合应用图片审核大模型和专家模型能力,能够全方位识别图片中的色情、性感、涉政、暴恐、违禁、宗教、旗帜、引流广告、不良、辱骂等违规内容,可返回详细标签。 | 针对图片审核场景,保障最好的效果为优先。建议需要保障高效果的时候选择该服务。更多信息请参考基于大模型的图片审核增强版服务。 | |
通用图片审核大模型服务(baselineCheckByVL) | 基于图片审核场景定制训练的审核大模型,能够识别图片中的涉黄、涉政、暴恐、违禁、不良、辱骂、广告等风险,可返回大类标签。 | 主要应用图片审核大模型的检测服务。需要体验大模型审核能力时,建议选择该服务。更多信息请参考基于大模型的图片审核增强版服务。 | |
文本审核大模型 | UGC场景文本审核大模型服务(ugc_moderation_byllm) | UGC场景的各类文本审核。可以检测文本中的各项违规内容,具有更强的前后文分析理解能力,擅长正负向、暗喻、意识形态等审核能力。 | 基于大模型能力构建的文本审核服务,能够高效精准地识别各类文本违规内容。具体参考基于大模型能力构建的文本审核服务。 |
AIGC场景文本审核大模型服务(aigc_moderation_byllm) | AIGC场景的各类文本审核。可以检测文本中的各项违规内容,具有更强的前后文分析理解能力,擅长正负向、暗喻、意识形态等审核能力。 | 基于大模型能力构建的文本审核服务,能够高效精准地识别各类文本违规内容。具体参考基于大模型能力构建的文本审核服务。 | |
视频审核大模型版 | 视频文件检测_大模型版(videoDetectionByVL) | 视频画面基于图片审核大模型服务,检测视频文件中是否包含画面或语音违规信息。 | 检测视频文件中是否存在违规或不宜传播的内容,可配置图片大模型审核规则,默认为5路,请控制调用路数。具体参考视频文件检测_大模型版。 |
视频直播流检测_大模型版(liveStreamDetectionByVL) | 视频画面基于图片审核大模型服务,检测视频直播流中是否包含画面或语音违规信息。 | 检测视频直播流中是否存在违规或不宜传播的内容,可配置图片大模型审核规则,默认为5路,请控制调用路数。具体参考视频直播流审核_大模型版。 |
所需集成和配置的API:
模态 | API接口 | API service配置 |
图片审核大模型 | ||
文本审核大模型 | ||
视频审核大模型 |
对检测规则进行调整
阿里云内容安全支持通过控制台对检测规则进行调整,具体参见内容安全控制台。以ImageModeration接口为例:
在左侧导航栏,选择机器审核增强版>图片审核>规则配置。
在规则管理页签,以大小模型融合图片审核服务(postImageCheckByVL)场景为例,单击操作列设置规则。
选择需要调整的检测类型,以不良内容检测为例。
单击编辑进入编辑模式,修改对应检测状态。
单击保存,保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。