AIGC内容安全实践方案-阿里云帮助中心

备案控制台

文档

输入文档关键字查找

AIGC技术和应用迅速发展，在社会和商业应用各方面形成热潮，一方面带来了海量趣味的内容，一方面也让内容生态面临AIGC可能产生的违法违规、不良内容的挑战。阿里云内容安全致力于为AI应用中可能遭遇的违法或不良信息提供风险检测与治理的方案。以下文档从实践应用角度介绍如何在AI应用中结合内容安全检测构建具备对违法或不良内容进行拒答、安全话术、内容治理的能力。

前提条件

开通内容安全增强版
集成内容安全增强版-文本检测接口、内容安全增强版-图片检测接口。

方案流程

文生文AI

内容安全方案流程图概览：

所需集成和配置的API：

步骤	API接口	API service配置
步骤2	TextModerationPlus	llm_query_moderation
步骤7	TextModerationPlus	llm_response_moderation

文生图AI

内容安全方案流程图概览：

所需集成和配置的API：

步骤	API接口	API service配置
步骤2	TextModerationPlus	llm_query_moderation
步骤7	ImageModeration	aigcCheck

图生图AI

内容安全方案流程图概览：

所需集成和配置的API：

步骤	API接口	API service配置
步骤2	ImageModeration	baselineCheck
步骤7	ImageModeration	aigcCheck

图片理解AI

内容安全方案流程图概览：

所需集成和配置的API：

步骤	API接口	API service配置
步骤2	ImageModeration	baselineCheck
步骤7	TextModerationPlus	llm_response_moderation

对检测规则进行调整

阿里云内容安全支持通过控制台对检测规则进行调整，具体参见内容安全控制台。以TextModerationPlus接口为例：

在左侧导航栏，选择文本审核增强版>规则配置。
在规则管理页签，以大语言模型输入文字检测（llm_query_moderation）场景为例，单击操作列管理检测规则。
1. 选择需要调整的检测类型，以不良内容检测为例。
2. 单击编辑进入编辑模式，修改对应检测状态。
3. 单击保存，保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。

反馈

本页导读（0）