AIGC技术和应用迅速发展，在社会和商业应用各方面形成热潮，一方面带来了海量趣味的内容，一方面也让内容生态面临AIGC可能产生的违法违规、不良内容的挑战。阿里云内容安全致力于为AI应用中可能遭遇的违法或不良信息提供风险检测与治理的方案。以下文档从实践应用角度介绍如何在AI应用中结合内容安全检测构建具备对违法或不良内容进行拒答、安全话术、内容治理的能力。
前提条件
方案流程
文生文AI
内容安全方案流程图概览：
所需集成和配置的API：
步骤 | API接口 | API service配置 |
步骤2 | ||
步骤7 |
文生图AI
内容安全方案流程图概览：
所需集成和配置的API：
步骤 | API接口 | API service配置 |
步骤2 | ||
步骤7 |
图生图AI
内容安全方案流程图概览：
所需集成和配置的API：
步骤 | API接口 | API service配置 |
步骤2 | ||
步骤7 |
图片理解AI
内容安全方案流程图概览：
所需集成和配置的API：
步骤 | API接口 | API service配置 |
步骤2 | ||
步骤7 |
对检测规则进行调整
阿里云内容安全支持通过控制台对检测规则进行调整，具体参见内容安全控制台。以TextModerationPlus接口为例：
在左侧导航栏，选择文本审核增强版>规则配置。
在规则管理页签，以大语言模型输入文字检测（llm_query_moderation）场景为例，单击操作列管理检测规则。
选择需要调整的检测类型，以不良内容检测为例。
单击编辑进入编辑模式，修改对应检测状态。
单击保存，保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。
该文章对您有帮助吗？
- 本页导读 （0）
- 前提条件
- 方案流程
- 文生文AI
- 文生图AI
- 图生图AI
- 图片理解AI
- 对检测规则进行调整