本方案适用于在大模型流式生成内容过程中进行动态、实时审核于管控。
大模型流式审核方案
客户应用在接收到用户Prompt后，调用大模型进行推理并流式生成文本内容。为确保内容安全，生成的文本需经护栏系统检测且确认无风险后方可对用户透出。
通常，流式内容检测采用以下几种切片机制，累计一定字符后触发审核：
切片方式一：按字符数切片：每累计满N个字符，将该N个字符作为一个批次进行审核。
切片方式二：滑动窗口切片：每新增X个字符即触发一次审核，送检最近生成的N个字符。该方式可保留上下文语义，降低用户等待感知。
高性能检测服务
如果您希望将每个切片的审核时间尽量控制在100ms以内，推荐采用我们高性能版的service。
response_security_check_hp
重要
该service适用于采用切片方式一，即按字符数切片的方式。
当您采用流式审核方案时，为实现关联多切片审核，入参需要传入以下字段：
chatId（用于唯一标识一轮“用户输入 + 大模型输出”的交互记录）
done（标识该切片为本轮对话的终止标识）
具体参考多模态API接入指南
检测结果处理建议
若检测结果为无风险，可将对应文本内容逐步呈现给用户；
若检测发现风险，建议立即停止后续内容输出，并对已透出的风险内容执行撤回操作，或替换为预设的合规代答内容，以保障用户体验与内容安全。
该文章对您有帮助吗？