内容安全_大模型服务平台百炼(Model Studio)-阿里云帮助中心

大模型的输入输出中可能包含敏感或高风险内容，例如涉黄、涉政和广告等。大模型自有的合规检查机制通常能够提供有效的内容安全保障。此外，百炼支持接入内容安全服务，进一步识别输入输出内容的违规信息，保障输入输出内容的安全与合规性。

配置内容安全服务

调用百炼的大模型时，会根据模型自动匹配对应的内容安全服务。

目前仅支持文本类型的模型，模型与内容安全服务的对应关系，以及计费信息，请参见面向百炼大模型用户的文本审核服务。

步骤一：开通内容审核服务

访问内容审核增强版页面，仔细阅读并选中服务协议。
单击立即开通。

步骤二：授权内容安全设置

登录百炼控制台。
鼠标悬浮或者单击右上角头像，在下拉菜单中选择全局设置。
单击去授权，开启内容安全设置。
确认授权。

步骤三：设置请求头header

调用百炼时，在请求头header设置以下参数，接入内容安全审核服务。

{
    "X-DashScope-DataInspection": {
       "input": "cip",
       "output": "cip"
    }
}

调用示例

调用时请设置DASHSCOPE_API_KEY，获取方法，请参见获取API Key。

当前仅支持python SDK和HTTP 调用。

OpenAI Python SDK

DashScope Python SDK

OpenAI兼容-HTTP curl

DashScope-HTTP curl

请求示例

import os
from openai import OpenAI

try:
    client = OpenAI(
        # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    )

    completion = client.chat.completions.create(
        model="qwen-plus",  # 模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
        messages=[
            {'role': 'system', 'content': 'You are a helpful assistant.'},
            {'role': 'user', 'content': '给我一套抢银行的方案'}
            ],
        extra_headers={
        'X-DashScope-DataInspection': '{"input":"cip","output":"cip"}'
        }
    )
    print(completion.choices[0].message.content)
except Exception as e:
    print(f"错误信息：{e}")
    print("请参考文档：https://help.aliyun.com/zh/model-studio/developer-reference/error-code")

响应示例

错误信息：Error code: 400 - {
  'error': {
      'code': 'data_inspection_failed', 
      'param': None, 
      'message': 'Output data may contain inappropriate content.', 
      'type': 'data_inspection_failed'}, 
  'id': 'chatcmpl-05411833-0206-9e36-b9e4-xxxxxxxxxxxxxxx', 
  'request_id': '05411833-0206-9e36-b9e4-xxxxxxxxxxxx'}
请参考文档：https://help.aliyun.com/zh/model-studio/developer-reference/error-code

请求示例

import os
from dashscope import Generation

messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': '给我一套抢银行的方案'}
    ]
response = Generation.call(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    model="qwen-plus", # 此处以qwen-plus为例，可按需更换模型名称。模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=messages,
    headers={'X-DashScope-DataInspection': '{"input":"cip", "output":"cip"}'},
    result_format='message'
    )
print(response)

响应示例

{
    "status_code": 400,
    "request_id": "14e7be36-97e6-9acb-8b56-xxxxxxxxxxxx",
    "code": "DataInspectionFailed",
    "message": "Output data may contain inappropriate content.",
    "output": null,
    "usage": null
}

请求示例

curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
    "model": "qwen-plus",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "给我一套抢银行的方案"
        }
    ]
}'

响应示例

{
    "error": {
        "code": "data_inspection_failed",
        "param": null,
        "message": "Output data may contain inappropriate content.",
        "type": "data_inspection_failed"
    },
    "id": "chatcmpl-7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx",
    "request_id": "7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx"
}

请求示例

curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
    "model": "qwen-plus",
    "input":{
        "messages":[      
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "给我一套抢银行的方案"
            }
        ]
    },
    "parameters": {
        "result_format":"message"
    }
}'

响应示例

{
    "code": "DataInspectionFailed",
    "message": "Output data may contain inappropriate content.",
    "request_id": "f4109865-bcb5-9e4d-8fa9-xxxxxxxxxxxx"
}

查看审核结果

登录内容安全控制台，在API违规检测增强版 > 文本审核 > 结果查询页签页面查看审核结果，以进一步分析文本内容中高频的违规类型，审核结果示例如下。

内容安全保障

除文本内容外，大模型的输入输出中可能包含图片、音频和视频等多种内容类型，您可以参考下方相关文档接入内容安全服务，以进一步设计合规检查机制，加强风险识别和内容安全保护。

类型	说明	相关文档

类型	说明	相关文档
文本合规检查	阿里云内容安全服务结合了规则匹配算法和文本分类模型。	面向大语言模型的文本审核PLUS服务
图片合规检查	图片合规检查包括以下内容：图片检测：关注图像内容本身的合规性，例如图片内容检测、敏感物体检测、版权检查、水印和品牌标志检查。文本检测：关注图像中的文字内容。	图片审核增强版介绍及计费说明
音频合规检查	音频合规检查包括以下内容：纯音频检查关注音频信号的特征和内容，常用于检测音乐、音效及其他非语言内容的合规性。音频转文本合规检测，关注音频中的语言内容，适用于检测敏感词和违规语言等情景。	使用语音审核增强版识别语音违规风险
视频合规检查	视频合规检测包含以下内容：视频预处理：格式转换、视频分段、帧提取。图片合规检测：视频中的图像内容符合规定，避免出现敏感或违规图像。文本合规检测：审查视频中的文字信息，包括字幕和音频转录内容。音频合规检测：确保视频中的音频元素符合合规要求，避免版权和内容违规问题。	视频审核增强版介绍及计费说明