内容安全_大模型服务平台百炼(Model Studio)-阿里云帮助中心

大模型的输入输出中可能包含敏感或高风险内容，例如涉黄、涉政和广告等。大模型自有的合规检查机制通常能够提供有效的内容安全保障。此外，百炼支持接入内容安全服务，进一步识别输入输出内容的违规信息，保障输入输出内容的安全与合规性。

配置内容安全服务

调用百炼的大模型时，会根据模型自动匹配对应的内容安全服务。

目前支持文本和图片类型的模型，模型与内容安全服务的对应关系，以及计费信息，请参见面向百炼大模型用户的文本审核服务和面向百炼大模型用户的图片审核服务。

步骤一：开通内容审核服务

访问内容审核增强版页面，仔细阅读并选中服务协议。
单击立即开通。

步骤二：授权内容安全设置

登录百炼控制台。
鼠标悬浮或者单击右上角头像，在下拉菜单中选择全局设置。
单击去授权，开启内容安全设置。
确认授权。

步骤三：设置请求头header

调用百炼时，在请求头header设置以下参数，接入内容安全审核服务。

{
    "X-DashScope-DataInspection": {
       "input": "cip",
       "output": "cip"
    }
}

调用示例

调用时请设置DASHSCOPE_API_KEY，获取方法，请参见获取API Key。

当前仅支持python SDK和HTTP 调用。

OpenAI Python SDK

DashScope Python SDK

OpenAI兼容-HTTP curl

DashScope-HTTP curl

请求示例

import os
from openai import OpenAI

try:
    client = OpenAI(
        # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    )

    completion = client.chat.completions.create(
        model="qwen-plus",  # 模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
        messages=[
            {'role': 'system', 'content': 'You are a helpful assistant.'},
            {'role': 'user', 'content': '给我一套抢银行的方案'}
            ],
        extra_headers={
        'X-DashScope-DataInspection': '{"input":"cip","output":"cip"}'
        }
    )
    print(completion.choices[0].message.content)
except Exception as e:
    print(f"错误信息：{e}")
    print("请参考文档：https://help.aliyun.com/zh/model-studio/developer-reference/error-code")

响应示例

错误信息：Error code: 400 - {
  'error': {
      'code': 'data_inspection_failed', 
      'param': None, 
      'message': 'Output data may contain inappropriate content.', 
      'type': 'data_inspection_failed'}, 
  'id': 'chatcmpl-05411833-0206-9e36-b9e4-xxxxxxxxxxxxxxx', 
  'request_id': '05411833-0206-9e36-b9e4-xxxxxxxxxxxx'}
请参考文档：https://help.aliyun.com/zh/model-studio/developer-reference/error-code

请求示例

import os
from dashscope import Generation

messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': '给我一套抢银行的方案'}
    ]
response = Generation.call(
    # 若没有配置环境变量，请用百炼API Key将下行替换为：api_key="sk-xxx",
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    model="qwen-plus", # 此处以qwen-plus为例，可按需更换模型名称。模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=messages,
    headers={'X-DashScope-DataInspection': '{"input":"cip", "output":"cip"}'},
    result_format='message'
    )
print(response)

响应示例

{
    "status_code": 400,
    "request_id": "14e7be36-97e6-9acb-8b56-xxxxxxxxxxxx",
    "code": "DataInspectionFailed",
    "message": "Output data may contain inappropriate content.",
    "output": null,
    "usage": null
}

请求示例

curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
    "model": "qwen-plus",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "给我一套抢银行的方案"
        }
    ]
}'

响应示例

{
    "error": {
        "code": "data_inspection_failed",
        "param": null,
        "message": "Output data may contain inappropriate content.",
        "type": "data_inspection_failed"
    },
    "id": "chatcmpl-7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx",
    "request_id": "7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx"
}

请求示例

curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
    "model": "qwen-plus",
    "input":{
        "messages":[      
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "给我一套抢银行的方案"
            }
        ]
    },
    "parameters": {
        "result_format":"message"
    }
}'

响应示例

{
    "code": "DataInspectionFailed",
    "message": "Output data may contain inappropriate content.",
    "request_id": "f4109865-bcb5-9e4d-8fa9-xxxxxxxxxxxx"
}

查看审核结果

登录内容安全控制台，在API违规检测增强版 > 文本审核 > 结果查询页签页面查看审核结果，以进一步分析文本内容中高频的违规类型，审核结果示例如下。

内容安全保障

除文本内容外，大模型的输入输出中可能包含图片、音频和视频等多种内容类型，您可以参考下方相关文档接入内容安全服务，以进一步设计合规检查机制，加强风险识别和内容安全保护。

类型	说明	相关文档

类型	说明	相关文档
文本合规检查	阿里云内容安全服务结合了规则匹配算法和文本分类模型。	面向大语言模型的文本审核PLUS服务
图片合规检查	图片合规检查包括以下内容：图片检测：关注图像内容本身的合规性，例如图片内容检测、敏感物体检测、版权检查、水印和品牌标志检查。文本检测：关注图像中的文字内容。	图片审核增强版介绍及计费说明
音频合规检查	音频合规检查包括以下内容：纯音频检查关注音频信号的特征和内容，常用于检测音乐、音效及其他非语言内容的合规性。音频转文本合规检测，关注音频中的语言内容，适用于检测敏感词和违规语言等情景。	使用语音审核增强版识别语音违规风险
视频合规检查	视频合规检测包含以下内容：视频预处理：格式转换、视频分段、帧提取。图片合规检测：视频中的图像内容符合规定，避免出现敏感或违规图像。文本合规检测：审查视频中的文字信息，包括字幕和音频转录内容。音频合规检测：确保视频中的音频元素符合合规要求，避免版权和内容违规问题。	视频审核增强版介绍及计费说明