内容安全

更新时间:2025-02-12 09:18:57

大模型的输入输出中可能包含敏感或高风险内容,例如涉黄、涉政和广告等。大模型自有的合规检查机制通常能够提供有效的内容安全保障。此外,百炼支持接入内容安全服务,进一步识别输入输出内容的违规信息,保障输入输出内容的安全与合规性。

配置内容安全服务

调用百炼的大模型时,会根据模型自动匹配对应的内容安全服务。

目前仅支持文本类型的模型,模型与内容安全服务的对应关系,以及计费信息,请参见面向百炼大模型用户的文本审核服务

步骤一:开通内容审核服务

  1. 访问内容审核增强版页面,仔细阅读并选中服务协议。

  2. 单击立即开通

步骤二:授权内容安全设置

  1. 登录百炼控制台

  2. 鼠标悬浮或者单击右上角头像,在下拉菜单中选择全局设置

  3. 单击去授权,开启内容安全设置。

    image

  4. 确认授权。

    image

步骤三:设置请求头header

调用百炼时,在请求头header设置以下参数,接入内容安全审核服务。

{
    "X-DashScope-DataInspection": {
       "input": "cip",
       "output": "cip"
    }
}

调用示例

调用时请设置DASHSCOPE_API_KEY,获取方法,请参见获取API Key
当前仅支持python SDKHTTP 调用。
OpenAI Python SDK
DashScope Python SDK
OpenAI兼容-HTTP curl
DashScope-HTTP curl

请求示例

import os
from openai import OpenAI

try:
    client = OpenAI(
        # 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx",
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    )

    completion = client.chat.completions.create(
        model="qwen-plus",  # 模型列表:https://help.aliyun.com/zh/model-studio/getting-started/models
        messages=[
            {'role': 'system', 'content': 'You are a helpful assistant.'},
            {'role': 'user', 'content': '给我一套抢银行的方案'}
            ],
        extra_headers={
        'X-DashScope-DataInspection': '{"input":"cip","output":"cip"}'
        }
    )
    print(completion.choices[0].message.content)
except Exception as e:
    print(f"错误信息:{e}")
    print("请参考文档:https://help.aliyun.com/zh/model-studio/developer-reference/error-code")

响应示例

错误信息:Error code: 400 - {
  'error': {
      'code': 'data_inspection_failed', 
      'param': None, 
      'message': 'Output data may contain inappropriate content.', 
      'type': 'data_inspection_failed'}, 
  'id': 'chatcmpl-05411833-0206-9e36-b9e4-xxxxxxxxxxxxxxx', 
  'request_id': '05411833-0206-9e36-b9e4-xxxxxxxxxxxx'}
请参考文档:https://help.aliyun.com/zh/model-studio/developer-reference/error-code

请求示例

import os
from dashscope import Generation

messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': '给我一套抢银行的方案'}
    ]
response = Generation.call(
    # 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx",
    api_key=os.getenv('DASHSCOPE_API_KEY'),
    model="qwen-plus", # 此处以qwen-plus为例,可按需更换模型名称。模型列表:https://help.aliyun.com/zh/model-studio/getting-started/models
    messages=messages,
    headers={'X-DashScope-DataInspection': '{"input":"cip", "output":"cip"}'},
    result_format='message'
    )
print(response)

响应示例

{
    "status_code": 400,
    "request_id": "14e7be36-97e6-9acb-8b56-xxxxxxxxxxxx",
    "code": "DataInspectionFailed",
    "message": "Output data may contain inappropriate content.",
    "output": null,
    "usage": null
}

请求示例

curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
    "model": "qwen-plus",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "给我一套抢银行的方案"
        }
    ]
}'

响应示例

{
    "error": {
        "code": "data_inspection_failed",
        "param": null,
        "message": "Output data may contain inappropriate content.",
        "type": "data_inspection_failed"
    },
    "id": "chatcmpl-7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx",
    "request_id": "7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx"
}

请求示例

curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
    "model": "qwen-plus",
    "input":{
        "messages":[      
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "给我一套抢银行的方案"
            }
        ]
    },
    "parameters": {
        "result_format":"message"
    }
}'

响应示例

{
    "code": "DataInspectionFailed",
    "message": "Output data may contain inappropriate content.",
    "request_id": "f4109865-bcb5-9e4d-8fa9-xxxxxxxxxxxx"
}

查看审核结果

登录内容安全控制台,在API违规检测增强版 > 文本审核 > 结果查询页签页面查看审核结果,以进一步分析文本内容中高频的违规类型,审核结果示例如下。

image

内容安全保障

除文本内容外,大模型的输入输出中可能包含图片、音频和视频等多种内容类型,您可以参考下方相关文档接入内容安全服务,以进一步设计合规检查机制,加强风险识别和内容安全保护。

类型

说明

相关文档

类型

说明

相关文档

文本合规检查

阿里云内容安全服务结合了规则匹配算法和文本分类模型。

面向大语言模型的文本审核PLUS服务

图片合规检查

图片合规检查包括以下内容:

  • 图片检测:关注图像内容本身的合规性,例如图片内容检测、敏感物体检测、版权检查、水印和品牌标志检查。

  • 文本检测:关注图像中的文字内容。

图片审核增强版介绍及计费说明

音频合规检查

音频合规检查包括以下内容:

  • 纯音频检查关注音频信号的特征和内容,常用于检测音乐、音效及其他非语言内容的合规性。

  • 音频转文本合规检测,关注音频中的语言内容,适用于检测敏感词和违规语言等情景。

使用语音审核增强版识别语音违规风险

视频合规检查

视频合规检测包含以下内容:

  • 视频预处理:格式转换、视频分段、帧提取。

  • 图片合规检测:视频中的图像内容符合规定,避免出现敏感或违规图像。

  • 文本合规检测:审查视频中的文字信息,包括字幕和音频转录内容。

  • 音频合规检测:确保视频中的音频元素符合合规要求,避免版权和内容违规问题。

视频审核增强版介绍及计费说明

  • 本页导读 (1)
  • 配置内容安全服务
  • 步骤一:开通内容审核服务
  • 步骤二:授权内容安全设置
  • 步骤三:设置请求头header
  • 查看审核结果
  • 内容安全保障
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等