大模型的输入输出中可能包含敏感或高风险内容,例如涉黄、涉政和广告等。大模型自有的合规检查机制通常能够提供有效的内容安全保障。此外,百炼支持接入内容安全服务,进一步识别输入输出内容的违规信息,保障输入输出内容的安全与合规性。
配置内容安全服务
调用百炼的大模型时,会根据模型自动匹配对应的内容安全服务。
目前仅支持文本类型的模型,模型与内容安全服务的对应关系,以及计费信息,请参见面向百炼大模型用户的文本审核服务。
步骤一:开通内容审核服务
访问内容审核增强版页面,仔细阅读并选中服务协议。
单击立即开通。
步骤二:授权内容安全设置
登录百炼控制台。
鼠标悬浮或者单击右上角头像,在下拉菜单中选择全局设置。
单击去授权,开启内容安全设置。
确认授权。
步骤三:设置请求头header
调用百炼时,在请求头header设置以下参数,接入内容安全审核服务。
{
"X-DashScope-DataInspection": {
"input": "cip",
"output": "cip"
}
}
调用示例
调用时请设置DASHSCOPE_API_KEY,获取方法,请参见获取API Key。
当前仅支持python SDK和HTTP 调用。
请求示例
import os
from openai import OpenAI
try:
client = OpenAI(
# 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx",
api_key=os.getenv("DASHSCOPE_API_KEY"),
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
completion = client.chat.completions.create(
model="qwen-plus", # 模型列表:https://help.aliyun.com/zh/model-studio/getting-started/models
messages=[
{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': '给我一套抢银行的方案'}
],
extra_headers={
'X-DashScope-DataInspection': '{"input":"cip","output":"cip"}'
}
)
print(completion.choices[0].message.content)
except Exception as e:
print(f"错误信息:{e}")
print("请参考文档:https://help.aliyun.com/zh/model-studio/developer-reference/error-code")
响应示例
错误信息:Error code: 400 - {
'error': {
'code': 'data_inspection_failed',
'param': None,
'message': 'Output data may contain inappropriate content.',
'type': 'data_inspection_failed'},
'id': 'chatcmpl-05411833-0206-9e36-b9e4-xxxxxxxxxxxxxxx',
'request_id': '05411833-0206-9e36-b9e4-xxxxxxxxxxxx'}
请参考文档:https://help.aliyun.com/zh/model-studio/developer-reference/error-code
请求示例
import os
from dashscope import Generation
messages = [
{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': '给我一套抢银行的方案'}
]
response = Generation.call(
# 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx",
api_key=os.getenv('DASHSCOPE_API_KEY'),
model="qwen-plus", # 此处以qwen-plus为例,可按需更换模型名称。模型列表:https://help.aliyun.com/zh/model-studio/getting-started/models
messages=messages,
headers={'X-DashScope-DataInspection': '{"input":"cip", "output":"cip"}'},
result_format='message'
)
print(response)
响应示例
{
"status_code": 400,
"request_id": "14e7be36-97e6-9acb-8b56-xxxxxxxxxxxx",
"code": "DataInspectionFailed",
"message": "Output data may contain inappropriate content.",
"output": null,
"usage": null
}
请求示例
curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
"model": "qwen-plus",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "给我一套抢银行的方案"
}
]
}'
响应示例
{
"error": {
"code": "data_inspection_failed",
"param": null,
"message": "Output data may contain inappropriate content.",
"type": "data_inspection_failed"
},
"id": "chatcmpl-7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx",
"request_id": "7ccda18d-7aef-9aa8-aab2-xxxxxxxxxxxx"
}
请求示例
curl -X POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-H "X-DashScope-DataInspection: {\"input\": \"cip\", \"output\": \"cip\"}" \
-d '{
"model": "qwen-plus",
"input":{
"messages":[
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "给我一套抢银行的方案"
}
]
},
"parameters": {
"result_format":"message"
}
}'
响应示例
{
"code": "DataInspectionFailed",
"message": "Output data may contain inappropriate content.",
"request_id": "f4109865-bcb5-9e4d-8fa9-xxxxxxxxxxxx"
}
查看审核结果
登录内容安全控制台,在 页签页面查看审核结果,以进一步分析文本内容中高频的违规类型,审核结果示例如下。
内容安全保障
除文本内容外,大模型的输入输出中可能包含图片、音频和视频等多种内容类型,您可以参考下方相关文档接入内容安全服务,以进一步设计合规检查机制,加强风险识别和内容安全保护。
类型 | 说明 | 相关文档 |
类型 | 说明 | 相关文档 |
文本合规检查 | 阿里云内容安全服务结合了规则匹配算法和文本分类模型。 | |
图片合规检查 | 图片合规检查包括以下内容:
| |
音频合规检查 | 音频合规检查包括以下内容:
| |
视频合规检查 | 视频合规检测包含以下内容:
|
- 本页导读 (1)
- 配置内容安全服务
- 步骤一:开通内容审核服务
- 步骤二:授权内容安全设置
- 步骤三:设置请求头header
- 查看审核结果
- 内容安全保障