文本审核增强版PLUS服务_内容安全(Content Moderation)-阿里云帮助中心

文本审核增强版升级PLUS服务，开放审核标签的开启和关闭功能。本文介绍文本审核PLUS服务使用方法。

风险标签

标签含义

面向文本审核PLUS服务支持返回10个类型的60+个细分标签和标签置信度。如果内容存在多种风险类型，能够同时返回多个细分标签。以下是风险标签值、对应的分值区间以及对应的含义：

标签值（label）	置信分区间（confidence）	中文含义
pornographic_adult	0~100分，分数越高置信度越高	疑似色情内容
sexual_terms	0~100分，分数越高置信度越高	疑似性健康内容
sexual_suggestive	0~100分，分数越高置信度越高	疑似低俗内容
political_figure	0~100分，分数越高置信度越高	疑似政治人物
political_entity	0~100分，分数越高置信度越高	疑似政治实体
political_n	0~100分，分数越高置信度越高	疑似敏感政治内容
political_p	0~100分，分数越高置信度越高	疑似涉政禁宣人物
political_a	0~100分，分数越高置信度越高	涉政专项升级保障
violent_extremist	0~100分，分数越高置信度越高	疑似极端组织
violent_incidents	0~100分，分数越高置信度越高	疑似极端主义内容
violent_weapons	0~100分，分数越高置信度越高	疑似武器弹药
contraband_drug	0~100分，分数越高置信度越高	疑似毒品相关
contraband_gambling	0~100分，分数越高置信度越高	疑似赌博相关
contraband_act	0~100分，分数越高置信度越高	疑似违禁行为
contraband_entity	0~100分，分数越高置信度越高	疑似违禁工具
inappropriate_discrimination	0~100分，分数越高置信度越高	疑似偏见歧视内容
inappropriate_ethics	0~100分，分数越高置信度越高	疑似不良价值观内容
inappropriate_profanity	0~100分，分数越高置信度越高	疑似攻击辱骂内容
inappropriate_oral	0~100分，分数越高置信度越高	疑似低俗口头语内容
inappropriate_superstition	0~100分，分数越高置信度越高	疑似封建迷信内容
inappropriate_nonsense	0~100分，分数越高置信度越高	疑似无意义灌水内容
pt_to_sites	0~100分，分数越高置信度越高	疑似站外引流
pt_by_recruitment	0~100分，分数越高置信度越高	疑似网赚兼职广告
pt_to_contact	0~100分，分数越高置信度越高	疑似引流广告号
religion_b	0~100分，分数越高置信度越高	疑似涉及佛教
religion_t	0~100分，分数越高置信度越高	疑似涉及道教
religion_c	0~100分，分数越高置信度越高	疑似涉及基督教
religion_i	0~100分，分数越高置信度越高	疑似涉及伊斯兰教
religion_h	0~100分，分数越高置信度越高	疑似涉及印度教
customized	0~100分，分数越高置信度越高	命中自定义词库

管理标签

每个风险标签均可以在控制台进行开关配置，部分风险标签会提供更细分检测范围的开关配置，具体参见内容安全控制台。

在左侧导航栏，选择API违规检测增强版>文本审核>规则配置。
在规则管理页签，以大语言模型输入文字检测（llm_query_moderation）为例，单击操作列管理检测规则。
1. 选择需要调整的检测类型，以不良内容检测为例。
2. 单击编辑进入编辑模式，修改对应检测状态。
3. 单击保存，保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。

接入指南

步骤一：开通服务

访问开通服务，开通文本审核增强版服务。

步骤二：为RAM用户授权

在接入SDK或者API之前，您需要为RAM用户授权。您可以为阿里云账号和RAM用户创建一个访问密钥（AccessKey）。在调用阿里云API时您需要使用AccessKey完成身份验证。获取方式，请参见获取AccessKey。

使用RAM管理员登录RAM控制台。
创建RAM用户。
具体操作，请参见创建RAM用户。
向RAM用户授权系统策略权限：AliyunYundunGreenWebFullAccess。
具体操作，请参见为RAM用户授权。
完成以上配置后，您可以使用RAM用户调用内容安全API。

步骤三：安装并接入SDK

文本审核增强版PLUS服务SDK请参考文本审核增强版SDK及接入指南的文本审核增强版PLUS服务部分。

API说明

使用说明

您可以调用该接口创建文本内容检测任务。关于如何构造HTTP请求，请参见请求结构；您也可以直接选用已构造好的HTTP请求，更多信息，请参见接入指南部分。

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

业务接口：TextModerationPlus
支持的地域及接入地址：

地域	外网接入地址	内网接入地址
华东2（上海）	https://green-cip.cn-shanghai.aliyuncs.com	https://green-cip-vpc.cn-shanghai.aliyuncs.com
华北2（北京）	https://green-cip.cn-beijing.aliyuncs.com	https://green-cip-vpc.cn-beijing.aliyuncs.com
华东1（杭州）	https://green-cip.cn-hangzhou.aliyuncs.com	https://green-cip-vpc.cn-hangzhou.aliyuncs.com
华南1（深圳）	https://green-cip.cn-shenzhen.aliyuncs.com	https://green-cip-vpc.cn-shenzhen.aliyuncs.com
西南1（成都）	https://green-cip.cn-chengdu.aliyuncs.com	暂无

计费信息：该接口为收费接口。仅对HTTP状态码为200的请求进行计量计费，产生其他错误码时不会计费。关于计费方式，请参见计费说明部分。

QPS限制

本接口的单用户QPS限制为100次/秒。超过限制，API调用会被限流，这可能会影响您的业务，请合理调用。

请求参数

名称	类型	是否必须	示例值	描述
Service	String	是	comment_detection_pro	nickname_detection_pro：用户昵称检测_专业版 chat_detection_pro：私聊互动内容检测_专业版 comment_detection_pro：公聊评论内容检测_专业版
ServiceParameters	JSONString	是		审核服务需要的参数集。JSON字符串格式，关于每个字符串的描述，请参见表ServiceParameters。

表 1. ServiceParameters

名称	类型	是否必须	示例值	描述
content	String	是	检测内容	审核的文本内容

返回参数

名称	类型	示例值	描述
Code	Integer	200	状态码。更多信息，请参见Code说明。
Data	JSONObject	{"Result":[...]}	审核结果数据，具体请参见Data。
Message	String	OK	请求消息的响应消息。
RequestId	String	AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****	请求ID。

表 2. Data

名称

类型

示例值

描述

Result

JSONArray

检测的风险标签、置信分等结果，具体请参见Result。

RiskLevel

String

high

风险等级，根据设置的高低风险分返回，返回值包括：

high：高风险（若命中自定义词库，风险等级默认为高风险）
medium：中风险
low：低风险
none：未检测到风险

说明

高风险内容建议直接处置；中风险内容建议人工复查；低风险内容建议在高召回需求时再做处理，日常建议和未检测到风险做相同处理。风险分值可以在内容安全控制台配置。

表 3. Result

名称	类型	示例值	描述
Label	String	political_xxx	文字内容检测运算后返回的标签，可能会检出多个标签和分值。支持的标签请参见风险标签部分。
Confidence	Float	81.22	置信分值，0到100分，保留到小数点后2位。部分标签无置信分。
Riskwords	String	AA,BB,CC	检测到的敏感词，多个词用逗号分隔，部分标签不会返回敏感词。
CustomizedHit	JSONArray	[{"LibName":"...","Keywords":"..."}]	当命中自定义库时，Label为customized，返回自定义库名称和自定义词，具体参见CustomizedHit。
Description	String	疑似色情内容	对Labal字段的说明。重要该字段为Label字段的解释说明，可能会变更调整，实际处理结果时建议处理Label字段，不要基于该字段进行结果处置。

表 4. CustomizedHit

名称	类型	示例值	描述
LibName	String	自定义库1	自定义库名称
Keywords	String	自定义词1,自定义词2	自定义词，多个词用逗号分隔。

示例

请求示例

{
    "Service": "comment_detection_pro",
    "ServiceParameters": {
        "content": "testing content"
    }
}

返回示例：

命中系统策略：

{
    "Code": 200,
    "Data": {
        "Result": [
            {
                "Label": "political_entity",
                "Description":"疑似政治实体",
                "Confidence": 100.0,
                "RiskWords": "词A,词B,词C"
            },
            {
                "Label": "political_figure",
                "Description":"疑似政治人物",
                "Confidence": 100.0,
                "RiskWords": "词A,词B,词C"
            }
        ],
        "RiskLevel": "high"
    },
    "Message": "OK",
    "RequestId": "AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****"
}

命中自定义词库：

{
    "Code": 200,
    "Data": {
        "Result": [
            {
                "Description": "命中自定义库",
                "CustomizedHit": [
                     {
                        "LibName": "自定义词库名称1",
                        "KeyWords": "自定义关键词"
                     }
                ],
                "Confidence": 100,
                "Label": "customized"
             }
        ],
        "RiskLevel": "high"
    },
    "Message": "OK",
    "RequestId": "AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****"
}

Code说明

Code	状态代码	说明
200	OK	请求成功。
400	BAD_REQUEST	请求有误。可能是请求参数不正确导致，请仔细检查请求参数。
408	PERMISSION_DENY	可能是您的账号未授权、账号欠费、账号未开通、账号被禁等。
500	GENERAL_ERROR	错误。可能是服务端临时出错。建议重试，若持续返回该错误码，请通过在线服务联系我们。
581	TIMEOUT	超时。建议重试，若持续返回该错误码，请通过在线服务联系我们。
588	EXCEED_QUOTA	请求频率超出配额。