大模型能力构建的文本审核方案-AI 安全护栏(AI Guardrails)-阿里云帮助中心

基于大模型能力的文本审核方案，能够高效精准地识别违规内容。与传统文本内容安全审核方案相比，该方案具备更强大的语言理解与分析能力，能精准识别复杂、隐晦的违规内容，突破了传统模式的局限。

重要

该方案现正处于快速迭代期，如果您有任何测试反馈和建议，请联系您的商务经理进行反馈。

一、服务说明

内容安全增强版文本审核大模型支持的服务（Service）如下：

服务（Service）	检测内容	适用场景
服务名称：UGC场景文本审核大模型服务_专业版 Service：ugc_moderation_byllm_pro	针对UGC场景，基于大模型能力构建的文本审核服务，能够高效精准地识别各类文本违规内容，具备更细分的风险标签。详细可检测项，请参见内容安全控制台。	UGC场景的各类文本审核，需要更细的标签返回，建议使用该服务。
服务名称：UGC场景文本审核大模型服务 Service：ugc_moderation_byllm	针对UGC场景，基于大模型能力构建的文本审核服务，能够高效精准地识别各类文本违规内容。详细可检测项，请参见内容安全控制台。	UGC场景的各类文本审核，建议使用该服务。
服务名称：UGC场景文本审核大模型服务_出海版 Service：ugc_moderation_byllm_cb	针对出海的UGC场景，基于大模型能力构建的文本审核服务，支持中文、英文、西班牙语、法语、葡萄牙语、意大利语、阿拉伯语、日语、韩语、印度尼西亚语、俄语、越南语、德语和泰语等119种语言，能够高效精准地识别各类文本违规内容。详细可检测项，请参见内容安全控制台。	出海UGC场景的各类文本审核，建议使用该服务。
服务名称：AIGC场景文本审核大模型服务 Service：aigc_moderation_byllm	针对AIGC场景，基于大模型能力构建的文本审核服务，能够高效精准地识别各类文本违规内容。详细可检测项，请参见内容安全控制台。	AIGC场景的各类文本审核，建议使用该服务。

二、计费说明

文本审核大模型服务支持按量后付费和资源包抵扣两种付费方式。

按量后付费

当您开通图片审核增强版服务后，默认付费方式是按量后付费，且按照实际用量结算当日费用，不调用服务不收费。

审核类型	支持的业务场景（服务）	计费单价
文本审核大模型版基础（text_llm_standard）	UGC场景文本审核大模型服务_专业版：ugc_moderation_byllm_pro UGC场景文本审核大模型服务：ugc_moderation_byllm UGC场景文本审核大模型服务_出海版：ugc_moderation_byllm_cb AIGC场景文本审核大模型服务：aigc_moderation_byllm	20元/万次说明调用1次左侧任一服务进行1次计费。根据实际调用量计费，如调用100次UGC场景文本审核大模型服务_专业版计费0.2元。
文本审核大模型版高级（text_llm_advanced）	文本翻译功能	40元/万次/千字说明文本翻译功能：开启文本翻译功能之后，每次请求每500字计费一次。

说明

内容安全增强版的按量付费的计量出账频率为1小时/次。在出账详单中，moderationType对应上述审核类型字段。您可以查看账单详情。

资源包抵扣

如果您的审核量较大，或有相对固定的审核需求，建议预先购买资源包的方式。购买资源包规格越大，享受的折扣越大，支持叠加购买和使用。更多内容，请参见购买内容审核增强版抵扣资源包。

该资源包用于内容审核增强版用量的抵扣，无法与内容安全1.0版流量包共享，具体的抵扣系数如下：

审核类型	抵扣系数
文本审核大模型版（text_llm_standard）	抵扣系数为2.67，表示每成功调用一次接口，抵扣资源包的流量包容量规格2.67次。说明例如购买的资源包的流量包容量规格为10次，当您成功调用1次接口，抵扣流量包容量规格2.67次，剩余7.33次。
文本审核大模型版高级（text_llm_advanced）	抵扣系数为5.34，表示每成功调用一次接口，抵扣资源包的流量包容量规格5.34次。说明例如购买的资源包的流量包容量规格为10次，当您成功调用1次接口，抵扣流量包容量规格5.34次，剩余4.66次。

购买后，使用图片审核增强版API所产生的用量会优先抵扣资源包的次数，当资源包次数不足以抵扣时，阿里云费用系统会自动按照按量付费进行出账，请及时关注您的资源包余量和按量付费账单。您可以通过阿里云费用中心的资源包系统设定余量预警通知。

三、风险标签

标签含义

面向文本审核PLUS服务支持返回10个类型的60+个细分标签和标签置信度。如果内容存在多种风险类型，能够同时返回多个细分标签。以下是风险标签值、对应的分值区间以及对应的含义：

国内服务风险标签：

标签值（label）	置信分区间（confidence）	中文含义
pornographic_adult	0~100分，分数越高置信度越高	疑似色情内容
sexual_terms	0~100分，分数越高置信度越高	疑似性健康内容
sexual_suggestive	0~100分，分数越高置信度越高	疑似低俗内容
political_figure	0~100分，分数越高置信度越高	疑似政治人物
political_entity	0~100分，分数越高置信度越高	疑似政治实体
political_n	0~100分，分数越高置信度越高	疑似敏感政治内容
political_p	0~100分，分数越高置信度越高	疑似涉政禁宣人物
political_a	0~100分，分数越高置信度越高	涉政专项升级保障
violent_extremist	0~100分，分数越高置信度越高	疑似极端组织
violent_incidents	0~100分，分数越高置信度越高	疑似极端主义内容
violent_weapons	0~100分，分数越高置信度越高	疑似武器弹药
contraband_drug	0~100分，分数越高置信度越高	疑似毒品相关
contraband_gambling	0~100分，分数越高置信度越高	疑似赌博相关
contraband_act	0~100分，分数越高置信度越高	疑似违禁行为
contraband_entity	0~100分，分数越高置信度越高	疑似违禁工具
inappropriate_discrimination	0~100分，分数越高置信度越高	疑似偏见歧视内容
inappropriate_ethics	0~100分，分数越高置信度越高	疑似不良价值观内容
inappropriate_profanity	0~100分，分数越高置信度越高	疑似攻击辱骂内容
inappropriate_oral	0~100分，分数越高置信度越高	疑似低俗口头语内容
inappropriate_superstition	0~100分，分数越高置信度越高	疑似封建迷信内容
inappropriate_nonsense	0~100分，分数越高置信度越高	疑似无意义灌水内容
pt_to_sites	0~100分，分数越高置信度越高	疑似站外引流
pt_by_recruitment	0~100分，分数越高置信度越高	疑似网赚兼职广告
pt_to_contact	0~100分，分数越高置信度越高	疑似引流广告号
religion_b	0~100分，分数越高置信度越高	疑似涉及佛教
religion_t	0~100分，分数越高置信度越高	疑似涉及道教
religion_c	0~100分，分数越高置信度越高	疑似涉及基督教
religion_i	0~100分，分数越高置信度越高	疑似涉及伊斯兰教
religion_h	0~100分，分数越高置信度越高	疑似涉及印度教
customized	0~100分，分数越高置信度越高	命中自定义词库

出海服务风险标签：

标签值（label）	置信分区间（confidence）	中文含义
pornographic_adult	0~100分，分数越高置信度越高	疑似色情内容
sexual_terms	0~100分，分数越高置信度越高	疑似性健康内容
sexual_suggestive	0~100分，分数越高置信度越高	疑似低俗内容
sexual_orientation	0~100分，分数越高置信度越高	疑似性取向内容
regional_cn	0~100分，分数越高置信度越高	疑似国内涉政内容
regional_illegal	0~100分，分数越高置信度越高	疑似非法政治内容
regional_controversial	0~100分，分数越高置信度越高	疑似政治争议
regional_racism	0~100分，分数越高置信度越高	疑似种族主义
violent_extremist	0~100分，分数越高置信度越高	疑似极端组织
violent_incidents	0~100分，分数越高置信度越高	疑似极端主义内容
violent_weapons	0~100分，分数越高置信度越高	疑似武器弹药
violence_unscList	0~100分，分数越高置信度越高	联合国制裁名单
contraband_drug	0~100分，分数越高置信度越高	疑似毒品相关
contraband_gambling	0~100分，分数越高置信度越高	疑似赌博相关
inappropriate_ethics	0~100分，分数越高置信度越高	疑似不良价值观内容
inappropriate_profanity	0~100分，分数越高置信度越高	疑似攻击辱骂内容
inappropriate_oral	0~100分，分数越高置信度越高	疑似低俗口头语内容
inappropriate_religion	0~100分，分数越高置信度越高	疑似宗教亵渎内容
pt_to_contact	0~100分，分数越高置信度越高	疑似引流广告号
pt_to_sites	0~100分，分数越高置信度越高	疑似站外引流
customized	0~100分，分数越高置信度越高	命中自定义词库

管理标签

每个风险标签均可以在控制台进行开关配置，部分风险标签会提供更细分检测范围的开关配置，具体参见内容安全控制台。

在左侧导航栏，选择机器审核增强版>文本审核>规则配置。
在规则管理页签，以大模型审核方案（aigc_moderation_byllm）为例，单击操作列设置词库。
1. 选择需要调整的检测类型，以不良内容检测为例。
2. 单击编辑进入编辑模式，修改对应检测状态。
3. 单击保存，保存新配置的检测范围。新配置的检测范围约2~5分钟生效并应用于生产环境。

四、接入指南

步骤一：开通服务

访问开通服务，开通文本审核增强版服务。

步骤二：为RAM用户授权

在接入SDK或者API之前，您需要为RAM用户授权。您可以为阿里云账号和RAM用户创建一个访问密钥（AccessKey）。在调用阿里云API时您需要使用AccessKey完成身份验证。获取方式，请参见获取AccessKey。

操作步骤

使用阿里云账号登录RAM控制台。
创建RAM用户。
具体操作，请参见创建RAM用户。
向RAM用户授权系统策略权限：AliyunYundunGreenWebFullAccess。
具体操作，请参见管理RAM用户的权限。
完成以上配置后，您可以使用RAM用户调用内容安全API。

步骤三：安装并接入SDK

文本审核增强版PLUS服务SDK请参考文本审核增强版PLUS服务SDK及接入指南。

五、API说明

使用说明

您可以调用该接口创建文本内容检测任务。关于如何构造HTTP请求，请参见请求结构；您也可以直接选用已构造好的HTTP请求，更多信息，请参见接入指南部分。

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

业务接口：TextModerationPlus
支持的地域及接入地址：

地域	外网接入地址	内网接入地址
华东2（上海）	green-cip.cn-shanghai.aliyuncs.com	green-cip-vpc.cn-shanghai.aliyuncs.com	ugc_moderation_byllm_pro、ugc_moderation_byllm、aigc_moderation_byllm
华北2（北京）	green-cip.cn-beijing.aliyuncs.com	green-cip-vpc.cn-beijing.aliyuncs.com
华东1（杭州）	green-cip.cn-hangzhou.aliyuncs.com	green-cip-vpc.cn-hangzhou.aliyuncs.com
华南1（深圳）	green-cip.cn-shenzhen.aliyuncs.com	green-cip-vpc.cn-shenzhen.aliyuncs.com
西南1（成都）	green-cip.cn-chengdu.aliyuncs.com	暂无
中国香港	green-cip.cn-hongkong.aliyuncs.com	green-cip-vpc.cn-hongkong.aliyuncs.com	ugc_moderation_byllm_cb
新加坡	green-cip.ap-southeast-1.aliyuncs.com	green-cip-vpc.ap-southeast-1.aliyuncs.com
美国（弗吉尼亚）	green-cip.us-east-1.aliyuncs.com	green-cip-vpc.us-east-1.aliyuncs.com
德国（法兰克福）	green-cip.eu-central-1.aliyuncs.com	green-cip-vpc.eu-central-1.aliyuncs.com

重要

德国（法兰克福）和中国香港区域的文本审核大模型推理计算由新加坡节点支持，推理结果处理、数据和日志存储在德国（法兰克福）和香港本地进行。

计费信息：该接口为收费接口。仅对HTTP状态码为200的请求进行计量计费，产生其他错误码时不会计费。关于计费方式，请参见计费说明部分。

QPS限制

本服务的单用户QPS限制为50次/秒。超过限制，服务调用会被限流，这可能会影响您的业务，请合理调用。如需支持更多QPS，请联系商务经理。

请求参数

名称	类型	是否必须	示例值	描述
Service	String	是	ugc_moderation_byllm	ugc_moderation_byllm_pro ：UGC场景文本审核大模型服务_专业版 ugc_moderation_byllm：UGC场景文本审核大模型服务 ugc_moderation_byllm_cb：UGC场景文本审核大模型服务_出海版 aigc_moderation_byllm：AIGC场景文本审核大模型服务
ServiceParameters	JSONString	是		审核服务需要的参数集。JSON字符串格式，关于每个字符串的描述，请参见表ServiceParameters。

表 1. ServiceParameters

名称	类型	是否必须	示例值	描述
content	String	是	检测内容	审核的文本内容，限定在2000字符以内。
dataId	String	否	text0424****	检测对象对应的数据ID。由大小写英文字母、数字、下划线（_）、短划线（-）、英文句号（.）组成，不超过64个字符，可以用于唯一标识您的业务数据。
accountId	String	否	ID0728****	账户ID，标识一个账户的唯一ID，用于平台侧最终用户的记录。比如用户A和用户B聊天，A的聊天文本此处传入A，B的聊天文本此处传入B。说明账户ID可以结合上下文进行审核，如需开启请联系您的商务或者提工单申请。
infoType	String	否	llmContent	需要获取的辅助信息内容，取值： llmContent：大模型原始检测结果

返回参数

名称	类型	示例值	描述
Code	Integer	200	状态码。更多信息，请参见Code说明。
Data	JSONObject	{"Result":[...]}	审核结果数据，具体请参见Data。
Message	String	OK	请求消息的响应消息。
RequestId	String	AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****	请求ID。

表 2. Data

名称	类型	示例值	描述
Result	JSONArray		检测的风险标签、置信分等结果，具体请参见Result。
RiskLevel	String	high	风险等级，根据设置的高低风险分返回，返回值包括： high：高风险（若命中自定义词库，风险等级默认为高风险） medium：中风险 low：低风险 none：未检测到风险说明高风险内容建议直接处置；中风险内容建议人工复查；低风险内容建议在高召回需求时再做处理，日常建议和未检测到风险做相同处理。风险分值可以在内容安全控制台配置。
DataId	String	text0424****	检测对象对应的数据ID。说明如果在检测请求参数中传入了dataId，则此处返回对应的dataId。
AccountId	String	10123****	账户ID。说明如果在检测请求参数中传入了accountId，则此处返回对应的accountId。
TranslatedContent	String	翻译后文本	翻译后的文本内容，在开启文本翻译功能之后返回。说明开启文本翻译功能当前仅新加坡区域支持，在设置词库中进行配置，配置会产生额外的费用，详情请参考计费说明。
Ext	Object		文本辅助参考信息。更多信息，请参见Ext。

表 3. Result

名称	类型	示例值	描述
Label	String	political_xxx	文字内容检测运算后返回的标签，可能会检出多个标签和分值。支持的标签请参见风险标签部分。
Description	String	疑似色情内容	对Labal字段的说明。重要该字段为Label字段的解释说明，可能会变更调整，实际处理结果时建议处理Label字段，不要基于该字段进行结果处置。
Confidence	Float	81.22	置信分值，0到100分，保留到小数点后2位。部分标签无置信分。
Riskwords	String	AA,BB,CC	检测到的敏感词，多个词用逗号分隔，部分标签不会返回敏感词。
CustomizedHit	JSONArray	[{"LibName":"...","Keywords":"..."}]	当命中自定义库时，Label为customized，返回自定义库名称和自定义词，具体参见CustomizedHit。
RiskPositions	JSONArray		检测到敏感词的位置信息。更多信息，请参见RiskPositions。

表 4. CustomizedHit

名称	类型	示例值	描述
LibName	String	自定义库1	自定义库名称
Keywords	String	自定义词1,自定义词2	自定义词，多个词用逗号分隔。

表 5. RiskPositions

名称	类型	示例值	描述
RiskWord	String	AA	检测到的敏感词。
StartPos	Integer	10	敏感词的开始位置。
EndPos	Integer	12	敏感词的结束位置。

表 6. Ext

名称	类型	示例值	描述
LLmContent	Object		返回大模型原始检测结果。更多信息，请参见LlmContent。

表 7. LlmContent

名称	类型	示例值	描述
OutputText	String	疑似低俗口头语内容	文本审核大模型原始检测结果。

示例

请求示例：

{
    "Service": "ugc_moderation_byllm_pro",
    "ServiceParameters": {
        "content": "testing content",
        "dataId": "text0424****"
    }
}

返回示例：

命中系统策略：

{
    "Code": 200,
    "Data": {
        "Result": [
            {
                "Label": "political_entity",
                "Description": "疑似政治实体",
                "Confidence": 100.0,
                "RiskWords": "词A,词B",
                "RiskPositions": [
                    {
                        "EndPos": 14,
                        "RiskWord": "词A",
                        "StartPos": 16
                    }
                ]
            },
            {
                "Label": "political_figure",
                "Description": "疑似政治人物",
                "Confidence": 100.0,
                "RiskWords": "词B,词C",
                "RiskPositions": [
                    {
                        "EndPos": 24,
                        "RiskWord": "词C",
                        "StartPos": 26
                    }
                ]
            }
        ],
        "RiskLevel": "high",
        "DataId": "text0424****"
    },
    "Message": "OK",
    "RequestId": "AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****"
}

命中自定义词库：

{
    "Code": 200,
    "Data": {
        "Result": [
            {
                "Description": "命中自定义库",
                "CustomizedHit": [
                     {
                        "LibName": "自定义词库名称1",
                        "KeyWords": "自定义关键词"
                     }
                ],
                "Confidence": 100,
                "Label": "customized"
             }
        ],
        "RiskLevel": "high",
        "DataId": "text0424****"
    },
    "Message": "OK",
    "RequestId": "AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****"
}

返回大模型原始结果：

{
  "RequestId": "ZZZZZ-2024-0307-FORYOU-EVER",
  "Message": "OK",
  "Data": {
    "Ext": {
      "LlmContent": {
        "OutputText": "疑似攻击辱骂内容"
      }
    },
    "Result": [
      {
        "RiskWords": "违规词",
        "Description": "疑似攻击辱骂内容",
        "Confidence": 100.0,
        "Label": "inappropriate_profanity",
        "RiskPositions": [
          {
            "RiskWord": "违规词",
            "EndPos": 5,
            "StartPos": 2
          }
        ]
      }
    ],
    "RiskLevel": "high"
  },
  "Code": 200
}

Code说明

Code	状态代码	说明
200	OK	请求成功。
400	BAD_REQUEST	请求有误。可能是请求参数不正确导致，请仔细检查请求参数。
408	PERMISSION_DENY	可能是您的账号未授权、账号欠费、账号未开通、账号被禁等。
500	GENERAL_ERROR	错误。可能是服务端临时出错。建议重试，若持续返回该错误码，请通过在线服务联系我们。
581	TIMEOUT	超时。建议重试，若持续返回该错误码，请通过在线服务联系我们。
588	EXCEED_QUOTA	请求频率超出配额。