文档

内容安全文本审核服务在决策引擎中的应用

更新时间:

决策引擎集成了阿里云内容安全文本审核增强版服务,您可通过决策引擎直接使用内容安全服务,降低对接成本,并实现内容安全服务的灵活使用及攻防对抗。

背景信息

决策引擎集成了2项常用的内容安全文本审核service,每项文本审核service通过4个变量提供服务,分别对应内容安全返回参数中的:labels-标签,riskTips-细分标签,adNums-命中广告号,riskWords-命中风险片段(详见文本审核增强版API)。

内容安全文本审核 service

常用业务场景

场景特性说明

变量

nickname_detection

用户昵称、公众号名称、直播间标题等

侧重识别底线违规类、仿冒官方、禁限引流风险,可辅助治理虚假账号。

文本审核_增强版_用户昵称_标签

文本审核_增强版_用户昵称_细分标签

文本审核_增强版_用户昵称_命中广告号

文本审核_增强版_用户昵称_命中风险片段

comment_detection

评论、弹幕、公聊、转发等

通常风险率高、风险类型多、变形变异强,识别底线违规类、广告导流、禁限内容等风险。

文本审核_增强版_公聊评论_标签

文本审核_增强版_公聊评论_细分标签

文本审核_增强版_公聊评论_命中广告号

文本审核_增强版_公聊评论_命中风险片段

应用场景

您可以通过决策引擎配置内容安全变量,对检测的范围和风险检测的细项进行调整,以满足业务要求。您也可以将内容安全服务返回的标签转化为账号维度的风险特征进行防控,以满足提升账号维度处置的准确率和效率。

应用场景

说明

通过决策引擎透传内容安全检测结果

如您已经完成决策引擎对接,您无需再次对接内容安全接口,可通过决策引擎直接进行内容安全检测。

将文本维度的风险转化为主体维度的风险特征

您可以将文本维度的风险转化为“主体”维度(账号、设备、ip等)的风险,提升处置的准确率及效率。

例如,对于每个账号发送的广告类消息有一定容忍度,但超过限度则进行处罚。

通过决策引擎透传内容安全检测结果

如果您购买了风险识别包年包月的商品,您无需任何配置,可以直接通过API调用以上2项内容安全文本审核服务。调用方式如下:

  1. 将公共参数中的service替换为内容安全文本审核的service(nickname_detection/comment_detection)。

  2. serviceParameter增加“content”字段,传入需要检测的内容即可。

以下是内容安全文本审核公聊评论服务的请求示例:

    https://saf.cn-shanghai.aliyuncs.com/
    ?Format=JSON
    &Version=2020-07-06
    &Signature=vpEEL0zFHfxXYzSFV0n7%2FZiFL9o%3D 
    &SignatureMethod=Hmac-SHA1
    &SignatureNonce=15215528852396
    &SignatureVersion=1.0
    &Action=ExecuteRequest
    &AccessKeyId=123****saf 
    &Timestamp=2018-06-01T12:00:00Z
    &Service=comment_detection //内容安全-文本审核-公聊评论服务
    &ServiceParameters={"content":加V}
  1. 检测结果通过extend字段输出,与内容安全接口返回字段保持一致。

    1. 标签:labels

    2. 细分标签:riskTips

    3. 命中广告号:adNums

    4. 命中风险片段:riskWords

以下是返回参数的JSON示例:

{
  "Message": "OK",
  "RequestId": "62383C45-5DC3-5A25-AD6C-3F7AB61FDE59",
  "Data": {
    "extend": "{\"riskTips\":\"广告_微信变异,广告_引流类\",\"adNums\":\"\",\"riskWords\":\"加v,加V\",\"labels\":\"ad\"}"
  },
  "Code": 200
}

将文本维度的风险转化为主体维度的风险特征

本示例中,通过记录同账号一定时间内发送广告类消息的次数,当达到一定阈值(3次),则返回高风险。

  1. 登录决策引擎控制台

  2. 【配置事件及字段】进入事件管理>自定义事件管理,点击新建事件,创建内容安全检测事件并添加“内容”作为事件字段,本示例中以“content/内容”为例。

image.png

  1. 【配置内容安全变量】进入变量中心>变量选配>新增关联变量,选择具体的内容安全服务,系统将自动添加1个service下的4个变量。

    1. 选择变量:以公聊评论服务(service:comment_detection)为例,选择内容安全_文本审核_增强版>公聊评论

    2. 选择事件:即该变量在哪个事件下使用,该示例下为“内容安全公聊评论文本审核事件”。

    3. 关联变量字段:将事件中的字段与该变量字段进行映射,该示例下为“content”。

    4. 点击确定。

image.png
  1. 进入变量中心>自定义累计变量,点击新建累计变量

  2. 配置累计变量

    1. 写事件:选择目标事件

    2. 变量类型:选择次数

    3. 变量名称:取有业务含义的名称,本示例中为“同账号近1天公聊命中广告次数”

    4. 时间切片:近1天

    5. 主对象:账号ID

    6. 累计对象:为空

    7. 前置计算逻辑

      1. 左变量:选择“文本审核_增强版_公聊评论_标签”

      2. 操作符:选择“包含右变量”

      3. 右变量:填写需要累计的标签值,本示例中为“ad”

image.png
  1. 进入“策略管理”创建策略并关联目标事件,配置策略。本示例中,假设策略为:同账号近1天公聊命中广告次数>=3,则输出高风险标签highRisk_ad。

    1. 选择左变量:在自定义变量中选择以上创建的累计变量“同账号近1天公聊命中广告次数”。

    2. 选择操作服务:大于等于

    3. 输入右变量:3

    4. 计算路径:1

    5. 策略输出标签:highRisk_ad

  2. 点击保存,并将该策略发布为“正式运行”完成配置。

  3. 验证

    1. 您可以在风险识别OpenAPI进行验证。以下示例可供参考。

    2. 入参代码示例:

      {"eventCode":"de_example","accountId":"jack","content":"加v零妻衣衣山山二"} 注:eventCode需替换为您配置事件的事件编码。

    3. 出参代码示例

连续调用3次,命中策略,tags输出highRisk_ad,符合预期。

{
 "Message": "OK",
 "RequestId": "9AF58AD8-6816-59D8-AFC9-6602B52A242D",
 "Data": {
 "extend": "",
 "tags": "highRisk_ad"
 },
 "Code": 200
}
  • 本页导读 (0)