内容安全文本审核服务在决策引擎中的应用

决策引擎集成了阿里云使用文本审核增强版识别文本违规风险,您可通过决策引擎直接使用内容安全服务,降低对接成本,并实现内容安全服务的灵活使用及攻防对抗。

背景信息

决策引擎集成了2项常用的内容安全文本审核服务,每项文本审核服务通过4个变量提供服务,分别对应内容安全返回参数中的:labels-标签,riskTips-细分标签,adNums-命中广告号,riskWords-命中风险片段(详见文本审核增强版API

内容安全文本审核 service

常用业务场景

场景特性说明

变量

nickname_detection

用户昵称、公众号名称、直播间标题等

侧重识别底线违规类、仿冒官方、禁限引流风险,可辅助治理虚假账号。

文本审核_增强版_用户昵称_标签

文本审核_增强版_用户昵称_细分标签

文本审核_增强版_用户昵称_命中广告号

文本审核_增强版_用户昵称_命中风险片段

comment_detection

评论、弹幕、公聊、转发等

通常风险率高、风险类型多、变形变异强,识别底线违规类、广告导流、禁限内容等风险。

文本审核_增强版_公聊评论_标签

文本审核_增强版_公聊评论_细分标签

文本审核_增强版_公聊评论_命中广告号

文本审核_增强版_公聊评论_命中风险片段

应用场景

您可以通过决策引擎配置内容安全变量,对检测的范围和风险检测的细项进行调整,以满足业务要求。您也可以将内容安全服务返回的标签转化为账号维度的风险特征进行防控,以提升账号维度处置的准确率和效率。

应用场景

说明

通过决策引擎透传内容安全检测结果

如您已经完成决策引擎对接,您无需再次对接内容安全接口,可通过决策引擎直接进行内容安全检测。

将文本维度的风险转化为主体维度的风险特征

您可以将文本维度的风险转化为主体维度(账号、设备、IP等)的风险,提升处置的准确率及效率。

例如,对于每个账号发送的广告类消息设定一定的阈值,超过该阈值则进行处罚。

通过决策引擎透传内容安全检测结果

如果您购买了风险识别包年包月的商品,您无需任何配置,可以直接通过API调用以上2项内容安全文本审核服务。调用方式如下:

  1. 将公共参数中的service替换为内容安全文本审核的service(nickname_detection/comment_detection)。

  2. serviceParameter增加content字段,传入需要检测的内容即可。

    以下是内容安全文本审核公聊评论服务的请求示例:

    https://saf.cn-shanghai.aliyuncs.com/
        ?Format=JSON
        &Version=2020-07-06
        &Signature=vpEEL0zFHfxXYzSFV0n7%2FZiFL9o%3D
        &SignatureMethod=Hmac-SHA1
        &SignatureNonce=15215528852396
        &SignatureVersion=1.0
        &Action=ExecuteRequest
        &AccessKeyId=123****saf
        &Timestamp=2018-06-01T12:00:00Z
        &Service=comment_detection
        &ServiceParameters={"content":"加V"}
  3. 检测结果通过extend字段输出,与内容安全接口返回字段保持一致。

    1. 标签:labels。

    2. 细分标签:riskTips。

    3. 命中广告号:adNums。

    4. 命中风险片段:riskWords。

    以下是返回参数的JSON示例:

    {
      "Message": "OK",
      "RequestId": "62383C45-5DC3-5A25-AD6C-3F7AB61FDE59",
      "Data": {
        "extend": "{\"riskTips\":\"广告_微信变异,广告_引流类\",\"adNums\":\"\",\"riskWords\":\"加v,加V\",\"labels\":\"ad\"}"
      },
      "Code": 200
    }

将文本维度的风险转化为主体维度的风险特征

本示例中,通过记录同账号一定时间内发送广告类消息的次数,当达到一定阈值(3次),则返回高风险。

  1. 登录决策引擎控制台

  2. 在左侧导航栏单击事件管理 > 新建事件,创建内容安全检测事件并添加内容作为事件字段,本示例中content/内容为例。

    image.png

  3. 配置内容安全变量进入变量中心 > 变量选配 > 新增关联变量,选择具体的内容安全服务,系统将自动添加1service下的4个变量。

    1. 选择变量:以公聊评论服务(service:comment_detection)为例,选择内容安全 > 文本审核 > 增强版 > 公聊评论

    2. 选择事件:即该变量在哪个事件下使用,该示例下为“内容安全公聊评论文本审核事件”。

    3. 关联变量字段:将事件中的字段与该变量字段进行映射,该示例下为content。

    4. 单击确定。

    image.png

  1. 进入变量中心 > 变量管理 > 自定义累计变量,单击新建累计变量

  2. 配置累计变量。

    1. 写事件:选择目标事件。

    2. 变量类型:选择次数。

    3. 变量名称:取有业务含义的名称,本示例中为同账号近1天公聊命中广告次数。

    4. 时间切片:近1天。

    5. 主对象:账号ID。

    6. 累计对象:为空。

    7. 前置计算逻辑。

      1. 左变量:选择文本审核 > 增强版 > 公聊评论 > 标签

      2. 操作符:选择包含右变量

      3. 右变量:填写需要累计的标签值,本示例中为ad。

      image.png

  3. 在左侧导航栏,单击场景风控 > 策略管理,进入策略管理页面创建策略。本示例中,假设策略为:同账号近1天公聊命中广告次数>=3,则输出高风险标签highRisk_ad。

    image

    1. 选择左变量:在自定义变量中选择以上创建的累计变量同账号近1天公聊命中广告次数。

    2. 选择操作服务:大于等于。

    3. 输入右变量:3。

    4. 计算路径:1。

    5. 策略输出标签:highRisk_ad。

    6. 单击保存,并将该策略发布为正式运行完成配置。

    7. 验证。

      1. 您可以在风险识别OpenAPI进行验证。以下示例可供参考。

      2. 入参代码示例:

        {
          "eventCode": "de_example",
          "accountId": "jack",
          "content": "加v零妻衣衣山山二"
        }
        说明

        eventCode需替换为您配置事件的事件编码。

      3. 出参代码示例:

        连续调用3次,命中策略,tags输出highRisk_ad,符合预期。

        {
          "Message": "OK",
          "RequestId": "9AF58AD8-6816-59D8-AFC9-6602B52A242D",
          "Data": {
            "extend": "",
            "tags": "highRisk_ad"
          },
          "Code": 200
        }