为了持续改进检测效果,您可以通过数据标记回流,帮助内容安全API的检测模型针对性地学习您的审核标准,提升识别准确度。您可以使用阿里云自助审核平台和您自己的审核平台。

使用阿里云自助审核平台

如果您没有自己的审核平台,建议您使用我们的自助审核平台进行审核和数据回流,审核结果将通过回调接口通知您。

标记样本

通过内容安全自助审核平台,您可以实时查看图片、文本和视频的识别结果,并对审核中发现的识别有误的样本进行标记,反馈给我们。如果您的审核人力有限,建议您重点审核被识别为违规(block)和疑似(review)的样本。

参照以下步骤,查看并标记识别结果:
  1. 登录云盾内容安全控制台
  2. 前往内容检测API > 自助审核页面。
  3. 按照以下方式,进行标记:

    • 对于您认为正常,却被识别为违规(block)或者疑似(review)的样本,标记为正常(上图标识①)。
    • 对于您认为需要管控,却被识别为疑似(review)或者正常(pass)的样本,标记为违规,并选择违规原因:涉黄暴恐广告(上图标识②)。
    说明
    支持勾选多张图片,进行批量处理,如批量清空标记批量标记正常批量标记违规(上图标识③)。
  4. 标识完成后,单击提交(上图标识④)。被标记样本以及类似样本的检测结果将会按照您的标记结果实时纠正,同时会通过下文中的回调接口通知您。

结果通知

在对内容检测API检测结果进行审核时,您可以启动回调动作,并设置一个HTTP(s)接口。这样设置后,当您提交审核时,我们会通过该接口,将审核结果及系统检测的原始内容推送给您。

参照以下步骤,设置自主审核结果回调接口:
  1. 登录云盾内容安全控制台
  2. 前往设置 > 内容检测API页面。
  3. 自主审核结果通知下,设置回调地址(即回调链接callback)。当您添加完回调链接时,系统会自动生成一个回调种子(seed)。
    说明
    最多只能添加一个回调链接(callback)。


    关于回调通知参数(callback、seed),参见以下说明。

结果回调通知参数(callback、seed)

回调链接(callback)需支持POST方法, 传输数据编码采用utf-8,并且支持表单参数checksum和content。系统将按以下描述的生成规则和格式设置checksum和content的值,调用您的callback接口,返回检测内容。

您的服务端接收到我们推送的结果后,返回的HTTP状态码为200时,表示推送成功,其他的HTTP状态码均视为您接收失败,我们将最多重复推送16次。

回调结果参数的生成规则
名称 类型 描述
checksum String 由用户uid + seed + content拼成字符串,通过SHA256算法生成。用户UID即账号ID,您可在阿里云控制台上查询。为防篡改,您可以在获取到推送结果时,按此算法生成字符串,与checksum做一次校验。
content String JSON字符串格式,请自行解析反转成JSON对象。content结果格式参见下文。

content结果格式

content包含以下两部分内容:
  • 扫描结果(scanResult):API调用返回结果中字段及描述。
  • 审核结果(auditResult):
    • suggestion:系统审核结果,取值:
      • pass:表示审核为正常。
      • block:表示审核为违规。
    • labels:审核为违规时的具体原因。
以下是一个content结果示例:
{
    "scanResult": {
        "code": 200,
        "msg": "OK",
        "taskId": "fdd25f95-4892-4d6b-aca9-7939bc6e9baa-1486198766695",
        "url": "http://1.jpg",
        "results": [
            {
                "rate": 100,
                "scene": "porn",
                "suggestion": "block",
                "label": "porn"
            }
        ]
    },
    "auditReult": {
        "suggestion": "block",
        "labels": [
            "porn",
            "ad",
            "terrorism"
        ]
    }
}

使用您自己的审核平台

如果您有自己的审核平台,您可以直接对接反馈接口,将审核后认为识别有误的样本回流给我们。收到您的反馈后,我们会在下个版本的模型迭代中将您的反馈数据加入训练。关于反馈接口参数,参见具体接口文档
说明
模型训练需要积累足够的样本,可能无法立即生效。如果有需要,您可以开启自动加入自定义图库功能,实时纠正结果。
开启自动加入自定义图库的操作步骤如下:
  1. 通过工单或者您的商务经理,联系内容安全运营人员,帮助您打开实时回流自定义图库的开关,选择要回流的场景。系统会帮助您在自定义图库中自动创建该场景的回流图库,分为黑名单和白名单。
  2. 在反馈接口的label字段中,对于您认为正常的样本传normal,将该样本加入白名单;对于您认为违规的样本传任意字段(建议您使用porn、ad、terrorism等风险字段),将该样本加入黑名单。
说明
内容安全控制台,您也可以对回流图库像对其他自定义图库一样进行管理,只不过不能创建与删除回流图库。关于自定义图库的操作方法,请参考自定义图库