内容安全采用阿里云默认的机器审核标准为您提供内容检测服务。如果您在测试过程中发现默认的审核标准相对您的业务需求过于严格或宽松,您可以通过内容安全的审核标准模板搭建并应用自定义机审标准。本文介绍了搭建自定义机审标准的具体方法。

背景信息

自定义审核标准模板目前只支持配置图片色情、图片涉政暴恐两个场景的机审标准。

在自定义机审标准前,请先熟悉以下概念:

  • bizType(或BizType):业务场景。审核标准基于bizType搭建,每个bizType对应一套审核标准;未配置自定义审核标准时,统一使用默认的bizType以及对应的默认审核标准。配置自定义bizType后,您必须在内容检测API的接口中传递自定义bizType,检测才会按照自定义bizType的标准进行。
  • 准确率:机审判定违规且人审确认违规的检测数量 / 机审判定违规的检测数量。
  • 召回率:机审判定违规且人审确认违规的检测数量 / 人审确认违规的检测数量。
  • 审核比:机审判定疑似的检测数量 / 机审结果的总数。

操作步骤

  1. 登录云盾内容安全控制台
  2. 前往设置 > 内容检测API页面,并打开机审标准页签。
  3. 单击创建BizType图标(首次创建bizType)或者新增BizType(已创建过bizType)。
    审核标准
  4. 新增BizType对话框中,完成bizType配置,并单击确认。bizType的配置描述见下表。
    配置项 说明
    BizType名称 为bizType命名。支持使用数字、英文字符、下划线(_),且不超过32个字符。
    行业分类 业务所属行业分类,非必选项。若传入行业分类,我们能够更好地帮助您调整策略配置。
    从现有导入 如果您已经创建过bizType,则可以选择直接导入已创建的bizType的配置。

    bizType,新增,配置
    成功新建bizType,您可以在左侧bizType列表中看到新建的bizType。
  5. 单击新建的bizType,编辑其审核标准。
    不同检测场景的审核标准定义不同,具体以控制台页面显示为准。 目前仅支持配置图片色情、图片涉政暴恐检测的审核标准。审核标准定义的描述见下表。
    检测对象 检测场景 审核标准 说明
    图片 色情 选择一种审核策略。支持的审核策略包括:
    • 高召回率策略
    • 高准确率策略
    • 严格色情忽略性感策略
    在调用接口检测图片涉黄风险时(参见同步检测),请求参数scene需要传递porn,标准才会生效。
    图片 涉政暴恐 选择一种或多种管控场景。支持的管控场景包括:
    • 涉政人物
    • 特殊标识
    • 特殊着装
    • 枪支
    • 利器
    • 军警徽
    • 钱币
    • 血腥场景
    在调用接口检测图片涉政暴恐风险时(参见同步检测),请求参数scene需要传递terrorism,标准才会生效。
  6. 修改配置后单击保存

执行结果

完成自定义审核标准的定义。

后续步骤

接下来,您只需将要应用的审核标准的bizType名称告知开发人员;开发人员在使用开发文档进行服务接入时,传入对应的bizType参数即可。这样,机审过程将采用bizType配置的自定义审核标准。

图片审核接口为例,若您在请求参数bizType中传入您在控制台创建的bizType的名称,检测就会按照自定义机审标准进行。


请求参数,bizType