文档

存量检测OSS存储图片、音视频和文档数据

更新时间:

OSS违规检测普惠版面向有定期检测OSS存量数据需求的客户,能够提供价格更优惠的时效规格,集成内容审核增强版服务检测能力,支持更多的风险类型和更丰富的风险标签,支持OSS存储空间(Bucket)和日志服务SLS等云产品原生功能,并大幅度提升使用体验。本文介绍如何使用普惠版存量检测OSS存储的图片、音视频和文档数据。

开通与授权

OSS违规检测普惠版采用内容审核增强版的检测服务,所以在使用OSS违规检测普惠版之前,需要您先开通内容安全增强版。具体操作,请参见开通与收费

在使用OSS违规检测普惠版之前,需要授权内容安全访问OSS存储空间和日志服务。授权成功后,OSS违规检测普惠版会将检测结果推送到日志服务中,日志服务提供查询分析和加工等功能,帮助您了解内容风险趋势并实时监测等。

image.png

推送日志和查询分析不会产生额外费用,需要您开通日志服务并授权相关权限。具体计费信息,请参见OSS违规检测普惠版费用说明

配置存量检测任务

  1. 登录内容安全控制台。在左侧导航栏,选择OSS违规检测普惠版>检测任务

  2. OSS违规检测普惠版页面,单击存量扫描任务

    根据页面向导,完成如下配置。

    image.png

    1. 选择检测任务的类型,然后单击下一步

      配置项

      说明

      任务名称

      存量检测任务的名称。该值唯一。

      选择Bucket(多选)

      • 支持公共云OSS除中国香港和海外地域以外的所有地域。

        关于OSS支持的地域,请参见OSS访问域名和数据中心

      • 支持公共云OSS无地域属性(中国内地)的地域。

      选择任务类型

      支持图片检测任务和音视频检测任务。

      • 图片任务

        支持的图片格式:PNG、JPG、JPEG、BMP、WEBP、TIFF、SVG、ICO、HEIC。

        图片大小不超过10 MB,过大的图片文件不会被检测。

        默认开启智能格式。开启智能格式后,任务会根据文件的content-type自动判断图片类型的文件。

      • 音视频任务

        支持的视频格式:AVI、FLV、MP4、MPG、ASF、WMV、MOV、WMA、RMVB、RM、FLASH、TS。

        支持的音频格式:MP3、WAV、AAC、WMA、OGG、M4A、AMR、FLAC、AMR、3GP、APE。

        音视频大小不超过1 GB,过大的音视频文件不会被检测。

        默认检测视频文件和音频文件

      • 文档任务

        支持的音频格式:DOC、DOCX、PPT、PPTX、PPS、PPSX、PDF、XLS、XLSX、XLTX、XLTM。

        文档大小不超过200M,过大的文档文件不会被检测。

      选择检测服务

      您可以单击查看具体规则,调整当前任务的检测类型,支持选择多个检测类型。关于如何调整内容审核增强版服务的配置,请参见控制台操作指南

      重要

      OSS普惠版检测任务和内容审核服务API使用同一个检测配置,调整检测配置会对两者同时生效。

      • 图片检测服务

        • OSS基线检测(OSS普惠版专用)(推荐):适用于OSS检测图片中是否存在违规或不宜传播的内容,包含对恶意图片文件识别能力。

        • AIGC图片风险检测:针对AIGC场景,检测AIGC生成的图片是否存在违规或者不宜传播的内容。

          如果您的文件存在AIGC生成的图片,建议您勾选该项。

        • 通用基线检测:检测图片中是否存在违规或不宜传播的内容。

          如果您的文件存在公网可访问的图片,建议您勾选该项。

        • 通用基线检测_专业版:在通用基线检测的基础上支持更细粒度的标签返回。

          如果您的文件对图片有更细粒度的处理需求和少量个性化需求,建议您勾选该项。

        • 内容治理检测:检测图片中是否存在影响平台秩序、内容调性或影响用户体验的内容。

          建议在通用基线检测的基础上根据治理需求进行使用。

        • 头像图片检测:针对头像场景,检测头像图片是否存在违规、不宜传播或者影响平台秩序的内容。建议对头像场景的图片均进行该项检测。

        • 帖子评论图片检测:针对帖子配图和评论配图场景,检测图片是否存在违规、不宜传播或者影响平台秩序的内容。建议对帖子和评论场景的图片均进行该项检测。

        • 营销素材检测:针对营销素材场景,检测图片是否存在违规、不宜传播或者影响平台秩序的内容。建议对营销推广图、电商图等场景的图片均进行该项检测。

        • 视频\直播截图检测:针对视频和直播场景,检测画面截图中是否存在违规、不宜传播或者影响平台秩序的内容。建议对涉及开放公网访问的视频/直播画面均可截图进行该项检测。

      • 音视频检测服务

        • 视频文件检测(推荐):检测视频文件中是否存在违规或不宜传播的内容。建议对涉及开放公网访问的视频文件均进行该项检测。

      • 文档检测服务

        • 通用文档检测(推荐):检测文档中是否包含图片或文字违规信息,包括色情、性感、涉政、暴恐、违禁等底线类内容。

    2. 根据业务需要,指定检测任务的范围。然后单击下一步

      配置项

      说明

      筛选指定时间范围内上传或更新的文件

      设置检测OSS Bucket中指定时间范围内上传或更新的文件。

      筛选

      设置检测前缀包含指定内容或者前缀不包含特定内容的文件。例如,添加img/test_,表示仅扫描OSS Bucket中以img/test_为前缀的文件。

      说明

      如果要扫描的文件在特定目录下,您可以在文件名前加上目录路径,以整体作为前缀。

      已检测过的文件不再重复检测

      开启已检测过的文件不再重复检测,检测任务将不会再次检测标记过的OSS文件。

      任务检测过的文件,会通过OSS对象标签(Tagging)进行标记。您可以单击如何查看OSS文件是否检测过,查看哪些文件被检测过。具体操作,请参见OSS违规检测结果日志存储

    3. 选择规格。

      配置项

      说明

      设置上限

      • 不限制数量:不限制文件的检测数量,内容安全会为您检测所有文件。

      • 设置检测上限:根据您业务需要设置,内容安全不做限制。

      • 重要

        提示的OSS Bucket总共文件数量可作为参考,其中包含多少图片文件无法提前预估。

        如果账号下全部检测中的图片任务包含文件数量超过5,000,000 个,或者音视频任务(或者文档任务)包含文件数量超过500,000 个,则无法再选择24小时内检测的规格。

        建议设置任务检测文件的数量上限,或者选择排队检测的时效规格。

      选择规格

      支持两种检测时效,对应不同的单价,相比API检测更优惠。具体价格,请参见OSS违规检测普惠版费用说明

      • 24小时内检测:任务会优先调度,任务创建后在24小时内检测完成。

      • 排队检测:任务按照创建时间排队调度,时效与检测文件数量有关,任务创建后通常在3天内检测完成。

      如果您需要对OSS Bucket新增文件进行近实时检测,可以单击增量扫描任务,配置OSS违规检测增量扫描任务为您检测增量文件。具体操作,请参见增量检测OSS增量图片、音视频和文档数据

  3. 单击提交

    image.png

    说明

    任务创建成功后,在任务列表中显示其状态为检测中,检测完成后状态为任务完成

    • 任务列表显示任务包含文件总数量(筛选文件个数),以及实际检测的文件数量(检测文件)。由于检测任务是异步进行的,列表中的任务信息更新会存在一定的时延,大概1分钟左右。

    • 任务列表支持根据任务时间筛选,也可以查看任务检测结果,以及任务配置情况。最多可查询最近180天内的检测任务和检测结果。

查看任务检测结果

  1. OSS违规检测普惠版页面任务列表,单击指定任务右侧操作查看结果

  2. 查看结果页面,根据检测时间范围、文件名(Object)、文本信息查询任务检测结果信息。

    最多可查询最近180天的检测结果,最多展示和导出50,000条数据。您查询的全部检测结果会推送到日志服务中,日志服务提供查询分析和加工等功能,帮助您了解内容风险趋势并实时监测等。具体信息,请参见OSS违规检测结果日志存储

    image.png

    OSS违规检测普惠版会根据查询结果为文件标注审核增强版的返回标签。关于标签值和释义,图片或视频画面或文档截图请参见图片审核增强版同步检测API,音频请参见语音审核增强版API,文档文本请参见文本审核增强版API

    检测过程中可能出现检测失败,包括文件过大、格式不支持、文件访问失败等原因,这部分不会产生检测费用,结果不会展示在列表中。如果需要这部分检测结果,请加入钉群(钉群号:35573806),联系产品技术专家进行咨询。

  3. 如果是音视频检测任务,点击操作列的音画结果查看视频画面和视频语音的详细审核结果。

    image

  4. 单击指定文件右侧操作查看,查看文件预览信息和详细的返回结果。

    导出检测结果:单击查询结果列表右上方image.png图标,导出XLSX格式文件。

取消检测任务

  • 如果您需要取消存量检测任务,可以在OSS违规检测普惠版页面,对正在检测的任务单击取消任务即可。已完成和停止的任务不能被取消。任务取消后,已完成检测的文件结果,仍支持查看和导出检测结果。

  • 由于检测任务是异步进行的,取消任务的操作实际生效可能存在时延,通常在1分钟左右。时延期间正在检测或者已经排队的文件仍然会继续至检测完成。

  • 取消的任务显示为任务停止状态,且无法重新恢复检测。如果是因为配置错误等因素,需要取消任务后,重新创建一个检测任务。建议开启已检测文件去重的选项,避免对同一批文件产生多次检测费用。