数据脱敏

更新时间:
复制 MD 格式

数据脱敏是保障数据安全的重要措施。DataWorks支持静态脱敏、动态脱敏和引擎脱敏等多种方式,帮助组织在不同场景下保护敏感数据。通过配置具体的脱敏规则和脱敏策略,可以对敏感数据实施精准的脱敏处理,确保敏感数据在数据开发、分析等环节中的安全性。

功能介绍

数据脱敏功能旨在保护敏感数据在使用和流转过程中的安全,防止其在非授权场景下被直接暴露。它通过对已识别的敏感数据(依赖于“数据分类分级”的结果)应用各种“遮蔽”或“变形”算法,确保数据在不同场景下以安全的方式呈现。

  1. 静态脱敏

    • 作用:在数据从源端写入目标端的过程中,直接对敏感数据进行永久性的替换和脱敏。目标数据源中存储的即是脱敏后的数据,原始数据不再存在。

    • 场景:主要用于 DataWorks数据集成的实时同步任务。例如,将生产库的真实用户数据脱敏后,同步到开发或测试环境,供开发人员安全使用。

    • 特点

      • 物理替换:脱敏结果是固化的,安全性高。

      • 数据水印:支持在脱敏过程中嵌入不可见的数字水印,一旦发生数据二次泄露,可通过水印信息追溯到原始泄露来源。

  2. 动态脱敏

    • 作用:在用户查询和访问数据时,根据预设的策略实时地对敏感数据进行脱敏处理。物理存储的原始数据保持不变,不同的人访问同一份数据会看到不同的结果。

    • 场景:用于控制生产环境中不同角色用户的数据可见性。例如,普通客服查询用户表时,手机号显示为“138****1234”;而其主管则可以看到完整的手机号码。

    • 特点

      • 按需脱敏:不改变原始数据,灵活性极高,兼顾了数据安全与业务可用性。

      • 多层防护

        • 应用层脱敏:策略仅在通过DataWorks特定模块访问时生效。

        • 引擎层脱敏 (MaxCompute/Hologres):策略在数据库引擎层面强制执行,无论通过何种工具访问都必定生效,优先级最高

核心配置:无论是静态还是动态脱敏,您都需要创建脱敏规则,为指定的数据类型(如“手机号”)选择一种脱敏方式(如哈希、掩盖、替换等)。对于动态脱敏,还需配置脱敏策略,以定义“谁在什么情况下”需要触发这些规则。

限制说明

  • 适用用户:开通DataWorks的专业版、企业版,且在安全中心选择DataWorks新版数据安全的用户。

  • 支持地域:华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、印度尼西亚(雅加达)。

  • 支持计算源:MaxCompute、Hologres。

前提条件

  • 登录DataWorks主账号或RAM账号,且拥有以下权限或角色满足任一条件:

    • 拥有AliyunDataWorksFullAccess权限的账号。

    • 拥有DataWorks租户安全管理员角色的账号。

    • 拥有DataWorks租户管理员角色的账号。

  • 已完成新用户指引

功能入口

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据治理 > 安全中心,在右侧页面中单击进入安全中心

  2. 在左侧导航栏中,选择进入敏感数据保护 > 数据脱敏页面。

页面结构

数据脱敏页面顶部提供 5 个一级页签,分别对应不同的脱敏场景。每个一级页签下根据场景挂载不同的二级子页签。请根据您的实际脱敏场景进入对应页签后再开始配置。

一级页签

二级子页签

适用场景

动态脱敏

规则 / 脱敏策略 / 工作空间管理

DataWorks 应用层脱敏(数据开发、数据分析、数据地图)。

静态脱敏

规则列表(无内层子页签)

DataWorks 数据集成实时同步任务。

MaxCompute 引擎脱敏

规则 / 脱敏策略

MaxCompute 引擎层强制脱敏。

Hologres 引擎脱敏

规则 / 脱敏策略

Hologres 引擎层强制脱敏。

Ranger 引擎脱敏

规则 / 脱敏策略

EMR Hive / StarRocks 等经 Ranger 管理的数据源的引擎层脱敏。

说明

工作空间管理子页签仅在动态脱敏一级页签下可见,其他脱敏场景无需逐工作空间启停。目前支持的脱敏场景以页面实际展示为准。

动态脱敏策略

添加脱敏规则

重要

DataWorks的行业模板中,已经对常见的数据类型设定脱敏规则。如果您需要独立设置脱敏规则,请将行业模板中的数据类型设置为停用,并添加新的数据类型。

  1. 在数据脱敏页面,点击动态脱敏页签,进入动态脱敏设置页面。

  2. 单击动态脱敏页签内的规则页签,进入脱敏规则设置页面。

  3. 单击左上角的新增规则按钮,配置动态脱敏方式。关键参数如下:

    字段

    说明

    数据类型

    需要脱敏的数据类型。

    脱敏方式

    用户访问该类型的数据时,采用哪种方式进行数据脱敏。

    说明

    可输入原始数据,校验脱敏后的数据是否符合预期。

    应用到脱敏策略

    该脱敏规则希望作用的范围,包含用户范围功能范围、数据范围

  4. 配置完成后,单击确认保存脱敏规则。

添加数据的脱敏策略

  1. 单击动态脱敏页签,进入脱敏策略页签。

  2. 单击左上角的新增策略按钮,进行策略的配置。

    • 配置生效条件

      在满足生效条件时,脱敏规则生效。配置详情如下:

      配置项

      说明

      策略名称

      脱敏规则的名称。

      用户范围

      支持全部用户或部分用户生效。

      DataWorks功能

      通过DataWorks指定的功能(数据地图数据分析数据开发)访问敏感数据时生效。

      覆盖项目

      脱敏规则在用户访问指定的项目/数据库中的敏感数据时生效。

      数据类型

      脱敏规则在用户访问指定的敏感数据类型时生效,规则包含了一个或多个敏感数据类型。

      重要

      必须先配置针对该数据类型的脱敏规则并启用。

    • 配置例外条件(白名单)

      在满足以下条件时,脱敏规则不会生效。配置详情如下

      配置项

      说明

      数据类型

      访问的目标数据归属的数据类型,用户访问这些数据,不会执行脱敏。

      说明

      数据类型必须先配置并启用脱敏规则。

      重要

      白名单中可选的数据类型仅限当前策略主表单生效条件中已勾选的数据类型范围。若需要为新数据类型加白,请先在策略主表单的数据类型字段中勾选该类型,再返回此处添加白名单。

      加入白名单的用户

      一个或多个RAM用户或用户组;这些用户访问指定的数据类型,不会执行脱敏。

      生效时间范围

      配置例外条件(白名单)的生效时间,可按时间段配置或直接配置为永久生效

  3. 调整脱敏规则顺序:通过操作列的更多处的上移/下移的方式调整脱敏策略的匹配顺序。

    说明

    匹配顺序仅在动态脱敏场景下生效。MaxCompute / Hologres / Ranger 引擎脱敏与静态脱敏的策略之间相互独立,不存在匹配顺序,因此上移 / 下移操作仅在动态脱敏的策略列表中可用。

验证策略(命中预演)

验证策略按钮位于动态脱敏页签下的脱敏策略页签工具栏(仅动态脱敏场景提供),用于在不真正访问数据的前提下,模拟某个用户在某项目下通过指定 DataWorks 功能访问某数据类型时的策略命中情况,便于在上线前验证匹配顺序是否符合预期。

  1. 单击脱敏策略页签工具栏中的验证策略按钮,打开验证策略对话框。

  2. 在对话框中填写以下参数:

    • 待验证用户:模拟访问的 RAM 用户(必填)。

    • DataWorks 功能:模拟用户使用的功能入口(必填)。

    • 数据类型:模拟用户访问的数据类型(必填)。

    • 项目:模拟访问发生的项目(可选)。

    • 指定时间:模拟访问发生的时间点(可选,用于验证白名单时间窗口)。

  3. 单击验证。系统返回命中的策略名、脱敏算法以及数据水印开关状态。若所有策略都未命中,将显示未命中脱敏策略红色提示。

说明

验证策略仅模拟匹配过程,不会真正读取数据。

管理脱敏规则与策略

规则页签或脱敏策略页签的列表中,可对单条记录执行编辑、启用 / 停用、删除等操作。删除被脱敏策略引用的规则时,系统将进入强制删除二阶段确认流程。

重要

强制删除规则:删除一条被脱敏策略引用的规则时,系统会弹出强制删除二次确认弹窗,列出会受影响的脱敏策略名清单。单击确认后,将解绑这些脱敏策略中对该数据类型的引用,并同步删除对应的脱敏白名单条目。请确认影响范围后再执行。

开启动态脱敏

重要

对于开启状态工作空间下的已配置脱敏规则的数据类型,根据脱敏策略列表按匹配顺序依次检查,执行第一个命中的脱敏策略。工作空间维度的总开关仅在动态脱敏场景下提供,其他脱敏场景无需逐工作空间启停。

您需要在工作空间中开启动态脱敏,开启后DataWorks的动态脱敏策略数据开发、数据分析的脱敏功能生效。

  1. 单击动态脱敏页签内单击进入工作空间管理页签。

  2. 工作空间管理页签,可在状态列对单个空间进行开启禁用,亦或是勾选多个空间后,在左下角进行批量开启批量禁用

    • 单空间或批量切换状态后,系统会弹出二次确认提示状态变更后,在 5 分钟内生效。实际生效时延以后端策略下发为准。

引擎脱敏

引擎脱敏指的是在数据库引擎层强制执行的脱敏,优先级高于动态脱敏,覆盖所有访问路径(包括 DataWorks 之外的数据库客户端)。同一数据类型同时配置了引擎脱敏与动态脱敏时,以引擎脱敏的结果为准。引擎脱敏目前支持 MaxCompute、Hologres、Ranger 三种场景,整体配置流程(添加规则、添加策略、配置例外)与动态脱敏策略类似,下面仅列出各场景的差异化字段与约束。

共性约束

  • 引擎脱敏不再区分 DataWorks 访问入口,因此策略表单中不显示 DataWorks 功能字段(数据地图 / 数据分析 / 数据开发)。

  • 用户权限预检:MaxCompute / Hologres / Ranger 三个引擎场景下,如果策略中指定了用户范围或在白名单中添加了用户,保存策略前系统会校验这些用户对所选覆盖项目的访问权。若存在权限不足的用户—项目组合,系统将弹出拒绝清单并阻止保存。请先到数据访问控制或对应引擎的项目授权处为相关用户补齐权限,再回到此处重试。动态脱敏与静态脱敏场景不做该预检。

MaxCompute 引擎脱敏

MaxCompute 引擎脱敏针对 MaxCompute 项目中的敏感数据,在 SQL 执行链路上由引擎强制返回脱敏后的结果。

字段

说明

覆盖项目

必填。选择策略生效的 MaxCompute 项目。

用户范围

支持全部用户指定用户。指定用户时保存前会触发用户权限预检。

列表筛选项

MaxCompute 引擎脱敏的策略列表筛选项与动态脱敏略有差异(例如不展示覆盖项目独立筛选条件)。

Hologres 引擎脱敏

Hologres 引擎脱敏针对 Hologres 实例及实例下指定库中的敏感数据,由 Hologres 引擎在查询返回时强制脱敏。

字段

说明

覆盖范围

Hologres 引擎独有的配置项。需要配置 Hologres 实例、库、数据源以及资源组,并通过连通性测试

重要

必须至少配置 1 个连通性验证通过的 Hologres 数据库才能提交策略,否则提示请至少配置一个连通性验证通过的 Hologres 数据库

用户范围

Hologres 引擎脱敏下不支持单独选择用户,策略对覆盖范围内所有用户生效;白名单中可指定例外用户。

Ranger 引擎脱敏

Ranger 引擎脱敏适用于经由 Ranger 管理的数据源(例如 EMR Hive、StarRocks 等),由 Ranger 在引擎层强制执行脱敏,确保通过任何客户端访问该数据源都返回脱敏结果。

字段

说明

数据源类型

必填。选择需要纳管的 Ranger 数据源类型(如 EMR Hive、StarRocks 等)。

集群 / 实例

必填。选择该数据源所属的具体集群或实例。后续白名单中的用户下拉范围与所选集群相关。

连通性测试

必填。在所选集群上单击验证连通性按钮,校验 DataWorks 与 Ranger 集群之间的可达性。

重要

必须通过 Ranger 集群连通性测试后才能保存策略;未通过时保存按钮不可用。

Ranger 审计

可选。开启后由 Ranger 记录脱敏命中的审计日志,便于后续合规追溯。

用户范围

Ranger 引擎脱敏下仅支持全部用户选择用户选项被禁用;如需排除部分用户,请通过白名单配置。

白名单用户

白名单中可选用户的下拉范围与所选 Ranger 集群关联,仅展示该集群下已映射的账号。

静态脱敏

静态脱敏在数据写入目标端时,对敏感数据进行物理替换。脱敏后的数据将永久覆盖原始数据。

重要

静态脱敏规则仅对配置该功能的DataWorks数据集成的实时同步任务生效。默认开启,您可按需关闭。

  1. 在数据脱敏页面,单击静态脱敏页签,进入静态脱敏规则列表。

  2. 单击左上角的新增规则按钮,配置静态脱敏规则。关键参数如下:

    配置项

    说明

    数据类型

    选择需要应用脱敏规则的数据类型,例如“银行卡号”。支持选择已有类型或新增。

    脱敏规则名称

    为该规则命名,名称应清晰易懂。

    脱敏方式

    选择脱敏算法,如掩盖脱敏哈希脱敏自定义保格变换等。

    • 掩盖脱敏:可精确定义脱敏或保留的字符区间。例如,从左至右12掩盖,第34不掩盖

    • 哈希脱敏:设置加盐值用于增加哈希加密的安全性。

    • 自定义保格变换:设置脱敏特征值和待替换字符集。

    数据水印

    开启时,在执行数据脱敏操作的同时,系统会向脱敏数据中嵌入不可见水印信息。该水印可用于对敏感数据进行溯源追踪。详情可参见数据溯源

    说明

    数据水印开关仅在脱敏方式哈希保格式加密时显示并可用。其他脱敏方式(掩盖、替换、变换、随机打散、数据加密等)不支持水印嵌入。

    是否启用

    选择立即启用暂不启用。只有启用的规则才会在相关同步任务中生效。

    效果验证

    提供一个校验工具,您可在原始数据框中输入示例数据,点击立即验证,查看脱敏后的数据是否符合预期。

  3. 配置完成后,单击确认保存规则。