配置和执行数据脱敏

选择脱敏方式

{
    "dataHeaderList": ["name", "age"],
    "dataList": [
        ["lily", 18],
        ["lucy", 17]
    ],
    "ruleList": [1002, null]
}

脱敏结果示例

DSC提供的脱敏算法包含哈希脱敏、遮盖脱敏、替换脱敏、变换脱敏、加密脱敏和洗牌脱敏。不同脱敏算法脱敏后示例如下。

计费说明

目前，仅企业版DSC实例支持使用数据脱敏功能。购买企业版实例后，即可使用数据脱敏功能。DSC采用包年包月模式计费，详细说明，请参见计费概述。使用静态脱敏时可能会包含额外计费。

开通服务

• 如果您当前账号未开通过DSC服务或仅开通免费版服务，您可以先开通7天免费试用的企业版实例或直接购买企业版DSC实例。具体内容，请参见开通7天免费试用和购买数据安全中心。

• 如果您已开通DSC免费版服务但不是企业版实例，您需要升级版本才能使用数据脱敏功能。升级操作，请参见包年包月实例变配。

静态脱敏

功能说明

创建静态脱敏任务时，可以选择已配置的脱敏模板作为任务的脱敏规则，也可以直接设置目标敏感字段的脱敏算法作为任务的脱敏规则。脱敏模板配置，请参见配置脱敏模板和算法。

前提条件

如果使用静态脱敏方式脱敏数据库或OSS文件，需要已完成DSC授权和接入待脱敏数据资产。具体操作，请参见：

• RDS表、PolarDB-X表、PolarDB表、OceanBase表、ADB-MySQL表的授权接入。

• MaxCompute数据的授权接入。

• ECS自建数据库的授权接入。

• OSS Bucket的授权接入。

新增脱敏任务

通过新增脱敏任务，指定数据脱敏的范围和规则。

1. 登录数据安全中心控制台。

2. 在左侧导航栏，选择风险治理 > 数据脱敏。

3. 在静态脱敏页签的任务配置页签，单击新增脱敏任务。

4. 根据页面导航，完成数据脱敏任务配置。

   1. 填写任务基本信息，并单击下一步。

      说明

      任务名称输入不受限制。

   2. 配置脱敏数据的来源文件信息，并单击下一步。

      RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表/自建数据库表

      脱敏源配置项	是否必填	配置描述
      数据存储类型	是	选择脱敏文件的数据存储类型为RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表/自建数据库表。
      源产品	是	选择包含脱敏数据的文件来源的产品名称。支持选择的产品包括：RDS、PolarDB-X、OceanBase、MaxCompute、ADB-MySQL、PolarDB或自建数据库。
      源数据库/项目名	是	选择包含脱敏数据的表所在的项目名称。
      源表名	是	选择脱敏数据所在的数据表名称。
      源分区	否	仅源产品选择MaxCompute时，可配置源分区。 输入需要脱敏的数据在数据表中的分区名称。不填写则代表会对整个表中的敏感数据进行脱敏。 分区是在创建MaxCompute数据表时指定的分区空间，用于限定不同区域数据，方便快速和高效地对指定内容进行查询。更多信息，请参见分区。
      抽样SQL	否	源产品选择RDS、PolarDB-X、OceanBase或自建数据库时，可配置抽样SQL。 输入SQL语句配置脱敏数据的范围。不填写则进行全表脱敏。

      OSS文件

      重要

      仅支持脱敏结构化TXT、CSV、XLSX和XLS格式的文件。

      脱敏源配置项	是否必填	配置描述
      数据存储类型	是	选择脱敏文件的数据存储类型为OSS文件。
      文件源	是	选择OSS文件的来源，支持本地上传和OSS Bucket。
      上传文件	是	文件源为本地上传时，单击选择本地文件，上传需要脱敏的文件。
      源文件所在OSS Bucket	是	文件源为OSS Bucket时，在下拉列表中选择源文件所在的OSS Bucket。您也可以输入关键字进行搜索并选择源文件所在的OSS Bucket。
      源文件名称	是	文件源为OSS Bucket时，输入源文件的名称。源文件名称必须包含格式后缀。 单个文件脱敏：输入指定源文件名称。例如，test.csv。 批量文件脱敏：开启通配功能（单击右侧的开启通配开关）。系统采用同一规则脱敏目标文件，多个文件的格式必须相同，且具有相同的列结构。 您可以使用星号（*）的方式指定一批源文件进行批量脱敏。目前仅支持对文件名前缀进行匹配，例如，test*.xls，匹配以test开头的XLS格式文件。
      源文件描述	否	文件源为本地上传时，可输入对OSS源文件的描述。
      分隔符选择	否	对于CSV和TXT类型的文件，必须指定列分隔符，请根据源文件的分隔符类型进行选择。支持选择以下类型的分隔符： 分号“;”（macOS、Linux默认）。 逗号“,”（Windows默认）。 运算符“|”。
      表格包含标题行	否	根据源文件是否包含标题行进行选择。

   3. 选择以下方式配置脱敏算法，然后单击下一步。

      

      • 在数据列表上方选择已配置的脱敏模板，源字段列表会按照脱敏模板配置，自动开启对应字段的脱敏开关并设置算法选择。

        脱敏模板中规则列表内容必须与脱敏源数据的源字段匹配，否则脱敏模板不生效。脱敏模板配置，请参见配置脱敏模板和算法。

      • 直接在源字段列表中，定位到需要脱敏的源字段，开启脱敏开关并设置算法选择。

      单击脱敏算法后的参数查看修改，可查看和编辑已选择算法的规则。算法规则中分区写法，可参考分区写法参考表。

      说明

      如果开启强制启用模板，不支持在当前页面修改算法参数。您需要修改对应模板规则。

      分区写法参考表

      分区类型	分区写法	分区示例
      后N周	自定义分区字段名称=$[yyyymmdd+7*N]	time=$[20190710+7*1]，表示对2019年7月10日后一周的数据进行脱敏。
      前N周	自定义分区字段名称=$[yyyymmdd-7*N]	time=$[20190710-7*3]，表示对2019年7月10日前的3周时间内的数据进行脱敏。
      后N天	自定义分区字段名称=$[yyyymmdd+N]	time=$[20190710+2]，表示对2019年7月10日后的2天内的数据进行脱敏。
      前N天	自定义分区字段名称=$[yyyymmdd-N]	time=$[20190710-5]，表示对2019年7月10日前的5天内的数据进行脱敏。
      后N小时	自定义分区字段名称=$[hh24mi:ss+N/24]	time=$[0924mi:ss+2/24]，表示对9点以后的2小时的数据进行脱敏。
      前N小时	自定义分区字段名称=$[hh24mi:ss-N/24]	time=$[0924mi:ss-1/24]，表示对9点前的1个小时内的数据进行脱敏。
      后N分钟	自定义分区字段名称=$[hh24mi:ss+N/24/60]	time=$[0924mi:ss+2/24/60]，表示对9点过后的2分钟内的数据进行脱敏。
      前N分钟	自定义分区字段名称=$[hh24mi:ss-N/24/60]	time=$[0924mi:ss-2/24/60]，表示对9点的前2分钟内的数据进行脱敏。

5. 设置脱敏后数据要存储的目标位置，然后单击测试，确认写入权限通过后，单击下一步。

   重要

   对于选择的目标数据资产，DSC连接数据资产的账号必须具备写入权限。

   

6. 确认处理逻辑。

   目标位置配置项	是否必填	配置项描述
   触发方式选择	是	触发方式表示执行脱敏任务的方式。支持以下方式 ： 仅人工：通过手动的方式启动脱敏任务。 仅定时触发：通过设置的时间点定时自动执行脱敏任务，可选每小时、每天、每月、每周固定时间点自动触发任务。 人工+定时触发：选择该方式，支持您手动单击启动来执行脱敏任务，和系统根据配置的定时时间自动执行脱敏任务（支持每小时、每天、每月、每周固定时间点自动触发任务）。
   开启增量脱敏	否	您可根据需要选择是否开启增量脱敏。增量脱敏是指每次脱敏数据为上次脱敏任务完成后新增的数据的脱敏方式。您需要选择一个源数据中随着时间递增的字段作为增量列，例如创建时间、自增ID（数据库自带的自增列）等。 重要 当前仅有RDS数据支持增量脱敏。
   分片字段	否	DSC执行静态脱敏时会对源数据进行字段分片，通过并发处理的方式提高脱敏效率。您可根据需要选择分片字段，支持选择多个分片字段。 当前仅有RDS数据库支持增量脱敏，建议使用主键或者唯一索引作为分片字段。 分片字段选择框内如果未选取任何字段，DSC将会默认使用主键作为分片字段，对源数据进行脱敏处理。 重要 如果您的源数据中没有主键，您必须选择分片字段，否则会导致脱敏任务失败。 过多的分片字段会影响查询性能以及数据准确性，请谨慎选择。
   表名冲突解决方式	是	表名称存在冲突的情况下处理的方式。可选项： 删除目标表建立新同名表。 在目标表中增加新数据。建议选择该选项。
   行冲突解决方式	是	表中的行内容存在冲突时的处理方式。可选项： 保留目标表冲突行，丢弃新插入数据。建议选择该选项。 删除目标表中的冲突行，新增插入数据。

7. 单击提交。

执行和查看脱敏任务

如果脱敏任务触发方式是仅人工，必须手动启动脱敏任务。如果脱敏任务触发方式是仅定时触发，仅支持通过设置的时间点定时自动启动脱敏任务。如果脱敏任务触发方式是人工+定时触发，支持手动和自动启动脱敏任务。

1. 在静态脱敏页签的任务配置页签，单击新创建的脱敏任务操作列的启动，执行脱敏任务。

   

2. 在静态脱敏页签，单击任务状态子页签，查看脱敏任务的执行进度和状态。

   

脱敏任务执行失败排查

脱敏任务执行失败后，参考以下内容查看失败原因。

修改、删除脱敏任务

等待执行或执行中的脱敏任务不支持修改或删除。

• 修改脱敏任务

  需要调整脱敏任务的配置时，您可以单击目标脱敏任务操作列的修改，修改脱敏任务。

• 删除脱敏任务

  重要

  脱敏任务删除后不支持恢复，建议您谨慎操作。

  不再需要指定脱敏任务时，您可以单击目标脱敏任务操作列的删除，并在提示对话框中单击确定。

动态脱敏

功能说明

动态脱敏任务必须依赖已配置的脱敏模板作为脱敏规则，对指定数据进行脱敏。您可以调用ExecDatamask接口，传入待脱敏数据（Data）和脱敏模板ID（TemplateId），然后按照脱敏模板的匹配方式（字段名称、敏感类型），对Data中dataList的数据进行脱敏。

您可以在数据安全中心控制台的风险治理 > 数据脱敏页面的脱敏配置页签，获取脱敏模板ID。支持使用自定义脱敏模板，具体操作，请参见配置脱敏模板。

调用ExecDatamask接口实现数据脱敏的脱敏模板中脱敏方式说明：

脱敏示例图：

使用限制

您调用ExecDatamask接口对指定数据进行动态脱敏时，每次脱敏的数据（Data）必须小于2 MB。

查看动态脱敏接口调用记录

1. 登录数据安全中心控制台。

2. 在左侧导航栏，选择风险治理 > 数据脱敏。

3. 在数据脱敏页面，单击动态脱敏页签。

4. 在动态脱敏页面，查看ExecDatamask接口的调用记录。

   说明

   如果您在调用接口时使用了相同的账号和IP地址，即使多次调用接口，操作记录只会保留一条，并记录累计调用次数。

使用静态脱敏实现数据共享示例

使用静态脱敏对某账号下源OSS Bucket中的结构化CSV格式文件中的敏感数据进行脱敏，然后将脱敏后的文件保存到同账号下的目标OSS Bucket，分享目标OSS Bucket给指定用户，实现数据的安全共享。具体操作，请参见对OSS表格文件中的敏感数据进行脱敏。