系统根据已配置的识别规则和血缘继承配置自动生成识别结果,此外,您也可以手动指定识别结果或通过Excel批量上传识别结果,本文为您介绍如何添加及管理识别结果。
使用限制
数据源表不支持基于规则或基于血缘继承自动扫描生成自动识别结果,您可以手动添加或批量导入数据源表的识别结果。
权限说明
安全管理员和具有识别结果-管理权限的自定义全局角色支持添加及管理所有识别结果。
项目管理员支持管理自己所负责项目下的表的识别结果,包括新建、编辑识别结果、开启或关闭生效状态及锁定识别规则。
数据表负责人支持管理自己作为表的负责人的识别结果,包括编辑识别结果、开启或关闭生效状态及锁定识别规则。
识别方式说明
自动扫描:根据规则运行配置中设置的定时扫描调度时间和实时扫描开关执行并生成识别结果。
手动添加:支持将识别结果批量导入到Dataphin中。
基于血缘自动继承:下游字段根据不同的继承场景及继承规则自动继承直接上游字段识别结果。
手动添加识别结果
在Dataphin首页的顶部菜单栏,选择治理 > 数据安全。
在左侧导航栏选择数据识别 > 识别结果,在识别结果页面,单击手动添加按钮。
在手动添加页面,配置参数。
参数
描述
参数
描述
添加策略
去重策略
针对本次上传和线上已有识别记录重复时的处理策略,支持覆盖已有识别结果、仅覆盖已有自动识别结果、保留已有识别结果不更新三种策略。
覆盖已有识别结果:当新增字段与线上字段一致时,使用本次打标结果并标记为手动指定。
仅覆盖已有自动识别结果:当新增字段与线上字段一致,并且线上识别结果未锁定时,使用本次打标结果并标记为手动指定。
保留已有识别结果不更新:当新增字段与线上字段一致时,保留线上的打标,本次打标不生效。
已添加记录
按表添加:单击按表添加按钮,在按表添加对话框中,配置参数,单击确定,完成添加。
数据表:支持选择不超过200张数据表。项目管理员支持选择自己所负责项目下的所有数据表;板块架构师支持选择自己所负责板块下的所有数据表;表负责人可选择自己是负责人的数据表。
仅智能研发版支持筛选。您可以单击筛选图标,根据所属板块/项目/数据源和表类型筛选数据表。
表字段:根据数据表选择字段,支持选择不超过200个字段。
配置统一分类:默认关闭,开启后可为所选字段统一添加数据分类,您可以在已添加记录列表中进行修改。
搜索:可根据表的名称、描述(仅数据源表支持该条件)快速搜索添加的数据表。
已添加记录列表:为您展示数据表、表字段、数据分类、数据分级、脱敏生效状态信息,您可以对数据表、表字段、数据分类、生效状态进行修改,同时您可以在操作列下进行在此表下继续配置字段识别规则和删除操作。
生效状态:生效状态配置后立即生效。开启后,识别结果会进入后续的展示、统计、脱敏等使用流程;关闭后当前字段的识别结果不会生效。
在此表下继续配置字段识别规则:可在当前表下新增字段并配置数据分类。
删除:删除当前添加的数据表。
批量操作:支持对添加的数据表批量执行更改数据分类、修改生效状态、删除操作。
信息配置确定无误后,单击上传,完成手动添加识别结果。
管理识别结果列表
识别结果列表为您展示已添加的识别结果,包括表名称、字段、资产来源、数据分类、数据分级、脱敏生效状态和识别方式等信息。
资产来源:Dataphin表展示所属项目和板块信息;数据源表展示所属Database/Schema和数据源信息。
您可以根据不同条件对不同的资产对象进行查找,此外,您也可以按照数据分类关键词搜索该分类对应的所有识别结果。
Dataphin表:您可以按照表、字段、所属项目/板块的关键字进行快捷搜索。也可根据数据分类(或未指定分类)、数据分级、数据板块、项目、脱敏生效状态、锁定状态、识别方式进行精确筛选。
数据源表:您可以按照表、Database/Schema、表描述的关键字进行快捷搜索。也可根据数据分类(或未指定分类)、数据分级、数据源、脱敏生效状态、锁定状态、识别方式进行精确筛选。
您可以对目标识别结果执行如下操作。
操作
描述
操作
描述
开启/关闭脱敏生效状态
脱敏生效状态用于管理当前识别结果是否被脱敏策略覆盖。单击脱敏生效状态列下的开关或单击底部的更多-脱敏生效/脱敏失效,可以开启或关闭生效状态,配置后立即生效。开启后,系统将根据脱敏规则和默认脱敏策略,对字段进行脱敏;关闭后,即使当前识别结果被脱敏规则命中,也不会被脱敏,但是依旧会生成对应的识别记录并根据匹配度仲裁和分配对应的权限审批流程。
识别结果推荐提示
如果当前字段的识别记录中存在比当前生效的识别结果匹配度更高的识别结果,会展示推荐标签。您可以单击数据分类名称后的推荐或者单击操作列下的查看识别详情进入字段识别详情对话框,查看系统推荐的更合适的识别结果,并根据业务需求决策是否需要使用推荐的识别结果。
查看识别详情
为您展示字段识别详情的基本信息、生效结果以及识别记录。
基本信息:为您展示表名称和字段名称信息。
生效结果:为您展示当前字段生效的数据分类及对应的数据分级、识别方式、优先级、实际匹配度、分类修改时间和更新时间信息。您可以对识别结果执行指定数据分类(未配置数据分类支持)、编辑识别结果(已配置数据分类支持)操作。
数据分级:为您展示当前最新的分级配置,您可以查看仲裁时刻的分级结果,判断是否需要进行修改。
优先级:为您展示当前最新的优先级配置,您可以查看仲裁时刻的优先级结果,判断是否需要进行修改。优先级1为最高级,同级规则,更新时间较新者生效。
指定数据分类:若当前生效结果为自动继承的结果,且继承策略为仅继承分级,不继承分类,则可能出现生效结果未指定数据分类的情况,此时建议您指定数据分类,否则可能无法命中脱敏规则。在指定数据分类对话框,选择数据分类,您也可直接使用系统推荐的数据分类。
指定分类的数据分级需要与当前生效的数据分级相同,否则无法直接指定,可通过编辑识别结果修改数据分类。
编辑识别结果:支持修改生效的识别结果。操作详情请参见编辑识别结果。
识别记录:为您展示数据分类、数据分级、识别方式、优先级、实际匹配度、分类修改时间和更新时间信息。
若当前字段的识别记录中存在比当前生效识别结果匹配度更高的识别结果,则数据分类名称左上角会带有推荐标识,您可单击右上角的一键修改,指定为生效识别结果。
识别结果生效优先级说明:
自动识别的结果,扫描规则按照规则优先级从高到低为:数据分类优先级>数据分级>更新时间>匹配度>数据分类修改时间,检测出更合适的数据分类时,会进行提示。
自动继承的识别结果,扫描规则按照数据分级的最高等级继承,则优先级最高;若有多个数据分级相同但数据分类不同,则按照数据分类优先级>识别记录的更新时间>分类修改时间,检测出更合适的数据分类,则会进行提示。
数据分级:为您展示当前最新的分级配置,您可以查看仲裁时刻的分级结果,判断是否需要进行修改。
优先级:为您展示当前最新的优先级配置,您可以查看仲裁时刻的优先级结果,判断是否需要进行修改。优先级1为最高级,同级规则,更新时间较新者生效。
指定为生效结果:若将当前识别记录中的数据分类指定为生效结果,则识别方式将改为手动指定,且不受后续自动识别结果的影响。
编辑识别结果
单击操作列下的编辑或单击底部的编辑,修改识别结果。支持自动识别/继承和手动指定两种形式。
自动识别/继承:选择自动识别/继承后,若当前字段已有手动指定的识别结果将被删除,并将打标结果修改为匹配度更高的自动识别或自动继承的结果,后续若出现更高匹配度的识别结果,当前字段的识别结果将会变更。
批量修改为自动识别时,由于数据源表暂不支持自动识别,系统将自动跳过不修改。
手动指定:选择手动指定后,将锁定当前选择的数据分类,同时列表上自动加锁,不会被其他自动识别或自动继承的结果覆盖。您也可以直接使用系统推荐的数据分类。
同步修改为脱敏生效:选中后,将当前识别结果指定为生效结果,且将脱敏生效状态打开。
锁定当前识别结果
单击操作列下的锁定或单击底部的锁定,锁定识别结果。仅当前生效方式为自动识别/自动继承且有指定分类的结果支持锁定。锁定后,将生成一条和当前结果一致的手动指定识别记录作为生效结果,并且不受后续自动识别、自动继承结果影响。
删除识别结果
单击操作列下的删除或单击底部的更多-删除,删除识别结果,删除后,将同步删除识别结果对应的所有识别记录,您可以将不正确的识别结果进行修改或修改识别规则重新扫描生成识别结果。
批量导入识别结果
在识别结果页面,单击批量导入按钮,进入批量导入识别结果对话框。
在批量导入识别结果对话框中,配置参数。
参数
说明
参数
说明
资产类型
选择需导入识别结果的资产类型,支持Dataphin表和数据源表。
模板下载
若没有模板,可单击文件名称下载.xlsx文件,系统将根据资产类型下载不同的模板;若已有模板,可直接执行上传文件并开始校验。
配置文件
根据不同资产类型上传对应的模板,数据源表需先采集相关资产。一次仅可上传一个文件。
仅支持上传.xlsx文件,单个Excel上传不超过1000行。
文件大小不超过10M。
填写模板时,请参照模板说明进行填写。
Dataphin表全名:物理表请填写项目名.表名;逻辑表请填写板块名.表名。
数据源表全名:请填写指定数据源下的db/schema.表名。
仅支持新增或修改有管理权限的识别结果。
安全管理员和具有识别结果-管理权限的自定义全局角色可以上传所有表,项目管理员仅可上传自己所负责项目下的表;表负责人仅可上传自己负责的表。
文件上传后,系统将根据上传文件的规范进行校验,校验成功后,单击开始校验,对本次导入的文件根据不同资产类型进行不同校验。
Dataphin表:校验本次导入的表全名、字段名、分类目录/数据分类是否为空、列顺序是否正常。
数据源表:校验本次导入的数据源名称、数据源环境、表全名、字段名、分类目录/数据分类是否为空、列顺序是否正常。
校验当前操作人是否具有识别结果管理的权限。
校验通过后会自动进入导入结果页面。
参数
描述
参数
描述
兼容策略
针对本次上传与线上已有记录冲突时的处理策略,支持选择重复记录处理和脱敏生效状态两种兼容策略。
重复记录处理:针对本次上传字段的识别结果与线上已有字段的识别结果重复时的处理策略,支持覆盖线上所有识别结果、覆盖线上所有未被锁定识别结果和保留线上已有识别结果,跳过不更新。
覆盖线上所有识别结果:当新增字段与线上字段一致时,使用本次打标结果覆盖已生成的识别结果(包括自动识别和手动指定生成的结果),并标记为手动指定。
覆盖线上所有未被锁定识别结果:当新增字段与线上字段一致,并且线上识别方式为自动识别,使用本次打标结果覆盖已生成的识别结果并标记为手动指定;不覆盖生效方式为手动指定的识别结果。
保留线上已有识别结果,跳过不更新:当新增字段与线上字段一致时,保留线上的打标,本次打标不生效。
脱敏生效状态:针对本次上传的识别结果或线上已有的识别结果存在失效的脱敏生效状态时,支持选择将线上的更新结果保留已有配置,新增结果统一为生效或者将新增和更新统一置为生效。
系统无法将失效状态的字段基于分类分级进行脱敏,依旧会生成对应的识别记录并根据匹配度仲裁和分配对应的权限审批流程。
校验结果
支持查看文件上传中校验通过、校验异常、重复记录的信息。
校验通过:为您展示文件上传通过的记录,包括记录在原始文件中对应行号、表、字段、数据分类、数据分级信息。
校验异常:为您展示文件校验不通过的异常记录,并自动添加异常提示列,您可根据异常提示修改后重新导入。
重复记录:为您展示本次上传内容重复及与线上已有的成功的识别结果重复的记录,包括记录在原始文件中对应的行号、表、字段、数据分类(导入)、数据分类(线上)和重复提示信息。
可单击下载校验记录按钮,将对应的校验记录下载成Excel文件。
单击开始导入,完成识别结果的导入。
导入完成后,若您想快速查看导入结果,可关闭文件上传配置弹框,关闭弹框不会终止上传任务的执行。您可以在识别结果列表,单击批量操作记录,查看导入的历史记录。
查看导入历史
在识别结果页面,单击批量导入后的下拉箭头,选择批量操作记录,进入导入历史面板。
在导入历史面板,查看识别结果的历史导入记录。
- 本页导读 (0)
- 使用限制
- 权限说明
- 识别方式说明
- 手动添加识别结果
- 管理识别结果列表
- 批量导入识别结果
- 查看导入历史