批量导入导出数据标准

支持通过Excel批量导入或导出数据标准,提升配置效率。本文为您介绍如何批量配置数据标准。

使用限制

单个标准集下可创建的标准个数不超过1000个。

权限说明

  • 超级管理员、数据标准管理员可以在所有标准集下批量导入数据标准。

  • 标准集维护人员及标准集成员可以在已加入的标准集下批量导入数据标准。

  • 所有成员均可以导出具有查看权限的数据标准。

批量导入标准

说明

批量导入不支持导入智能映射配置和监控配置。

  1. 在Dataphin首页,在顶部菜单栏选择治理 > 数据标准

  2. 单击左侧导航栏的数据标准,在标准列表页面的全部数据标准区域中,单击批量导入导出,选择批量导入标准

  3. 批量导入数据标准对话框中,配置相关参数。

    参数

    描述

    标准模板

    请选择需要导入的数据标准引用的标准模板。不同标准模板填写规范不同,如需基于多个模板导入,请分次上传。

    模板类型

    支持新增更新两种导入模板。

    • 新增类型模板:仅包含需要配置的标准信息表头;您也可以预配置部分信息生成模板的预填内容,降低填写成本。

    • 更新类型模板:需要配置导出的标准范围,导出文件将包含所有已选中待更新的数据标准配置信息,您只需要修改需要修订的信息,再重新导入即可,无需全部重新配置。

    说明
    • 选择的模板类型仅影响模板文件的生成,不影响导入校验。导入时将根据标准ID是否为空决定是新增还是更新。

    • 仅支持更新有编辑权限且为可编辑状态的标准,导出的更新模板将对选中的数据标准范围进行过滤。

    STEP 1 下载配置模板--新增

    所属标准集标准负责人生效时间

    支持提前配置所属标准集标准负责人生效时间信息并生成模板的预填内容,降低填写成本。

    • 所属标准集:支持选择当前账号有创建数据标准权限的标准集。如果暂未确定归属的标准集,您也可以在配置文件中手动填写每个标准归属的标准集ID。单次可选择的标准集个数不超过20个,若选择的标准集过多,可能会超出Excel下拉选项字符限制而无法展示下拉选项,此时您需要自行输入。

    • 标准负责人:支持选择当前租户下正常使用的用户。若选择的用户名过多,可能会超出Excel下拉选项字符限制而无法展示下拉选项,此时您需要自行输入。

    • 生效时间:支持设置标准的生效时间。

      • 永久:生效时间列值为空(表示永久生效)。

      • 自定义:在指定的时间段内生效。超过指定的时间段,标准会变为已失效状态,如果需要继续使用该标准,您可以修改生效时间后重新发布。

    配置模板

    根据所选的标准模板生成需要配置的信息列,点击生成模板,生成.xlsx格式的模板文件。

    说明
    • 若没有模板,可点击文件名称或下载image图标下载.xlsx文件;若已有模板,可直接执行上传配置文件并导入。

    • 仅支持在具有创建数据标准权限的标准集下批量导入,请填写具有对应权限的标准集ID,避免权限校验不通过而导入失败。

    STEP 1 下载配置模板--更新

    所属标准集标准状态

    如需生成更新类型的模板,可通过所属标准集标准状态筛选需要导出更新标准范围。

    • 所属标准集:单次选择的标准集个数不超过20个。若选择的标准集过多,生成模板后可能导致可选项为空。

    • 标准状态:支持选择导入数据标准的状态。可选择已生效待生效修订中草稿已失效状态的数据标准。

    配置模板

    根据所选的标准范围、标准状态生成,点击生成模板,生成.xlsx格式的模板文件。

    说明
    • 若没有模板,可点击文件名称或下载image图标下载.xlsx文件;若已有模板,可直接执行上传配置文件并导入。

    • 仅支持在有创建数据标准权限的标准集下批量导入,请填写有对应权限的标准集ID,避免权限校验不通过而导入失败。

    STEP 2 上传配置文件

    上传文件

    • 填写模板时,请按照标准集的属性字段定义填写,导入过程中将基于属性定义进行唯一性、规范性校验。

    • 仅能选择单个工作表的.xlsx类型的文件,最多支持10000行,即10000个标准(不包括标题)。

    • 文件大小不超过20M。

    • 标题行:展示列名称、属性说明,必填属性,用红色*标识。

    • 标准ID:不可删除,用于唯一识别标准的对象。可为空,为空则视为新增标准处理。

    • 所属标准集ID:仅支持在有创建数据标准权限的标准集下批量导入,请填写有对应权限的标准集ID(可以在标准集列表查询),避免因权限校验不通过而导入失败。

    • 若属性字段类型为日期时间型,支持yyyy/MM/dd、yyyyMMdd、yyyy-MM-dd、hh:mm和hh:mm:ss5种格式。

    • 若某个属性配置为范围值,则填写方式如下:

      • 若设置的是枚举值输入,则以英文半角逗号作为分隔符解析输入的内容,配置格式为:F,M。

      • 若设置的是引用码表,需要填写码表编码。配置格式为:date001。

      • 若设置的是区间值,起始值和结束值用英文半角逗号分隔,设置了双边,配置格式为:>=a,<b。设置了单边,配置格式为:<=b。

      • 若设置的是数据类型,输入值需在枚举范围内,带有长度或精度的,配置格式为:CHAR(20),VARCHAR(20),DECIMAL[38,18]。

    • 开始生效时间和结束生效时间为空,则有效期视为永久。

    • 如果存在标准属性引用了Dataphin系统属性,数据板块和项目请填写对象英文名,用户和用户组请填写对象名称;多个属性值之间用半角逗号分隔。

    • 如果某个属性的填写方式为暂不指定类型的范围值,需要先指定范围值类型,再填写具体的属性值。

    • 如果本次导入选择的标准模板配置了基于规则自动生成标准编码,您需要配置编码导入方式,支持以配置文件为准导入或基于编码规则重新生成。

    • 请填写数据分级的名称,便于业务人员了解相关信息。例如:机密数据。

    • 请填写数据分类的路径,可在数据安全中快捷查询该数据分类。例如:/个人信息/个人基本信息/姓名。

    STEP 3 导入配置

    冲突处理

    • 校验字段:标准名称(标准集内唯一,不区分大小写)。该字段是唯一识别标准的字段,如果该字段重复,将按照配置的重复处理策略进行导入。

    • 重复处理策略:针对导入的标准名称和已有标准的名称重复时的处理策略。支持重复则跳过重复则覆盖更新两种处理方式。

      • 重复则跳过:如果导入的标准名称和已有标准的名称重复,则跳过记录不处理。

      • 重复则覆盖更新:如果导入的标准名称和已有标准的名称重复,导入成功后原有记录会被删除。

        说明
        • 冲突检测仅针对标准ID为空的记录生效。如果根据ID找不到对应的标准,则视为校验不通过,导入异常。

        • 标准名称在所属标准集下唯一,如果导入的标准名称和已存在的标准名称重复,或者单次导入中有多条记录的标准名称重复,会按照处理策略跳过记录不处理,或者以新记录覆盖原有对象。

    标准编码值

    当选择的标准模板编码配置为基于规则自动生成时,需要配置编码值的导入策略。可以选择以配置文件为准导入基于编码规则重新生成(忽略导入文件中的编码值配置)2种导入方式。

    • 以配置文件为准导入:请填写编码值。

    • 基于编码规则重新生成:当模板类型为新增时,导入标准过程中,编码值将按照规则重新生成;当模板类型为更新时,导入标准过程中,更新标准不修改编码值。

  4. 单击开始导入,在导入结果对话框可执行以下操作。

    参数

    描述

    导入结果

    可查看导入进度执行时间导入成功数

    异常记录

    • 如果导入过程中出现解析或校验失败等异常情况,则为您展示导入异常的记录,包括记录在原始文件中对应的行号标准名称标准编码异常提示

    • 异常记录页签中,可单击下载异常记录,将对应的原始记录下载成Excel文件。

    跳过记录

    • 如果在导入过程中出现名称相同的标准,则会为您展示导入跳过的记录,包括记录在原始文件中对应的行号标准名称标准编码负责人

    • 跳过记录页签中,可单击下载跳过记录,将对应的原始记录下载成Excel文件。

    执行日志

    可查看导入过程的执行日志并复制。

    导入完成后,若您想快速查看导入结果,可关闭导入配置弹框,关闭弹框不会终止导入任务的执行。您可以在标准列表,单击批量操作记录,在批量导入页签查看历史导入记录,详情请参见批量操作记录

批量导出标准

说明
  • 导出的文件格式为.xlsx,每个标准属性为1列,每个标准模板为1个独立文件。

  • 仅支持导出有查看权限的数据标准,不支持导出监控配置、关联信息等。

  • 如果导出的数据标准内容较多,文件生成需要等待一段时间,您可以在批量导出页签查看历史导出记录,详情请参见批量导出

数据标准的批量导出入口不同,所配置的信息有所差异。

入口

差异描述

从全部标准列表或标准模板列表进入

无默认填充,需配置标准集、标准模板等信息。

从数据标准列表的单个标准集进入

标准范围默认填充当前标准集,您也可重新选择标准集。

从标准集的操作列进入

标准范围默认填充当前标准集,您也可重新选择标准集。

  1. 标准列表页面,单击批量导入导出,选择批量导出标准

  2. 批量导出数据标准对话框,支持按照标准范围、标准状态和标准模板筛选导出标准。

    参数

    描述

    所属标准集

    请选择数据标准归属的标准集,支持选择全部标准、指定范围。

    • 全部标准:相当于选中当前账号有查看权限的所有标准集。

    • 指定范围:选择需要导出的标准集,支持选择不超过20个标准集。

    标准模板

    请选择导出标准的模板,支持多选,不超过100个。

    标准状态

    请选择需要导出数据标准的状态,支持多选,可选择已生效待生效发布中修订中草稿已失效全部状态的标准。

  3. 单击确定,完成数据标准的导出,稍后可在标准批量操作记录-批量导出记录中下载生成的导出文件。

批量操作记录

您可在批量操作记录弹框查看标准批量导入导出记录以及其他操作记录。

批量导入操作记录

  1. 标准列表页面,单击批量导入导出按钮,选择批量操作记录

    说明

    仅保留最近15天且最多保留1000条导入记录。

  2. 数据标准批量操作记录弹框中,您可以查看数据标准的导入记录,包括序号、标准模板、创建人、状态、创建时间、结束时间信息。同时,您可以单击操作列下的查看image.png图标和查看导入配置image.png图标,查看该条导入记录的导入详情和导入配置信息。

    image

批量导出操作记录

  1. 标准列表页面,单击批量导入导出按钮,选择批量操作记录

    说明

    支持下载导出成功的文件且导出的文件将保留7天。

  2. 数据标准批量操作记录弹框中,您可以查看数据标准的导出记录,包括序号、创建人、导出范围、状态、创建时间、结束时间信息。同时,您可以单击操作列下的下载image图标,将标准下载至本地。

    image

其他操作记录

  1. 标准列表页面,单击批量导入导出按钮,选择批量操作记录

  2. 数据标准批量操作记录弹框中,单击其他操作,查看批量操作数据标准的记录。

    image

    区域

    描述

    筛选区

    您可根据我操作的操作人操作类型操作结果筛选操作记录。

    列表区

    为您展示操作的类型、操作人、操作时间、操作对象数、操作结果信息。同时,您可以单击操作列下的查看图标,查看操作执行结果详情。

    • 操作对象数:每次操作所选中的数据标准数量。

    • 查看:可查看标准的操作结果详情。

      • 成功记录:为您展示数据标准名称/标准集、标准编码/ID信息。

      • 异常记录:为您展示数据标准名称/标准集、标准编码/ID、异常提示信息。

      • 跳过记录:为您展示数据标准名称/标准集、标准编码/ID、跳过原因信息。

后续步骤

标准导入后,您可在标准列表管理数据标准。详情请参见标准列表