有效映射关系管理

有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系,可用于描述资产对象应该遵循某个数据标准,或数据标准被某个资产对象关联遵循,是进行落标监控的前提条件。本文为您介绍如何管理有效映射关系。

权限说明

  • 超级管理员、数据标准管理员、映射关系中的标准负责人可将已确认的映射关系置为无效映射、解除映射关系、配置质量监控规则。

  • 超级管理员、数据标准管理员可针对所有手动添加的映射关系进行落标评估任务配置,并查看落标评估任务的运行日志。

  • 超级管理员、数据标准管理员、数据标准负责人可批量导入自己负责的数据标准对应的有效映射关系并查看导入记录详情。

  • 所有用户均可导出有效映射关系并下载导出文件。

有效映射关系入口

  1. 在Dataphin首页,在顶部菜单栏选择治理 > 数据标准

  2. 在左侧导航栏选择落地评估 > 映射关系,在映射关系页面,单击有效映射页签。

查看有效映射关系

有效映射关系列表为您展示基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系,您可以按资产汇总全部展开两个视角查看有效映射关系。

按资产汇总视角查看有效映射关系

image.png

区域

描述

筛选及搜索区

您可根据资产负责人进行筛选,也可以根据资产的名称进行模糊搜索。

列表信息区

为您展示资产名称资产类型资产负责人有效映射对象数映射标准数最近更新时间信息。

  • 资产名称:您可以点击资产的名称或点击操作列下的查看映射详情,具体详情请参见有效映射详情列表

  • 最近更新时间:每次落标映射规则执行完成后,将会更新时间的最新值。

有效映射详情列表

image.png

区域

描述

查看资产详情

点击查看资产详情按钮可跳转到资产目录下该表的详情页。

说明

外部资产不支持查看资产详情。

映射详情列表信息区

为您展示对象名称标准名称标准编码所属标准集最近更新时间信息。

  • 标准名称:您可点击标准的名称查看标准的基本信息、监控规则、历史版本详情。

  • 所属标准集:您可点击标准集的名称查看标准的基本信息和属性信息。

从全部展开视角查看有效映射关系

image.png

区域

描述

筛选及搜索区

您可根据标准集进行筛选,也可以根据对象的名称或标准的名称进行模糊搜索。

列表信息区

为您展示对象名称所属资产对象类型标准名称标准编码所属标准集最近更新时间信息。

  • 对象类型:指Dataphin字段和Dataphin指标。

    说明
    • Dataphin字段:包括所有Dataphin数据表的字段。

    • Dataphin指标:包括汇总逻辑表的派生指标、衍生指标、注册上挂指标。

  • 所属资产:您可点击所属资产的路径跳转到资产目录下该表的详情页。

  • 标准名称:您可点击标准的名称查看标准的基本信息、监控规则、历史版本详情。

  • 所属标准集:您可点击标准集的名称查看标准的基本信息和属性信息。

管理有效映射关系

image.png

您可针对不同视角下(按资产汇总视角和全部展开视角)的资产或对象执行不同的操作,详见下方表格。

说明项

单条操作

批量操作

按资产汇总视角操作

可针对当前映射关系中的资产进行操作,该资产下所包含的所有生成映射关系的对象跟随资产的操作执行。您可对该资产执行查看映射详情置为无效映射配置质量监控解除映射关系操作。

您可对该视角下页面上所选中的资产执行置为无效映射解除映射关系导出操作。

全部展开视角操作

可针对当前映射关系中的具体对象(Dataphin字段或Dataphin指标)执行查看映射明细查看落标评估结果配置质量监控操作。

您可对该视角下页面上所选中的具体对象(Dataphin字段或Dataphin指标)执行置为无效映射解除映射关系导出操作。

操作项

描述

查看映射详情

您可以点击操作列下的查看映射详情,查看映射明细,具体详情请参见有效映射详情列表

配置质量监控

质量监控规则支持引用数据标准监控,同时为您展示当前资产对象已经在其他模块配置过的质量监控规则作为参考,以避免配置太多重复的监控规则重复运行浪费资源或产生冲突。详情请参加配置质量监控

解除映射关系

您可将有效映射的关系进行解除,支持选择解除并加入无效映射仅解除,再次映射重新确认两种方式。

  • 解除并加入无效映射:对于被解除的映射关系从有效映射列表中删除并加入无效映射关系列表中,若出现相关的映射关系,则不会添加至有效映射关系列表中。

  • 仅解除,再次映射重新确认:对于被解除的映射关系从有效映射列表中删除,若出现相同的映射关系,则会重新添加至有效映射列表中。

导出

在列表中勾选资产(按资产汇总视角)或对象(按全部展开视角)后,单击页面底部的导出按钮,为您导出所选中的有效映射关系。

您可在批量操作记录中查看本次导出操作信息,并下载导出文件。

置为无效映射

置为无效映射的资产不会参与落标监控的评估,也不会生成落标评估明细。在批量将所有选中关系置为“无效映射”对话框,单击确定,映射关系则会移至无效映射列表。

查看映射明细

可查看资产有效映射的明细信息,包括基本信息和映射记录详情。

查看落标评估结果

您可点击操作列下的查看落标评估结果image..png图标跳转至落标评估明细-资产对象视角下该对象的评估详情弹框。

配置质量监控

按资产汇总视角下,您可以按资产为粒度(如:数据表)为其包含的所有生成了映射关系的对象(如:字段)批量配置质量监控规则,实现高效配置,节约配置时间成本。

全部展开视角下,您可以聚焦于单个资产对象,并批量引用该对象对应的所有有效映射关系中包含的数据标准下监控配置生成的质量监控规则。

两个视角下的监控配置方式基本一致,区别在于可引用的监控规则范围,下面配置以资产粒度为例。

说明
  • 需开通资产质量模块。

  • 单个资产在数据标准中最多配置200条质量监控规则,外部注册资产不支持配置质量监控规则。

  • 当前页面配置的质量规则监控执行结果会影响落标评估明细页面的监控通过率,在质量模块引用数据标准监控生成的监控规则不会纳入落标评估统计。所有入口配置的所有质量监控规则均会在质量模块的规则列表和质量报告中展示。

  • 此处配置的质量监控规则会在质量模块的规则列表同步展示,但是仅支持在当前页面进行规则的编辑和删除。

  1. 单击操作列下的配置质量监控image..png图标,进入配置质量监控面板。

  2. 配置质量监控弹框中,支持引用数据标准监控,同时为您展示当前资产对象已经在其他模块配置过的质量监控规则作为参考。

    • 数据标准监控

      1. 数据标准监控页签点击新建数据标准监控

        image

      2. 新建数据标准监控对话框选择需要引用的数据标准监控规则。

        说明
        • 引用后不支持修改规则详情配置,可自行配置调度、修改规则强弱等信息。

        • 您可以根据有效性唯一性完整性稳定性四种规则模板筛选标准规则,也可以输入规则的名称进行搜索。

        • 在引用数据标准规则对话框,支持配置调度方式、修改规则名称、规则强度、开启或关闭生效状态,您也可以点击关联标准下的标准编码查看标准详情。

        • 您可点击操作列下的image图标查看质量规则。

      3. 单击确认添加,完成引用数据标准监控规则。

        在数据标准监控列表,您可对监控规则执行配置调度、开启或关闭生效状态、查看、编辑(包括规则名称、规则强度、描述等)、删除操作。

    • 其他质量规则

      其他质量规则列表为您展示当前资产对象在当前页面之外配置的其他质量规则,避免配置太多重复的监控规则重复运行浪费资源或产生冲突。

      1. 在配置质量监控弹框,选择其他质量规则

        image

      2. 其他质量规则页签,单击去质量监控按钮。

        您可跳转至资产质量下该资产的规则详情页面,如需创建质量规则,请参见创建Dataphin表质量规则

        在其他质量规则列表,您可对监控规则执行配置调度、查看操作。

落标评估配置

落标评估配置用于对手动添加的有效映射关系定时进行落标评估检查并生成评估明细。此外,在数据标准模块配置的质量监控规则对应的执行结果也在落标评估任务执行时统一进行更新。

  1. 在映射关系列表页面,单击右上角的落标评估配置,进入编辑落标评估配置对话框。

  2. 编辑落标评估配置对话框,配置参数。

    参数

    描述

    定时评估

    开启后,手动添加的有效映射关系根据配置的时间定时进行落标评估;关闭后,则不进行落标评估。

    评估时间

    根据配置的评估时间,定时进行落标评估,支持选择每、每、每

  3. 单击确定,完成落标评估配置。

查看落标评估运行记录

说明

仅保留最近30天的手动映射落标评估运行记录并且最多保留1000条。

  1. 在有效映射关系列表页面,单击落标评估配置后的下拉箭头图标,单击落标评估运行记录,进入落标评估记录-手动映射对话框。

  2. 落标评估记录-手动映射对话框中,您可查看手动映射的落标评估运行记录,包括序号、开始时间、结束时间、执行任务状态信息,您也可单击操作列下的查看图标,查看手动映射关系的落标评估运行日志。

批量导入有效映射关系

  1. 在有效映射列表页面,单击右上角的批量导入导出,选择批量导入映射关系

  2. 批量导入有效映射关系对话框,配置相关参数。

    参数

    描述

    STEP 1 下载配置模板

    若没有模板,可点击文件名称或下载image图标下载.xlsx文件;若已有模板,可直接执行上传配置文件并导入。

    STEP 2 上传配置文件

    • 填写模板时,请遵循每列的填写规范,导入过程中将进行名称唯一性、输入规范性等校验。

    • 仅支持导入单个工作表的.xlsx类型文件,如文件类型不一致或有多个工作表,则无法导入。如果修改了列名称、调整列顺序或删除列,会导致解析失败无法导入。

    • 标题行:展示列名称和填写说明;红色*标识为必填项。

    • 资产类型:如果是域内资产,请从下拉列表中选择支持的对象类型:物理表、维度逻辑表、事实逻辑表、汇总逻辑表、物理视图、逻辑视图、标签逻辑表;如果是外部注册资产,请自定义输入资产类型。

    • 存储类型:如果是域内资产,请选择当前租户的计算引擎类型;如果是全域表,请选择来源数据源类型;如果是外部注册资产,请选择其他。

    • 资产名称:自定义输入,物理表、物理视图、实时元表、镜像表需增加项目名称前缀;逻辑表、逻辑视图需增加业务板块名称前缀;外部注册表请填写GUID。

    • 对象类型:请从下拉列表中选择,如果是外部注册资产,请选择其他。

    • 对象名称:自定义输入,字段名称或指标名称等,外部注册表请填写GUID。

    • 数据标准编码:自定义输入,将根据标准编码识别数据标准。

    • 数据标准名称:非必填,不用于识别数据标准。

    • 名称输入大小写不敏感,将根据资产所属系统是否大小写敏感自动匹配。

    STEP 3 更新策略

    针对本次导入的映射关系若和有效映射无效映射列表中已有的映射关系有冲突,将根据配置的更新策略执行。

    • 若有效映射列表中已存在映射标准的对象,您可以保留有效映射并追加该条手动添加的映射关系。

    • 若无效映射列表中已存在本次上传的映射关系,您可选择将无效映射置为有效映射保留无效映射,跳过不更新

  3. 您可以在当前页面等待导入完成并查看导入明细结果,也可以先关闭配置弹框,在批量操作记录中重新打开查看。

    如果导入过程中有导入失败的记录,您可以在导入明细结果中查看异常提示并下载异常记录,根据异常提示修改后再重新导入。如果是根据冲突处理策略配置被跳过不导入的记录,也会为您提示被跳过的原因。

    参数

    描述

    导入结果

    可查看导入进度、执行时间信息。

    异常记录

    • 为您展示校验不通过而无法导入的映射关系记录,包括记录在原始文件中对应的行号存储类型对象标准名称标准编码异常提示

    • 可单击下载异常记录,将对应的原始记录下载成文件,根据异常提示修改后重新导入。

      image..png

    执行日志

    可查看导入过程的执行日志并复制。

    导入完成后,若您想快速查看导入结果,可关闭导入配置弹框,关闭弹框不会终止导入任务的执行。您可以在有效映射列表,单击批量操作记录,并选择需要查看的历史导入记录。

批量导出有效映射关系

  1. 在有效映射列表页面,单击右上角的批量导入导出,选择批量导出映射关系

  2. 批量导出映射关系对话框中,根据导出范围导出有效映射关系。

    导出范围:选择需导出的有效映射关系范围,支持选择全量导出或根据数据板块及项目筛选的资产对象导出对应的有效映射关系。

    说明
    • 需至少选择一个指定范围。

    • 单次最多导出100万条映射关系。

  3. 单击确定,完成有效映射关系导出。您可在批量操作记录中查看本次导出操作信息,并下载导出文件。

有效映射批量操作记录

说明

仅保留最近30天的批量导入记录,最多保留1000条导入记录。

  1. 在有效映射列表页面,单击右上角的批量导入导出,选择批量操作记录

  2. 有效映射关系批量操作记录弹框,查看有效映射关系的导入、导出操作记录。

    • 批量导入:为您展示有效映射关系导入的操作记录详情,包括序号、创建人、状态、创建时间、结束时间信息。同时,您可单击操作列下的查看图标,查看导入详情。

    • 批量导出:为您展示有效映射关系导出的操作记录详情,包括序号、创建人、状态、导出范围、创建时间、结束时间信息。同时,您可单击操作列下的下载图标,下载导出文件至本地。

      说明
      • 导出的有效映射关系文件系统存储7天,超过7天将无法下载。

      • 仅导出成功状态的记录支持下载导出文件。