添加并管理问题清单

您可以在问题清单页面查看数据质量规则校验异常结果和在使用资产或标签过程中反馈的问题,并可以对该问题发起的整改、忽略异常、加入白名单等治理操作。本文为您介绍如何添加并管理问题清单。

使用说明

需开通数据质量模块。

权限说明

  • 超级管理员、质量管理员或具有治理工作台管理权限的自定义全局角色可以查看及管理所有问题清单详情,包括发起整改、加入白名单、忽略异常、重新打回处理等操作。

  • 其他成员可以查看自己提出的问题;自己作为负责人的问题支持执行对应的操作,包括发起整改、加入白名单、忽略异常、重新打回处理等。

  • 所有拥有对象查看权限的用户均可以添加问题。

从不同视角查看问题清单

Dataphin支持从全局项目个人三个视角查看问题清单详情。

  • 全局:超级管理员、质量管理员或具有治理工作台流程管理权限的自定义全局角色可以从全局查看所有问题清单。

  • 项目:超级管理员、质量管理员或具有治理工作台流程管理权限的自定义全局角色支持切换全局任一项目并查看该项目下资产对象的问题清单;其他成员仅可选择自己已加入的项目并查看该项目下的问题清单。

    说明

    项目视角下不展示全域表、数据源、标签对象类型。

  • 个人:超级管理员、质量管理员或具有治理工作台流程管理权限的自定义全局角色支持切换至任一成员并查看该成员的问题清单,其他成员可查看自己提出或自己负责的问题清单,并且不支持切换。

添加问题

  1. 在Dataphin首页,单击顶部菜单栏中的治理 > 数据质量

  2. 单击左侧导航栏的问题清单,单击添加问题,进入反馈质量问题对话框。

  3. 反馈质量问题对话框中,配置参数。

    参数

    描述

    问题对象

    选择需要反馈问题的对象。并根据对象类型配置对应的参数,针对数据表和实时元表,若未选中具体字段,则记录为表粒度的问题;若选中具体的字段,则记录为指定字段粒度的问题。

    问题类型

    选择该问题的类型。若无合适问题类型,可联系有权限的管理员进行创建,详情请参见自定义问题类型

    问题描述

    请针对需要反馈的问题进行简单描述,便于问题负责人了解相关背景信息。不超过1000个字符。

    附件

    单击上传按钮,从本地选择需要上传的文件。单个问题支持上传不超过5个文件。

    文件支持Doc(.doc、.docx、.dot、.dotx、.rtf、.html、.xml、.txt)、Excel(.xls、.xlsx、.csv)、PDF、图片(.jpg、.png、.jpeg)格式,且大小在10MB以内。

    联系方式

    如果方便,可以您的联系方式,便于问题负责人联系您进一步了解问题详情,支持的联系方式为电话、邮件、其他。

    • 电话:支持输入数字、短划线(-)、加号(+)、半角括号、空格,长度不超过20个字符。

    • 邮件:请输入邮件地址。

    • 其他:支持输入长度不超过100个字符。

  4. 单击确定,完成问题的添加。

查看问题清单列表

问题清单页面为您展示数据质量在校验过程中所产生的问题和在使用资产或标签中反馈的问题,并针对产生的问题进行发起整改、加入白名单、忽略、通知等操作。

image

参数

描述

图例卡片

为您展示不同类型对象的待处理问题数全部问题数,包括Dataphin表、全域数据表、指标、数据源、实时元表、标签。您可以切换查看对应问题清单列表。

搜索及筛选区

您可以根据校验对象的名称或质量规则的名称进行模糊搜索。

Dataphin表全域数据表指标数据源实时元表可以根据待处理的、我提出的、我负责的、规则强度、问题状态、问题类型、提出方式/提出人、问题负责人进行精确筛选。

标签可以根据待处理的、我提出的、我负责的、问题状态、问题类型、问题负责人进行精确筛选。

自定义问题类型:单击问题类型后的管理,可在管理问题类型的对话框中,填写问题类型的名称,名称长度不超过20个字符。单击确定,完成问题类型的创建。

系统内置的问题类型不支持编辑或删除操作;自定义的问题类型支持编辑或删除操作。

支持创建的问题类型不超过50个。

image

问题清单列表

仅通过质量规则校验生成的系统自动识别问题展示规则名称、规则强度、校验范围、校验时间信息;仅手动录入的质量问题展示提出人信息。不同的问题状态支持执行不同的治理操作,请参见单个操作

  • Dataphin表全域数据表为您展示表名称、问题对象、规则名称/ID、问题状态、问题类型、问题描述、整改流程、规则强度、问题负责人、校验范围、校验时间、提出方式/提出人、相关知识库文档信息。

  • 指标为您展示指标名称、规则名称/ID、问题状态、问题类型、问题描述、整改流程、规则强度、问题负责人、校验范围、校验时间、提出方式/提出人、相关知识库文档信息。

  • 数据源/实时元表为您展示数据源名称/表名称、问题对象、规则名称/ID、问题状态、问题类型、问题描述、整改流程、规则强度、问题负责人、校验时间、提出方式/提出人、相关知识库文档信息。

  • 标签为您展示标签名称(code)、问题状态、问题类型、问题描述、整改流程、问题负责人、提出方式/提出人信息。

  • 单击刷新前的image图标,可以选择您需要展示的问题清单列表字段。

批量操作区

系统识别问题可以对问题对象批量执行忽略此次异常、取消忽略、加入白名单、发起整改、修改问题类型、关联知识库文档等操作。

手动录入问题可以对问题对象批量执行忽略此次异常、取消忽略、发起整改、标记为已处理、打回重新处理、修改问题类型、转交问题负责人(仅限标签对象类型)操作。

您可以根据不同的问题状态批量执行不同的治理操作,请参见批量操作

操作说明

问题状态

问题状态

操作项

待处理

  • 系统识别问题支持查看详情发起整改忽略此次异常通知问题负责人加入白名单重新校验修改问题类型查看操作记录关联知识库文档

  • 手动录入问题支持查看详情发起整改忽略此次异常通知问题负责人转交问题负责人标记为已处理打回重新处理修改问题类型删除问题查看操作记录

校验中

系统识别问题支持查看详情发起整改通知问题负责人加入白名单修改问题类型查看操作记录关联知识库文档

已处理

  • 系统识别问题支持查看详情发起整改修改问题类型查看操作记录关联知识库文档

  • 手动录入问题支持查看详情发起整改转交问题负责人打回重新处理修改问题类型删除问题查看操作记录

已忽略

  • 系统识别问题支持查看详情取消忽略重新校验修改问题类型查看操作记录关联知识库文档

  • 手动录入问题支持查看详情取消忽略转交问题负责人标记为已处理打回重新处理修改问题类型删除问题查看操作记录

单个操作

操作项

描述

查看详情

  • 系统识别问题支持查看问题对象的规则校验详情、操作记录、相关知识库信息。

    • 校验详情:单击操作列下的image图标,在查看详情对话框,单击校验详情页签,为您展示当前问题最近一次的校验详情,包括基本信息、校验配置、校验结果信息。

    • 操作记录:单击操作列下的image图标,在查看详情对话框,单击操作记录页签,为您展示当前问题的历史操作记录信息,同时,您可以根据校验范围筛选操作记录。

    • 相关知识库:单击操作列下的image图标,在查看详情对话框,单击相关知识库页签,支持查看规则关联的知识库信息,同时,您可以对知识库执行搜索、查看、编辑、删除操作。操作详情请参见查看知识库

  • 手动录入问题支持查看问题详情和操作记录。

    • 问题详情:单击操作列下的image图标,在查看详情对话框,单击问题详情页签,为您展示反馈的问题对象名称、问题类型、问题描述、上传的问题附件、联系方式、提出人、负责人信息。

    • 操作记录:单击操作列下的image图标,在查看详情对话框,单击操作记录页签,为您展示当前问题的操作记录信息,包括问题对象名称、问题的操作类型、问题状态、操作说明、操作人、操作时间信息。

发起整改

发起整改后,可对该问题的全整改流程进行查询追踪。

整改流程配置,请参见发起整改。如何管理整改流程,请参见查看并管理整改流程

说明

仅超级管理员、质量管理员、问题负责人及具有治理工作台流程管理权限的自定义全局角色支持发起流程。

忽略此次异常

把待处理的问题置为已忽略后,将无需处理。建议针对不重要的问题进行忽略。

使用场景:数据源连通性中间断过,但目前已经稳定,无需进行修复;或者历史任务中出现过异常,但最新数据处理中已经用不到了,可以选择直接忽略。

取消忽略

  • 系统识别的问题取消忽略后,将会按照最新一次规则校验结果确定问题的状态。如果校验通过,问题的状态将变为已处理;如果校验不通过,问题状态将变为待处理。

  • 手动识别的问题取消忽略后,问题状态将变为待处理,您可以对该问题重新发起整改、加入白名单等其他治理操作。

通知问题负责人

您可以通过站内信电话短信邮件钉钉方式通知问题负责人。

转交问题负责人

可转交当前问题的负责人给其他用户,在转交问题负责人对话框中,选择接收人后,单击确定即可立即转出,建议在转交后及时同步接收人。

标记为已处理

仅待处理状态的手动录入问题支持标记为已处理,如需发起整改,可将处理结果打回。

打回重新处理

仅对已处理状态的手动录入问题支持打回重新处理,打回后的问题状态将变为待处理。

您可以通过站内信息通知问题负责人,以便通知相关负责人及时处理。

说明

仅超级管理员、质量管理员、问题负责人及具有治理工作台流程管理权限的自定义全局角色支持打回重新处理操作。

修改问题类型

支持根据类型对问题进行分类,便于进行筛选及归纳统计。其中,系统自动识别的问题会根据质量规则类型,默认添加对应的系统问题类型且不支持修改,手动配置的问题类型可新增或删除。

若无合适的问题类型,可进行创建,详情请参见自定义问题类型

删除问题

删除问题后,该问题将同时从整改流程中删除。删除后不可撤销,请评估后操作。

加入白名单

使用场景:当前表正处在测试阶段,每天数据不稳定,可以等数据稳定了之后再进行监控。

如何加入白名单,请参见加入白名单。如何管理白名单,请参见查看并管理治理白名单

说明
  • 仅当系统识别时未忽略的问题支持加入白名单,其他问题执行会自动跳过。

  • 加入白名单后,系统会自动忽略当前校验产生的错误情况,相应的质量规则仍会正常执行和校验,生成质量报告、发送告警、阻断下游任务。

  • 白名单生效期内,新产生的且在同一规则范围下的质量问题不会上报;白名单失效或删除之后,历史的问题不会补报,但是后续新出现的问题会上报。

重新校验

仅支持待处理、已忽略状态的系统识别问题重新校验。如果数据质量问题已经处理,可以将当前问题重新执行校验规则,会按照执行后的校验状态修改问题状态,如果校验通过,问题的状态将变为已处理;如果校验不通过,问题状态将变为待处理。

查看操作记录

为您展示当前问题的操作记录信息,包括问题对象名称、问题的操作类型、问题状态、操作说明、操作人、操作时间信息。

关联知识库文档

仅支持系统自动识别的问题关联知识。规则关联知识后,可在质量规则和问题清单中查看关联知识。支持为问题对象批量配置知识库。如需创建,请参见新建知识库

批量操作

操作项

描述

忽略此次异常

可把待处理的问题置为已忽略后,将无需处理。建议针对不重要的问题进行忽略。

使用场景:数据源连通性中间断过,但目前已经稳定,无需进行修复;或者历史任务中出现过异常,但最新数据处理中已经用不到了,可以选择直接忽略。

取消忽略

仅已忽略的问题支持取消忽略操作。取消忽略后,手动录入的问题状态将变为待处理;系统识别的问题将会按照最新一次规则校验结果确定问题状态。如果校验通过,问题状态将变为已处理;如果校验不通过,问题状态将变为待处理。

加入白名单

使用场景:当前表正处在测试阶段,每天数据不稳定,可以等稳定了之后再进行监控。如何加入白名单,请参见加入白名单。如何管理白名单,请参见查看并管理治理白名单

  • 针对批量将问题对象加入白名单,Dataphin表、全域数据表、指标、数据源、实时元表支持的白名单范围为已选问题已选监控对象

    • 已选问题:在有效期内,针对当前页面所有选中的待处理、校验中的问题出现新的质量校验失败时,会自动变成已忽略状态。

    • 已选监控对象:针对当前页面选中问题及其与当前页面选中问题所属同一监控对象下所有待处理、校验中的问题,出现新的质量校验失败时,会自动变成已忽略状态。

    说明
    • 仅系统识别、未忽略的问题支持加入白名单,其他问题执行会自动跳过。

    • 加入白名单后,系统会自动忽略当前校验产生的错误情况,相应的质量规则仍会正常执行和校验,生成质量报告、发送告警、阻断下游任务。

    • 白名单生效期内,新产生的且在同一规则范围下的质量问题不会上报;白名单失效或者删除之后,历史的问题不会补报,但是后续新出现的问题会上报。

    image

发起整改

发起整改后,可对该问题详情的整个整改流程进行查询追踪。批量发起整改流程和单个操作一致,请参见发起整改。如何管理整改流程,请参见查看并管理整改流程

  • 针对问题对象批量发起整改,Dataphin表、全域数据表、指标、数据源、实时元表支持整改范围为已选问题已选问题及规则相关问题已选监控对象;标签支持整改范围为已选问题已选标签所有对象

    • 已选问题:仅针对当前页面所选中的问题进行整改。

    • 已选问题及规则相关问题:针对当前页面所选中的问题及其与当前页面中已选的系统识别问题归属于同一规则的其他待处理问题。

    • 已选监控对象:针对当前页面选中问题及其与当前页面选中问题所属同一监控对象下所有待处理问题,包括手动录入问题和自动识别问题

    • 已选标签所有对象:针对当前页面所选中的问题及其与当前页面选中问题所属同一标签下的所有待处理问题。

重新校验

仅支持待处理、已忽略状态的系统识别问题重新校验。如果数据质量问题已经处理,可以将当前页面已选中的问题重新执行校验规则,会按照执行后的校验状态修改问题状态,如果校验通过,问题的状态将变为已处理;如果校验不通过,问题状态将变为待处理。

标记为已处理

仅待处理状态的手动录入问题支持标记为已处理,如需发起整改,可将处理结果打回。

打回重新处理

仅已处理状态的手动录入问题支持打回重新处理,打回后的问题状态将变为待处理状态。

说明

仅超级管理员、质量管理员、问题负责人及具有治理工作台流程管理权限的自定义全局角色支持打回重新处理操作。

修改问题类型

支持追加或修改问题类型。仅对自定义问题类型生效;根据规则类型自动生成的系统问题类型不生效。

  • 追加:在原有的问题类型中增加本次配置的问题类型。

  • 修改:将本次配置的问题类型,覆盖更新已有的自定义类型。

    image

导出问题

针对当前页面选中的问题进行导出,在对话框中,选择需要导出的内容,单击确定

image

转交问题负责人

可将当前问题的负责人转交给其他用户,在转交问题负责人对话框中,选择接收人后,单击确定即可立即转出,建议在转交后及时同步接收人。

关联知识库文档

仅支持系统自动识别的问题关联知识。规则关联知识后,可在质量规则和问题清单中查看关联知识。支持为问题对象批量配置知识库。如需创建,请参见新建知识库

加入白名单

加入白名单支持单个和批量操作。

  1. 问题清单页面,选中目标问题后,单击操作列下image的图标,选择加入白名单

  2. 加入白名单对话框中,配置参数。

    参数

    描述

    白名单范围

    仅系统识别且未忽略的问题支持加入白名单。

    针对选择单个问题对象,可将当前规则当前监控对象加入白名单。

    • 当前规则:在有效期内,针对当前校验记录本身的问题及其当前问题所属质量规则下已生成的所有待处理、校验中的问题出现新的质量校验失败时,会自动变成已忽略状态。

    • 当前监控对象:在有效期内,针对当前问题所属同一监控对象下所有待处理、校验中的问题出现新的质量校验失败时,会自动变成已忽略状态。

    有效期

    可选择7天30天90天180天永久自定义。申请当天不计算在内。

    说明

    白名单失效之后,历史的问题不会补报,但是后续新出现的问题会上报。

    操作说明

    必填项,请填写加入白名单的原因。不超过128个字符。

  3. 单击确定,将问题加入白名单。

发起整改

发起整改支持单个和批量操作

  1. 问题清单页面,选中目标问题后,单击操作列下image的图标,进入发起整改对话框。

  2. 发起整改对话框中,配置参数。

    参数

    描述

    整改范围

    针对系统识别问题对象,可对当前问题当前规则当前监控对象发起整改;针对手动录入问题对象,仅可对当前问题发起整改。

    • 当前问题:仅包括当前校验记录本身的问题,不包括与当前问题对象归属同一规则的其他待处理问题。

    • 当前规则:包括当前校验记录本身的问题及其所属质量规则下已生成的所有待处理的系统自动识别问题,可能包含多个不同的校验范围。

    • 当前监控对象:包括当前校验记录本身的问题及其当前问题所属同一监控对象下所有待处理的系统自动识别问题,可能包含多个问题对象和校验范围。

    说明

    如果当前所选问题已经在整改流程中,那么仍会保持在原有的整改流程中,不会重复发起整改。

    发起方式

    支持新建流程、关联已有流程。

    • 新建流程:自定义整改流程名称,不超过128个字符。

    • 关联已有流程:支持关联当前对象类型下已创建的整改中或重新整改状态的流程。仅超级管理员、质量管理员、问题负责人及具有治理工作台流程管理权限的自定义全局角色支持选择所有流程。

    整改人

    整改人是整改流程的整改过程的负责人,建议选择问题对象的质量负责人,便于对整改流程中的系统自动识别问题进行编辑或重新发起校验,否则可能无法更新问题的状态。若发起方式为关联已有流程,则默认为已选流程的整改人,不支持修改。

    验收人

    验收人是整改流程的整改结果的最终负责人。若发起方式为关联已有流程,则默认为已选流程的验收人,不支持修改。

    优先级

    分为三个层级。若发起方式为关联已有流程,则默认为已选流程的优先级,不支持修改。

    操作说明

    请填写发起整改的原因,不超过128个字符。

  3. 单击确定,完成发起整改。

导出问题清单

说明
  • 仅支持导出有查看权限的问题清单。

  • 单个租户下支持并发导出任务数为5个。

  • 如果导出的问题清单内容较多,文件生成需要等待一段时间,您可以在批量导出面板查看历史导出记录,详情请参见问题导出记录

  1. 问题清单列表页面,单击右上角的导出问题按钮,支持选择导出全部问题按搜索及筛选条件导出

    • 导出全部问题:即导出所在视角下指定对象类型的所有问题。

    • 按搜索及筛选条件导出:导出所在视角下,按关键词搜索及筛选条件过滤后的所有问题,例如:您可以过滤导出所有待处理状态的问题。

      image

  2. 在对话框中,选择需要导出的内容。

  3. 单击确定,完成问题导出。

问题导出记录

说明
  • 为您展示您最近50条导出操作记录。

  • 您可以下载7天内导出成功的文件。

  1. 问题清单列表页面,单击右上角的导出问题按钮,选择查看批量导出记录

  2. 批量导出记录面板中,查看问题导出是否成功,包括问题的序号、问题对象类型、提交时间、操作状态信息。同时,您可以单击操作列下的image图标,将问题下载至本地,方便业务人员进行统计和存档。

    image