监测数据质量

名词解释

• 数据质量规则：为保障数据符合某些预期，对表或列设置的规则。例如，表的行数需要为固定值，列的最大值为100等。

• 稽核任务：用于监测与校验数据是否符合目标数据质量规则。设置质量规则和调度周期后，自动检查数据质量并生成报告。

操作步骤

1. 登录数据管理DMS 5.0。

2. 进入表详情页面。您可以选择以下任意一种方式进入表详情。

   • 通过SQL Console控制台进入。

     1. 在顶部菜单栏中，选择SQL窗口 > SQL窗口。

     2. 在请先选择数据库对话框中，搜索并选择目标数据库，单击确认。

     3. 在右上角的扩展功能区域，单击表列表。

     4. 从操作列中，选择更多 > 查看表详情，进入表详情页面。

   • 通过搜索进入。

     1. 单击首页页签，在页面中间的搜索框中，输入目标表名称。

     2. 选择表标签，单击目标表最右侧的详情按钮，进入表详情页面。

     

3. 单击数据质量页签。

4. 单击创建规则，并在右侧弹出的面板中，配置参数。

   配置项	说明	示例值
   规则名称	定义规则的名称。	列的最大值为100
   规则类型	选择规则的类型，支持的选项： 表规则：创建表级别的规则，例如检验表的行数是否符合预期。 列规则：创建列级别的规则，例如检验列中空值的个数。	列规则
   规则模版	选择系统内置规则模版，更多信息，请参见数据质量规则模板。	列的最大值
   列名	选择规则所应用的目标列名。 该参数仅在规则类型为列规则时显示。	columns_test
   比较方式	选择比较方式，实际值将与期望值进行比较。 支持大于、大于等于、等于、小于等于、小于、不等于。	小于等于
   期望值	输入期望的目标值。	100

5. 单击确定。

   数据质量规则创建成功后，默认状态为已启用。

   说明

   您还可以在目标规则模板的操作列，执行以下操作：

   • 单击禁用，禁用目标规则模板。禁用后，该规则模板将无法新建稽核任务。

     若该规则模板已应用在稽核任务中，会禁用失败，请删除目标稽核任务后重试。

   • 选择更多 > 编辑，编辑数据质量规则。

   • 选择更多 > 日志，查看规则的历史版本。

6. 在目标规则模板的操作列，选择更多 > 新建任务流。

   

7. 系统自动跳转至任务编排页面，在任务编排中配置稽核任务节点，并发布该任务流。

   说明

   更多信息，请参见概述。

   设置任务流的调度周期并发布后，系统会自动根据调度周期和数据质量规则对数据进行检测。

数据质量规则模板