本文为您介绍如何新建实时元表规则。

背景信息

系统支持创建的实时元表规则说明如下。
规则类型 描述
统计趋势监测 统计趋势监测校验数据值及数据变化趋势。
实时多链路对比 在业务有强保障场景中，可以通过实时双链路或实时三链路质量规则，监测数据。如果有异常，运维人员能够及时切换或备份数据。实时多链路对比质量规则支持监控数据滞留、统计偏差等问题。
实时离线数据核对 实时数据与离线数据在使用相同统计路逻辑时，实时离线数据核对质量规则可以检测数据之间的差异。如果差异较大，可能存在数据质量的问题。

新建统计趋势监测规则

  1. 登录Dataphin控制台。
  2. 进入实时元表规则页面。
    1. 在Dataphin控制台页面，选择工作区地域后，单击进入Dataphin>>。
    2. 在Dataphin首页，单击顶部菜单栏中的资产。
    3. 在数据资产页面，单击顶部菜单栏的质量。
    4. 在数据质量页面，单击左侧导航栏的实时元表规则。
  3. 创建质量规则。
    1. 在实时元表规则页面，单击新建质量规则。
    2. 在新建质量规则对话框，选择数据表后单击开始配置。
      您也可以选择业务板块、所属项目和表类型筛选数据表。
  4. 在质量规则配置页面，设置告警。
    1. 单击告警设置后的fagag图标。
    2. 在告警设置对话框，选择告警接收人及告警方式。
    3. 单击确定。
  5. 在质量规则配置页面，配置质量规则。
    1. 单击创建质量规则。
    2. 在创建质量规则对话框，配置参数。
      参数 描述
      规则类型 选择统计趋势监测。
      规则强度 选择质量规则的强度。
      对象名称 选择需要校验的对象。
      指标算子 选择数据的算法。
      校验规则 模板名称 选择校验的模板。
      对比方式
      • 如果校验类型为波动型，则 对比方式包括绝对值、向上、向下。
      • 如果校验类型为对比型，则对比方式为大于固定值、大于等于固定值、等于固定值、小于等于固定值绝对值、小于固定值。
      详情请参见表 1。
      阈值设定 如果模板名称选择为非与固定值对比，即为波动型校验，则需要设定质量规则校验结果的波动阈值，波动监测阈值设定在对比值基础上的0~10倍率的范围内。
      固定值设定 如果模板名称选择为与固定值对比，则需要选择质量规则校验对比的固定值。
      监测配置 监测频率 选择质量规则扫描数据源的频率。
      监测范围 支持根据业务场景自定义数据监测的时间范围。系统默认为全天扫描。
      数据时区 质量规则扫描数据时，数据所采用的时区。例如，GMT 8即为北京时间23时。
      数据预览 完成参数配置后，单击生成预览，即可在数据预览区域查看配置的质量规则。

      如果配置参数修改，单击刷新预览， 则质量规则数据刷新。

      表 1. 配置表
      模板名称 趋势 配置项 校验类型
      与固定值对比 大于固定值、大于等于固定值、等于固定值、小于等于固定值绝对值、小于固定值 固定值设定 对比型
      与前1天趋势对比 绝对值、向上、向下 波动阈值 波动型
      与前7天趋势对比 绝对值、向上、向下 波动阈值 波动型
      与前30天趋势对比 绝对值、向上、向下 波动阈值 波动型
      与1、7、30天前趋势对比 绝对值、向上、向下 波动阈值 波动型
  6. 单击确定，完成质量规则的配置后，即可试跑规则并开启校验开关。

新建实时多链路对比规则

  1. 在实时元表规则页面，单击创建质量规则。
  2. 在创建质量规则对话框，配置参数。
    参数 描述
    规则类型 选择实时多链路对比。
    规则强度 选择质量规则的强度。
    对象名称 选择需要校验的对象。
    指标算子 选择数据的算法。
    校验规则 模板名称 选择质量规则的校验模板。系统支持选择实时三链路对比和实时双链路对比。
    对比链路1 选择实时元表作为对比链路数据：
    • 如果模板选择了实时双链路对比，则只需要选择一个实时元表。
    • 如果模板选择了实时三链路对比，则需要选择两个实时元表。
    偏离类型 选择对比链路数据的偏离类型：
    • 如果模板选择了实时双链路对比，则系统只支持选择当前链路与对比链路偏离的范围。
    • 如果模板选择了实时三链路对比，则系统支持选择当前链路偏移任一对比链路的范围和当前链路同时偏移两条对比链路的范围。
    阈值设定 设定质量规则校验结果的波动阈值，波动监测阈值设定在对比值基础上的0~10倍率的范围内。
    监测配置 监测频率 选择质量规则扫描数据源的频率。
    监测范围 支持根据业务场景，指定数据监测时段。系统默认为全天扫描。
    数据时区 质量规则扫描数据时，数据所采用的时区。例如，GMT 8即为北京时间23时。
    数据预览 完成参数配置后，单击生成预览，即可在数据预览区域查看配置的质量规则。

    如果配置参数修改，单击刷新预览， 则质量规则数据刷新。

  3. 单击确定，完成质量规则的配置后，即可试跑规则并开启校验开关。

新建实时离线数据核对规则

  1. 在实时元表规则页面，单击创建质量规则。
  2. 在创建质量规则对话框，配置参数。
    参数 描述
    规则类型 选择实时离线数据核对。
    规则强度 选择质量规则的强度。
    对象名称 选择需要校验的对象。
    指标算子 选择数据的算法
    校验规则 模板名称 选择质量规则的校验模板。系统仅支持选择实时离线数据核对。
    离线数据 选择指定离线表作为校验目标。
    分区表达式 配置离线数据分区表达式，分区表达式用于限定数据对比规则。
    离线取数 通过SQL语句配置离线数据表的取数。

    单击参考示例，查看SQL语法和参数说明。编写完成后，单击规范性校验校验SQL语法是否正确、元数据是否存在以及与所选离线数据表是否匹配。

    偏离类型 选择实时元表作为对比链路数据。系统仅支持选择实时与离线数据的允许差异范围。
    阈值设定 设定质量规则校验结果的波动阈值，波动监测阈值设定在对比值基础上的0~10倍率的范围内。
    监测配置 触发条件 默认为表或分区数据更新时触发质量校验规则。
    数据时区 质量规则扫描数据时，数据所采用的时区。例如，GMT 8即为北京时间23时。
  3. 单击确定，完成质量规则的配置后，即可试跑规则并开启校验开关。

试跑规则

完成统计趋势监测规则、实时离线数据核对规则、实时多链路对比规则创建后，需要试跑规则。

选中新增的数据源规则，单击规则试跑。teat

如果实时元表规则的试跑失败，则鼠标悬停至gegaga图标，单击试跑日志，查看日志，定位试跑失败原因。

打开校验开关

打开校验开关。即可根据实时元表规则定义的频率和生效时间扫描数据源。faga
同时，您也可以在实时元表规则列表页面，单击geagag或fagaga图标，关闭或打开实时元表规则，即可开启或关闭该数据源的质量校验规则。gfaga