文档

新建和管理公共标准属性

更新时间:

公共属性可以在创建标准模板时直接引用,以实现一次配置多次复用的效果。建议将在多个标准模板中都会重复使用且配置相同的属性配置为公共属性。本文介绍如何创建和管理公共标准属性。

权限说明

超级管理员、数据标准管理员支持新建及管理公共标准属性。

公共属性概述

公共属性分为自定义属性系统属性两种:

  • 自定义属性是用户自定义创建的属性,可以根据业务情况,自行灵活配置。

    创建标准模板时若引用了自定义属性可修改所有配置,用于快速添加可复用的属性。

  • 系统属性分为信息配置落标监控两部分,是系统内置的属性,可快速引用已配置好的系统属性,提升配置效率。

    创建标准模板时若引用了系统属性,仅支持修改部分配置,若系统属性已配置落标监控,则基于该标准模板创建的数据标准都会继承监控配置,并可以在落标评估明细中查看映射记录和评估结果,详情请参见系统属性列表查看落标评估明细

系统属性

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 按照下图操作指引,进入属性详情对话框。

    image.png

系统属性详情

系统属性内置落标监控配置,引用了系统属性创建的数据标准将继承该属性的监控配置。落标监控分为元数据监控内容质量监控,不同的系统属性支持的监控类型不同,您可以点击了解元数据监控了解内容质量监控查看监控详情描述。

元数据监控

支持元数据监控的属性包括数据类型数据分类数据分级三种。

  • 当选择数据类型属性时,支持dataType元数据字段的监控,如:会员注册渠道数据标准,对应会员注册渠道字段,在标准中指定该字段的数据类型为string;如果该字段的数据类型配置为int,则不符合标准约束。

  • 当选择数据分类/数据分级属性时,将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。

内容质量监控(需开通资产质量模块功能)

支持内容质量监控的属性包括是否可为空值是否可为空字符串是否唯一值值域四种。

  • 当选择值域属性时,监控规则的内容和标准填写的值域属性值相关,如果值域属性的取值类型为输入枚举值范围区间,则自动创建字段值域监控规则,规则配置部分的值域约束内容来自于数据标准填写的属性值;若值域属性的取值类型为引用码表,则自动创建数据标准码表参照对比规则,规则配置部分的码表配置来自于数据标准选择的码表。

  • 当选择是否唯一值属性时,主键字段的数据标准常需要用到该属性以约束字段取值,如会员维度表中的会员ID字段。如果该属性值配置为,则自动创建一条字段唯一值校验的质量监控规则,校验规则自动填充为异常行数<=0;如果属性值为,则需配置校验规则。

  • 当选择是否可为空值属性时,用于对单字段是否是空值进行校验,如果该属性值配置为,则自动创建一条字段空值校验的质量监控规则,需手动配置校验规则;如果属性值为,则校验规则自动填充为异常行数<=0。

  • 当选择是否可为空字符串属性时,用于对单字段是否是空字符进行校验,如果该属性值配置为,则自动创建一条字段空字符串校验的质量监控规则,需手动配置校验规则;如果属性值为,则校验规则自动填充为异常行数<=0。

    说明
    • 是否可为空值为是,则空值行数逻辑参考:

      select count(1) from ${table_name} where ${field_name} is null

    • 是否可为空字符串为是,则空字符串行数逻辑参考:

      select count(1) from ${table_name} where ${field_name} is null or ${field_name} = ''

系统属性配置详情

系统属性分为信息配置落标监控两部分。创建标准模板时若引用了系统属性,仅支持修改部分配置。

  • 信息配置包括属性名称属性编码属性类型是否必填属性字段类型属性值长度描述属性字段取值取值约束范围值类型信息。

    • 属性值长度:值域属性类型不展示。

    • 取值约束:值域和数据类型属性类型不展示。

    • 范围值类型:仅值域属性类型展示。当属性字段类型是日期时间型时,不支持输入枚举值的范围值类型值域监控。

  • 落标监控包括监控元数据质量监控规则大小写敏感校验规则信息。

    • 质量监控规则:当范围值类型为枚举-输入枚举值范围区间时,质量规则为有效性/字段值域校验模板信息;当范围值类型为枚举-引用码表时,质量规则为有效性/数据标准码表参照对比校验。

    • 大小写敏感:当字符类型是字符型是,大小写敏感会影响与属性值和字段值相关的比对校验逻辑。

    • 校验规则:值相等则通过。

      image

系统属性列表

您可以在系统属性页面查看系统内置的标准模板属性信息且不支持新建、克隆、删除等操作。详情请参见自定义属性列表

image

自定义属性

自定义属性配置

  1. 在Dataphin首页,单击顶部菜单栏的资产

  2. 按照下图操作指引,进入新建属性对话框。

    image.png

  3. 新建属性对话框,配置参数。

    参数

    描述

    属性名称

    公共标准属性的任务名称。不超过128个字符,当前公共标准属性下唯一。

    属性编码

    公共标准属性的编码。

    属性类型

    选择公共标准属性类型,包含业务属性技术属性管理属性质量属性主数据属性生命周期属性安全属性

    是否必填

    默认选中,可切换为

    属性字段类型

    默认选择字符型/STRING。属性字段类型可针对创建标准时输入的,属性值的字段类型进行约束,如:字段类型选择布尔型,则创建标准时,该属性仅支持选择True或False。按照类型分为:

    • 字符型:STRING。

    • 数值型:BIGINT、DOUBLE(最多6位小数)。

    • 布尔型:BOOLEAN(取值为True或False)。

    • 日期时间型:DATE(yyyy-mm-dd)、DATETIME(s)。

    属性值长度

    属性字段类型选择字符型时,支持配置属性值长度,属性值长度可针对创建标准时输入的属性值最大长度进行约束,最大值为2000。

    描述

    可添加公共标准属性相关的描述,不超过512个字符。

    填写方式

    • 影响创建标准的时候属性值的输入及存储方式,根据选择的字段类型不同,此处可选的属性值类型不同:

      • 字符型:自定义输入下拉单选框下拉多选框指定范围

      • 数值型:自定义输入下拉单选框下拉多选框、指定范围

      • 布尔型:下拉单选框

      • 日期型:自定义输入下拉单选框下拉多选框指定范围

    • 根据不同的填写方式,为您展示新建数据标准时的卡片示例图:

      image.png

    若字段取值选择下拉单选框下拉多选框时,则可以配置取值约束,以便更好的约束数据标准的填写规范,更多详情请参见取值约束配置。

    若字段取值选择指定范围时,则需配置范围类型,更多详情请参见范围类型配置。

    取值约束

    根据已选属性字段类型填写方式,可配置如下不同的取值约束:

    下拉单选/多选框:若属性字段取值为枚举类型,需要在此处通过取值约束配置可枚举范围,枚举项将生成对应的下拉选项值,创建数据标准时可以从下拉列表中选取此处配置的枚举项,从而实现标准属性值的约束并提升配置效率,支持自定义枚举选项指定码表码值作为枚举选项两种方式。

    • 自定义枚举选项:多个枚举值之间用英文半角逗号分隔,不超过10000字符,特殊枚举类型:

      • 若属性字段类型选择布尔型,则无需配置,固定为True、False。

      • 若属性字段类型选择日期型,配置格式为yyyy-MM-dd,例如:2022-09-01。

      • 若属性字段类型选择日期时间型,配置格式为yyyy-MM-dd hh:mm:ss,例如:2022-09-01 12:00:00 。

        您可单击批量编辑,在批量编辑枚举选项弹框中,输入枚举值,多个枚举值之间用英文半角逗号或回车分隔,不超过10000字符。

    • 指定码表码值作为枚举选项:仅可选状态为已发布的码表,创建数据标准时,该属性值的可选值为此处已配置的码表对应的码值。

    说明

    范围值不支持配置取值约束。

    范围类型

    范围值类型包括自定义输入枚举值指定码表(范围为所有值)区间值3种方式。

    • 自定义输入枚举值:适用于值较少且不经常变化的场景,支持数值型日期时间型字符型3种字段类型。

      例如:会员注册渠道标准的值域属性,指定枚举值,则新建标准时填写:小程序、官方APP、线下会员店。

    • 指定码表(范围为所有值):常用于属性值范围是动态变化的,或需要遵循某个约束的场景,支持数值型日期时间型字符型3种字段类型。

      例如:会员常用收货地所在城市标准的值域属性,引用码表,则新建标准时直接选择“中国地区代码表”码表。

    • 区间值:常用于取值范围是连续数值或日期的情况,支持数值型日期时间型2种字段类型。

      例如:会员生日标准的值域属性,指定区间,则新建标准时填写:>1900-01-01,不限制。

    说明

    字段类型选择布尔型时,字段取值类型不支持配置为范围值。

    默认值

    可指定每个属性的默认取值,创建标准时该属性将默认填充此处设置的默认值,适用于取值变化不大的标准属性。根据已选字段类型和取值约束,可配置不同的默认值。

    说明

    若您设置了取值约束,则默认值也需要满足取值约束。

  4. 单击确定

自定义属性列表

您可以在自定义属性页面查看已配置的标准模板属性信息并支持新建、克隆、删除等操作。

image

序号

描述

筛选及搜索区

您可以根据属性名称或属性编码进行模糊搜索,也可以针对属性类型进行筛选。同时,您可以快捷筛选出配置为必填的属性。

若您希望查看更多属性信息,可以单击右上角image图标,选择需要展现的列表项。

列表区

为您展示属性名称属性编码属性类型是否必填字段类型字段长度取值取值约束默认值描述属性详细信息,同时您可以在操作列对属性进行查看详情编辑克隆删除操作。

  • 查看详情:可查看配置的标准模板属性信息。

  • 编辑:属性创建后,支持编辑公共标准属性。

  • 克隆:可快速克隆属性。

  • 删除:属性删除后不可撤销。

    说明

    删除不会影响引用基于当前属性创建的标准模板属性。

后续步骤

公共标准属性创建完成后,您可以在新建标准模板时,选择引用公共标准属性,详情请参见新建及管理标准模板

  • 本页导读 (0)
文档反馈