公共属性可以在创建标准模板时直接引用,以实现一次配置多次复用的效果。建议将在多个标准模板中都会重复使用且配置相同的属性配置为公共属性。本文介绍如何创建和管理公共标准属性。
权限说明
超级管理员、数据标准管理员支持新建及管理公共标准属性。
公共属性概述
公共属性分为自定义属性和系统属性两种:
系统属性
在Dataphin首页,单击顶部菜单栏的治理 > 数据标准。
单击左侧导航栏的公共标准属性,在公共标准属性页面,单击系统属性,选中目标属性,单击操作列下的图标。
系统属性详情
系统属性内置了落标监控配置,引用了系统属性创建的数据标准将继承该属性的监控配置。落标监控分为元数据监控和内容质量监控,不同的系统属性支持不同的监控类型,您可以点击了解元数据监控和了解内容质量监控查看监控详情描述,详情请参见元数据监控、内容质量监控。
元数据监控
支持元数据监控的属性包括数据类型、数据分类、数据分级三种。
当选择数据类型属性时,支持dataType元数据字段的监控,例如:会员注册渠道数据标准,对应会员注册渠道字段,在标准中指定该字段的数据类型为string;如果该字段的数据类型配置为int,则不符合标准约束。
当选择数据分类/数据分级属性时,将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。
内容质量监控(需开通资产质量模块功能)
支持内容质量监控的属性包括是否可为空值、是否可为空字符串、是否唯一值、值域四种。
当选择值域属性时,监控规则的内容和标准填写的值域属性值相关,如果值域属性的取值类型为输入枚举值和范围区间,则自动创建字段值域监控规则,规则配置部分的值域约束内容来自于数据标准填写的属性值。若值域属性的取值类型为引用码表,则自动创建数据标准码表参照对比规则,规则配置部分的码表配置来自于数据标准选择的码表。
当选择是否唯一值属性时,主键字段的数据标准常需要用到该属性以约束字段取值,如会员维度表中的会员ID字段。如果该属性值配置为是,则自动创建一条字段唯一值校验的质量监控规则,校验规则自动填充为异常行数<=0;如果属性值为否,则需配置校验规则。
当选择是否可为空值属性时,用于对单字段是否是空值进行校验,如果该属性值配置为是,则自动创建一条字段空值校验的质量监控规则,需手动配置校验规则;如果属性值为否,则校验规则自动填充为异常行数<=0。
当选择是否可为空字符串属性时,用于对单字段是否是空字符进行校验,如果该属性值配置为是,则自动创建一条字段空字符串校验的质量监控规则,需手动配置校验规则;如果属性值为否,则校验规则自动填充为异常行数<=0。
说明是否可为空值为是,则空值行数逻辑参考:
select count(1) from ${table_name} where ${field_name} is null
。是否可为空字符串为是,则空字符串行数逻辑参考:
select count(1) from ${table_name} where ${field_name} is null or ${field_name} = ''
。
系统属性配置详情
系统属性分为信息配置和落标监控两部分。创建标准模板时若引用了系统属性,仅支持修改部分配置。
信息配置包括属性名称、属性编码、属性类型、是否必填、属性字段类型、属性值长度、描述、属性字段取值、取值约束、范围值类型信息。
属性值长度:值域属性类型不展示。
取值约束:值域和数据类型属性类型不展示。
范围值类型:仅值域属性类型展示。当属性字段类型是日期时间型时,不支持输入枚举值的范围值类型值域监控。
落标监控包括监控元数据、质量监控规则、大小写敏感、校验规则信息。
质量监控规则:当范围值类型为枚举-输入枚举值、范围区间时,质量规则为有效性/字段值域校验模板信息;当范围值类型为枚举-引用码表时,质量规则为有效性/数据标准码表参照对比校验。
大小写敏感:当字符类型是字符型是,大小写敏感会影响与属性值和字段值相关的比对校验逻辑。
校验规则:值相等则通过。
系统属性列表
您可以在系统属性页面查看系统内置的标准模板属性信息,但不支持新建、克隆、删除等操作。详情请参见自定义属性列表。
自定义属性
自定义属性配置
在Dataphin首页,单击顶部菜单栏的治理 > 数据标准。
单击左侧导航栏的公共标准属性,在公共标准属性页面,单击自定义属性,单击+新建属性按钮。
在新建属性对话框中,配置参数。
参数
描述
属性名称
公共标准属性的任务名称,当前公共标准属性下唯一。不支持以星号(*)开头,名称长度不超过128个字符。
属性编码
公共标准属性的编码。
属性类型
选择公共标准属性类型,包含业务属性、技术属性、管理属性、质量属性、主数据属性、生命周期属性、安全属性。
是否必填
默认选中否,可切换为是。
描述
可添加公共标准属性相关的描述,不超过512个字符。
填写方式
影响创建标准时属性值的输入及存储方式,不同填写方式可选择不同的属性字段类型:
自定义输入:字符型、数值型、日期时间型。
下拉单选框:字符型、数值型、布尔型、日期时间型。
下拉多选框:字符型、数值型、日期时间型。
指定范围:字符型、数值型、日期时间型。
根据不同的填写方式,为您展示新建数据标准时的示例图:
说明字段类型分为字符型:STRING;数值型:BIGINT、DOUBLE(最多6位小数);布尔型:BOOLEAN(取值为True或False);日期时间型:DATE(yyyy-mm-dd)、DATETIME(s)。
当字段取值为自定义输入且字段类型为字符型时,支持配置属性值长度,属性值长度可针对创建标准时输入的属性值最大长度进行约束,最大值为10000个字符。
若字段取值选择自定义输入(数值型、日期时间型)、下拉单选框、下拉多选框时,支持配置取值范围,以便更好的约束数据标准的填写规范,更多详情请参见取值范围配置。
若字段取值选择指定范围时,支持配置范围类型,更多详情请参见范围类型配置。
取值范围
通过取值范围约束属性值的输入范围,在创建数据标准时,属性值按照当前填写规范进行配置,根据已选的填写方式,可配置如下不同的取值范围:
自定义输入(数值型/日期时间型):若字段类型为数值型或日期时间型时,可以配置属性值的约束范围,支持不限制、指定范围。
不限制:在创建标准时自定义输入属性值,无取值范围的约束。
指定范围:在创建标准时根据属性的取值范围输入属性值。
下拉单选/多选框:若字段类型为字符型,支持配置的取值范围为自定义枚举值、指定码表的码值、系统属性;若字段类型为数值型、日期时间型,支持配置的取值范围为自定义枚举值、指定码表的码值;若字段类型为布尔型,无需配置。
自定义枚举值:多个枚举值之间用英文半角逗号分隔,不超过10000字符,您可以单击批量编辑,在批量编辑枚举选项弹框中,输入枚举值,多个枚举值之间用英文半角逗号或回车分隔,不超过10000个字符。特殊枚举类型如下:
若属性字段类型选择布尔型,则无需配置,固定为True、False。
若属性字段类型选择日期型,配置格式为yyyy-MM-dd,例如:2022-09-01。
若属性字段类型选择日期时间型,配置格式为yyyy-MM-dd hh:mm:ss,例如:2022-09-01 12:00:00。
指定码表的码值:仅可选状态为已发布的码表,创建数据标准时,该属性值的可选值为此处已配置的码表对应的码值。
系统属性:当字段类型为字符型时,支持引用Dataphin的系统属性,包括数据板块、项目、用户、用户组四种系统属性,以增强标准模块的全局适配性,便于统一管理。例如:系统属性选择数据板块,则创建数据标准时,该属性值的可选值为当前租户下的所有数据板块。
说明指定范围属性不支持配置取值约束。
取值范围选择系统属性不支持配置默认值。
指定范围
指定范围表示该属性值为一组值的合集,可用于配置值域等属性。支持4种范围填写方式:暂不指定、区间值、指定码表(范围为所有值)、自定义枚举值。
暂不指定:可以在创建数据标准时再指定具体类型。基于同一模板创建的数据标准可选择不同的范围类型,具备更大灵活性。
区间值:常用于取值范围是连续数值或日期的情况,支持数值型和日期时间型2种字段类型。
例如:会员生日标准的值域属性,指定区间,则新建标准时填写:>1900-01-01,不限制。
指定码表(范围为所有值):常用于属性值范围是动态变化的,或需要遵循某个约束的场景,支持数值型、日期时间型和字符型3种字段类型。
例如:会员常用收货地所在城市标准的值域属性,引用码表,则新建标准时直接选择“中国地区代码表”码表。
自定义输入枚举值:适用于值较少且不经常变化的场景,支持数值型、日期时间型和字符型3种字段类型。
例如:会员注册渠道标准的值域属性,指定枚举值,则新建标准时填写:小程序、官方APP、线下会员店。
默认值
可指定每个属性的默认取值,创建标准时该属性将默认填充此处设置的默认值,适用于取值变化不大的标准属性。根据已选字段类型和取值约束,可以配置不同的默认值。
说明若您设置了取值约束,则默认值也需要满足取值约束。
单击确定。
自定义属性列表
您可以在自定义属性页面查看已配置的标准模板属性信息并支持新建、克隆、删除等操作。
序号 | 描述 |
①筛选及搜索区 | 您可以根据属性名称或属性编码进行模糊搜索,也可以针对属性类型进行筛选。同时,您可以快捷筛选出配置为必填的属性。 若您希望查看更多属性信息,可以单击右上角图标,选择需要展现的列表项。 |
②列表区 | 为您展示属性名称、属性编码、属性类型、是否必填、字段类型、字段长度、填写方式、取值约束、描述等信息,同时您可以在操作列对属性进行查看详情、编辑、克隆、删除操作。
|
后续步骤
公共标准属性创建完成后,您可以在新建标准模板时,选择引用公共标准属性,详情请参见新建及管理标准模板。