Dataphin资产治理功能的治理分析打分规则
问题描述
用户在使用资产治理功能,整治所有的资产数据时,会有存储健康分和计算健康分,用户需要知道这两个分怎么计算的。
解决方案
1、计算健康分:节点初始分100分, 根据通用计算治理项命中的情况进行扣分。 最终汇总到个人/项目/租户粒度。
2、存储健康分:表初始100分, 根据通用计算治理项命中的情况进行扣分, 以表的大小为权重进行汇总计算, 最终汇总到个人/项目/租户粒度。
存储健康分
治理领域 |
治理对象 |
分数指标 |
打分规则 |
存储 |
物理表 |
单表分数 |
初始100分, 空表扣10分,废弃表扣40分,未管理表扣20分,生命周期过长扣10分。 |
存储 |
物理表 |
物理表总分 |
物理表权重:文件大小的1/3,空表大小默认1 总分为各物理表的加权平均分数 |
存储 |
逻辑表 |
单表分数 |
初始100分, 逻辑空表扣20分,黑盒物化空表扣30分,逻辑废弃扣30分,逻辑未管理表扣20分。 |
存储 |
逻辑表 |
逻辑表总分 |
POW(sum(逻辑表明细分)/逻辑表总数,4)/ 1000000 |
存储 |
总分 |
总存储分 |
系统汇总/项目汇总/个人汇总皆是 物理表总存储分*70%+逻辑表总存储分*30% |
计算健康分
治理领域 |
治理对象 |
分数指标 |
打分规则 |
计算 |
任务节点 |
单节点分数 |
1、计算规则 1.1、详细规则 初始分100分,数据膨胀扣10分,数据倾斜扣分((最大inst执行时间/平均inst执行时间-2)*0.5),节点报错(POW(2,7天内出错次数-1)-1),空表导入扣50分,输入为空扣50分,产出表未读取扣50分,暴力扫描扣50分 1.2、公式化 100-数据膨胀*10-数据倾斜-节点报错-空表导入*50-输入为空*50-产出表未被读取*50-暴力扫描*50 2、最后得分 POW(greatest(0,100-所有扣分)),4)/1000000 |
计算 |
总分 |
总计算分 |
POW(sum(节点明细分)/生产环境节点日运行数量,4)/ 1000000 |
适用于
- Dataphin
- 资产治理