Dataphin资产治理功能的治理分析打分规则

更新时间:

问题描述

用户在使用资产治理功能,整治所有的资产数据时,会有存储健康分和计算健康分,用户需要知道这两个分怎么计算的。

解决方案

1、计算健康分:节点初始分100分, 根据通用计算治理项命中的情况进行扣分。 最终汇总到个人/项目/租户粒度。

2、存储健康分:表初始100分, 根据通用计算治理项命中的情况进行扣分, 以表的大小为权重进行汇总计算, 最终汇总到个人/项目/租户粒度。

存储健康分

治理领域

治理对象

分数指标

打分规则

存储

物理表

单表分数

初始100分, 空表扣10分,废弃表扣40分,未管理表扣20分,生命周期过长扣10分。

存储

物理表

物理表总分

物理表权重:文件大小的1/3,空表大小默认1

总分为各物理表的加权平均分数

存储

逻辑表

单表分数

初始100分, 逻辑空表扣20分,黑盒物化空表扣30分,逻辑废弃扣30分,逻辑未管理表扣20分。

存储

逻辑表

逻辑表总分

POW(sum(逻辑表明细分)/逻辑表总数,4)/ 1000000

存储

总分

总存储分

系统汇总/项目汇总/个人汇总皆是

物理表总存储分*70%+逻辑表总存储分*30%

计算健康分

治理领域

治理对象

分数指标

打分规则

计算

任务节点

单节点分数

1、计算规则

1.1、详细规则

初始分100分,数据膨胀扣10分,数据倾斜扣分((最大inst执行时间/平均inst执行时间-2)*0.5),节点报错(POW(2,7天内出错次数-1)-1),空表导入扣50分,输入为空扣50分,产出表未读取扣50分,暴力扫描扣50分

1.2、公式化

100-数据膨胀*10-数据倾斜-节点报错-空表导入*50-输入为空*50-产出表未被读取*50-暴力扫描*50

2、最后得分

POW(greatest(0,100-所有扣分)),4)/1000000

计算

总分

总计算分

POW(sum(节点明细分)/生产环境节点日运行数量,4)/ 1000000

适用于

  • Dataphin
  • 资产治理