全部产品
云市场

模型评估

更新时间:2019-05-16 17:29:44

模型的评估有一套完整的方法论,对于有监督机器学习,通常进行特征工程计算后,会把数据分成训练集和测试集,训练集用于训练模型,模型生成后,通过模型对测试集中数据的特征进行预测,把预测得到的值与测试集中事先标记的数据标签一对比,就能判断模型的预测是否正确。在算法平台上,模型训练完成后系统会生成一份模型评估,这份报告中会呈现以下指标模块:

一. 模型评估结论

系统会根据模型的AUC值得出以下结论:

  • AUC值为[0, 0.5):模型基本不可用,预测的准确度比随机抛硬币的结果还差,还不如拿个硬币来做预测,不建议使用这个模型。
  • AUC值为[0.5, 0.6):模型预测的准确度很低,只比随机抛硬币的结果好一点,建议不要使用这个模型。导致这种结果,可能是样本数据不够有代表性,预处理中漏过了某些脏数据,特征之间存在很强的相关性,或算法参数不在合理的范围内。
  • AUC值为[0.6, 0.7):模型预测的准确度还行,不太建议在业务中使用,可能是样本数据不够有代表性,预处理中漏过了某些脏数据,特征之间存在很强的相关性,或算法参数不在合理的范围内。
  • AUC值为[0.7, 0.8):模型预测的准确度还不错,但有改进空间,建议您回顾数据预处理、特征工程、算法参数的配置,调整参数,重新训练,可能有惊喜。
  • AUC值为[0.8, 0.9):模型预测的准确度很好,基本能满足业务场景的需求,建议您使用这个模型。
  • AUC值为[0.9, 1]:模型预测的准确度非常高,很好的诠释了数据中的规律,推荐在您的业务中使用这个模型。

二. ROC曲线和AUC值

1.AUC值

Area Under Curve,指ROC曲线下与坐标轴围成的面积,是分类算法预测为正的概率大于预测为负的概率的概率值,AUC值一定是[0,1],数值越接近1说明模型的效果越好。

2.ROC曲线

模型对测试集中数据的特征进行预测会得到一组(TPR,FPR),然后由点(TPR,FPR)组成的曲线就是ROC曲线。具体如下,
预测值为正例,记为P(Positive)
预测值为反例,记为N(Negative)
预测值与真实值相同,记为T(True)
预测值与真实值相反,记为F(False)
TP:预测类别是P,真实类别也是P
FP:预测类别是P,真实类别是N
TN:预测类别是N,真实类别也是N
FN:预测类别是N,真实类别是P
TPR(True Positive Rate):3,真实的正例中被预测正确的比例
FPR(False Positive Rate):4,真实的反例中被预测正确的比例

三. 混淆矩阵

混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示。混淆矩阵的每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;每一行代表了数据的真实归属类别,每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目:如下图,
第一行第一列中的19723表示有19723个实际被点击的case同时被模型也预测为被点击;
第一行第二列的14706表示有14706个实际被点击的case但是被模型错误预测为未点击;
第二行第一列中的7978表示有7978个实际未点击的case但是被模型错误预测为被点击;
第二行第二列中的44393表示有44393个实际未点击的case同时被模型也预测为未点击。
1

四. 特征权重

特征权重用来衡量特征的重要性,是根据模型评估出的结果,权重值越高,代表该特征越重要,该功能亦可帮助算法工程师判断某个新增特征是否有效。
2