更新时间:2019-05-16 17:29
模型的评估有一套完整的方法论,对于有监督机器学习,通常进行特征工程计算后,会把数据分成训练集和测试集,训练集用于训练模型,模型生成后,通过模型对测试集中数据的特征进行预测,把预测得到的值与测试集中事先标记的数据标签一对比,就能判断模型的预测是否正确。在算法平台上,模型训练完成后系统会生成一份模型评估,这份报告中会呈现以下指标模块:
系统会根据模型的AUC值得出以下结论:
1.AUC值
Area Under Curve,指ROC曲线下与坐标轴围成的面积,是分类算法预测为正的概率大于预测为负的概率的概率值,AUC值一定是[0,1],数值越接近1说明模型的效果越好。
2.ROC曲线
模型对测试集中数据的特征进行预测会得到一组(TPR,FPR),然后由点(TPR,FPR)组成的曲线就是ROC曲线。具体如下,
预测值为正例,记为P(Positive)
预测值为反例,记为N(Negative)
预测值与真实值相同,记为T(True)
预测值与真实值相反,记为F(False)
TP:预测类别是P,真实类别也是P
FP:预测类别是P,真实类别是N
TN:预测类别是N,真实类别也是N
FN:预测类别是N,真实类别是P
TPR(True Positive Rate):,真实的正例中被预测正确的比例
FPR(False Positive Rate):,真实的反例中被预测正确的比例
混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示。混淆矩阵的每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;每一行代表了数据的真实归属类别,每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目:如下图,
第一行第一列中的19723表示有19723个实际被点击的case同时被模型也预测为被点击;
第一行第二列的14706表示有14706个实际被点击的case但是被模型错误预测为未点击;
第二行第一列中的7978表示有7978个实际未点击的case但是被模型错误预测为被点击;
第二行第二列中的44393表示有44393个实际未点击的case同时被模型也预测为未点击。
特征权重用来衡量特征的重要性,是根据模型评估出的结果,权重值越高,代表该特征越重要,该功能亦可帮助算法工程师判断某个新增特征是否有效。
在文档使用中是否遇到以下问题
更多建议
匿名提交