模型评估

模型的评估有一套完整的方法论，对于有监督机器学习，通常进行特征工程计算后，会把数据分成训练集和测试集，训练集用于训练模型，模型生成后，通过模型对测试集中数据的特征进行预测，把预测得到的值与测试集中事先标记的数据标签一对比，就能判断模型的预测是否正确。在算法平台上，模型训练完成后系统会生成一份模型评估，这份报告中会呈现以下指标模块：

一. 模型评估结论

系统会根据模型的AUC值得出以下结论：

• AUC值为[0, 0.5)：模型基本不可用，预测的准确度比随机抛硬币的结果还差，还不如拿个硬币来做预测，不建议使用这个模型。
• AUC值为[0.5, 0.6)：模型预测的准确度很低，只比随机抛硬币的结果好一点，建议不要使用这个模型。导致这种结果，可能是样本数据不够有代表性，预处理中漏过了某些脏数据，特征之间存在很强的相关性，或算法参数不在合理的范围内。
• AUC值为[0.6, 0.7)：模型预测的准确度还行，不太建议在业务中使用，可能是样本数据不够有代表性，预处理中漏过了某些脏数据，特征之间存在很强的相关性，或算法参数不在合理的范围内。
• AUC值为[0.7, 0.8)：模型预测的准确度还不错，但有改进空间，建议您回顾数据预处理、特征工程、算法参数的配置，调整参数，重新训练，可能有惊喜。
• AUC值为[0.8, 0.9)：模型预测的准确度很好，基本能满足业务场景的需求，建议您使用这个模型。
• AUC值为[0.9, 1]：模型预测的准确度非常高，很好的诠释了数据中的规律，推荐在您的业务中使用这个模型。

二. ROC曲线和AUC值

1.AUC值

Area Under Curve，指ROC曲线下与坐标轴围成的面积，是分类算法预测为正的概率大于预测为负的概率的概率值，AUC值一定是[0,1]，数值越接近1说明模型的效果越好。

2.ROC曲线

模型对测试集中数据的特征进行预测会得到一组(TPR，FPR)，然后由点(TPR，FPR)组成的曲线就是ROC曲线。具体如下，
预测值为正例，记为P（Positive）
预测值为反例，记为N（Negative）
预测值与真实值相同，记为T（True）
预测值与真实值相反，记为F（False）
TP：预测类别是P，真实类别也是P
FP：预测类别是P，真实类别是N
TN：预测类别是N，真实类别也是N
FN：预测类别是N，真实类别是P
TPR(True Positive Rate)：，真实的正例中被预测正确的比例
FPR(False Positive Rate)：，真实的反例中被预测正确的比例

三. 混淆矩阵

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目：如下图，
第一行第一列中的19723表示有19723个实际被点击的case同时被模型也预测为被点击；
第一行第二列的14706表示有14706个实际被点击的case但是被模型错误预测为未点击；
第二行第一列中的7978表示有7978个实际未点击的case但是被模型错误预测为被点击；
第二行第二列中的44393表示有44393个实际未点击的case同时被模型也预测为未点击。

四. 特征权重

特征权重用来衡量特征的重要性，是根据模型评估出的结果，权重值越高，代表该特征越重要，该功能亦可帮助算法工程师判断某个新增特征是否有效。