/ AI

评价模型好坏的标准

DingTalk20180311192916

混淆矩阵

是数据科学、数据分析和机器学习中总结分类模型预测结果的情形分析表,以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。

精确率(Precision)

TP/(TP+FP)

召回率(Recall)

TP/(TP+FN)

F1

是精确率和召回率的调和均值,即F1=2PR/(P+R),相当于精确率和召回率的综合评价指标。

准确率(accuracy)

正确分类的样本/总样本:(TP+TN)/(ALL)

ROC曲线(Receiver operating characteristic curve)

分类器有概率输出,50%常被作为阈值点,但基于不同的场景,可以通过控制概率输出的阈值来改变预测的标签,这样不同的阈值会得到不同的FPR(True positive rate)和TPR(False positive rate)。
我们以FPR为x轴,TPR为y轴画图,就得到了ROC曲线
DingTalk20180311200208

AUC(Area Under Curve)

AUC(Area Under Curve)被定义为ROC曲线下的面积,完全随机的二分类器的AUC为0.5,虽然在不同的阈值下有不同的FPR和TPR,但相对面积更大,更靠近左上角的曲线代表着一个更加稳健的二分类器。
同时针对每一个分类器的ROC曲线,又能找到一个最佳的概率切分点使得自己关注的指标达到最佳水平。

最理想的情况是 AUC 无限接近 1,这时候不管阈值怎么调整,分类器都能运行的很好,说明该分类器能够把 FPR 和 TPR 完全分开到区间的两侧。比如 FPR 无限接近于 1,TPR 无限接近于 0。即分的很开

Reference

  1. 精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么?
  2. 全面梳理:准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1