机器学习之类别不平衡问题 (1) —— 各种评估指标

  • 时间:
  • 浏览:3

机会类别不平衡问题报告 报告 的形态学 使然,一般常使用于评估分类器性能的准确率错误率机会就不再适用了。机会在类别不平衡问题报告 报告 中大伙儿 主要关心数目少的那一类能不需要 被正确分类,而机会分类器将所有样例都划分为数目多的那一类,就能轻松达到很高的准确率,但实际上该分类器并没人 任何效果。

或多或少或多或少在或多或少后后学习的前提往往是采用不同的评估指标。学习机器学习的过程中总不免碰到各种评估指标,刚开始英文英文了了很容易被五花八门的术语绕晕了,或多或少或多或少类别不平衡问题报告 报告 的第一篇先对或多或少指标进行梳理。毕竟评估指标不明确励志的话 ,上端模型的效果好坏也就无从谈起。

FP和FN还有个还有个与之相关的概念,那并且统计假设检验中的第一类错误 (Type I error)第二类错误 (Type II error) 。机会大伙儿 比较关心正例,或多或少或多或少将负例视为零假设,正例视为备选假设,则第一类错误为错误地拒绝零假设 (负例),选则备选假设,则为FP;第二类错误为错误地接受零假设,则为FN。

True Negative (真负例,TN):实际为负例,预测为负例。

True Positive Rate (TPR,真正例率) = \(\frac {TP}{TP+FN}\) ,又称__Recall__(查全率),Sensitivity(灵敏性)。Recall (TPR)衡量的是所有的正例富含几块是被正确分类了,不需要 不需要 看作是为了出理 假负例(FN)的指在,机会TPR高意味着着FN低。Recall的问题报告 报告 和Precision正相反,没人 表现出有几块负例被错判为正例(即FP),若将所有样本全划为正例,则Recall为1000%,但没人 也没多大用。

False Positive Rate (FPR,假正例率) = \(\frac{FP}{TN+FP}\) = \(1 - TNR\), 由混淆矩阵能不需要 看出该指标的着眼点在于负例,意为有几块负例被错判成了正例。在ROC曲线中分别以TPR和FPR作为纵、横轴作图,显示出本身正例与负例之间的“博弈”,在下篇文章中详解。

True Negative Rate (TNR,真负例率) = \(\frac{TN}{TN+FP}\) ,又称Specificity(特异性)。Specificity衡量的是所有的负例富含几块是被正确分类了,机会类别不平衡问题报告 报告 中通常关注正例能不需要 正确被识别,Specificity高则FP低,意味着着很少将负例错判为正例,即该分类器对正例的判别具有“特异性”,在预测为正例的样本中很少有负例混入。

在二分类问题报告 报告 中,通常假设正负类别相对均衡,然而实际应用中类别不平衡的问题报告 报告 ,如1000, 10000, 100000倍的数据偏斜是非常常见的,比如疾病检测中未患病的人数远超患病的人数,产品质量检测中合格产品数量远超不合格产品等。在检测信用卡欺诈问题报告 报告 中,同样正例的数目稀少,因此正例的数量会随着时间和地点的改变而不断变化,分类器要想在不断变化的正负样本中达到好的检测效果是非常困难的。

False Negative Rate (FNR,假负例率) = \(\frac{FN}{TP+FN}\) = \(1 - TPR\),由混淆矩阵能不需要 看出该指标的着眼点在于正例,意为有几块正例被错判成了负例。

在二分类问题报告 报告 中,一般将数目少的类别视为正例,数目多的类别视为负例,下面先用matplotlib画张混淆矩阵图来直观地感受一下:

False Positive (假正例,FP):实际为负例,预测为正例。

Precision (查准率) = \(\frac{TP}{TP+FP}\) ,Precision衡量的是所有被预测为正例的样本富含几块是真正例。但Precision并没人 表现有几块正例是被错判为了负例(即FN),举个极端的例子,分类器只将另1个 样本判为正例,或多或少所有都判为负例,或多或少情况下Precision为1000%,但人太好遗漏了或多或少或多或少正例,或多或少或多或少Precision常和下面的Recall (TPR) 相结合。

F1 score = \[\frac{2}{\frac{1}{recall}+\frac{1}{precision}} = \frac{2 × precision × recall}{precision + recall}\],是另1个 综合指标,为Precision和Recall的调和平均 (harmonic mean),数值上一般接近于二者中的较小值,因此机会F1 score比较高励志的话 ,意味着着Precision和Recall都较高。

False Negative (假负例,FN):实际为正例,预测为负例。

True Positive (真正例,TP):实际为正例,预测为正例。