本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
AUC和ROC是专门针对输出概率或评分的二分类模型设计的模型效果评估指标
本文详细介绍什么是AUC、什么是ROC曲线，以及AUC、ROC的意义、用途和计算方法
通过本文可以快速了解AUC是什么、ROC曲线是什么、有什么用，如何计算，以及如何使用
本节讲解什么是AUC与ROC曲线，快速了解AUC与ROC的定义与用途
什么是ROC与AUC
ROC与AUC有什么用
AUC全称为 Area Under Curve，ROC全称为 Receiver Operating Characteristic
AUC和ROC都用于评估二分类模型的效果，一个二分类模型往往是输出如下的评分：
备注：评分越高代表样本越可能是正样本，当评分大于所设的阈值时，则判为正样本
这类模型一般不用准确率来评估模型效果，而是使用ROC曲线和AUC指标进行评估
什么是ROC曲线
ROC指的是模型取不同阈值时，模型的虚警率FPR与查全率TPR的变化曲线，如下：
其中，FPR与TPR指标分别如下：
查全率TPR：正样本被成功检查出来的概率(1标签预测为1标签的个数/总样本个数)
虚警率FPR：负样本被误检为正样本的概率(0标签预测为1标签的个数/总样本个数)
什么是AUC
AUC指的是ROC曲线下的面积，用于评估ROC"拱"的程度，它相当于将ROC曲线指标化
由图可知，AUC的取值范围为，ROC曲线越拱，AUC则越大，代表模型效果越好
AUC不会小于0.5，因为小于0.5时可以把预测结果反转，ROC曲线就会反转，此时AUC就大于0.5
本节讲解AUC与ROC曲线的意义，以及AUC多少才有效
ROC与AUC的意义
查全率TPR与虚警率FPR的意义
查全率(TPR)是正样本被成功检查出来的概率，虚警率(FPR)则是负样本被误检为正样本的概率
在二分类模型中它们往往比准确率更重要，因为很多时候，查全率就是收益，虚警率就是成本
例如投放广告，查全(1类被检查出来)是收益：我们成功检查出了目标客户，他们都会产生收益
而虚警(0类被误检为1类)则是成本：非目标客户被当成了目标客户，会产生不必要的投放成本
ROC曲线与AUC的意义
我们希望查全率(收益)越高越好，虚警率(成本)越低越好
但两者往往不可兼得，所以ROC画出了取不同阈值时，所对应的各种【查全率，虚警率】组合
这样就可以让我们更直观地找出业务中最具性价比的一组【查全率，虚警率】，从而确定阈值
由于ROC曲线越往上拱，就代表我们更有可能从中挑到一组性价比更好的【查全率，虚警率】
因此，越往上拱的ROC曲线意味着模型质量更高，即ROC的拱度在某种程度上代表了模型质量
而AUC则衡量了ROC的拱度，当ROC越拱时曲线下的面积越大，即AUC越大，也就代表模型质量越好
AUC多少才有效果
AUC越高，越有可能挑选到一个阈值使得模型FPR尽量低的同时，又能令TPR尽量的高
那么，AUC要达到多少，模型才算有效果呢？
下面分享笔者日常建模时对AUC的一个感性经验认识：
AUC<=0.58：模型毫无效果
0.58<AUC<=0.63：模型可能有效，也可能没效
0.63<AUC<=0.68：模型开始生效,但模型投产很难真正有效益
0.68<AUC<=0.73：模型开始生效,模型投产可能会有一定的效益
0.73<AUC<=0.78：模型已经生效,模型投产基本会有效益
0.78<AUC<=0.83：模型强
0.83<AUC<=0.88：模型很强
0.88>AUC ：模型超级强
虽然笔者也想按0.6、0.7、0.8....这样进行区分，但AUC的效果变化的确不是这么整齐...
总的来说，一般0.7~0.8之间的AUC是日常比较正常的有效数值，AUC达到0.75就算比较好了
但AUC具体多少才可以投产，还需要根据具体业务具体分析
本节讲解如何根据模型评分画ROC曲线以及计算AUC
ROC绘制与AUC计算实例
在python中计算AUC最方便的是调用sklearn的metrics包来实现
只需先用roc_curve算出fpr, tpr，再调用auc函数计算auc值即可
利用sklearn计算AUC的具体示例代码如下：
# -----调用sklearn包计算AUC--------
from sklearn import metrics
import numpy as np
#-----------标签与score数据----------------
# 特别说明:计算AUC可以输入类别的概率,也可以输入类别的评分,即score不一定需要在[0,1]之间
lable = np.array([0, 1 ,0,1 ,1,1 ,0 ,1,0,1,0,0,0,0,1,0])
score = np.array([0.2, 0.28,0.1 ,0.6,0.5, 0.3, 0.6, 0.8,0.2,0.25,0.4,0.2,0.5,0.3,0.18,0.18])
#---------计算fpr, tpr--------------------
fpr, tpr, thresholds = metrics.roc_curve(lable,score) # 计算不同阈值时的fpr与tpr
print('\nthresholds:'+str(thresholds)) # 打印阈值
print('FPR:',fpr.round(3)) # 打印FPR
print('TPR:',tpr.round(3)) # 打印TPR
# ---------计算AUC------------------------
auc = metrics.auc(fpr, tpr) # 计算AUC
print('AUC:',auc.round(3)) # 打印AUC
# ------绘制ROC曲线-----------------------
import matplotlib.pyplot as plt
plt.plot(fpr,tpr, marker='o',markerfacecolor='r', markersize=5) # 绘制ROC曲线
plt.fill_between(fpr,0, tpr, facecolor='green', alpha=0.3) # 给ROC区域添加颜色
plt.xlim(0,1);plt.ylim(0,1); # 限制x,y轴的范围
plt.title('ROC');plt.xlabel('fpr');plt.ylabel('tpr') # 加标题运行结果如下：
✍️ROC曲线看起来比较怪是因为本示例中的数据较少
End
