ROC曲线
- 定义
在信号检测理论中，接收者操作特征曲线（receiver operating characteristic curve，
或者叫ROC曲线）是一种坐标图式的分析工具，
用于
(1) 选择最佳的信号侦测模型、舍弃次佳的模型。
(2) 在同一模型中设定最佳阈值。
这里我们只要记得
ROC曲线主要是用来确定一个模型的 阈值。
同时在一定程度上也可以衡量这个模型的好坏
-
理解
既然我们想要直白来理解 ROC曲线，那么例子是肯定少不了的：
假设1：感冒有三种特征，咳嗽，发烧，流鼻涕。假设2：如果想确定一个人是否得了感冒，
可以根据三种特征来打分，
每个特征可以打 0-1 分。
打分越高，
得感冒概率越高。假设3：现在你是一个医生，
有100个病人来看病，
你需要根据这些人的三个感冒特征给他们打分，
得到如下一组数据(编号，分数)：(1,2) (2,2.4) (2,0.4)....(100,3)假设4：我是一个神医，
能百分百确定别人是否得了感冒。
然后我看了你的报告，
并给每个数据都给了确定的答案，
其中感冒60人，正常40人，
这一步骤主要是模拟实际生产数据中的真实 lab 值。
所以数据就变成了（编号，是否真感冒，分数）(1,0,2) (2,1,2.4) (2,0,0.4).... (100,1,3)好了，现在问题来了，
你是给每个病人打分了，
也知道分数越高得感冒得概率越高，
但是，到底得没得感冒却没有一个标准，
这个标准就是上面说的 阈值，
所以接下来就是要想办法确定这个 阈值或者标准了，
那么我们采用办法呢？
对于这种 二分类 问题的阈值，
就是我们 ROC 曲线大展身手的时候了。 -
ROC 曲线 和 阈值
- 阈值比较小的时候：
如果我们认为打 1 分以上的就是感冒患者，
那么只要有一点症状就可以确诊为感冒了，
这时候100个人，确诊感冒的可能有 80 人，
但是实际呢？
可能80个人中只有50个是真感冒的。
如下图：
阈值=1 诊断感冒 诊断正常 合计 真感冒 60 0 60 真正常 20 20 40 合计 80 20 100 我们可以发现被你诊断为 感冒的 患者中，
有 60 个是 真的患者，
还有 20 个 正常 也被你诊断成了 感冒。-
阈值比较大的时候：
如果我们认为打 2 分以上的才是感冒患者，
这时候100个人，
确诊感冒的可能有 20 人，
但是实际呢？
真正感冒的可是60人，
你只确诊20个，
如下图：阈值=2 诊断感冒 诊断正常 合计 真感冒 20 40 60 真正常 0 40 40 合计 20 80 100 我们可以发现，诊断为感冒的20人，每一个都是真正的患者，
但是同时，一些特征可能不是很明显的真正患者也被你误诊为了正常 -
什么是合适的阈值
我们期望的是阈值不大不小，
换句话理解就是，
我们希望得到一个使得 如果是患者，那就一定要诊断为患者，
而如果你不是患者，我也不能把你误诊成患者，
那么将这个想法用公式表示出来就是：
这里我们引入了真阳率 和 假阳率，
其定义如下：
真阳率：预测为真，并且预测正确 占 所有真样本的 比例
假阳率：预测为真，但是预测错误 占 所有非真样本的 比例这里很明显，我们的 真 就是 患者，非真 就是 正常 人
所以合适的阈值就是：使得 真阳率 趋于 1，并且 假阳率 趋于 0。
-
寻找合适的阈值
所以我们一点点改变阈值，
就可以得到一组又一组的真阳率 和 假阳率，
将这一组组真阳率 和 假阳率在坐标轴上表示出来，
就是我们要的 ROC曲线，
通过图形化，我们就可以很直观的看到他们的变化了。
这个图只是随便在网上找的，
可不是这个列子的图噢，
我们大概看下 ROC曲线的 样子就好了
roc.png其中 x 轴表示 假阳率，y 轴表示 真阳率，
可以发现 假阳率 和 真阳率 是成正相关的，
也就是说我们其实基本不可能找到一个 阈值，
使得真阳率=1而假阳率=0,
如果出现这种情况，
那么这个曲线的经过（0,1）点，
这个图就是一个正方形了。
- 阈值比较小的时候：
好了，到这里我想对 ROC曲线 你应该有一个比较感观的认识了，
其实这个算法也是很符合我们的常识的，
也告诉我们，看似高大上的一些算法，
其实真的就是源于生活的点点滴滴。
这里再补充一点：
我一直说的都是从 预测为感冒 这个角度来阐述，
这也是二分类的一个好处，
我们只要想明白了一个角度，
另外一个角度就是一个1 - x的问题了
AUC
-
定义
- ROC曲线 与 横轴 围城的曲边形的面积
- 将所有样本根据算法模型预测的打分进行升序排列，
随机挑选一正一负两个样本，
负样本排在正样本前面的概率
只是看文字好像不是很好理解，
可以结合上面那个例子来看一看就好理解了，
我们给所有来看病的人都有打分，
按照打分给他们排个序，
然后随机挑选一个真得感冒 和 一个 真正常的人，
看一下是不是真正常的人排在前面，
如果是，那么计数为1，
进行 N 次实验，
所有计数的累计和 为 n，
那么n/N就是AUC的值了，
顺便提一下，最理想的情况就是n = N了，
也意味着我们的打分已经完美
定义有两种，但是他们应该如何进行理解互通呢？
笔者目前也不是很清楚，尝试推理了下，
也不是很明白，这里就不敢班门弄斧了，
如果有大佬理解，请不吝赐教！！！非常感谢！！！
这里如果有感谢兴趣的朋友，也可以查看下 这篇博客，
应该是我找到的比较有深度的 auc 的计算了
-
为什么需要 AUC
前面我们说了 ROC曲线 可以用来给一个模型确定阈值，
那么 AUC 则是来评判一个 二分类的 模型的优劣。
如果AUC = 1:完美预测，基本不会存在的情况。
如果0.5 < AUC < 1：除了完美预测，那就乘这个区间的最有价值了。
如果AUC = 0.5：因为是二分类，随机猜测也就是这个概率了，完全就没有价值
如果AUC < 0.5：比随机猜测的概率还低！！！但是反过来说，非黑即白，如果取个反呢？
总的来说，不考虑最后一种情况，
AUC当然是越大 越好，
如果是最后一致情况，那当然是越小越好，
因为我一旦取反，那么就和第一种情况一样啦。
这里还补充一点，
关于我们预测分类为什么不直接用 准确度，
我们可以想象一下，对于一些有偏的数据，
比如中彩票的概率如果是 万分之一，
那么我要预测中没中彩票，
只要都预测为不中，
那我的准确率不是有 99.99%？
看数据是不是很好，但是实际是不是很废？
用 ROC 和 AUC 来评判就是可以很好的避免这个问题了，
具体你可以自己算算这个列子的 ROC 曲线就可以理解了。
-
AUC 计算
首先还是这篇博客。其次，我想说的是，写AUC的博客那么多，
为什么没人将工作中的计算方法说上来呢？
所以这里我就贴一个工作中计算方式：1.首先我们计算AUC肯定得有一份打完分了的数据，假设数据
auc.text,内容如下：-1 0.12 -1 0.13 -1 0.16 1 0.2 -1 0.21 -1 0.23 1 0.3 -1 0.32 -1 0.35 1 0.4 -1 0.42 -1 0.46 1 0.5 -1 0.51 -1 0.53 1 0.7 1 1.1 1 1.2 1 1.2-
计算方法
cat auc.text |sort -k2n|awk '($1==-1){++x;a+=y}($1==1){++y}END{print 1.0-a/(x*y)}'
通过一个简单的 awk 就可以得出来了，
至于这个公式得原理，也很简单，
就是完全遵循我们定义中的第二种方式得来的，
推理过程就不啰嗦了，
大致解释下：- x 表示所有负样本数，y表示 正样本数
- 所以 x * y 就是对所有正负做一次 AUC 实验，可以做 x*y 这么多次
- 因为是排序的，所以每当在 负样本上面找到一个正样本，
那么实验错误的次数就得累计一次 - 所以 y 其实也就记录了，当前这个负样本上面 有多少个 正样本，
那么就有多少次预测错误， - 所以 a 记录的就是预测错误的值
- 所以 1- (a/x*y) 就是 AUC
-
我不知道我解释的有没有让你明白....
但是我只能说到这里了....
好了，本文到此就结束啦！谢谢你的阅读！！！
