利用sklearn做ROC曲线

注意:画pr曲线可以参考http://www.cnblogs.com/aquastone/p/random-classifier.html

对matrix或array型数据做2分类时,如何画出其roc曲线?

1)首先看一下roc_curve的定义:

ROC曲线的全称是“受试者工作特性”曲线(Receiver Operating Characteristic),源于二战中用于敌机检测的雷达信号分析技术。是反映敏感性和特异性的综合指标。它通过将连续变量设定出多个不同的临界值,从而计算出一系列敏感性和特异性,再以敏感性为纵坐标、(1-特异性)为横坐标绘制成曲线,曲线下面积越大,判别的准确性越高。在ROC曲线上,最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。

2)如何作出ROC曲线:

      根据机器学习中分类器的预测得分对样例进行排序,按照顺序逐个把样本作为正例进行预测,计算出FPR和TPR。分别以FPR、TPR为横纵坐标作图即可得到ROC曲线。所以作ROC曲线时,需要先求出FPR和TPR。这两个变量的定义:

FPR = TP/(TP+FN)

TPR = TP/(TP+FP)

TP、FN、FP的定义见下表,表中描述了是一个二分类问题的混淆矩阵:

fig.1.分类结果混淆矩阵

表格来源:http://blog.csdn.net/ai_vivi/article/details/43836641

TP:正确肯定——实际是正例,识别为正例

FN:错误否定(漏报)——实际是正例,却识别成了负例

FP:错误肯定(误报)——实际是负例,却识别成了正例

TN:正确否定——实际是负例,识别为负例

3)ROC曲线示意图

fig.2.ROC曲线示意图

      将样本输入分类器,每个样本将得到一个预测得分。我们通过设置不同的截断点,即可截取不同的信息。对应此示例图中,每个阈值的识别结果对应一个点(FPR,TPR)。当阈值取最大时,所有样本都被识别成负样本,对应于坐下角的点(0,0); 当阈值取最小时,所有样本都被识别成正样本,对应于右上角的点(1,1),随着阈值从最大变化到最小,TP和FP都逐渐大;

      那么得到曲线后我们将用什么指标来衡量ROC曲线的好坏呢?这里给出AUC这个指标。AUC表示ROC曲线下方的面积值AUC(Area Under ROC Curve):如果分类器能完美的将样本进行区分,那么它的AUG = 1 ; 如果模型是个简单的随机猜测模型,那么它的AUG = 0.5,对应图中的直线(y=x)。此外,如果一个分类器优于另一个,则它的曲线下方面积相对较大。

4)如何用python的sklearn画ROC曲线

sklearn.metrics.roc_curve函数提供了很好的解决方案。

首先看一下这个函数的用法:

fpr, tpr, thresholds=

sklearn.metrics.roc_curve(y_true,y_score,pos_label=None,sample_weight=None,

drop_intermediate=True)

参数解析(来源sklearn官网):

y_true: array, shape = [n_samples]

True binary labels in range {0, 1} or {-1, 1}. If labels are not binary, pos_label should be explicitly given.

即真实标签矩阵。

y_score : array, shape = [n_samples]

Target scores, can either be probability estimates of the positive class, confidence values, or non-thresholded measure of decisions (as returned by “decision_function” on some classifiers).

即模型的预测结果矩阵。

pos_label : int or str, default=None

Label considered as positive and others are considered negative.

即标签中认定为正的label个数。

例如label= [1,2,3,4],如果设置pos_label = 2,则认为3,4为positive,其他均为negtive。

若label= ['a','a','b','c'], 设置pos_label =’则认为'b'为positive,其他均为negtive。

sample_weight: array-like of shape = [n_samples]

optional Sample weights.

即采样权重,可选择取其中的一部分进行计算。

drop_intermediate: boolean, optional (default=True)

Whether to drop some suboptimal thresholds which would not appear on a plotted ROC curve. This is useful in order to create lighter ROC curves.

即可选择去掉一些对于ROC性能不利的阈值,使得得到的曲线有更好的表现性能。

返回值Returns:

thresholds: array, shape = [n_thresholds]

Decreasing thresholds on the decision function used to compute fpr and tpr. thresholds[0] represents no instances being predicted and is arbitrarily set to max(y_score) + 1.

即所选择不同的阈值,按照降序排列。

fpr : array, shape = [>2]

Increasing false positive rates such that element i is the false positive rate of predictions with score >= thresholds[i].

根据不同阈值求出的fpr。

tpr: array, shape = [>2]

Increasing true positive rates such that element i is the true positive rate of

predictions with score >= thresholds[i].

根据不同阈值求出来的tpr上述方法可得到一组tpr和fpr,在此基础上即可作出roc曲线。求AUC可通过函数auc(fpr,tpr),其返回值即为AUC的值。

5)实例分析如下:

import numpy as np

from sklearn import metrics

import matplotlib.pyplot as plt

from sklearn.metrics import auc

y = np.array([1,1,2,3])

#y为数据的真实标签

scores = np.array([0.1, 0.2, 0.35, 0.8])

#scores为分类其预测的得分

fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)

#得到fpr,tpr, thresholds

返回值对应如下:

得到一组fpr和tpr之后即可画出该次测试对应的roc曲线

plt.plot(fpr,tpr,marker = 'o')

plt.show()

得到ROC曲线:

fig.4.ROC曲线

求出AUC:

from sklearn.metrics import auc

AUC = auc(fpr, tpr)

最终得到AUC=0.67

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249

推荐阅读更多精彩内容