重要概念:Softmax 和 Corssentropy 详解


总结:
  Softmax就是将数值转为概率
  交叉熵就是求两组概率分布的偏差

x, y如下::
x \in [0 , \infty)
y \in [-\infty, \infty]

x 可以看作是 x =e^y
y 可以看作是 y = \log_ex
yx的log值, x越大y越大。

log( [0, 1) ) log( 1 ) log( (1, ) )
- 0 +
  • 求log就是把正整数放大到\pm\infty (log扩:概率到结果)
  • 求e幂就是把\pm\infty缩到正整数/概率 (e幂缩:结果到概率)
    助记:老公阔 杨幂锁(老公有钱,把杨幂锁在家里)

x可以看作是odds,范围[0 , \infty) 概率/odds/logits
于是,一堆任意数y,转化为概率分布,路径就是:
一堆任意数y \rightarrow odds \rightarrow 各odds的概率
(因为所有y是全体样本,所以结果也是概率分布)

项目 评估值m odds = e^m softmax(m)
-0.1 0.368 0.067
2 7.39 0.548
0.5 1.649 0.122
1 2.718 0.202
-0.2 0.819 0.061
总和 12.9 1

softmax = \frac{e^{m_i}}{\sum e^{m_j}}


一组数据的真实情况有了,NN也给出了它的猜测概率,那么如何计算偏差呢?
先来看一个猜对的例子,NN猜测是“狼”,所以狼给出的概率最高,最后真实情况也是狼(为1):

项目 猜测概率
(“是”的概率)
“非”的概率
(1减“是”)
真实情况 Y
(是:1 非:0)
选定的猜
测概率 (x)
ln(x)
0.05 0.95 0 (选无) 0.95 -0.051
0.1 0.9 0 0.9 -0.105
0.7 0.3 1 (选有) 0.7 -0.357
0.1 0.9 0 0.9 -0.105
0.05 0.95 0 0.95 -0.051
总和 1 -0.67

计算整体情况,可以用加法,也可以用乘法。加法上不封顶,突破天际,不利于衡量。所以改用乘法,将真实概率(x)相乘:

\prod x= 0.95\times 0.9\times 0.7\times 0.9\times 0.95 \approx 0.512

但是概率在[0 , 1]间,如果项多了以后,结果会非常小,又不利于评判。于是,乘法转加法的法宝,log登场了:

ln0.95+ ln0.9+ln0.7+ln0.9+ln0.95\approx ln0.512\approx -0.67
取个反:-0.67\times-1 = 0.67

再看另一个猜错的例子,NN猜测为狼,而实际是猪:

项目 p有 p无 Y x ln(x)
0.05 0.95 1 0.05 -2.996
0.1 0.9 0 0.9 -0.105
0.7 0.3 0 0.3 -1.204
0.1 0.9 0 0.9 -0.105
0.05 0.95 0 0.95 -0.051
总和 1 -4.462

结果是 -4.462\times-1=4.462
所以上面的两个概率表,可以理解为:计算机猜测出某个动物是狼的可能性,要远大于其他几个动物,然而正确的结果如果也是狼,那CE为0.67,很小,基本就猜对了。如果正确的结果是猪,那说明猜错了,CE为4.462,很大。

在backward的时候,就要提高NN输出正确结果的数值(概率)。

公式也就出来了:
Y_i= \begin{cases} 1, \quad if\; yes \\0, \quad if\; no \end{cases}

CrossEntropy = - \sum Y_i ln(p_i) + (1-Y_i)ln(1-p_i)

Y可以看作是一个选择器,其实就是用Y去选,究竟用哪个x,用“是”的,还是“非”的,然后算ln求和:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 143,540评论 1 302
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 61,539评论 1 258
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 95,005评论 0 213
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 41,159评论 0 180
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 48,946评论 1 258
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,864评论 1 178
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,468评论 2 273
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,218评论 0 167
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 29,070评论 6 234
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,574评论 0 213
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,353评论 2 215
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,683评论 1 232
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,270评论 0 32
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,168评论 2 214
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,591评论 3 210
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,638评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,035评论 0 166
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,590评论 2 232
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,685评论 2 233