信息论基础（熵，互信息，交叉熵）

1 熵

1.1 自信息和熵

熵（Entropy）最早是物理学的概念，用于表示一个热力学系统的无序程度。1948年，香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”。在信息论中，熵用来衡量一个随机事件的不确定性。假设对一个随机变量 $\small X$ （取值集合为 $\small \chi$ ，概率分布为 $\small p(x), x ∈ \chi$ ）进行编码，自信息（Self Information） $\small I(x)$ 是变量 $\small X = x$ 时的信息量或编码长度，定义为
$I(x)=-\log p(x)$ 那么随机变量 $\small X$ 的平均编码长度，即熵定义为：
$H(x) = \sum_{x \in \chi}p(x) \log p(x)$ 其中当 $\small p(x_i) = 0$ 时，我们定义 $\small 0\log 0=0$ ，这与极限一致， $\small \lim_{p→0+} p \log p = 0$ 。
熵是一个随机变量的平均编码长度，即自信息的数学期望。熵越高，则随机变量的信息越多；熵越低，则信息越少。如果变量 $\small X$ 当且仅当在 $\small x$ 时 $\small p(x) = 1$ ，则熵为0。也就是说，对于一个确定的信息，其熵为0，信息量也为0。如果其概率分布为一个均匀分布，则熵最大。下图展示了一个二元信源的熵函数：

二元信源熵函数

1.2 联合熵和条件熵

对于两个离散随机变量 $\small X$ 和 $\small Y$ ，假设 $\small X$ 取值集合为 $\small\chi$ ； $\small Y$ 取值集合为 $\small \upsilon$ ，其联合概率分布满足为 $\small p(x, y)$ ，则
$\small X$ 和 $\small Y$ 的联合熵（Joint Entropy）为
$H(X,Y) = -\sum_{x \in \chi} \sum_{y \in \upsilon} \log p(x,y)$ 联合熵的物理意义是:观察一个多个随机变量的随机系统获得的信息量。观察一个多个随机变量的随机系统获得的信息量。
$\small X$ 和 $\small Y$ 的条件熵（Conditional Entropy）为
$\begin{align} H(X|Y) & = -\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x|y) \\ & = -\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log \frac{p(x,y)}{p(y)} \\ & = -(\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x,y) - \sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(y))\\ & = -(\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x,y) - \sum_{y \in \upsilon} p(y) \log p(y))\\ & = H(X,Y) - H(Y) \end{align}$ 条件熵的物理意义就是：在得知某一确定信息的基础上获取另外一个信息时所获得的信息量。

2 互信息

互信息（Mutual Information）是衡量已知一个变量时，另一个变量不确定性的减少程度。两个离散随机变量 $\small X$ 和 $\small Y$ 的互信息定义为
$I(X,Y) = \sum_{x \in \chi}\sum_{y \in \upsilon}p(x,y) \ log \frac{p(x,y)}{p(x)p(y)}$ 互信息的一个性质为
$\begin{align} H(X;Y)& = H(X) - H(X|Y)\\ &=H(Y)-H(Y|X) \end{align}$ 如果 $\small X$ 和 $\small Y$ 互相独立，即 $\small X$ 和 $\small Y$ 之间互相不提供任何信息，反之亦然，因此他们的互信息为0。

3 交叉熵和相对熵

3.1 交叉熵

现在有关于样本集的两个概率分布 $\small p(x)$ 和 $\small q(x)$ ，其中 $\small p(x)$ 为真实分布， $\small q(x)$ 非真实分布。如果用真实分布 $\small p(x)$ 来衡量识别别一个样本所需要编码长度的期望（平均编码长度）为:
$H(p)=-\sum _x p(x) \log p(x)$ 如果使用非真实分布 $\small q(x)$ 来表示来自真实分布 $\small p(x)$ 的平均编码长度，则是：
$H(p,q) = -\sum_x p(x) \log q(x)$ 因为用 $\small q(x)$ 来编码的样本来自于分布 $\small p(x)$ ，所以 $\small H(p,q)$ 中的概率是 $\small p(x)$ 。此时就将 $\small H(p,q)$ 称之为交叉熵。在给定 $\small p$ 的情况下，如果 $\small q$ 和 $\small p$ 越接近，交叉熵越小；如果 $\small q$ 和 $\small p$ 越远，交叉熵就越大。

3.2 相对熵（KL散度）

$\small KL$ 散度（Kullback-Leibler Divergence），也叫 $\small KL$ 距离或相对熵(Relative Entropy)，是用概率分布 $\small q$ 来近似 $\small p$ 时所造成的信息损失量。 $\small KL$ 散度是按照概率分布 $\small q$ 的最优编码对真实分布为 $\small p$ 的信息进行编码，其平均编码长度 $\small H(p,q)$ 和 $\small p$ 的最优平均编码长度 $\small H(p)$ 之间的差异。对于离散概率分布 $\small p$ 和 $\small q$ ，从 $\small q$ 到 $\small p$ 的KL散度定义为:
$\begin{align} D_{KL}(p||q) &= H(p,q) - H(p)\\ &=\sum_x p(x) \log \frac{p(x)}{q(x)} \end{align}$ 其中为了保证连续性，定义 $\small 0 \log \frac{0}{0} = 0, 0 \log \frac{0}{q} = 0$ $\small KL$ 散度可以是衡量两个概率分布之间的距离。 $\small KL$ 散度总是非负的， $\small D_{KL}(p||q) ≥ 0$ 。只有当 $\small p = q$ 时， $\small D_{KL}(p||q) = 0$ 。如果两个分布越接近， $\small KL$ 散度越小；如果两个分布越远， $\small KL$ 散度就越大。但 $\small KL$ 散度并不是一个真正的度量或距离，一是 $\small KL$ 散度不满足距离的对称性，二是 $\small KL$ 散度不满足距离的三角不等式性质。

最后编辑于：2019.08.02 10:45:31

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 160,165评论 4赞 364
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,720评论 1赞 298
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,849评论 0赞 244
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,245评论 0赞 213
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,596评论 3赞 288
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,747评论 1赞 222
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,977评论 2赞 315
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,708评论 0赞 204
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,448评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,657评论 2赞 249
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,141评论 1赞 261
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,493评论 3赞 258
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,153评论 3赞 238
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,108评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,890评论 0赞 198
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,799评论 2赞 277
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,685评论 2赞 272