前言：自己一直很懊悔，初中时因厌恶数学老师，跟其做对，然后被他暴打一顿，本来不错的数学因此一落千丈，高中便选择了文科。 自此，数学就没有及格过。若是在初中时，遇到吴君军大神的这本书，对数学的兴趣一定陡生。

第一部分：信息论

看了这本书最值得分享的，就是信息论。总觉得这门学问，有着难以言表的强大，好吧，我又在瞎逼逼地废话了。

香农是谁？

香农.png

信息论的开创者是香农博士，生于1916年，我认为他最牛逼的地方是提出了一套测量信息的方法。
大家想想看，
我们每天走了多少路，可以测量距离，使用步数；想知道我们自己的体重，可以测量重量，使用重量单位，如kg；

那我们每天交流的信息呢，有多少的量呢，该怎么测量呢？

香农说，我们可以测量信息中的熵值，单位是比特。

他在1948年，通信的数学原理，这篇论文中，正式提了出来，之后信息论发展成为显学，深深影响了之后的时代，当然，我们现在所处的信息科技时代，更是站在了香农这位巨人的肩膀上的。

如何测算信息的量呢？

如果我告诉你两个信息：

1. 太阳从东边出来。
2. 明天会出太阳，是晴天。

你觉得哪个信息的信息量更大呢？

首先，太阳从东边出来，是你本来就知道的信息，所以这个对你来讲，一定算不得有信息量；

但是，你不知道明天的天气是晴天，还是雨天，我告诉了你，明天是晴天，你可以不用准备一把伞了，这对于你来讲，一定比上一条信息更有价值，我们可以理解为，第二条信息更有信息量。这个我想大家不会有太大的争议。

那么，请问，这两条信息之间的差别到底是什么？

那就是不确定性。

如果，我问你"太阳从哪边出来？"，从你脑海中只有一个可能的选项：东边。 你不需要引入其他的信息，就能回答这个问题。

但如果，我问你"明天的天气怎样？"，你脑海中会有晴天，阴天，雨天，雪天。。。，至少5个可能性的选项，此时的状态可以称为充满5种不确定性。

而我告诉你明天是晴天，是不是相当于直接帮你消除了4种不确定性，那么我这段信息的量肯定远高于第一种啊。

所以，可以简单总结为：

想知道一条信息的信息量大小，就去测量其中不确定性的多少。 （就如想知道一辆车性能如何，可以去测他的行驶速度。）

这点理解后，那么我们该如何去精确地计算一段信息中的量，有多少单位呢？ 或者更官方地说，其信息量有多少比特呢？

世界杯

那咱们来回答这样一个问题吧：
世界杯足球赛，入围的一共有32只球队，但你并没有看比赛，却又想知道冠军是哪只球队，你能猜出哪只是冠军球队吗？

如果你没有任何足球常识的话，那么这个问题的答案，就有32个可能性选项，你需要引入足够的信息，消除掉其中的31个可能性选项。
（引入信息，消除不确定性）

好吧，虽然你没看比赛，但是我看了，我知道结果，所以你来问我到底谁是冠军？

但，俺是一个爱钱的人，所以我让你猜，然后只提示你，猜测得对还是不对，但是你每猜一次，我就收你一块钱？ 那么，你要花多少钱，才能猜到呢？

如果你凭感觉猜得话，最多可能会花32元，当然一下命中的话，只需要花1元钱。

不过，如果你对足球和各大球队，一点都不了解的话，有一种方法，能够保证只花5块钱，绝对能猜出来。

你把32支球队，从1到32编上号。对半分成两组，即1－16号为A组，17－31号为B组，然后问我：冠军在A组吗？ 如果我回答是，你就把A组再对半分组，继续问；当然，我回答不是，你就把B组对半分组，继续问，重复这个过程，只需要问5次，就会得到最终结果。

然后，你开心地给我5块钱。

根据信息论，这5块钱就是这条消息的信息量。
当然，信息的单位不是钱，而是比特。
严格来说，这条消息的信息量，就是5比特。

当然，如果你具备足球常识，知道冠军球队只会在西班牙，巴西，德国，意大利这些强队中产生，那么你可能只需要两三元就能猜到，也就说这条消息的信息量对于懂足球的人来说，就更低了。

也许有好奇宝宝会问，"你这样也没有告诉我，到底如何计算一条信息的信息量啊？"

还是回到刚才的猜球队的例子，我们从32支球队中，猜出冠军，花了5次分组核实。 那你知道，这个32和5，之间是什么关系吗？

2^5=32

如果你还记得一点对数log的概念，那么信息论的大门就被你打开了。

 log^32=5

信息量的比特数就等于所有可能情况的对数。

好吧，记住这个公式
H＝－（p.log^p)
通过这个公式，就能准确计算出一段信息的信息量有多少啦。