3. 数据结构 - 哈夫曼树

96
Lindz
2016.10.21 20:25* 字数 1502

这篇文章收录在我的 Github 上 algorithms-tutorial,另外记录了些算法题解,感兴趣的可以看看,转载请注明出处。

前言:

例如:我们要将一个百分制的考试成绩转换为五分制的成绩,我们很容易写出这样的代码。

if(score < 60) grade = 1;
else if(score >=60 && score < 70) grade = 2;
else if (score >= 70 && score < 80) grade = 3;
else if(score >= 80 && score < 90) grade = 4;
else grade = 5;

但是实际情况是绝大多数人的分数都在 80~90分的范围内,那么绝大多数都需要经过 4 次判断才能得出结论,这显然是非常耗时的,不够优化。

如果考虑学生成绩的分布概率如下:

分数段 0-59 60-69 70-79 80-89 90 - 100
比例 0.05 0.15 0.40 0.30 0.10

则刚才的代码的查找效率就为:

0.05 * 1 + 0.15 * 2 + 0.4 * 3 + 0.3 * 4 + 0.1 * 4 = 3.15

再比如说,我们常常用 ASCII 来表示英文单词,而每个英文单词需要 8 个位,但是有一些单词比如 e, a, t, n 被经常使用,而 q, x, y, z 并不经常使用。如果我们能够缩短经常使用的字母的编码,那么将会大大空间的利用。

基本概念 (Huffman Tree):

路径和路径长度:

在一棵树中,从一个结点往下可以达到的孩子或孙子结点之间的通路,称为路径。通路中分支的数目称为路径长度。若规定根结点的层数为 1,则从根结点到第L层结点的路径长哈夫曼树度为 L-1。

结点的权及带权路径长度:

若将树中结点赋给一个有着某种含义的数值,则这个数值称为该结点的权。结点的带权路径长度为:从根结点到该结点之间的路径长度与该结点的权的乘积。

树的带权路径长度:

树的带权路径长度规定为所有叶子结点的带权路径长度之和,记为 WPL。即设二叉树有 n 个叶子结点,每个叶子结点带有权值 wk,从根结点到每个叶子的长度为 lk,则每个叶子结点的带权路径长度之和:WPL = ∑wi*li (i = 0,1,2...n)

哈夫曼树(也称为最优二叉树)就是使 WPL 达到最小的二叉树, 哈夫曼树是带权路径长度最短的树,权值较大的结点离根较近。

构造方式:

哈夫曼算法:假设有n个权值,则构造出的哈夫曼树有 n 个叶子结点。 n个权值分别设为 w1、w2、…、wn,则哈夫曼树的构造规则为:

  1. 将 w1、w2、…,wn 看成是有 n 棵树的森林(每棵树仅有一个结点)
  2. 在森林中选出两个根结点的权值最小的树合并,作为一棵新树的左、右子树,且新树的根结点权值为其左、右子树根结点权值之和
  3. 从森林中删除选取的两棵树,并将新树加入森林
  4. 重复步骤 2、3,直到森林中只剩下一棵树为止,该树即为所求的哈夫曼树

例如,给定 4 个权值为 1、3、5、7 的节点构造一棵哈夫曼树,其构造方式如下:

huffman.png

哈夫曼编码 (Huffman Coding)

哈夫曼编码是哈夫曼树的一个应用。哈夫曼编码又称为霍夫曼编码,哈夫曼编码是可变字长编码 (VLC) 的一种,该方法完全依据字符出现概率来构造异字头的平均长度最短的码字,有时称之为最佳编码,一般就叫做Huffman编码。

让我们简单地来看一个例子:假设我们有条信息只使用到了字母 a, e, i, s, t, 空格,换行,且假设它们的频率如下

字母 编码 频率 位总数
a 000 10 30
e 001 15 45
i 010 12 36
s 011 3 9
t 100 4 12
sp 101 13 39
nl 110 1 3
总数 - - 174

我们假设:

  • 我们将所有的字母都放在二叉树的叶结点上
  • 编码的含义:0 代表向左,1 代表向右

则由上面的图我们可以构造出一颗二叉树:

tree-1.png

而如果我们将其改为:

tree-2.png

即 nl 由原来的 110 变为了 11,则花费的位总数就变为了 173。

虽然我们将 nl 码由原来的三位变为两位,但是只要保证每个字母的编码不会成为其他字母编码的前缀,那么这样的编码就不会引起混淆,这样的编码我们称之为前缀码 (Prefix Code)

根据前面的构造方法的介绍,首先存储一个每个点树构成的森林集合,每棵树带有它的权值,且只包含一个点,可以如下表示:

tree-3.png

在接下来的每一步处理中,两个权值最小的树合并为一棵树并重新添加回集合中

tree-4.png

最小权值的树为 s 和nl

tree-5.png

此时最小权值的树为 T1 和 t

tree-6.png

就这样一步步构造,最后皆可以生成哈夫曼树。

tree-7.png

根据哈夫曼树,0 代表向左,1代表向右的规则,我们就可以列出新的编码格式

字母 编码 频率 位总数
a 001 10 30
e 01 15 30
i 10 12 24
s 00000 3 15
t 0001 4 16
sp 11 13 26
nl 00001 1 5
总数 - - 146

现在该信息所需要的编码位数由原来的 174 减少到了 146,大大减少了空间的浪费。

总结:

  • 可以很直观地证明,哈夫曼算法提供了最优的编码方式
  • 如果我们将森林集合存储在一个优先队列里面,那么时间复杂度为 O(clogc) c 为字母个数
  • 哈夫曼算法是一种贪婪算法,因为它在每一步只是简单从集合中取出两个权值最小的树进行合并
跟我一起学数据结构
Web note ad 1