Dijsktra算法与Viterbi算法对比

边权重

知乎上有个相关的提问,高赞回答说,Viterbi算法的优势是能够处理带节点权重问题。无论是Viterbi算法,还是Dijsktra算法,处理的都是边上的权重,不涉及节点的权重。

用李航老师《统计学习方法》第186页中的HMM+Viterbi例子来分析。
Screen Shot 2020-06-05 at 9.34.13 PM.png

这个例子可以转化为求解下图的最优路径。其中从start -> A是观测矩阵 * 发射矩阵。A -> B, B -> C是状态转移矩阵 * 发射矩阵(为了节约空间省去了部分连线)
Screen Shot 2020-06-04 at 9.47.55 PM.png

从上图可以看到,Viterbi算法处理的也是边权重的最优路径问题。

最优路径与最短路径

注意,上文一直说最优路径,而不是最短路径。这是因为Viterbi算法不仅仅可以求最短路径,它还可以求最长路径,或者是最小乘积路径,或者最大乘积路径。

为什么Viterbi算法可以求解最长路径呢?因为Viterbi算法是动态规划算法。它首先求出到达A子节点的最长路径。因为经过B的最长路径必然包括经过A的最长路径,因此可以基于A,找到到达B的最长路径。同理,可以找到C,D,E...的最长路径,直至最终节点。

最大似然概率,通过取负对数求和,可以转化为最短路径问题。Dijsktra算法要求路径长度为非负数。因此,取负对数之前,每条边应该0 < value <= 1。由于概率值必然满足此条件,因此最大似然概率可以转化为最短路径问题,并用Dijsktra算法求解。

如果边长大于1,取负对数后长度为负数。此时依旧可以用Viterbi算法,但是Dijsktra算法用不了。

假设边长大于0,两个算法的适用范围及条件为:

算法 最大乘积 最小乘积 最短路径 最长路径
Dijsktra 当边长<=1时,取负对数转化为最短路径 不可以 可以 不可以
Viterbi 可以 可以 可以 可以

下面是最大似然概率取负对数后,转化为最短路径问题的示意图。


Screen Shot 2020-06-04 at 9.47.48 PM.png

Dijsktra与Viterbi

Dijsktra算法属于贪心算法,Viterbi算法属于动态规划算法。从另一个角度来看,Dijsktra算法是深度优先图算法,Viterbi算法则是广度优先图算法。

Screen Shot 2020-06-05 at 8.46.25 PM.png

以上图为例,要寻找A1-> D1的最短路径,Dijsktra算法依次考察:A1, (B1, B2), C1, D1, C2, D1(第二次)。

而Viterbi算法按离起始点的距离迭代。以上图为例,Viterbi算法依次考察:A1, (B1, B2), (C1, C2), D1。离起始点距离越远,迭代次序越靠后。

Viterbi算法的优势

对于HMM模型,无论是Dijsktra算法,还是Viterbi算法,都能够求出最优序列。那么为什么HMM算法一般使用Viterbi算法,而不是Dijsktra算法?

我认为Viterbi算法的优势在于速度。

假设模型共有L步,每一步有N个隐状态。从t时刻到t+1时刻,Viterbi算法需要进行N^2次加法和比较操作。考虑到共有L步,因此Viterbi算法耗时O(LN^2)

Dijsktra算法的时间复杂度分析可以参考《算法导论》关于Dijsktra算法一节。这里直接用结论,如果不使用斐波那契堆,Dijsktra算法的复杂度为O(E * \log(V))。其中E = LN^2, V=LN,因此,复杂度为O(LN^2 * log(LN))

Viterbi算法的劣势

我们通过下图来观察Viterbi算法的劣势:


Screen Shot 2020-06-05 at 9.59.41 PM.png

用Viterbi算法计算,通过三条路径,T1距离起点分别为2,3,6。因此T1会在第2,3,6轮迭代进行比较,更新。且T1之后所有的点,都会在第k+2, K+3, K+6次迭代中重复更新。

当存在点,它有多条路径通向起点,且长度不一时,Viterbi算法存在大量的重复计算。

在机器学习中,Viterbi算法一般用于序列解码。这是因为序列中每个时刻,它的状态点离起始点的距离都是一样的。这种情况下不存在重复计算问题。

总结

综上,无论是Viterbi算法,还是Dijsktra算法,都是处理边权重图的最优路径问题。

Viterbi算法既可以处理最大/最小乘法问题,也可以处理最大/最小加法问题。而Dijsktra算法只能够处理最小加法问题,或者将大于0,小于1的乘法问题转化为最小加法(最短路径)问题。

Viterbi算法属于动态规划算法,Dijsktra算法属于贪心算法。Viterbi算法是广度优先,Dijsktra算法是深度优先。

HMM,CRF等算法中使用Viterbi算法,是因为Viterbi算法的效率比Dijsktra算法高。

当图中存在点,它有多条路径通往起始点,且路径长度不一样时,Viterbi算法存在重复计算问题。此时用Dijsktra算法效率更高。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270