马尔科夫相关概率问题

用来描述一个动态过程的:
1.经过某个状态的概率;
2.到达了终止状态后,经过多少路程的期望;
3.足够长时间后的稳定状态。

1.经过某个状态的概率
例题:持续抛硬币,抛出第一个001甲赢,抛出第一个101乙赢,问甲乙各自赢的概率。
做法:画出状态转移图,终止状态是001和101,状态含义:最后n位是(0,00,001或者1,10,101);给出进入各个状态的转移概率;给状态都编号,概率Xi,对每个状态列方程求解。
注意:开始抛得0,概率0.5,故X1=0.5,下一个00状态X2=0.5X1+0.5X2,这是这个状态分别由X1和自己以一定概率转移来的(算的是“入边”)。
另一种做法:枚举初始的两次的状态:00,01,10,11,然后讨论。

2.到达了终止状态后,经过多少路程的期望
例题1:游戏中人物升级,p1概率不动,(p2概率降级),p3概率成功,每次升级都要消耗一个宝石,请问升到n级需要的宝石期望是多少?
例题2:(看着像第一种题)持续抛硬币,抛出第一个001就终止,问要抛多少次?
做法:画出状态转移图,终止状态只有一个,状态含义:到i级;给出进入各个状态的转移概率;给状态都编号,Xi代表从这个状态走到终止状态时消耗的宝石的期望;对每个状态列方程求解。
注意:X0=p0*(X0+1)+p1*(X1+1)(不考虑降级),所以这个式子是算“出边”,其含义是,X0要走到终点的话,要走遍所有的“出边”,其中,如果是走X1这条路,那么到终点的期望是X1走到终点的期望加上已经走的1步。

3.稳定状态
例题:人口迁徙,A市经过1年后,p11概率留在A,p12概率去B,B市经过一年后,p21概率去A,p22概率留在B,问人口稳定下来AB市的人口各是多少?
做法:转移矩阵的N次方,N->无穷大。

推荐阅读更多精彩内容