概率论随机过程马尔科夫学习

????,1)2(,,0)1(?[定义]设{ Xn, n?T } 为马尔可夫链,则对于任意整数n? 0, 0 ?l < n 和i, j?I,n 步转移概率具有:称为C-K方程)(nijp????Ik)ln(kj)l(ik)n(ijppp)ln(kjk)l(ik)l(ikk)ln(kjmlmIklmnmmlmmIklmmnmlmmmmnmmnm)n(ijpppp}ix|kx{p}kx|jx{p}ix{p}kx,ix{p}kx,ix{p}jx,kx,ix{p}ix{p}ix,jx{p}ix|jx{pp????????????????????????????????????????????II证明:?即从时刻m,由状态i转换为时刻m+n的状态j,其转移概率的计算可等价于在时刻m与m+n之间的时刻m+l(0≤l ≤ n),共有k种状态(k∈I)。从时刻m的i状态遍历m+l时刻的k状态,然后归于m+n时刻的状态j?证明:???????IkjkkkikIk)n(ijnnpppp112111??证毕得令12111111kk1111??????????????????????nkkkIikIIk)n(jk)l(ik)n(ijIk)ln(kjik)n(ijIkl)ln(kj)l(ik)n(ijp...pp...ppp,kk,lpppppp?证明:)n()n(1???PPP证毕可得令)ln()n(Ik)ln()l()n()ln(kj)l(ik)n(ijPPP,PPPppp????????????1ln)n(PP??初始概率:?绝对概率:?性质:?(1):?证明:证毕)Ij(},jX{Ppj???0}jx{Ppn)n(j?????Ii)n(ijijpp)n(p?????????????????Ii)n(ijiIinIinnjpp}ix{P}ix|jx{P}jx,ix{P}jx{P)n(p000