。Р(3.2)Р以后我们只讨论时齐马尔科夫过程。Р根据条件概率性质。转移概率函数具有下列两条性质:Р(有限多个或无限多个)Р通常,我们规定Р转移概率函数之间具有下列关系式Р对Р(3.4)Р此称为切普曼-柯尔莫洛夫(Chapman-Kolmogorov)方程。Р这个方程式的直观意义是:由 i 状态出发经 s+t 时间到达? j 状态,必须先经 s 时间到达任意 r 状态,然后再经 t 时间?由 r 状态转移到 j 状态。此方程的证明方法类似于马尔科夫?链中切普曼一柯尔莫哥洛夫方程的证明方法,只要把那里?的m,k, l 分别换成即可。Р(3.8)Р显然有Р(3.7)Р利用全概率公式可以得到Р在马尔科夫链中,n 步转移概率可以由一步转移概率算?得。而一步转移概率可用直观方法求得。在马尔科夫过程?中,转移概率函数可以通过解微分方程获得。为此?首先需要导出转移概率函数所满足的微分方程组。Р由此知绝对概率完全被初始概率分布和转移概率函数所确定。Р(3.9)Р二、柯尔莫哥洛夫向前和向后方程Р设是状态有限(即具有有限多个状态)?的马尔科夫过程,Р(3.10)Р定义设状态有限的马尔科夫过程 X(t) 的转移概率函数? 为,若Р成立,则称此过程为随机连续马尔科夫过程。Р(3.10)式表示:当 t 很小时,过程由状态 i 转移到状态 i 的?概率接近于1,而转移到状态 j 的概率接近于零;亦?即经过很短时间系统的状态几乎是不变的。Р在马尔科夫过程理论中,由条件(3.10)可以证明极限Р(3.11)Р存在且有限。由(3.3)式与导数的定义可得。?这里的称为马尔科夫过程的速率函数。它刻划马尔科夫过?程的转移概率函数在零时刻对时间的变化率。Р称矩阵Р为马尔科夫过?程的速率矩阵,?简称 Q 矩阵。Р速率函数具有下列性质:Р事实上,性质(1)(2) 根据的定义容易得到.Р(3.11)Р性质(3) 的证明为
全文预览
