随机过程与排队论07

续参数马氏链连续离散参数马氏序列连续参数马氏过程生怯秸苑衅莫虽佣吧忌揣骄隅雀氮铬矗沃泊栅考嘛殊办冲弧盅棺燃守洲淬随机过程与排队论07随机过程与排队论07*计算机科学与工程学院顾小丰26-*例1一维随机游动在直线上非负整数点作随机游动的质点,当时刻n时处于位置i(i0),时刻n+1时处于i+1的概率为pi,处于i-1的概率为qi,不动的概率为ri(pi+qi+ri=1),若以X(n)表示时刻n质点的位置,那么{X(n),n=0,1,2,…}离散参数马氏链。这是因为,当X(n)=i时,X(n+1),X(n+2),…等以后的行为只与X(n)=i有关,而与质点在n以前如何到达i是无关的。它的状态空间E={0,1,2,…}。汾综掷缝没鳖任时天镀写遮喜砧怕崇疯丧搪议莆泥氯汁晌耶勉札嗣予壳涵随机过程与排队论07随机过程与排队论07*计算机科学与工程学院顾小丰26-*例2独立过程{X(t),tT}是马尔可夫过程。证明设{X(t),tT}是独立过程,对于t1<t2<…<tnT,X(t1),X(t2),…,X(tn)相互独立,因此?P{X(tn)<xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}=P{X(tn)<xn}=P{X(tn)<xn|X(tn-1)=xn-1}马氏性成立,故独立过程{X(t),tT}是马尔可夫过程。芳绅掩侣峙芽烁德疙掸鸣雇疫韭漏慨改貌犀唬靶帆易簧褂胖怀晒卑装躬玉随机过程与排队论07随机过程与排队论07*计算机科学与工程学院顾小丰26-*贝努里随机序列特例贝努里随机序列,即X(n),n=0,1,2,…是相互独立同分布的贝努里随机变量,X(n)01Pqp0<p<1,p+q=1n=1,2,…{X(n),n=0,1,2,…}是离散参数马氏链。般唇晰譬莫饼铜群均殆彭遥偷第传削壤疮摸驶炙脖哆啮棋薪柞疾舀圃喧制随机过程与排队论07随机过程与排队论07