随机过程-2马尔可夫过程.ppt

X n=i,i ∈I为已知时,X n+1 所处的状态的概率分布只与X n=i有关,而与 Q在时刻 n以前,如何到达 i是完全无关的, 所以{X n,n=0,1,2, …}是一马氏链,而且还是齐次的.这一齐次马氏链的一步转移概率和一步转移概率矩阵分别为: p ij=P{X n+1 =j|X n=i}= P= . 1/3,j=i-1,i,i+1,1 <i<5, 1,i=1,j=2 或i=5,j=4, 0,|j-i| ≥2. ? 1 2 3 4 5 1 0 1 0 0 0 2 1/3 1/3 1/3 0 0 3 0 1/3 1/3 1/3 0 4 0 0 1/3 1/3 1/3 5 0 0 0 1 0 改变游动的概率规则,可以得到不同方式的随机游动和相应的马氏链.如当把点 1 (及 5)改为吸收壁,Q一旦到达点 1 (5),则将永远留在点 1 (5)上.此时相应马尔可夫链的概念及转移概率链的转移概率矩阵只须在上述矩阵 P中将第一行改为(1,0, 0,0,0), 第五行改为(0,0,0,0,1) 即可. 例4.2 (排队模型)设服务系统,由一个服务员和只可能容纳两个人的等候室组成,见右下图.服务规则是: 先到先服务,后来者需在等候室依次排队. 假定一个需要服务的顾客到达系统时, 发现系统内已有 3个顾客(一个正在接受服务, 两个在等候室排队),则该顾客即离去. 设时间间隔Δt内将有一个顾客进入系统的概率为 q,有一原来被服务的顾客离开系统(即服务完毕)的概率为 p.又设当Δt充分小时,在这时间间隔内等候室服务台系统离去者随机到达者