4马尔科夫链

第四章马尔科夫链Р第一节马尔科夫链的定义及其性质Р第二节马尔科夫链的状态分类Р第三节平稳分布与遍历性Р第四节时间连续的马尔科夫链Р第一节马尔可夫链的定义及其性质Р一、马尔可夫链的定义Р1.马尔可夫链Р注:Р而与以前的状态Р有限马氏链Р状态空间是有限集I={0,1,2,…,k}Р2.一步转移概率Р马氏链在时刻n处于状态 i 的条件下,到时刻n+1转移到状态 j 的条件概率,Р即Р称为在时刻n的一步转移概率,Р注:Р由于概率是非负的,且过程从一状态出发,经过一步转移后,必到达状态空间中的某个状态Р一步转移概率满足Р3.一步转移矩阵Р称为在时刻n的一步转移矩阵Р即有Р有限马氏链Р状态空间I={0,1,2,…,k}Р注Р马氏链在初始时刻有可能处于I中任意状态,初始分布就是马氏链在初始时刻的概率分布。Р6.绝对分布Р概率分布Р称为马氏链的绝对分布或称绝对概率Р定态分布Р即Р例1 不可越壁的随机游动Р设一质点在线段[1,5 ]上随机游动,状态空间I={1,2,3,4,5},每秒钟发生一次随机游动,移动的规则是:Р(1)若移动前在2,3,4处,则均以概率向左? 或向右移动一单位,或停留在原处;Р(2)若移动前在1处,则以概率1移到2处;Р(3)若移动前在5处,则以概率1移到4处。Р试写出一步转移矩阵.Р分析Р故Р1Р2Р3Р4Р5Р其一步转移矩阵为Р若将移动规则改为Р(1)若移动前在2,3,4处,则均以概率向左或向右? 移动一单位;?(2)若移动前在1,5处,则以概率1停留在原处。Р因为质点在1,5两点被“吸收”,Р故称Р有两个吸收壁的随机游动