Р例3 布朗运动将一颗小花粉放在水面上,由于水分子的冲? 击,使它在液面上随机地游动(见教材图4-2)。这种游动? 物理上称为布朗(Brown)运动。在水面上作一平面直角? 坐标系,不妨取花粉的起始位置为坐标原点。考察在 t 时? 刻花粉所处位置的 x 坐标,记为 X(t) 。Р由于时刻后花粉的位置仅依赖于现在( 时刻)的位?置,而与过去花粉的位置无关,所以花粉随机游动具有?无后效性。因而 X(t) 亦具有无后效性,是马尔科夫过程。Р同样地,花粉位置的 y 坐标 Y(t) 亦是马尔科夫过程。Р(3)时间连续、状态连续的马尔科夫过程。在例3中,?随机过程 X(t) 的参数集,状态空间?所以是一个时间连续、状态连续的马尔科夫过程。Р§2 马尔科夫链Р一、马尔科夫链的定义、转移概率Р设随机序列具有离散状态空间 E。Р此时,常记或。Р有时,也记为Р或Р定义设随机序列的离散状态空间为E,? 若对于任意 m个非负整数? 和任意自然数 k,以及任意,满足Р(2.1)Р则称为马尔科夫链简称马氏链。Р在(2.1) 式中,如果表示现在时刻, 表示?过去时刻, 表示将来时刻,此式表明过程在将来Р时刻处于状态 j 仅依赖于现在时刻的状态,而与过去Рm-1 个时刻所处的状态无关。Р(2.1)Р(2.1)式中右边条件概率形式为Р称之为马尔科夫链在 n 时刻的 k 步转移概率.Р记为Р转移概率表示已知 n 时刻处于状态 i , 经 k 个单位时间后过?程处于状态 j 的概率。Р若马尔科夫链的转移概率不依赖于 n ,则?称其为时齐马尔科夫链。这种马尔科夫链的状态转移概率?仅与转移出发状态 i、转移步数 k、转移到达状态 j 有关,而?与转移的起始时刻 n 无关。Р以后只讨论时齐马尔科夫链。Р此时,k 步转移概率可记为,即Р此时, (2.3)Р当 k=1 时, 称为一步转移概率,简记,
全文预览
