第7章马尔可夫过程与泊松过程7.1马尔可夫过程1．引例例1：随机游动问题。质点在一直线上作随机游动，如果某一时刻质点位于点i,则下一步质点以概率p向左移动一格达到点i-1，以概率(1-p)向右移动一格达到点i+1。用X(n)表示时刻n质点的位置，则X(n)是一随机过程。在时刻n+1质点所处的位置X(n+1)只与时刻n质点的位置X(n)有关，而与n以前的位置X(n-1)•…X(2)、X(1)无关。例2：遗传病问题。某些疾病常遗传给下一代，但不隔代遗传。第n+1代是否有此种疾病只与第n代是否有此疾病有关，而与n代以前的健康状况无关。2．马尔可夫过程描述性概念一般而言，若随机过程在时刻t所处的状态X(t)为已知的条件下，过程在时刻tnn(t>t)所处的状态X(t)只与过程在时刻t的状态X(t)有关，而与t以前的状态无关,nnnn则称此过程为马尔可夫过程。3．马尔可夫过程分类马尔可夫过程分为四类：(1)离散马尔可夫链：时间t取离散值t，t,…t,…，可直接记为t=1,2,…n,…。TOC\o"1-5"\h\z12n状态X(n)取离散值a，a,…a,…，可直接记为X=1,2,…n,…。12n(2)连续马尔可夫链：时间t取离散值t，t,…t,…，状态X(n)取连续值。12n(3)离散马尔可夫过程：时间t取连续值，状态X(t)取离散值。(4)连续马尔可夫过程：时间t取连续值，状态X(t)取连续值。.4．马尔可夫过程的研究与应用概况在随机过程的研究领域，马尔可夫过程是主要的研究对象，有关的专著、专题无计其数其原因是马尔可夫过程与众多的应用领域有关联。5．马尔可夫链（1）定义设时间t取离散值t=1,2,…n,…，记X=X（n），设状态X取有限个离散值nnX=1,2，…N，右j\Xi,Xn-1n-1}=n+1j|Xi}称X马尔可夫链。n步转移概率（2）记P=Pijn+1=jx=i}称P为马氏链的一步转移概率。ij由所有的P（i=1,2,…N，ijj=1,2,…N）构成的矩阵P=PP…1111PP…2122P1NP2NPPN1N2PNN称为马氏链的一步转移矩阵。可以证明：0
0)，其状态只取非负整数值，若满足下列三个条件：00对任意时刻t
本文档为【第7章 马尔可夫过程与泊松过程】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483