随机游走与马尔科夫链

随机游走与马尔科夫链随机游走与马尔科夫链随机游走与马尔科夫链11随机游走随机游走与马尔科夫链2问题从开始每次行走或如何给出一个数学的描述0x110111Pxp11Pxqp1随机游走随机游走与马尔科夫链3一种简单描述直观上方差0111Pxp11Pxqp12pq0nEX221121nnnXXX221121nnnEXEXEXVarnXn1随机游走随机游走与马尔科夫链4100步1000步10000步100000步总到原点？1随机游走随机...

随机游走与马尔科夫链随机游走与马尔科夫链11随机游走随机游走与马尔科夫链2问题从开始每次行走或如何给出一个数学的描述0x110111Pxp11Pxqp1随机游走随机游走与马尔科夫链3一种简单描述直观上方差0111Pxp11Pxqp12pq0nEX221121nnnXXX221121nnnEXEXEXVarnXn1随机游走随机游走与马尔科夫链4100步1000步10000步100000步总到原点？1随机游走随机游走与马尔科夫链5100步1000步10000步100000步总到原点？二维情况1随机游走随机游走与马尔科夫链61000步总到原点？三维情况对链式过程的更精准的数学描述取值可数个可列）:系统时刻处于状态将来状态与过去状态独立，只依赖现在状态,0,1,2nXnX1nXnXnXii2马尔科夫链随机游走与马尔科夫链711100|,,,nnnnPXjXiXiXi1|nnPXjXi:ijPijPP转移矩阵与无关）可以无穷维nn1.马尔科夫链的定义2马尔科夫链随机游走与马尔科夫链8末状态T001011222122nPPPP走了步nT1234nnnnPPPP初状态用概率分布描述初状态也可以是概率分布）nX0XnX第行i初状态0Xi.2马尔科夫链随机游走与马尔科夫链9可达:）ij:nnijijPP从出发经步到达的概率injij相互可达(相通):等价关系）通过等价关系可以划分相通等价类ij,ij..0nijnstP常返：从出发总能到iii0|EiXi到达的次数相通状态相通状态不相通2.基本概念2马尔科夫链随机游走与马尔科夫链10常返i0|EiXi到达的次数令示性变量定理：常返i1niinP1,0,nnnXjIXj若若到达的次数0:nnIj00000||nnniinnnEIXiEIXiP从出发，会有无穷多次到会有无穷多次到达从某次到作为时间零点，变为从出发的马尔科夫链若不常返只能有有限次到达矛盾！iijjjj2马尔科夫链随机游走与马尔科夫链11定理：常返，，则常返iijj状态i状态jjmnsmsnmnsmnsjjjiiiijjjjiijiissPPPPPPPP另：3到随机游动随机游走与马尔科夫链12001nnP2100200022!11!!nnnnnPnnPppppnnn12!2nnnne001nnP与同敛散141nnppn常返只在对称游动）时成立12p所有状态都相通，所有点都是常返的是否常返，考虑0只要时间足够长，可以到任意点任意多次3到随机游动随机游走与马尔科夫链13多维情形？二维情形：上下左右各概率常返14三维情形：上下左右各概率不常返滑过）16更高维情形不常返概率量级指数减少）4马尔科夫链的推广随机游走与马尔科夫链141.布朗运动一维）1ttXtxXX每隔时间走一步，步长tx12pq各相互独立iX0EXt2VartXtxt4马尔科夫链的推广随机游走与马尔科夫链15一维布朗运动：点常返二维布朗运动：邻域常返离散化）三维以上布朗运动：非常返的、滑过的喝醉的酒鬼总能找到家的路喝醉的小鸟则可能永远也不了家4马尔科夫链的推广随机游走与马尔科夫链162.连续时间马尔科夫链对连续过程的数学描述取值可数个可列）将来状态与过去状态独立只依赖现在状态,0XttXXtXts转移矩阵,ijPts若转移矩阵只与时间间隔有关，与当前时刻无关，称马尔科夫链为平稳的平稳无记忆各状态停留的时间服从指数分布st|iiiPstsPti4马尔科夫链的推广随机游走与马尔科夫链172.连续时间马尔科夫链马尔科夫链为平稳的12120ijikkjkPttPtPt01t12tt连续的描述需要微分方程——柯尔莫哥洛夫微分方程4马尔科夫链的推广随机游走与马尔科夫链1812120ijikkjkPttPtPt柯尔莫哥洛夫微分方程向后方程）0dt2tdt220ijikkjkPtdtPdtPt22ijijPtPt2221ijikkjiiijkidPtPdtPtPdtPt4马尔科夫链的推广随机游走与马尔科夫链19柯尔莫哥洛夫微分方程向后方程）0dt2tdt2221ijikkjiiijkidPtPdtPtPdtPt数学上可证：1iiiPdtvdtijijPdtqdt'222ijikkjiijkiPtqPtPtPtQPti离开的速率iijq从到的速率ij4马尔科夫链的推广随机游走与马尔科夫链2012120ijikkjkPttPtPt柯尔莫哥洛夫微分方程向前方程）01t1tdt110ijikkjkPtdtPtPdt11ijijPtPt'111ijikkjjijkiPtPtqPtPtPtQ5参考文献随机游走与马尔科夫链21[1]RossSM.随机过程[M].北京机械工业出版社,2013.[2]ParzenE.随机过程[M].高等教育出版社,1987.[3]FeynmanRP,LeightonRB,SandsML,etal.费恩曼物理学讲义[M].上海科学技术出版社,2005.[4]陈希孺.概率论与数理统计[J].中国科学技术大学出版社,2009.

                    本文档为【随机游走与马尔科夫链】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

随机游走与马尔科夫链

你可能还喜欢