关闭

关闭

关闭

封号提示

内容

首页 第17章 马氏链模型.pdf

第17章 马氏链模型.pdf

第17章 马氏链模型.pdf

上传者: Gingerjin 2012-07-26 评分 0 0 0 0 0 0 暂无简介 简介 举报

简介:本文档为《第17章 马氏链模型pdf》,可适用于工程科技领域,主题内容包含第十七章马氏链模型随机过程的概念一个随机试验的结果有多种可能性在数学上用一个随机变量(或随机向量)来描述。在许多情况下人们不仅需要对随机现象进行一次符等。

第十七章马氏链模型随机过程的概念一个随机试验的结果有多种可能性在数学上用一个随机变量(或随机向量)来描述。在许多情况下人们不仅需要对随机现象进行一次观测而且要进行多次甚至接连不断地观测它的变化过程。这就要研究无限多个即一族随机变量。随机过程理论就是研究随机现象变化过程的概率规律性的。定义设},{Tttξ是一族随机变量T是一个实数集合若对任意实数tTtξ,是一个随机变量则称},{Tttξ为随机过程。T称为参数集合参数t可以看作时间。tξ的每一个可能取值称为随机过程的一个状态。其全体可能取值所构成的集合称为状态空间记作E。当参数集合T为非负整数集时随机过程又称随机序列。本章要介绍的马尔可夫链就是一类特殊的随机序列。例在一条自动生产线上检验产品质量每次取一个“废品”记为“合格品”记为。以nξ表示第n次检验结果则nξ是一个随机变量。不断检验得到一列随机变量L,,ξξ记为},,,{L=nnξ。它是一个随机序列其状态空间},{=E。例在m个商店联营出租照相机的业务中(顾客从其中一个商店租出可以到m个商店中的任意一个归还)规定一天为一个时间单位“jt=ξ”表示“第t天开始营业时照相机在第j个商店”mj,,,L=。则},,,{L=nnξ是一个随机序列其状态空间},,,{mEL=。例统计某种商品在t时刻的库存量对于不同的t得到一族随机变量)},,{ttξ是一个随机过程状态空间,RE=其中R为最大库存量。我们用一族分布函数来描述随机过程的统计规律。一般地一个随机过程},{Tttξ对于任意正整数n及T中任意n个元素ntt,,L相应的随机变量nttξξ,,L的联合分布函数记为},,{),,(nttnttxxPxxFnn=ξξLLL()由于n及),,(nitiL=的任意性()式给出了一族分布函数。记为},,,,,),,,({LLLL==nniTtxxFinttn称它为随机过程},{Tttξ的有穷维分布函数族。它完整地描述了这一随机过程的统计规律性。马尔可夫链马尔可夫链的定义现实世界中有很多这样的现象:某一系统在已知现在情况的条件下系统未来时刻的情况只与现在有关而与过去的历史无直接关系。比如研究一个商店的累计销售额如果现在时刻的累计销售额已知则未来某一时刻的累计销售额与现在时刻以前的任一时刻累计销售额无关。上节中的几个例子也均属此类。描述这类随机现象的数学模型称为马氏模型。定义设},,,{L=nnξ是一个随机序列状态空间E为有限或可列集对于任意的正整数nm,若),,(,,=nkEijikL有}|{},,,|{ijPiiijPnmnnnnmn=======ξξξξξξL()则称},,,{L=nnξ为一个马尔可夫链(简称马氏链)()式称为马氏性。事实上可以证明若等式()对于=m成立则它对于任意的正整数m也成立。因此只要当=m时()式成立就可以称随机序列},,,{L=nnξ具有马氏性即},,,{L=nnξ是一个马尔可夫链。定义设},,,{L=nnξ是一个马氏链。如果等式()右边的条件概率与n无关即)(}|{mpijPijnmn===ξξ()则称},,,{L=nnξ为时齐的马氏链。称)(mpij为系统由状态i经过m个时间间隔(或m步)转移到状态j的转移概率。()称为时齐性。它的含义是:系统由状态i到状态j的转移概率只依赖于时间间隔的长短与起始的时刻无关。本章介绍的马氏链假定都是时齐的因此省略“时齐”二字。转移概率矩阵及柯尔莫哥洛夫定理对于一个马尔可夫链},,,{L=nnξ称以m步转移概率)(mpij为元素的矩阵))(()(mpmPij=为马尔可夫链的m步转移矩阵。当=m时记PP=)(称为马尔可夫链的一步转移矩阵或简称转移矩阵。它们具有下列三个基本性质:(i)对一切Eji,)(mpij(ii)对一切Ei=Ejijmp)((iii)对一切Eji,===时当时当jijipijij,)(δ。当实际问题可以用马尔可夫链来描述时首先要确定它的状态空间及参数集合然后确定它的一步转移概率。关于这一概率的确定可以由问题的内在规律得到也可以由过去经验给出还可以根据观测数据来估计。例某计算机机房的一台计算机经常出故障研究者每隔分钟观察一次计算机的运行状态收集了小时的数据(共作次观察)。用表示正常状态用表示不正常状态所得的数据序列如下:解设),,(L=nXn为第n个时段的计算机状态可以认为它是一个时齐马氏链状态空间},{=E编写如下Matlab程序:a=''a=''a=aaf=length(findstr('',a))f=length(findstr('',a))f=length(findstr('',a))f=length(findstr('',a))或者把上述数据序列保存到纯文本文件datatxt中存放在Matlab下的work子目录中编写程序如下:clc,clearformatratfid=fopen('datatxt','r')a=while(~feof(fid))a=afgetl(fid)endfori=:forj=:s=intstr(i),intstr(j)f(i,j)=length(findstr(s,a))endendfs=sum(f')fori=:f(i,:)=f(i,:)fs(i)endf求得次状态转移的情况是:次次次次因此一步转移概率可用频率近似地表示为}|{====nnXXPp}|{====nnXXPp}|{====nnXXPp}|{====nnXXPp例设一随机系统状态空间},,,{=E记录观测系统所处状态如下:若该系统可用马氏模型描述估计转移概率ijp。解首先将不同类型的转移数ijn统计出来分类记入下表ji转移数ijn行和in各类转移总和ijijn等于观测数据中马氏链处于各种状态次数总和减而行和in是系统从状态i转移到其它状态的次数ijn是由状态i到状态j的转移次数则ijp的估计值iijijnnp=。计算得=PˆMatlab计算程序如下:formatratclca=fori=:forj=:f(i,j)=length(findstr(ij,a))endendfni=(sum(f'))'fori=:p(i,:)=f(i,:)ni(i)endp例(带有反射壁的随机徘徊)如果在原点右边距离原点一个单位及距原点)(>ss个单位处各立一个弹性壁。一个质点在数轴右半部从距原点两个单位处开始随机徘徊。每次分别以概率)(<<pp和)(pqq=向右和向左移动一个单位若在处则以概率p反射到以概率q停在原处在s处则以概率q反射到s以概率p停在原处。设nξ表示徘徊n步后的质点位置。},,,{L=nnξ是一个马尔可夫链其状态空间},,,{sEL=写出转移矩阵P。解===时当时当,}{iiiPξ===其它时当时当,,,jpjqpj===其它时当时当,,,sjqsjppsj====其它时当时当,),,,(,,siijqijppijL因此P为一个s阶方阵即=pqpqqpqpqPLLLLLLLLL。定理(柯尔莫哥洛夫开普曼定理)设},,,{L=nnξ是一个马尔可夫链其状态空间},,{L=E则对任意正整数nm,有=Ekkjikijmpnpmnp)()()(其中的Eji,。定理设P是一个马氏链转移矩阵(P的行向量是概率向量))(P是初始分布行向量则第n步的概率分布为nnPPP)()(=。例若顾客的购买是无记忆的即已知现在顾客购买情况未来顾客的购买情况不受过去购买历史的影响而只与现在购买情况有关。现在市场上供应CBA、、三个不同厂家生产的克袋状味精用“=nξ”、“=nξ”、“=nξ”分别表示“顾客第n次购买CBA、、厂的味精”。显然},,,{L=nnξ是一个马氏链。若已知第一次顾客购买三个厂味精的概率依次为。又知道一般顾客购买的倾向由表给出。求顾客第四次购买各家味精的概率。表下次购买ABC上次购买ABC解第一次购买的概率分布为)(=P转移矩阵=P则顾客第四次购买各家味精的概率为)()(==PPP。转移概率的渐近性质极限概率分布现在我们考虑随n的增大nP是否会趋于某一固定向量?先考虑一个简单例子:转移矩阵=P当n时nP又若取=u则uuP=Tu为矩阵TP的对应于特征值=λ的特征(概率)向量u也称为P的不动点向量。哪些转移矩阵具有不动点向量?为此我们给出正则矩阵的概念。定义4一个马氏链的转移矩阵P是正则的当且仅当存在正整数k使kP的每一元素都是正数。定理3若P是一个马氏链的正则阵那么:(i)P有唯一的不动点向量WW的每个分量为正。(ii)P的n次幂nP(n为正整数)随n的增加趋于矩阵WW的每一行向量均等于不动点向量W。例信息的传播一条新闻在LL,,,,naaa等人中间传播传播的方式是a传给aa传给a…如此继续下去每次传播都是由ia传给ia。每次传播消息的失真概率是p<<p即ia将消息传给ia时传错的概率是p这样经过长时间传播第n个人得知消息时消息的真实程度如何?设整个传播过程为随机转移过程消息经过一次传播失真的概率为p转移矩阵=ppppP真假真假P是正则矩阵。又设V是初始分布则消息经过n次传播后其可靠程度的概率分布为nPV。一般地设时齐马氏链的状态空间为E如果对于所有Eji,转移概率)(npij存在极限jijnnpπ=)(lim(不依赖于i)或=LLLLLLLLLLLLLLLLjjjnnPnPπππππππππ)()(则称此链具有遍历性。又若=jjπ则同时称),,(Lπππ=为链的极限分布。下面就有限链的遍历性给出一个充分条件。定理设时齐(齐次)马氏链},,,{L=nnξ的状态空间为},,{NaaEL=)(ijpP=是它的一步转移概率矩阵如果存在正整数m使对任意的Eaaji,都有)(>mpijNji,,,,L=则此链具有遍历性且有极限分布),,(NπππL=它是方程组Pππ=或即==NiijijpππNj,,L=的满足条件>jπ==Njjπ的唯一解。例根据例中给出的一般顾客购买三种味精倾向的转移矩阵预测经过长期的多次购买之后顾客的购买倾向如何?解这个马氏链的转移矩阵满足定理的条件可以求出其极限概率分布。为此解下列方程组:====ppppppppppppppp编写如下的Matlab程序:formatratp=a=p'eye()ones(,)b=zeros(,)plimit=ab或者利用求转移矩阵P的转置矩阵TP的特征值对应的特征(概率)向量求得极限概率。编写程序如下:p=p=sym(p')x,y=eig(p)fori=:x(:,i)=x(:,i)sum(x(:,i))endx求得=p=p=p。这说明无论第一次顾客购买的情况如何经过长期多次购买以后A厂产的味精占有市场的CB,两厂产品分别占有市场的。吸收链马氏链还有一种重要类型吸收链。若马氏链的转移矩阵为=PP的最后一行表示的是当转移到状态时将停留在状态状态称为吸收状态。如果马氏链至少含有一个吸收状态并且从每一个非吸收状态出发都可以到达某个吸收状态那么这个马氏链被称为吸收链。具有r个吸收状态)(rnss=个非吸收状态的吸收链它的nn转移矩阵的标准形式为=SROIPr()其中rI为r阶单位阵O为sr零阵R为rs矩阵S为ss矩阵。从()得=nrnSQOIP()()式中的子阵nS表示以任何非吸收状态作为初始状态经过n步转移后处于s个非吸收状态的概率。在吸收链中令)(=SIF则F称为基矩阵。对于具有标准形式(即()式)转移矩阵的吸收链可以证明以下定理:定理吸收链的基矩阵F中的每个元素表示从一个非吸收状态出发过程到达每个非吸收状态的平均转移次数。定理设FCN=F为吸收链的基矩阵TCL=则N的每个元素表示从非吸收状态出发到达某个吸收状态被吸收之前的平均转移次数。定理设)(ijbFRB==其中F为吸收链的基矩阵R为()式中的子阵则ijb表示从非吸收状态i出发被吸收状态j吸收的概率。例智力竞赛问题甲、乙两队进行智力竞赛。竞赛规则规定:竞赛开始时甲、乙两队各记分在抢答问题时如果甲队赢得分那么甲队的总分将增加分同时乙队总分将减少分。当甲(或乙)队总分达到分时竞赛结束甲(或乙)获胜。根据队员的智力水平知道甲队赢得分的概率为p失去分的概率为p求:(i)甲队获胜的概率是多少?(ii)竞赛从开始到结束分数转移的平均次数是多少?(iii)甲队获得、、分的平均次数是多少?分析甲队得分有种可能即、、、、分别记为状态,,,,aaaaa其中a和a是吸收状态,aa和a是非吸收状态。过程是以a作为初始状态。根据甲队赢得分的概率为p建立转移矩阵:=ppppppaaaaaPaaaaa()将()式改记为标准形式:=SROIP其中=ppR=ppppS计算==pqqqpqpppqpqSIF)(其中pq=。因为a是初始状态根据定理甲队获得分的平均次数为pqqpqpqp。又==pqqqpqpppqpqFCNpppq=根据定理以a为初始状态甲队最终获胜的分数转移的平均次数为pq。又因为==ppqqpqpppqpqFRB)()(根据定理甲队最后获胜的概率pqpb=。Matlab程序如下:symspqr=q,,,ps=,p,q,,p,q,f=(eye()s)^()f=simple(f)n=f*ones(,)n=simple(n)b=f*rb=simple(b)马尔可夫链的应用应用马尔可夫链的计算方法进行马尔可夫分析主要目的是根据某些变量现在的情况及其变动趋向来预测它在未来某特定区间可能产生的变动作为提供某种决策的依据。例(服务网点的设置问题)为适应日益扩大的旅游事业的需要某城市的甲、乙、丙三个照相馆组成一个联营部联合经营出租相机的业务。游客可由甲、乙、丙三处任何一处租出相机用完后还在三处中任意一处即可。估计其转移概率如下表所示:还相机处甲乙丙租相机处甲乙丙今欲选择其中之一附设相机维修点问该点设在哪一个照相馆为最好?解由于旅客还相机的情况只与该次租机地点有关而与相机以前所在的店址无关所以可用nX表示相机第n次被租时所在的店址“=nX”、“=nX”、“=nX”分别表示相机第n次被租用时在甲、乙、丙馆。则},,,{L=nXn是一个马尔可夫链其转移矩阵P由上表给出。考虑维修点的设置地点问题实际上要计算这一马尔可夫链的极限概率分布。转移矩阵满足定理的条件极限概率存在解方程组====ppppppppppppp得极限概率=p=p=p。由计算看出经过长期经营后该联营部的每架照相机还到甲、乙、丙照相馆的概率分别为、、。由于还到甲馆的照相机较多因此维修点设在甲馆较好。但由于还到乙馆的相机与还到甲馆的相差不多若是乙的其它因素更为有利的话比如交通较甲方便便于零配件的运输电力供应稳定等等亦可考虑设在乙馆。习题十七在英国工党成员的第二代加入工党的概率为加入保守党的概率为加入自由党的概率为。而保守党成员的第二代加入保守党的概率为加入工党的概率为加入自由党的概率为。而自由党成员的第二代加入保守党的概率为加入工党的概率为加入自由党的概率为。求自由党成员的第三代加入工党的概率是多少?在经过较长的时间后各党成员的后代加入各党派的概率分布是否具有稳定性?社会学的某些调查结果指出:儿童受教育的水平依赖于他们父母受教育的水平。调查过程是将人们划分为三类:E类这类人具有初中或初中以下的文化程度S类这类人具有高中文化程度C类这类人受过高等教育。当父或母(指文化程度较高者)是这三类人中某一类型时其子女将属于这三种类型中的任一种的概率由下面给出CSECSE母或父子女问:(i)属于S类的人们中其第三代将接受高等教育的概率是多少?(ii)假设不同的调查结果表明如果父母之一受过高等教育那么他们的子女总可以进入大学修改上面的转移矩阵。(iii)根据(ii)的解每一类型人的后代平均要经过多少代最终都可以接受高等教育?色盲是X链遗传由两种基因A和a决定。男性只有一个基因A或a女性有两个基因AaAA、或aa当基因为a或aa时呈现色盲。基因遗传规律为:男性等概率地取母亲的两个基因之一女性取父亲的基因外又等概率地取母亲的两个基因之一。由此可知母亲色盲则儿子必色盲但女儿不一定。试用马氏链研究:(i)若近亲结婚其后代的发展趋势如何?若父亲非色盲而母亲色盲问平均经多少代其后代就会变为全色盲或全不色盲两者的概率各为多少?(ii)若不允许双方均色盲的人结婚情况会怎样?

用户评论(0)

0/200

精彩专题

上传我的资料

每篇奖励 +2积分

资料评价:

/11
0下载券 下载 加入VIP, 送下载券

意见
反馈

立即扫码关注

爱问共享资料微信公众号

返回
顶部