马尔科夫预测

nullnull第9章 马尔科夫预测null9.1 马尔科夫预测的基本原理一、马尔科夫链定义1 参数集（随机变量） 定义2 如若T 为离散集（设 ）， 同时 的取值也是离散的，则称 为离散型随机过程。 null 设有一离散型随机过程，它在时刻 所有可能处于的状态的集合为称其为状态空间。（与时刻无关） 定义3 若 只与 有关，而与 等无关，称 为马尔科夫链，即【例】青蛙null二、状态转移矩阵当系统由一种状态变为另一种状态时，我们称之为状态转移。 定义4 一步状态转移概率定义5 状态转移概率矩阵与n无关假设：（齐性）null 例1 设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以 表示第n个季度的味精销售状态，则 可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则市场状态 构成一个马尔科夫链。设状态转移概率矩阵：null120.60.50.40.5null 概率向量 对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。 概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。 概率向量（市场占有率）概率矩阵（选择产品时不同品牌间转化）null概率矩阵有如下性质：如果A、B皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂 也是概率矩阵。 定义6 k步状态转移概率，k步状态转移概率矩阵 称 为k步状态转移概率， 为k步状态转移概率矩阵， 马尔科夫链中任何k步状态转移概率都可由1步状态转移概率求出。 null两步转移概率可以由一步转移概率得到：其含义为：系统从状态 i 出发，经1步转移到 k ，其中 k从1到 N，然后再从状态 k 转移到 j 的概率的总和。nullnull（全概率公式 ）P —— 一步状态转移概率矩阵—— k 步状态转移概率矩阵一般地，null例2 设一步转移矩阵为则两步转移矩阵为null如已知齐次马尔科夫链的转移矩阵 以及初始状态概率向量 ，则任一时刻的状态概率分布也就确定了。初始状态概率向量记 为过程的开始时刻，则称为初始状态概率向量。null 例3 考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S={1,2}。机床在运行中出现故障：1－>2；处于故障中的机床经维修，恢复到正常状态：2－>1。以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。120.90.3null含义？如已知初始概率向量 P(0)，如0.10.90.30.7null含义？如已知初始概率向量 P(0)，如0.10.90.30.7nullnullnullnullnullnullnullnullnull一般情况：null三、稳态概率矩阵1. 平稳分布已知系统的状态转移矩阵和系统的初始状态，可以推断出系统在任意时刻可能所处的状态。 问题：当 k不断增大时， 的变化趋势？ 若存在非零概率向量 ，使得其中P为一概率矩阵，则称 X 为 P 的固定概率向量。 null 如 为一状态概率向量，P为状态转移概率矩阵。若则称 X为马尔科夫链的一个平稳分布。 若随机过程某时刻的状态概率向量P(k)为平稳分布，则称过程处于平衡状态。 一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，即，过程一旦处于平衡状态后将永远处于平衡状态。 null2. 稳态分布问题：对于系统的状态P(m)，当 m 趋于无穷时，是否存在极限？若存在，设其极限为 ，null则称 为稳态分布。 定义 对于概率向量 ，如对任意的 ，均有此时，不管初始状态概率向量如何，均有 这也是称 为稳态分布的理由。 null 设存在稳态分布 ，则由于下式恒成立令 ，得即，有限状态马尔科夫链的稳态分布如存在，那么它也是平稳分布。null9.2 马尔可夫预测的应用一、市场占有率预测 例4 公司A、B、C产品销售额的市场占有率分别为50%，30%，20%。由于C公司实行了改善销售与服务方针的经营管理决策，使其产品销售额逐期稳定上升，而A公司却下降。通过市场调查发现三个公司间的顾客流动情况如表所示。其中产品销售周期是季度。问题：按照目前的趋势发展下去，A公司的产品销售额或客户转移的影响将严重到何种程度？更全面的，三个公司的产品销售额的占有率将如何变化？nullnull未来各期的市场占有率：C——保销政策。C的市场份额不断增大。是否可以持续下去？null稳态市场占有率 稳态市场占有率即为平衡状态下的市场占有率，亦即马氏链的平稳分布。 解得null最佳经营策略上述，于A厂不利。A厂制定两套方案：甲方案 保留策略，拉住老顾客。null 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 乙方案 争取策略，挖客户。 在新的平衡状态下，Ａ、Ｂ、Ｃ三家公司的市场占有率分别为33.3％，22.2％，44.5％。 null 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 乙方案 争取策略，挖客户。 在新的平衡状态下，Ａ、Ｂ、Ｃ三家公司的市场占有率分别为33.3％，22.2％，44.5％。 考虑费用？null二、人力资源预测 例5 某高校教师状态分为5类：助教、讲师、副教授、教授、流失及退休。目前状态：根据历史资料，null试分析三年后的教师结构以及三年内为保持编制不变应进多少研究生充实教师队伍？一年后人员分布： 要保持550人的总编制，流失76人，故第一年应进76位研究生。第二年补充74人。null第三年，补充72人。在第三年年底，人员结构为null三、期望利润预测 例6 某商品每月市场状况有畅销和滞销两种。1代表畅销，2代表滞销。如产品畅销获利50万元；滞销将亏损30万元。调查统计了过去24个月的销售记录，见下表。null一般地,设 是状态空间为 的齐次马氏链，其转移矩阵为 。设r(i)表示某周期系统处于状态i时获得的报酬。称如此的马尔可夫链是具有报酬的。r(i)＞0时称为盈利，报酬，收益等；r(i)＜0时称为亏损，费用等。该产品在第n周期的状态用 表示，问题：如当前月份该产品畅销，第四月前所获得的期望总利润为多少？1．有限时段期望总报酬 记 表示初始状态为 i 的条件下，到第k步状态转移前所获得的期望总报酬(k≥1，i∈S)： 以例6说明，k=4。1．有限时段期望总报酬 nullk期k=4nullk期k=4nullk期k=4nullk期k=4nullk期k=4到第4 步状态转移前所获得的期望总报酬:nullk期k=4nullk期k=4nullk期k=4nullk期k=4到第4 步状态转移前所获得的期望总报酬:null记null递推式(考虑一般情况)null（回到例6）一般地，记有null 例6 某商品每月市场状况有畅销和滞销两种。1代表畅销，2代表滞销。如产品畅销获利50万元；滞销将亏损30万元。调查统计了过去24个月的销售记录，见下表。问题：如当前月份该产品畅销，第四月前所获得的期望总利润为多少？null已知：需求出状态转移概率矩阵P.有三种公式：null以统计频率估计连续畅销的概率。分子数7是表中连续出现畅销的次数，分母中的15是表中出现畅销的次数，因为第24季度是畅销，无后续记录，故减1。估计状态转移矩阵P：nullnull结果为：如当前月份该产品畅销，第四月前所获得的期望总利润为67.5万。2．无限时段单位时间平均报酬 对i∈S，定义初始状态为i的无限时段单位时间平均报酬为：记则2．无限时段单位时间平均报酬 null则称 为稳态分布。 定义 对于概率向量 ，如对任意的 ，均有若所考虑的马尔可夫链存在平稳分布，由定义，null可以证明，此时，即，无限时段单位时间平均报酬与初始状态无关，均为 3．无限时段期望折扣总报酬如将钱存于银行，年息为 ，则 与 有如下关系： 在现实生活中，今年的一元钱将大于明年的一元钱，即，明年的一元钱折算到现在计算，就不值一元钱了，如为 ，这个 就称为折扣因子。 实际上，在企业管理中当考虑贷款、折旧等时都必须考虑到钱的增值问题。 3．无限时段期望折扣总报酬null对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为于是，记则null称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。 例7 最佳维修策略的选择。研究一化工企业对循环泵进行季度维修的过程。每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是： 状态1：优秀状态，无任何故障或缺陷； 状态2：良好状态，稍有腐蚀； 状态3：及格状态，轻度腐蚀； 状态4：可用状态，大面积腐蚀； 状态5：不可运行状态，腐蚀严重。null 该公司可采用的维修策略有以下几种： 单状态策略：泵处于状态5时才进行修理，每次修理费用为500元。 两状态策略：泵处于状态4和5时进行修理，处于状态4时的修理费用每次为250元, 处于状态5时的每次修理费用为500元。 三状态策略：泵处于状态3,4,5时进行修理，处于状态3时的每次修理费用为200元,处于状态4和5时的修理费用同前。 目前，该公司采用的维修策略为“单状态”策略。 假定不管处于何种状态，只要进行修理，泵的状态都将恢复为状态1。已知在不进行任何修理时的状态转移概率，如下表所示。null 问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。 null需知 r 和 P.不维修时的状态转移概率矩阵：null与 i 无关。单状态策略下：解得：从而null两状态策略下：解得：从而null三状态策略下：解得：从而null单状态策略下：两状态策略下：三状态策略下： 因此，两状态策略为最优策略，平均每周期的费用为90.50元。