极大似然估计法的探究

极大似然估计法的探究 伊犁师范学院数学与统计学院 2014届本科毕业 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 极大似然估计法的探究 邵 雨 晴 (伊犁师范学院数学与统计学院 新疆 伊宁 835000) ? 摘要:极大似然估计是参数估计的一种常用方法，本文主要探讨了极大似然估计法的? 原理及其四种方法、步骤和性质，并举例说明了这些方法在解决实际问题中的应用. ? 关键词:极大似然估计;参数估计;似然函数 ? ? 中图分类号:O212 文献标识码:A ? ? 一、 引言 ? ? 由于极大似然估计法的渐近最优性，它已成为参数估计的一种常用方法，在众多领域? 得到广泛的应用，例如语音处理、图像处理模型识别等.它是建立在极大似然原理基础上? 的一个统计方法，并且所得到的极大似然估计具有良好的性质:相合性、存在性、不变性? 等.用微分法求参数的极大似然估计并不是唯一的方法，以下又以例题的方式给出另外三? 种求极大似然估计的方法. 装 ? ? 二、 预备知识 ? ? 2.1理论基础 ? 订 2.1.1极大似然估计的背景 ? 极大似然估计最早是由高斯(C.F.Gauss)提出的，后来为费希尔(R.A.Fisher)在1912年? ? 的文章[7]中重新提出，并且证明了这个方法的一些性质.极大似然估计这一名称也是费希 ? 尔给的.极大似然估计原理的直观想法是:一个随机试验如若有若干个可能的结果 ? AAA，在一次试验中，结果出现，则一般认为试验条件对出现有利，也即出ABC,,,？线 现的概率很大. ? 先看一个简单的例子，某位同学与一位猎人一起外出打猎，一只野兔从前方窜过(只? 听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的,你就会想，只? ? 发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射 ? 中的(这个例子所作的推断就体现了极大似然法的基本思想( ? ? 2.1.2极大似然估计法的基本原理 ? EAAA,,,？A随机试验有n个可能结果，现在进行一次试验，结果发生了，在一次12ni? A试验中，概率越大越有可能发生，人们自然认为事件在这n个可能结果中出现的概率? i? PA()最大. i? fx(;):,,,,,,,,,,？将这种想法用于参数估计，设为取自具有概率函数的母体,,? 12n ,,,,,,？,xin,1,2,,,？,的一个子样. 子样的联合概率密度函数在取已知观测值时的i12ni ,fxfxfx(;)(;)(;),,,？LLxxx()(;,,,),,,？值是的函数. 我们用 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示，称为这个子12n12n 样的似然函数. 于是 LLxxxfxfxfx()(;,,,)(;)(;)(;),,,,,,,？？ (1) 1212nn 第 1 页 共 9 页 伊犁师范学院数学与统计学院 毕业设计(论文)报告纸 下面分别就离散型母体和连续型母体情形做具体讨论. (1) 离散型母体的情形: 如果是离散型母体，给出观测到的概率. 因此，可以Lxxx(;,,,),？xxx,,,？,12n12n ,把看成为观测到时出现什么样的的可能性的一个测度. 所Lxxx(;,,,),？xxx,,,？12n12n ˆˆˆ,以我们只要寻找观测值的函数，以代使 ,xxx,,,？,,,xxx？(,,,)12n12n ˆ (2) LxxxLxxx,,？？,(;,,,)sup(;,,,)1212nn,,, ˆ,成立. 满足(2)式的就是最可能产生的参数的值. 我们称xxx,,,？,xxx？(,,,)12n12n ˆˆ,,为参数的极大似然估计值，其相应的统计量为参数的极大似,xxx？,,,,？(,,,)(,,,)12n12n然估计量. (2) 连续型总体的情形: 如果是连续型，表示密度函数. 于是子样落入点,,,,,,？(,,,)xxx？fx(;),,,,,,12n12n n ,的邻域内的概率为，同样是的函数，既然再一次抽样中出现，当(,,,)xxx？fxx(;),,12n,ii,1i 然可以认为子样落在的邻域内的概率达到最大. 所以我们只要找出,,,,,,？(,,,)xxx？12n12n nˆ,,使达到最大的的值. 由于是不依赖于的增量，我们也只需,x,xxx？fxx(;),,(,,,)i,12nii,1i 求出使得 n Lxxxfx(;,,,)(;),,？,,12ni,1i ˆ达到极大的，便可得到极大似然估计. 综上所述知，连续型母体的参数的,xxx？(,,,)12n 极大似然估计同样可以用(1)与(2)两式表示. lnx由于是的单调增函数，使 x ˆLxxxLxxx,,？？,ln(;,,,)supln(;,,,) (3) 1212nn,,, ˆˆ,,成立的也使(2)成立. 所以有时我们只要从(3)中去求就可以了. ˆˆˆ,,,LL()max()定义:若对任意给定的样本值xxx,,,？，存在，使，,,,xxx？(,,,)12n12n, ˆˆˆ,,则称为的最大似然估计值. 称相应的统计量为的最大,,,xxx？,XXX？(,,,)(,,,)12n12n ,似然估计量. 他们统称为的最大似然估计. 2.1.2多元正态分布极大似然估计 ,XXN (,),,Xxxin,,(,)(1,,)？？pp考虑元正态总体, 设为元正态总体的简p()11iip 单随机样本，此时观测数据阵为: ,，，，，xxx？111(1)p,,,, X,,？？？,,,, ,,,,,xxx？nnpn1()，，，， ,,,是一个随机阵. 以下用最大似然估计法求参数的最大似然估计. ,Xnp把随机数据阵按行拉直后形成的维长向量VecX()的联合密度函数看成未知参数 Xin(1,,),？,,,L(,),,的函数，并称为样本的似然函数，记为: ()i n11，，,1,Lxx,,,(,)exp()(),,,,,, ,()()ii12,,p22，，(2),i,1, 第 2 页 共 9 页 伊犁师范学院数学与统计学院 2014届本科毕业论文 n 11，，,1, xx,,,,,,,exp()(), ()()iin2,,2np2(2),,1i,，， n 11，，,1, xx,, ,,,,,exptr(()()),()()iin2,, 2np2(2),,1i,，， n 11，，,1, xx,, ,,,,,exptr(()()),()()iin2,,2np? 2(2),,1i,，，? 11，，,1? ，， B,,,,,exptr()n2，，,,np2? 2，，(2),, ? n ? ,其中是的函数，且，即非负定. ,B()0,,B(),Bxx()()(),,,,,,,()()ii,? 1i ? 对数似然函数为: n? np11,1, ,,,,,,,,,,,,,ln(,)ln(2)lntr(()())Lxx,? ()()ii222,1i? np11,1? ，， ,,,,,,,,, ln(2)lntr()B，，222? 装 ? 三、 极大似然估计的性质 ? ? 极大似然估计的无偏性 3.1 ? ˆˆ,X定义:设是总体的样本，是总体参数的估计量，(,,,)XXX？,,,XXX？(,,,)12n12n? ˆˆˆ订 ,,,,,存在，且对于任意都有，则称是的无偏估计. ,,,,E()E()? ? 3.2 极大似然估计的相合性 ? ˆ定义:基于样本量为的样本的参数函数的估计量，XXXX,(,,,)？gX()ng(),12nn? ? ˆPgXg,,,,,,,,,,,,lim(()())0,0,ˆ若满足则称估计量gX()是的相合估计. g(),,nn,,n线 在一些正则的条件下，极大似然估计是相合的. ? ? 3.3 极大似然估计的存在性 ? ? 求极大似然估计就是求似然函数的极值点，通常是通过求其驻点即解似然方程的方法 ? 得到，而驻点未必是函数的极大值点，所以似然方程的解未必是极大似然估计，也即极大? 似然估计不一定存在.因此通过解似然方程的方法求极大似然估计时，需要验证似然方程? 的解是否是似然函数的极大值点，如果是极值点，那么极大似然估计存在，如果不是，那? 么极大似然估计不一定存在.一般地，我们有: ? nˆ,,Lx(),Lx(),,,R,? (1)若，且关于可微，在的内点达到最大，则极大似然 ? 估计必为似然方程的解. ? (2)对于一维是参数的情形，似然方程的解若满足条件: ? 2ˆ,ln(),x,0 2,, 则必是极大似然估计. ,XXX,,,？P()例1 设为取自泊松分布,总体的简单随机样本，求参数的极大似12n 第 3 页 共 9 页 伊犁师范学院数学与统计学院 毕业设计(论文)报告纸 然估计. 解:因为似然函数为: n,n,ex,,xinni,,,i,1 ()()[e],,,Lxpx,,,,inxii,,11i(!)x,ii,1两边取对数: nn ln()ln()ln(!)Lxnxx,,,,,，,,,ii,,11ii 令 n,lx(),1 ,,,xn0,i,,,,1i 解得: n1ˆ ,,x,in,1i ˆ,易验证，即的极大似然估计存在，上式中的即为唯一的最大值，,lx''0,,lx,,0，，，， ˆ,即为的极大似然估计. ,,X 4 极大似然估计的不变性 3. ˆˆ,,定理1:设,是的极大似然估计,是的连续函数，则的极大似然估计为.g(,)g(,)g(,) ˆ,,kg,若是是在上定义的可测向量函数，为维非退化凸集，为的极大似然估计，且,()x，， ˆˆlim,,,,xlim(),,,当时，对任意点列，若，极限值存在且相同，并且不属于,,,()x,,iiii,,,,i g,，那么 ，， ˆˆ,gxx(()),(),,,,,ˆg, ,，，,ˆgx,,,,lim(),,(),,,,,,ii, ˆˆ,g,是的极大似然估计. 即，若为的极大似然估计，若待估函数是，则称g(),,,()xgx(())，， 为的极大似然估计. 此不变性可为我们求未知参数函数的极大似然估计带来很大方便. g(), ,,x,例2 设某元件失效时间服从参数为的指数分布，其密度函数为，f(x;,),,e,x,0 ,,x,x,？,x未知. 现从中抽取了个元件测得其失效时间为，试求及平均寿命的极大似然n12n估计( ,X 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 :可先求的极大似然估计，由于元件的平均寿命即为的期望值，在指数分布场 1,E(X),合，有，它是的函数，故可用极大似然估计的不变原则，求其极大似然估计( ,nn,x,i,,xn,,1iiL(,),e,e解:(1)写出似然函数: ,,,1i, n (2)取对数得对数似然函数: l(,),nln,,,x,i,1i 第 4 页 共 9 页 伊犁师范学院数学与统计学院 2014届本科毕业论文 n ,dl()n,(3)将对求导得似然方程为: l(,),,x,0,i ,,di,1 n1ˆ (4)解似然方程得: ,,,nx x,i ,1i ˆ,经验证，能使达到最大，由于上述过程对一切样本观察值成立，故的极大似,l(,)? 1ˆ? 然估计为:; ,,X? 1? E(X),,X根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为:( ˆ? , ? ? 四、求极大似然估计的一般方法 ? ? 4.1微分法 ? ,,,,设似然函数为的连续函数(且关于的各分量的偏导数存在. 并设是维的.是n? n? 中的开区域(则由极值的必要条件知求极大似然估计的步骤如下: R ? (1)写出似然函数; LLxxx()(,,,;),,,？12n装 dL(),dLln(),,0,? (2)令 或 ，求出驻点. 0dd,,? lnLL是的单调增函数，且函数与函数有相同的极值点，故常注:因函数ln()L,L(),? ? 转换为求函数的最大值点，这样较方便. ln()L, ? (3)判断并求出最大值点，在最大值点的表达式中，用样本值代入即得参数的最大似订 然估计值. ? 注:? 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出? 最大值点. ? ?上述方法易推广至多个未知参数的情形. ? 例3 设p? ，XXX,,,？是取自总体的一个样本，试求参数的最大似然估Xbp (1,)12n线 计. ? X解:设xxx,,,？是相对应样本XXX,,,？的一组样本观察值，的分布律为12n12n? xx1, PXxppx{}(1),0,1,,,,? ? 故似然函数为 nn? nxnx,ii,,1xx,? ,,11iiiiLppppp()(1)(1)， ,,,,,? 1i,? 而 ? nn,,,,ln()lnln(1)Lpxpnxp? , ,，,,,,ii,,,,,,11ii,,,,? ? 令 nn? xnx,,,iid,,11iiln()0Lp,,,， 1dppp, p解得的最大似然估计值 第 5 页 共 9 页 伊犁师范学院数学与统计学院 毕业设计(论文)报告纸 n1. ˆpxx,,,in,1i的最大似然估计量为 p n1. ˆpxX,,,in,1i 222例4 设总体服从正态分布，是其样本，若都未知，试求(,,,),,,？,N(,),,,,,,,,12n的极大似然估计量. 2解:的似然函数为 ,,, n11，，22 ,,,,L(,)exp,,,，，,i2,,,2,,(2),1，，i于是 n122 ,,,,,,,,,,nlnL(,)ln(2)，，,i2,2,1i2分别关于求偏导，得似然方程组 ,,, 2n,,lnL(,)1,,,,,0,,，，,i,2,,,,,i1 ,2n,lnL(,)11n2,,,,,，,,0，，,,,i224,,22,,i1,,,2即得的极大似然估计量 ,,, n1ˆ ,,,,,,,in,1i n122ˆ ,,,,,,S().,in,1i 4.2 定义法 ,,似然函数若关于有间断点(或似然方程无解或解不在内，这时由似然函数的形式(利 用定义直接判断出极大值点. ,,0,例5 设XXX,,,？是来自上均匀分布的样本，未知，求的极大似然估计. (0,),12n 解: 由题得似然函数为: 1,X,,,,()nn Lx(,),,,,, ,X,0,,()n, XXLx,max,(,),,,X其中，在处间断，因此只能直接求函数Lx(;),的最大值点，()ni()n,,1in 1,Lx,,(;),,X,,X注意到Lx(;)0,,，且当时，随的减少而递增，因而当时，Lx(;),()n()nn, ˆ,,X达到最大，是极大似然估计. ()n 4.3 比值法 这种方法适用于参数是离散型情形，为求极大似然估计，经常考虑参数取相邻两项值时, 第 6 页 共 9 页 伊犁师范学院数学与统计学院 2014届本科毕业论文 用所得的似然函数的比值或差来找似然函数的最大值点. 例6 鱼池中有许多条鱼，捉到300条，作上记号再放入水中，待充分混合后，再捉500 条(发现其中30条鱼带记号，试估计池中有多少条鱼, N解: 设池中有条鱼(其中条鱼有记号(随机捉条鱼发现有条带有记号，要估sxr N计，用记捉住的条带记号的鱼数，则 Xs ? Nrr,,,,, ,,,,? sxs,,,,,? ， PXx(),,N,,? ,,? s,,? 因此似然函数为 ? ， LNPXx()=(),? 考虑 ? 2LNNsNrNrsNrs()()()(),,,，，? ,,2? LNNxsrNNrsNxn(1)()(),，,，,，，? rsrsxN,N,当，即时，; LNLN()(1),,? x装 rs? rsxN,N,当，即时，. LNLN()(1),,x? rs? NN,故似然函数在附近达到最大值.取整数，易得的极大似然估计量为LN()? x ? rs300500，，，，，ˆˆ5000，将题中的数字带入有时，即鱼池中总数估计为条. N,N,,5000订 ,,,,x30，，，，? ? 4.4 直接判断法 ? ? 这是一种由似然函数的形式，直接判断出其最大值点，而得到似然估计量的方法. 此 ? 方法适用于密度函数中不显含自变量的总体. x 线 11,,,,,,，,,例7 设xxx,,,？，是取自均匀分布总体的样本，其中，，,,,,，,? 12n,,22,,? 11? ˆˆ,,,，,,,，,，((1)())XXn(())((1)()1)XnXXn求的极大似然估计量，并验证:; 1222? 2? ,XnXXX()max,(1)min,,都是的极大似然估计量.题中: cosXii111,,,,inin? 解:总体? x的密度函数为 ? 11,,,1,,,,，x,? fx(), 22,? ,0,其他,? 似然函数为: ? 1111? ,,,,,,xXXn1,1(1)(),,,，,,,,，，,,iLXXXin？？,,,(;,,,),1,2,,, 2222,,12n ,,0,0其它，其它,, 11,,,,,,，XXn(1)()显然，似然函数的最大值为1，且当:时取得最大值. 22 第 7 页 共 9 页 伊犁师范学院数学与统计学院 毕业设计(论文)报告纸 11由得: ,,,X(1),,，Xn()22 11由得: ,，,,,,Xn()Xn()22 11,显然，满足的都使似然函数取得最大值.所以，满足:,,,，,XnX()(1)22 11ˆ,的都是的极大似然估计量. ,,,，,XnX()(1),22 ˆˆ,下面验证:是的极大似然估计量. ,,,12 ？XnX()(1)1,, 1ˆ ？,，,((1)())XXn12 1 =(1)+()(1)+(1)XXnXX,，，，，2 11 ,，,，(2(1)1)(1)XX22 1ˆ又:,,， ((1)())XXn12 1 =(1)+()()+()XXnXnXn,，，，，2 1,,,，((()(1))2())XnXXn 2 11,,，,,(12())()XnXn 22 11ˆˆ,,,,，,XnX()(1)故得:，是的极大似然估计量. ,1122 2 ？0cos1,,xXXnXnX(1)()11(()(1))0,，,,,,1 11ˆ？,,，,，,,,(())((1)()1)cos()XnXXnxXn 2122 11ˆ,,,，,，,，XnXXnX()(1)()1(1)且 222 11ˆ,,,，,XnX()(1)故得: 222 ˆ,是的极大似然估计量. ,2 五、小结 参数点估计的矩估计法，其原理是用样本矩估计总体矩，它虽然直观简便，但也有缺点，它要求总体矩必须存在，并且没有充分利用分布所提供的信息(当总体分布已知时，通常可以采用最大似然估计法(最大似然法应用广泛，在正态分布、指数分布等各分布中都可以用来估计参数(另外在均匀分布估计参数时，会出现似然方程组无解的情况，这时利用最大似然法的基本思想，可以使问题得以解决. 极大似然方法也存在一些缺点(它只能适用于非常有限的密度函数集，很容易找出极大似然方法无法求解的密度函数(另一个缺点是不容易处理多余参数( 第 8 页 共 9 页 伊犁师范学院数学与统计学院 2014届本科毕业论文 因此，极大似然估计虽然有一些优良性，应用广泛，但也有其局限性，有时极大似然 估计并不存在. 参考文献: [1]魏宗舒. 概率论与数理统计教程[M]. 北京: 高等教育出版社, 2008: 269-279. ? 2]吴赣昌. 概率论与数理统计[M]. 北京: 中国人民大学出版社, 2009: 139-141. [ ? [3]高惠璇. 应用多元统计分析[M]. 北京: 北京大学出版社, 2005: 41-46. ? [4]茆诗松, 王静龙, 濮晓龙. 高等数理统计[M]. 北京: 科学出版社,1984: 55-91. ? [5]陈希孺. 数理统计教程[M]. 上海: 高等教育出版社, 2004: 83-128. ? [6]邹小云. 极大似然估计的性质探讨[J]. 湖北职业技术学院学报, 2007(6): 94-97. ? [7]李明泉. 对最大似然估计法的教学探讨[J]. 牡丹江大学学报. 2010, 19(7): 116-118. ? [8]胡钊, 杨波. 最大似然估计教学中的几点标记[J]. 楚雄师范学院学报, 2009(6): ? ? 86-89. ? [9]成平. 极大似然估计与比检验的几点注记[J]. 应用概率统计, 2003(6): 55-59. ? [10]杨振海, 张忠占. 应用概率统计[M]. 北京: 北京工业大学出版社,2005: 44-48. ? [11]梁之舜, 盛骤, 谢式千等. 概率论及数理统计[M]. 北京: 高等教育出版社, 2007. ? [12]华东师范大学数学系. 数学分析(下)[M].3版. 北京: 高等教育出版社, 2001. 装 [13]郑明, 陈子毅, 汪嘉冈. 数理统计讲义[M]. 上海: 复旦大学出版社, 2005: 61-70. ? [14]田玉柱, 王丙参, 冉延平. 多元正态分布极大似然估计的一个注记[J]. 天水师范学? 院? , 2012(3): 11-12. ? ? 订 The exploration of Maximum likelihood estimation ? ? Shao yu-qing ? (College of Mathematics and statistics, YIli Normal University, Yining 835000, Xinjiang China) ? ? Abstract: Maximum likelihood estimation is a kind of common method of used to solve 线 parameter estimation, this paper mainly discusses the principle of maximum likelihood ? estimation method and three kinds of methods, procedures and properties, and illustrate the ? application of these methods in solving practical problems. ? Key words: Maximum likelihood estimation; Parameter estimation; Likelihood function ? ? ? ? ? ? ? ? ? ? 第 9 页 共 9 页