极大似然估计法

第八章参数估计第一节参数的点估计二、极大似然估计法极大似然估计最早是由高斯于1821年提出，但一般将之归功于英国统计学家Fisher,R.A,因为Fisher,R.A在1922年证明了极大似然估计的性质，并使得该方法得到了广泛的应用。这里介绍估计的另一种常用方法-极大似然估计法。先看一个简单的例子：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过,只听到一声枪响，野兔应声倒下,如果要你推测，是谁打中的呢？你会如何想呢？你就会想，只发一枪便打中，猎人命中的概率一般大于这位同学命中的概率.看来这一枪有极大的可能是猎人射中的.这个推断很符合人们的经验事实，这里的“极大的可能”就是“极大似然”之意。这个例子所作的推断已经体现了极大似然法的基本思想.极大似然法的基本思想在社会思维意识中常有所体现。例如某地发生了一个疑难案件，警察欲破案或民众推测嫌疑人，一般是将重点集中在作案可能性较大的可疑人身上。为了 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 极大似然估计的原理，我们先来考察一个简单的估计诃 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 。设袋中装有许多白球和黑球。只知两种球的数目之比为3:1，试判断是白球多还是黑球多。显然，从袋中任取一球为黑球的概率p是1或者3,如果是工，则袋中444白球多，如果是3,就是黑球多。现4在我们从袋中有放回的任取3只球,那么黑球数目X服从二项分布:P{Xx;p}C；p*(1p)3x,13x0,1,2,3；p1,344其中p为取到黑球的概率.从常识上可以接受这样的判断：(1)若取出的3只中有0只黑球，3只白球，则我们以较大的把握认为袋中白球多，应认为是从黑球概率为p1的总体中取来的.4(2)若取出的3只中有1只黑球，2只白球，则我们以较大的把握认为袋中白球多，应认为是从黑球概率为p1的总体中取来的；4(3)若取出的3只中有2只黑球，1只白球，则我们以较大的把握认为袋中黑球多，应认为是从黑球概率为P3的总体中取来的；4⑷若取出的3只中有3只黑球，0只白球，则我们以较大的把握认为袋中黑球多，应认为是从黑球概率为P3的总体中取来的.4分别计算p1和p3时，44P{Xx}的值，列于表8—1.0123由于样本来自于总体，因而应很好的反映总体的特征。如果样本中的黑球数为0,就应当估计P为1,而不估计为3,（这是TOC\o"1-5"\h\z44常识判断）,同时注意到有12731P{X0；p1}27P{X0；p[}-,464464正是选的使P{X0;p}达到最大值的P，这说明，黑球数x0的样本来自于P1的总体比来自于P3的总体的44可能性要大，因而取1作为p的估计4更合理.类似的，x1是也取1作为p的4估计。当x2,3时取3作为P的估计。4即得到P的估计量为1,X0,1伙X)3；,x2,3即若取出的3只球中有x只黑球,则总体中任取一只为黑球的概率为1,x0,1伙x)3；,x2,3即认为是从任取一只为黑球的概率为的总体中来的.从表中看出成立不等式P{Xx;?（x）}P{Xx;p},13x0,123;p-，344也就是说，根据样本的具体情况选择？，使得该样本发生的概率最大。即对每个（固定）x,选取？（x）,使得其中p是不同于做x）的另一值。这就是极大似然估计法的基本思想。极大似然估计的问题如下一般地，设总体X的分布函数为F（x;）,其中是未知参数（，不同，总体也不同）。X.X2,X为来自于总体X的样本，若在对总体的抽样中，得到样本值（观察值，发生的事件）xi,x2,,x0。问xi,x2,,xn,是从哪个总体中抽出的？（即应取多少？）直观的想法是：小概率事件在一次试验中一般不会发生，而大概率事件在一次试验中常常会发生；反之，如果在一次实验中，某个随机事件发生了，若问是什么样的情况引起的，我们往往会认为极有可能是使这个随机事件发生的概率最大的那个情况所引起的。下面，我们分连续型总体和离散型总体两种情况进行讨论。1、连续型总体参数的极大似然估计一般地，设总体X的概率密度为f（x;）,其中是未知参数（,不同，总体也不同）。Xi,X2,,Xn为来自于总体X的样本，若已抽取得到Xi,X2,,Xn为样本Xi,Xz,,Xn的样本值（观察值，发生的事件），问Xi,X2,,x„,是从哪个总体中抽出的？（即应取多少？）我们来考察（Xi，X”，Xn）落在点（Xi,X2,,Xn）的邻域内的概率nnnf(Xi；)Xi(f(Xi；))X。i1i1i1从直观上讲，既然在一次试验中得到了观察值(Xi，X2，,Xn),那么可以认为样本落在(乂这，，Xn)的邻域里这一事件是较易发生的，具较大的概率,所以就应是从使得样本落在点(OX?,,人)的邻域内的概率达到最大的总体中抽取的，这样才能在一次抽取中以较大可能性取到(X,,X2,,Xn),即选取使这一概率达到最大的参数作为真参数的估计.极大似然法就是选取总体参数的估计值？，使得样本(Xi,X2,,Xn)落在点(％,X2,,Xn)的邻域内的概率nn(f(Xi；))Xi达到最大，也就是i1i1n使f(Xi；)达到最大值.i1记nL()L(X1,X2,,Xn；)f(Xi；),i1称L()L(X1,X2，,Xn；)为似然函数|.定义1如果L()L(x,x2,,Xn；)在？达到最大值，则称？是的极大似然估计。即如果选取使下式成立的？作为的估计，则称？是的极大似然估计。因此，求总体参数的极大似然估计值？就是求似然函数的最大值诃题。根据微积分的知识，要使L()达到最大值，若L()可导，？必满足—L()0。d通常用简化求法：因为L与InL在同一值处达到最大，？也可由求得，这在计算上常常带来方便.多参数情形的极大似然估计若总体X的概率密度为f(X：1,2),其中1,2,,k为未知数，Xi,X2,,Xn为样本Xi,X2,,Xn的样本值(观察值),此时似然函数为nL(Xi,X2,L,Xn；1,2,L,k)f(Xi；1,2,L,k),i1(8.4)求解方程组1nL(1,2,，k)0,i1,2,,k即可得到极大似然估计？，？，，？数学上可以严格证明，在一定条件下，只要样本容量n足够大，极大似然估计和未知参数的真值可相差任意小。例5设总体X服从参数为的指数分布，即有概率密度f(x,)ex,x00,x00)又X",,人为来自于总体X的样本值，试求的极大似然估计.解似然函数为nnXiLi/।\n_xni1L(X1,X2,L,Xn；)eei1n于是InLnlnxi,i1dInLd方程的根为dInLdnnXii1Xii1经验证,InL()在到最大值，所以估计。例6设X,Xz,2N(,)的一个样本值，求的极大似然,Xn为正态总体⑴和2的极大似然估计；(2)P{Xt}的极大似然估计.解(1)似然函数为n工『1exp[-(Xi)2]，2)/n(Xi)2,InLnln(22解方程组TOC\o"1-5"\h\z1n——xixnii(Xx)2,21n21n2—(xi?)2一这就是和2的极大似然估计,即L(?,?2)maxL(,2).(2)因为P{Xt}F(t)(t-),由(1)知道似然函数L(,2)在(?,?2)处达到最大值,(t一)中的参数取?时，即取(t一)为(一)时，似然函数L(,2)在(?,？2)处达到最大值，所以P{Xt}的极大似然估计为t?(下).TOC\o"1-5"\h\zHYPERLINK\l"bookmark36"\o"CurrentDocument"由此可见，对于正态总体，的矩估计和极大似然估计是相同的，都是样本均值。2的矩估计是样本方差n一(为x)2极大似然估计是人21n-2n12一(xx)s。ni1n在有些书中，定义样本方差为*2s(xix)2.例7设总体X的概率密度为(x)f(x,)e,x0,x又X,乂2,,人为来自于总体X的样本值，求参数的极大似然估计。解令x；min{x1,,4},似然函数TOC\o"1-5"\h\zn(X)*e,x1i1,*0,x1当x*时，L()是的单调增函数,*L()L(x)；*当x1时，L()0。八于是L()在x；处达到最大值，所以的极大似然估计TOC\o"1-5"\h\zmin{X,,Xn}.例设总体X的概率密度为0)-,0x/f(x,),(0,其它又XE,,xn为来自于总体X的样本值，求参数的极大似然估计。人*令xnmax{x1,L,xn},似然函数TOC\o"1-5"\h\z1*—,xn,*0,xn当L()x；时，L()是的单调减函数,*L(x；)；*,x；时，L()0。于是L()在xn*处达到最大值,所以的极大似然估计max{x「L,xn}.实例：估计某路公交车几分钟发趟。2、离散型总体参数的极大似然估计以上介绍了连续总体的极大似然估计，现来看离散型的总体的极大似然估计。一般地，若总体X是离散型的随机变量，有分布律（分布列）是未知参数（）【离散型】设X1,X2,,X.为来自于总体X的样本值■{81,82,,ak,},i1,2,,n）,则似然函数为P（Xi；）p（Xz；）P（Xn；）|.A如果有一个统计量（Xi,X2,,Xn）,使SUpL（Xi,X2,,Xn；）,则称（Xi，X2，,Xn）是的极大似然估计量。例8设总体X服从参数为的泊松分布，即X有分布列（分布律)(0,),试求的是未知参数，极大似然估计o解样本的似然函数为Xi{0,1,2,),i1,2,,n.nxjlnln(Xi!),InL(x1,x2,,Xn；)从回0可以解出XiX。当Xi0时,i12InL2Xi所以1nL(X1,X2,,Xn；-Xi)supL(X1,X2,ni1Xi0时，X1X这时0,,Xn；),(*)L(X1,X2,,Xn；)supL(X1,X2,L,Xn；),(**)由(*),(**)知，an(X1,x2,,Xn)-X是的极大似n11然估计。例11设总体X的概率分布为0123其中1是未知参］(0-)23,1,3,0,3,123求的矩估计值和最大似然估计值。解因为34，令EXX,即34X,于是彳1用样本均值X-(3130318得到的矩情计值为?32102s44对于给定的样本值，似然函数为【一个46(1)2(12)4,数，利用总体X的如下得矩估计量为？3X423)2,代入，0,两个1,一个2,四个3】取对数得InL()In46ln2ln(1将上式对求导数，得dInL()6_2_8d112_2令dInL()62824“d(1)(12)1并注息到条件0-,可解得2?7"130,2829。12)4ln(12),628242(1)(12)0,的极大似然倩计值为除了上面介绍的矩法和极大似然法以外，还有其它估计总体参数的方法，如顺序统计量法，这里就不介绍了。