极大似然估计法（doc X页）

极大似然估计法（doc X页） 《概率论与数理统计》典型教案 教学内容:极大似然估计法 教学目的: 通过本节内容的教学，使学生: 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法; 2、理解极大似然思想; 3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值( 教学重点: 1、对极大似然思想阐述; 2、极大似然估计值的求解( 教学难点: 对不能通过求导方法获得极大似然估计的值的确定( 教学时数:,学时( 教学过程: 引例:某位同学与一位猎人一起外出打猎，一只野兔从前方窜过(只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的,你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的( 这个例子所作的推断就体现了极大似然法的基本思想( 一、极大似然思想 ,,,,A一般地说，事件与参数有关，取值不同，则也不同(若P(A) ,,A发生了，则认为此时的值就是的估计值(这就是极大似然思想(看一例子:例,、设袋中装有许多黑、白球，不同颜色球的数量比为3:1， P试设计一种方法，估计任取一球为黑球的概率( PP分析:易知的值无非是1/4或3/4(为估计的值，现从袋中有放 X回地任取3只球，用表示其中的黑球数，则X~b(3,P)(按极大似然 P估计思想，对的取值进行估计( PXk,0,1,2,3解:对的不同取值，取的概率可列表如下: 1 , , , , X 1272791P, 464646464 3927271 P,464646464 1,,k,0,1,4ˆ故根据极大似然思想即知:( P,,3,k,2,3,4, 在上面的例子中，P是分布中的参数，它只能取两个值:1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4(在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个( 二、似然函数与极大似然估计 1、离散分布场合: ,X设总体是离散型随机变量，其概率函数为，其中是未知p(x;,) X参数(设为取自总体的样本(的联合概率函X,X,？,XX,X,？,X12n12n n ,数为，这里，是常量，是变量( X,X,？,Xp(X;,)12n,ii,1 若我们已知样本取的值是x,x,？,x，则事件12n n ,{X,x,X,x,？,X,x}发生的概率为(这一概率随的p(x;,)1122nn,ii,1 x,x,？,x值而变化(从直观上来看，既然样本值出现了，它们出现的12n n ,概率相对来说应比较大，应使取比较大的值(换句话说，应p(x;,),ii,1 ,x,x,？,x使样本值的出现具有最大的概率(将上式看作的函数，并用12n L(,)表示，就有: 2 n (,) L,(),L(x,x,？,x;,),p(x;,)12,ni,1i ,,称为似然函数(极大似然估计法就是在参数的可能取值范围内，L(,) ˆ,,选取使达到最大的参数值，作为参数的估计值(即取，使,L(,) ˆL,(),L(x,x,？,x;,),maxL(x,x,？,x;,) (,) 12n12n,,, ,因此，求总体参数的极大似然估计值的问题就是求似然函数L(,) ,dL()的最大值问题(这可通过解下面的方程,0 (,) d, ,lnLLlnLL来解决(因为是的增函数，所以与在的同一值处取得最大值(我们称为对数似然函数(因此，常将方程(,)写成: l(,),lnL(,) ,dLln(),0 (,) d, ˆ,方程(,)称为似然方程(解方程(,)或(,)得到的,就是参数的极大似然估计值( 如果方程(,)有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值(有时，直接用(,)式行不通，这时必须回到原始定义(,)进行求解( ,、连续分布场合: X设总体是连续离散型随机变量，其概率密度函数为，若取f(x;,) x,x,？,x(X,X,？,X)得样本观察值为，则因为随机点取值为12n12n n (x,x,？,x)时联合密度函数值为(所以，按极大似然法，应f(x;,)12n,ii,1 ,选择的值使此概率达到最大(我们取似然函数为 n ,，再按前述方法求参数的极大似然估计值( L(,),f(x;,),i,1i 三、求极大似然估计的方法 3 1、可通过求导获得极大似然估计: 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值( 例,、设某工序生产的产品的不合格率为，抽个产品作检验，pn 发现有个不合格，试求的极大似然估计( Tp 分析:设是抽查一个产品时的不合格品个数，则服从参数为XXp的二点分布(抽查个产品，则得样本，其观察值为X,X,？,Xnb(1,p)12n ，假如样本有T个不合格，即表示中有T个取值为x,x,？,xx,x,？,x12n12n n,T,，个取值为,(按离散分布场合方法，求的极大似然估计( p n1,xxii解:(,)写出似然函数: L(p),p(1,P),,1i (,)对取对数，得对数似然函数: L(p)l(p) nn l(p),[xlnp，(1,x)ln(1,p)],nln(1,p)，x[lnp,ln(1,p)],,iii,1,1ii pp(,)由于对的导数存在，故将对求导，令其为,，l(p)l(p) nndl(p)n11n1得似然方程: ,,，x(，),,，x,0,i,idp1,pp1,p1,pp(1,p)i,1i,1 n1ˆ(,)解似然方程得: p,x,x,in,1i 2dl(p)ˆˆ(,)经验证，在时，,0，这表明可使似然函数p,xp,x2dp 达到最大 (,)上述过程对任一样本观测值都成立，故用样本代替观察值便 4 得的极大似然估计为: ˆpp,X Tˆ将观察值代入，可得的极大似然估计值为:，其中p,x,pn n ( T,x,i,1i 若总体的分布中含有多个未知参数时，似然函数是XL,,,,？,,12k这些参数的多元函数(代替方程(,)，我们有方程组L(,,？,,)1k ,(lnL)ˆˆˆ，由这个方程组解得分别是参数,0(i,1,2,？,k),,？,,,,12k,,i 的极大似然估计值( ,,,,？,,12k 例,、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 222n,100，其中未知(为估计，从中随机抽取根轴，N(,,,),,,,,, 2测得其偏差为(试求的极大似然估计( x,x,？,x,,,12100 分析:显然，该问题是求解含有多个(两个)未知参数的极大似然 2估计问题(通过建立关于未知参数的似然方程组，从而进行求解( ,,, 解:(,)写出似然函数: n2,()x,i,2,()x,n1,iin,,,12222,22,2L,(,,)e(2,,)e ,,,2,,1i, (,)写出对数似然函数: 2nn122 l(,,,),,ln(2,,),(x,,),i222,,i1 22(,)将分别对求偏导，并令它们都为,，得似然方l(,,,),、, 5 2n,,,,l(,)12,,,,(x)0,i,2,,,,i,1程组为: ,2n,,,l(,)n12,,,，(x,,),0,i224,,22,,,i,1, (,)解似然方程组得: n122， ˆˆ,,(x,x),,x,in,1i 22ˆˆ(,)经验证使达到极大， ,,,l(,,,) (,)上述过程对一切样本观察值成立，故用样本代替观察值，便 2得的极大似然估计分别为: ,,, n1222ˆˆ，( ,,(X,X),S,,X,inn,i1 ,、不可通过求导方法获得极大似然估计: 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义(,)出发直接求的L(,)极大值点( X例4、设总体服从均匀分布，从中获得容量为的样本nU(0,,) ,X,X,？,Xx,x,？,x，其观测值为，试求的极大似然估计( 12n12n ,分析:当写出其似然函数时，我们会发现的非零区域与有L(,)L(,) ,关，因而无法用求导方法来获得的极大似然估计，从而转向定义(,)直接求的极大值( L(,) 解:写出似然函数: ,n,,xx,,0,,,(1)(n)L(), ,,0,其它场合, ,,xL(,)为使达到极大，就必须使尽可能小，但是不能小于，因(n) 6 ,,而取时使达到极大，故的极大似然估计为: xL(,)(n) ˆ( ,X,(n) ˆ进一步，可讨论估计的无偏性: , 由于总体，其密度函数与分布函数分别为: X~U(0,,) 0,x,0,1,,x,,0,,x,ˆ,(),px，，从而的概率密度函数F(x),0x,,,,X,,,,(n),,,0,其它,1,x,,, n,1nyn,1p,n[F(y)]p(y),,0,y,,为: ˆn,, n,,nynˆE()E(X)yp(y)dydy,,,,,,,, ˆ()nn,,,00n1，, ˆˆ,,这说明的极大似然估计不是的无偏估计，但对,作一修正可,,X(n) n，1ˆ,,,X得的无偏估计为:( 1(n)n 通过修正获得未知参数的无偏估计，这是一种常用的方法(在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计( 综上，可得求极大似然估计值的一般步骤( 四、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数(或联合密度); 2、把样本联合概率函数(或联合密度)中自变量看成已知常数，而 ,把参数看作自变量，得到似然函数; L(,) 3、求似然函数L(,)的最大值点(常转化为求对数似然函数l(,)的最大值点); 4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值( 7 五、极大似然估计的不变性 ,求未知参数的某种函数的极大似然估计可用极大似然估计的g(,) 不变原则，证明从略( ˆ,,定理(不变原则)设是的极大似然估计，是的连续函数，,g(,) ˆ则的极大似然估计为( g(,)g(,) ,例5、设某元件失效时间服从参数为的指数分布，其密度函数为 ,,x,，未知(现从中抽取了个元件测得其失效时间为nf(x;,),,e,x,0 ,，试求及平均寿命的极大似然估计( x,x,？,x12n ,X分析:可先求的极大似然估计，由于元件的平均寿命即为的期 1,E(X),望值，在指数分布场合，有，它是的函数，故可用极大似然, 估计的不变原则，求其极大似然估计( nn,x,i,,xn,,1ii解:(,)写出似然函数: L(,),e,e,,,1i, n (,)取对数得对数似然函数: l(,),nln,,,x,i,1i n,dl()n,(,)将对求导得似然方程为: l(,),,x,0,i,,di,1 n1ˆ,,,(,)解似然方程得: nxx,i,1i ˆ,经验证，能使l(,)达到最大，由于上述过程对一切样本观察值成 1ˆ,,,立，故的极大似然估计为:; X 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为: 8 1E(X),,X( ˆ, 五、小结 1、极大似然估计的思想; 2、求解未知参数极大似然估计的一般步骤; 3、极大似然估计的不变原则( 五、作业 见参考文献1的第278页第4，5，6页( 参考文献: 1、苏均和主编:概率论与数理统计，上海财经大学出版社(1999年1版( 2、茆诗松等编著:概率论与数理统计，中国统计出版社(1999年1版( 3、魏振军编:概率论与数理统计三十三讲，中国统计出版社(2000年1版( 4、唐生强主编:概率论与数理统计复习指导，科学出版社(1999年1版( 9