极大似然估计
?6.2 极大似然估计
极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是:一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。我们来看一个例子。(例题略)
下面我们对连续型与离散型母体两种情形阐述极大似然估计。
,,,f(x;,):,,,,,,设，，…，为取自具有概率函数的母体的一个n12
,,,,子样。子样，，…，的联合概率函数在取已知观测值x，i=1，…n时ni12i
,f(x;,)的值f(x;,)f(x;,)…是的函数。我们用L()= L(;x，… ，x),,nn121表示，称作这个子样的似然函数。于是
f(x;,))= L(;x，… ，x)=f(x;,)f(x;,)… (6.8)L(,,nn121
如果是离散型母体，L(;x，… ，x)给出观测到(x，x，… ，x),nn211
的概率。因此，可以把L(;x，… ，x)看成为了观测到(x，x，… ，x),nn211
时出现什么样的可能性的一个测度。所以我们只要寻找这样的观测值(x，x，… ，,21
:::,x)的函数=(x，… ，x)，以代使 ,,,nn1ii
sup L(;x，… ，x)=L(;x，… ，x) (6.9),,nn11,,,
:,成立。满足(6.9)式的(x，… ，x)就是最可能产生x，… ，x的参数的,nn11
::,(,,？,,)值。我们称,(x，… ，x)为参数的极大似然估计值，其相应的统计量,n11n称作参数的极大似然估计量。 ,
,(,,？,,),f(x;,) 如果是连续型，，?表示密度函数。于是子样落入点,1n1
n
f(x;,),x(x，… ，x)的邻域内的概率为，同样是的函数。既然(x，… ，,,nii11,1i
(,,？,,)x)在一次抽样中出现，当然可以认为子样落在(x，… ，x)的邻1nnn1
n:f(x;,),x,域内的概率达到最大。所以我们只要找出使达到最大的的值,,ii,1i
,x(x，… ，x)。由于是不依赖于的增量，我们也只须求出使得,in1
n
f(x;,),x;x，… ，x)= L(,,nii1,1i
达到最大值的，便可得到极大似然估计。综上所述知道，连续型母体的参数的极大似然估计同样可以用(6.8)与(6.9)两式表示。
由于lnx是x的单调增函数，使
:sup lnL(x，… ，x)=lnL(x，… ，x) (6.10),nn11,,,
::成立的也使(6.9)成立，所以有时我们只要从(6.10)中求就好了。(例题略),,
极大似然估计有一简单而有用的性质。
:f(x,,) 性质 设,为中参数的极大似然估计，并且函数u=u()具有反函数=,,,1
::,(u)，则= u (,)是u()的极大似然估计。这里?，u为u()的值域。(证明略),u,,,
极大似然估计量还有一个重要性质—渐近正态性，这对以后在大子样情形求参数的区间估计和进行假设检验时很有用。杜克首先提出这一性质的证明。下面我们对连续型随机变量以定理的形式叙述这一性质。对离散型随机变量，只要以求和号代积分号，便可得到类似的定理。
,f(x,,),, 定理6.1 设随机变量具有密度函数，未知参数?，为非退化区,间，假定
23,f,logfloglog,f,(1)对于任何一个?和任一个数x偏导数，和存在;,23,,,,,,
,(2)对于中每一个值，不等式 ,
23,f,f,f,F(x) ，， (6.19),F(x),F(x)12323,,,,,,
(x)(x)(x)成立，其中函数F，F在整个数轴上()可积，而函数F满足不等,,,,312
式
,
F(x)f(x,,)dx,M (6.20)3,,,
其中M与无关; ,
, (3)对于中每一个， ,
,,logf2,flog2()f(x,,)dx,, 0
本文档为【极大似然估计】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483