极大似然估计及其性质
一、极大似然估计
设联合密度函数为
则似然函数为
似然函数
为使关于
的似然函数最大化，求
的一个估计
，使获得的已观测到的样本值的概率自大化，即最大似然估计量（MLE）。
定义对数似然函数为
则
最大化
的
值也会最大化
，
对
的导数
称作得分，将得分定义为0，即可解出（MLE）
，即
二、MLE的性质
1、一致性。
2、渐进正态性。
式中
为信息矩阵
当
是一个
维向量时，
表示
个偏导数组成的列向量，即
而
的二阶导数为
3、渐进有效性。
4、不变性。
如果
是
的MLE，
是
的连续函数，则
是
的MLE。
5、得分的均值为0，方差为
。
三、线性模型的极大似然估计
设
的多元正态密度函数为
关于
的多元条件密度为
是由
中元素关于
中元素的偏导数组成的
矩阵转换成的行列式的绝对值，并且为恒等矩阵。则上述意义下的对数似然函数为
求
的偏导数
令其为零，可解出极大似然估计
并且，
，但
不是
的无偏估计，由于
（基于同方差性），因此，求二阶导数为
按照信息矩阵的定义，则
它的逆为
为满秩矩阵
将
、
的结果代入似然函数
，可得似然函数的最大值为
其中，
为常数，它与模型中的任何参数都无关系。
四、三大检验
设一般线性假设为
为
阶矩阵，
为
维已知向量。
设无约束条件的似然函数最大值为
，约束条件的似然函数最大值为
，则似然比为
如果
很小，则凭自觉拒绝原假设，在某些情况下，可以由
的某些特殊变换来对
的“很小”导出精确的有限样本检验（统计）量，普遍适用的大样本检验是
通过拉格朗日函数（求条件极值）求最大化
可得约束的极大似然估计，令其残差为
，
的约束条件的极大似然估计为
，则
其中，
为常数，它与模型中的任何参数都无关系。由似然比
2、
检验。
在
成立下，有
，可得
为
中约束条件的个数。用
的一致估计量
代替上式中的
，则
3、LM检验。
记得分为
当约束条件有效时，
应趋近于
。则此时，有
。可以证明，在
成立的情况下，
其中
用
代替
，
代替
，向量
满足
，则
并且，信息矩阵的逆矩阵为
所以，
Engle证明了，在大样本下，
其中，
为
对
的辅助函数的可决系数。
_1350413263.unknown
_1350561572.unknown
_1350562178.unknown
_1350564085.unknown
_1350565121.unknown
_1350566417.unknown
_1350566777.unknown
_1350567040.unknown
_1350567154.unknown
_1350567875.unknown
_1350567949.unknown
_1350567965.unknown
_1350567930.unknown
_1350567229.unknown
_1350567070.unknown
_1350566963.unknown
_1350567022.unknown
_1350566942.unknown
_1350566735.unknown
_1350566745.unknown
_1350566634.unknown
_1350566721.unknown
_1350566609.unknown
_1350565916.unknown
_1350566016.unknown
_1350566196.unknown
_1350565929.unknown
_1350565710.unknown
_1350565784.unknown
_1350565565.unknown
_1350564621.unknown
_1350564990.unknown
_1350564708.unknown
_1350564785.unknown
_1350564270.unknown
_1350564386.unknown
_1350564213.unknown
_1350563771.unknown
_1350563828.unknown
_1350563963.unknown
_1350564022.unknown
_1350563840.unknown
_1350563797.unknown
_1350563207.unknown
_1350563390.unknown
_1350563638.unknown
_1350563740.unknown
_1350563423.unknown
_1350563351.unknown
_1350562298.unknown
_1350562688.unknown
_1350562108.unknown
_1350562130.unknown
_1350562150.unknown
_1350561783.unknown
_1350561967.unknown
_1350561750.unknown
_1350561100.unknown
_1350561253.unknown
_1350561337.unknown
_1350561443.unknown
_1350561284.unknown
_1350561239.unknown
_1350561023.unknown
_1350561065.unknown
_1350413442.unknown
_1350413447.unknown
_1350413405.unknown
_1350412187.unknown
_1350412702.unknown
_1350412842.unknown
_1350412963.unknown
_1350412771.unknown
_1350412454.unknown
_1350412304.unknown
_1350412413.unknown
_1350411807.unknown
_1350411893.unknown
_1350412015.unknown
_1350411847.unknown
_1350411534.unknown
_1350411560.unknown
_1350411319.unknown
_1350411421.unknown
_1350411435.unknown
_1350411393.unknown
_1350411188.unknown
本文档为【极大似然估计及其性质】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483