第08章 对数极大似然估计

第08章 对数极大似然估计 1 第八章对数极大似然估计 极大似然估计法(imum likelihood, ML)，是不同于最小二乘法的另一种参数估计 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 ，是从极大似然原理发展起来的其他估计方法的基础。虽然其应用没有最小二乘法普遍，但在计量经济学理论上占据很重要的地位，因为极大似然原理比最小二乘原理更本质地揭示了通过样本估计母体参数的内在机理，计量经济学理论的发展更多的是以极大似然估计原理为基础的，对于一些特殊的计量经济学模型，只有极大似然方法才是很成功的估计方法。 2 EViews包含了一些常用方法，如最小二乘法、非线性最小二乘法、加权最小二乘法、TSLS、GMM、ARIMA、ARCH、GARCH等方法，这些方法可以解决可能遇到的大多数估计问题。但是，我们在研究中也可能会碰到一些不在上述之列的特殊的模型，这些模型可能是现存方法的一个扩展，也可能是一类全新的问题。 为了能解决这些特殊的问题，EViews提供了对数极大似然估计对象这一工具来估计各种不同类型的模型。对数极大似然估计对象提供了一个一般的，开放的工具，可以通过这个工具极大化相关参数的似然函数对一大类模型进行估计。 3 使用对数极大似然估计对象估计时，我们用EViews的序列生成器，将样本中各个观测值的对数似然贡献描述为一个未知参数的函数。可以给出似然函数中一个或多个参数的解析微分，也可以让EViews自动计算数值微分。EViews将寻找使得指定的似然函数最大化的参数值，并给出这些参数估计的估计 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 差。 在本章，我们将详细论述对数极大似然估计对象， 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 其一般特征。并给出了一些可以使用该方法的具体的例子。 4 ?8.1 对数极大似然估计的基本原理 ? 极大似然估计的基本原理 设总体的概率密度函数为P，其类型是已知的，但含有未知参数(向量)?。我们的目的就是依据从该总体抽得的随机样本y1, y2, „, yT ，寻求对?的估计。 观测值y1, y2, „, yT 的联合密度函数被给定为 ()其中:y = ( y1, y2, „, yT )?。将这一联合密度函数视为参数?的函数，称为样本的似然函数(likelihood function)。5 极大似然原理就是寻求参数的估计值 ，使得所给样本值的概率密度(即似然函数)的值在这个参数值之下，达到最大。在当前的情形下，就是寻求?的估计值，使得似然函数L(y ; ?) 相对于给定的观测值y1, y2, „, yT 而言达到最大值， 就被称为极大似然估计量。 6 在L(y ; ?) 关于?i(i =1, 2, „, n，n是未知参数的个数)的偏导数存在时，要使L(y ; ?) 取最大值，?必须满足, i =1, 2, „, n ()由上式可解得n?1 向量?的极大似然估计值 ，而式()也被称为似然函数。 7 因为L(y ; ?) 与ln[[]L(y ; ?))] 在同一点处取极值，所以也可以由, i =1, 2, „, n ()求得，因为对数可将乘积变成求和，所以，式()往往比直接使用式()来得方便。式()也被称为对数似然函数。 8 考虑多元线性回归模型的一般形 式 , t =1, 2 , „, T () 其中k 是解释变量个数，T 是观测值个数，随机扰动项 , ，那么yt 服从如下的正态分布: ,其中() 9 y 的随机抽取的T 个样本观测值的联合概率函数为 ()这就是变量y的似然函数，未知参数向量?={?1, ?2,„?k, ?2}。 对似然函数求极大值和对数似然函数求极大值是等价的，式()的对数似然函数形式为: () 10 注意，可以将对数似然函数写成t 时刻所有观测值的对数似然贡献和的形式， () 这里对数似然的单个贡献(用小写字母表示)由下面的式子给出: () 11 式()也可用标准正态分布的密度函数?表示 ()式中标准正态分布的对数似然函数?为 ()这里对数似然函数每个观测值的贡献式()又可以由下面的式子给出: () 12 ? EViews极大似然对象概述 用对数极大似然估计来估计一个模型，主要的工作是建立用来求解似然函数的说明文本。用EViews指定对数极大似然函数的说明是很容易的，因为似然函数的说明只是一系列对序列的赋值语句，这些赋值语句在极大化的过程中被反复的计算。我们所要做的只是写下一组语句，在计算时，这些语句将描述一个包含每个观测值对似然函数贡献的序列。13 注意到，我们能将对数似然函数写成所有观测值t 的对数似然贡献和的形式， 这里单个贡献由下面的式子给出: 14 以只含一个解释变量的一元线性回归方程为例 , t =1, 2 , „, T 假定知道模型参数的真实值，并且想用EViews产生一个包含每个 观测值的贡献的序列。 15 未知参数向量?={?0, ?1, ?2}, 可以将参数初值赋给系数向量的 c(1)到c(3)元素，然后把下面的赋值语句作为EViews的命令或程序来执行。 Series res = y-c(1)-c(2)*x Series var = c(3) Series logL1 = -log(2*3.14159*var)/2- (res[^]2/var)/2 前面两行语句描述了用来存储计算时的中间结果的序列。第一个语 句创建了残差序列:res，而第二个语句创建了方差序列:var。而序列logL1 包含了每个观测值的对数似然贡献的集合。16 下面考虑2个变量的例子: 这里，y, x, w 是观测序列，而={?1, ?2, ?3, ?2}是模型的参数。有T 个观测值的样本的对数似然函数可以写成: 这里，?是标准正态分布的密度函数。17 将这一例子的对数极大似然函数过程写成下面的赋值语句: Series res=y-c(1)-c(2)*x-c(3)*w Series var=c(4) Series logL1=log(@dnorm(res/@sqrt(var)))-log(var)/2 前面两行语句创建了残差序列res和方差序列var，参数c(1), c(2), c(3)代表了回归系数?1, ?2, ?3，c(4)代表了?2，序列logL1包含了每个 观测值的对数似然贡献的集合。 18 下面考虑稍复杂的例子，假设数据是由条件异方差回归模型生成 的: 这里，x, y, w 是观测序列，而={?1, ?2, ?3, ?2, ?}是模型的参数。有 T个观测值的样本的对数似然函数可以写成: 这里，?是标准正态分布的密度函数。19 将这一例子的对数极大似然函数过程写成下面的赋值语句: Series res=y-c(1)-c(2)*x-c(3)*w Series var=c(4)*w[^]c(5) Series logL1=log(@dnorm(res/@sqrt(var)))-log(var)/2 前面两行语句创建了残差序列res和方差序列var，参数c(1), c(2), c(3)代表回归系数?1, ?2, ?3，c(4)代表?2，c(5)代表?，序列logL1包含了每 个观测值的对数似然贡献的集合。 20 现在假定不知道模型参数的真实值，而想使用数据来估计它。参 数的极大似然估计被定义为:使得样本中所有随机抽取的一组观测值的联合概率密度，即似然函数取最大值的那组参数值。 而对数极大似然方法使得寻找这些极大似然估计变得容易了。只需创建一个对数似然对象，把上面的赋值语句输入到logL的说明窗口，然后让EViews来估计这个模型。 21 在输入赋值语句时，只需对上面的文本做两处微小的改动就可以了。首先，把每行开头的关键字series删掉(因为似然说明暗含了假定序列是当前的)。第二，必须在说明中加入额外的一行(关键字@logL为包含似然贡献的序列命名)。 这样，要在logL说明窗口输入下面的内容: @logL logl res = y-c(1)-c(2)*x-c(3)*w var = c(4)*w[^]c(5) logl = log(@dnorm(res/@sqrt(var)))-log(var)/2 对数似然函数的第一行，@logL logl，告诉EViews用logl序列来存储似然贡献。余下的行定义了中间结果的计算和实际的似然贡献的计算。22 当用EViews估计模型参数时，它将对不同参数值重复执行说明中的赋值语句，使用迭代法来求使得对数似然贡献最大的一组参数值。当EViews再不能提高全部似然贡献时，它将停止迭代并在估计输出中 报告 软件系统测试报告下载sgs报告如何下载关于路面塌陷情况报告535n,sgs报告怎么下载竣工报告下载 最终参数值和估计标准差。 本章下面的部分将更详细地讨论使用似然方法说明，估计和检验时要遵循的 规则 编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf 。 23 要创建一个似然对象，选择Objects/New Object.../ LogL或者 在命令窗口输入“logL”。似然窗口将打开一个空白说明视图。说明视图是一个文本窗口，在这个窗口里可以输入描述统计模型的说明语句，还可以设置控制估计程序各个方面的选项。 ? 似然说明24 1(似然的定义 正如上节中所描述的那样，似然说明的主线是一系列赋值语句，在计算时，这些赋值语句将产生一个包含样本中每个观测值的对数似然贡献的序列。赋值语句的多少可以自己决定。 25 每个似然说明都必须包含一个控制语句，该语句命名