带线性约束的回归模型参数估计的新研究

第 30卷 � 第 4期 2010年 12月 数学理论与应用 MATHEMAT ICAL THEORY AND APPLICATIONS Vo.l 30 No. 4 Dec. 2010 带线性约束的回归模型参数估计的新研究* 吴 � 平 � 王中艳 � 陈兰花 (空军雷达学院基础部, 武汉, 430019) 摘 � 要 � 针对一般带约束的最小二乘估计 ( ORLSE )在参数估计中处理复共线性的不足, 引入随机线性约束, 提出 了约束 k- d估计 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 。在均方误差 ( MSE)下,讨论了它的性质, 得到了四个主要结果 ,与带约束的最小二乘估计 ORLSE、约束岭估计 ( RRE)和约束型 L iu估计比较,得出更好的结论。 关键词 � 线性回归 � 复共线性 � k- d型估计 � 均方误差 New Research on An Estimation of Parameter For the L inear M odel with L inear Restrictions Wu Ping� W ang Zhongyan� Chen Lanhua ( Departm ent o f The Basics, AFRA, W uhan, 430019) Abstract� In order to o vercom e th e shortage of the m u ltico llinea rity in o rd inary re str icted le ast square est im a tion w ith pa ram ete r estim ate, based on the sto ch astic lin ear restric tion s, a new estim ation as restr icted linea r k - d - type e stim a tion is p ropo sed. In the m ean squ ared erro r sense, d iscu ss its propert ie s, g et three m a in resu lts, com� pa re w ith the o rd inary restric ted least squ ares estim at ion , and the re str icted r idge estim ation, the m e thod w e pro� posed w as supe rio r. K eywords� L inear regression� M ulticollinear ity� k- d estinm ate� M ean square error sense 1� 预备知识 当设计矩阵 X为病态阵时,带线性约束条件的线性模型 �: Y = X �+ �, �~ (0, 2In n ) R� = r 的最小二乘估计性质的稳定性是回归 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 研究的热点问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 之一.其中 Y为 n 1维观测向量, X 为 n p阶列满秩设计矩阵, I为 n阶单位矩阵, �为未知的 p维参数向量, 2为未知参数, �为 n维随 机误差向量, �^= (XTX )- 1XT y, S = X TX。Grob[ 1]通过引入随机方程 0 = k 12 �+ �!建立了所谓约束 * 刘再明 � 教授推荐 收稿日期: 2010年 6月 8日 数学理论与应用 型岭估计 �^R ( k ) = �^( k ) + Sk - 1 RT (RSk - 1RT ) - 1 ( r - R �^( k ) ) ( 1) 其中 Sk = XTX + kI, �^( k ) = Sk- 1XT y无约束岭估计, k ∀ 0。黄文焕 [ 2]通过引入 d�^ k 1 2 = k 1 2 �+ �建立 了约束性 L iu估计: �^L ( k, d ) = �^L + S- 1k RT (RS- 1k RT )- 1 ( r - R �^L ) ( 2) 其中 Sk = XTX + kI, �^L = Sk- 1 (XT y + d�^)为无约束 L iu估计, k ∀ 0, d为实数。还可以通过引入随 机方程 d�^( k ) k 1 2 = k 1 2 �+ �!在线性约束条件 R� = r下得到 �的一个估计 �^* ( k, d ) = �^*k-d + Sk- 1RT [RSk - 1RT ] -1 ( r - R �^*k-d ) ( 3) 其中 �^*k-d = (XT X + kI )- 1 (XT y + d�^( k ) ), Sk = (XTX + kI ), �^( k ) = (XTX + kI ) -1XT y。 本文在 k- d型估计 [ 3] �^k-d = (XTX + I )- 1 (XT y + d�^( k ) )的基础上通过引入随机扩展约束提 出了在线性约束条件下的 k- d估计方法,既保证了估计参数的稳定性又使得估计参数近似于无偏 性,与 ( 1)、( 2)相比均方误差更小 (M SE)。 2� 估计的提出 在模型 #中,引进随机线性约束得模型#: y = X�+ �, �~ (0, 2In n ) d�^( k ) = �+ �! R�= r , 其中 k∀ 0, d为实数, �!为 p 1误差向量且 �!~ ( 0, 2Ip p )。由 �!中各分量与模型中各分量相互 独立知 ( �, �!)T ~ ( 0, 2I( n+p ) ( n p) ), 将模型 #的参数估计问题转化为求解最小二乘估计, 利用拉 格朗日乘数法,引入函数 L ( �, k, !) = y d �^( k ) - X I � T y d�^( k ) - X I � + 2!T (R�- r)。 分别对 �, !求导得 �L ( �, k, !)�� = 2(X T X + I) �- 2(XT y + d�^( k ) ) + 2RT !, ( 4) �L (�, k, !) �! = 2(R�- r)。 ( 5) 令 ( 4)式等于零向量,则 �^( k, d ) = (X TX + I )- 1 (XT y + d�^( k ) - RT !)。 ( 6) 又因 �^( k, d ) 满足 R �^( k, d ) = R (XTX + I )- 1 (XT y + d�^( k) - RT !) = r, 得到 !^ = [R (XTX + I ) - 1 R T ] - 1 [R (X T X + I) - 1 (X T y + d �^( k ) ) - r]代入 ( 6)式得 �^( k, d ) = �^k- d + S I- 1 RT [RS I - 1 RT ] - 1 ( r - R �^k- d ) ( 7) 104 带线性约束的回归模型参数估计的新研究 其中 �^k-d = (X TX + I) - 1 (X T y + d �^( k ) ), S I = (XTX + I), �^( k ) = (XTX + kI) - 1XT y为无约束的岭 估计, k ∀ 0, d为实数。称 �^( k, d )为带线性约束条件的 k- d型估计。 定义 2. 1[ 4] � 设 �是 �的估计量,则 �的均方误差 MSE ( �) = E ( �- �)T ( �- �) = tr( V ( �) ) + (B ia s( �) )TB ias( �) , 其中 B ias( �) = E ( �- �)。 3� 主要定理及其证明 引理 3. 1[ 5] � 设 M I ! SI - 1 - SI - 1RT [RS I - 1RT ] - 1RSI - 1,则M I是对称非零阵。 定理 3. 1� 在线性约束 R�= r的条件下, �^( k, d )的估计偏差为 E ( �^( k, d ) ) - �= ∀�, 其中 ∀ = M I ( dSk - 1 X T X - I )。 证明 � 先求不带约束条件的 k- d估计均值 E �^k-d = E ( (XTX + I ) - 1 (XT y + d �^( k ) ) ) = S- 1I [ I + dS- 1k ]XTX � ( 8) 这里 SI = (XTX + I), Sk = (XTX + kI )。 设 �0 = RT (RRT )- 1 r,显然 R�0 = r, 于是 �^( k, d ) = �^k-d + SI - 1RT (R SI - 1RT ) - 1 ( r - R �^k-d ) = M IS I �^k-d - M IS I�0 + �0 = M ISI ( �^k- d - �0 ) + �0 ( 9) 由 ( 8) - ( 9)式得 E ( �^( k, d ) ) = M IS I [ SI - 1 ( I + dSk- 1 )XTX �- �0 ] + �0 = M IS I ( �- �0 ) + �0 + M I ( dSk - 1 XT X - I) � 又因 R� = r, R�0 = r, 有M IS I ( �- �0 ) = �- �0, 所以 E ( �^( k, d ) ) - � = M I ( dSk- 1XT X - I )� = ∀�。 由定义 2. 2和定理 3. 1,容易得到下面的定理 定理 3. 2� 在满足线性约束条件 R� = r下, �^( k, d )的均方误差为 MSE ( �^( k, d ) ) = 2 # + �T (dSk - 1XT X - I )M I M I ( dSk -1 XTX - I )� 其中 # = tr(M I ( I + dS- 1k )XTX ( I + dS- 1k )M I )。 定理 3. 3� 对于任意的 k > 0, 使得 �^( k, d )在 MSE意义下优于带约束的岭估计 �^R ( k )。 证明 � 根据定义 2. 1,带约束的岭估计 �^R ( k )的均方误差 MSE ( �^R ( k ) ) = 2 tr(M kXTXM k ) + k2�TM kM k�, 同理 �^* ( k, d )的均方误差为 MSE ( �^* ( k, d ) ) = 2# + �T ( dSk - 1 XT X - kI )M kM k (dSk - 1 XT X - kI) � 其中 # = tr(M k ( I + dS- 1k )XTX ( I + dS- 1k )M k ), M k ! Sk- 1 - Sk- 1 RT [RSk- 1 RT ] - 1 RSk- 1, 则 ∃ ! MSE ( �^* ( k, d ) ) - M SE ( �^R ( k ) ) = 2 tr(M k ( I + dS- 1k )XTX ( I + dS- 1k )M k ) + 105 数学理论与应用 � � �T (dSk - 1 XT X - kI)M k M k ( dSk- 1 X T X - kI ) �- 2 tr (M kXTXM k ) - k2�TM kM k �。 对矩阵迹求导得 �tr ( 2M k ( I + dS- 1k )XTX ( I + dS- 1k )M k ) �d = 2 2 tr [M kS- 1k XTXM k + dM kS-1k XTXS- 1k M k ]。 对 ∃ 关于 d求导得 �∃ �d = �tr ( 2M k ( I + dS- 1k )XTX ( I + dS- 1k )M k ) �d + 2d� T S - 1 k X T XM kM kS - 1 k X T X � - k�T S-1k XTXM kM k �- k�TM kM kS- 1k XTX�。 ( 10) 对 ( 10)式关于 d求导 �2∃ �d2 = 2 2 tr[M kS - 1 k X T XS - 1 k M k ] + 2�T ( I - kS- 1k )M kM k ( I - kS- 1k )� > 0。 由函数极值的有关性质知,对任意 k > 0, MSE ( �^* ( k, d) )关于 d可达最小值。令 ( 10)式等于零, 化简得 d = 1 2 k�T ( S- 1k XTXM kM k + M kM kS- 1k XTX ) �- 2 2 tr(M kS- 1k XTXM k ) 2 tr(M kS- 1k X TXS- 1k M k ) + �T S- 1k XTXM kM kS- 1k X TX � ( 11) 故 ∃ 的极小值为 m in d ∃ = - [ k� T ( S - 1 k X T XM kM k + M kM kS - 1 k X T X ) �- 2 2 tr(M kS- 1k X TXM k ) ] 2 4[ 2 tr(M kS- 1k X TXS- 1k M k ) + �T ( I - kS- 1k )M kM k ( I - kS- 1k ) �] < 0 ( 12) 由 ( 11)式知, 当 k�T ( S- 1k XTXM kM k + M kM kS-1k XTX ) � = 2 2 tr (M kS- 1k XTXM k ) 即 d = 0时, �^* ( k, d ) 为带约束的岭估计。 ( 12)式中 ∃ = 0。因而,适当选择 k的值, 使 �^* ( k, d )在 MSE意义下优于带 约束岭估计 �^R ( k ),即 �^* ( k, d )改进了岭估计。而当 k = 1时, �^* ( k, d ) = �^( k, d ), 进一步说明了 �^( k, d )在均方误差下优于 �^R ( k )。即证。 定理 3. 3说明可通过引进 d使带约束估计的均方误差进一步减小。 参考文献: [ 1] Jurgen G rob. Restr icted r idge estim ation[ J]. S tatistics and P robab ility Letter, 2003, 65, 57- 64. [ 2] 黄文焕, 戚佳金.带线性约束的回归模型参数 L iu估计方法 [ J]. 系统科学与数学, 2009, 29( 7), 937- 946. [ 3] 吴平, 刘清国.线性回归模型的一种新估计 [ J].空军雷达学院学报, 2009, 23, 205- 206. [ 4] 王松桂. 线性模型的理论及应用 [ M ].合肥: 安徽教育出版社, 1987. [ 5] Zhen Zhong, H u Yang. R idge estim ation to the restr ic ted linear model[ J]. Comm S tatist Theo ryM e thods, 2007, 36, 2009- 2015. 106