自回归模型参数的最小二乘估计

自回归模型参数的最小二乘估计 林正华 冯仁忠 (())吉林大学数学系, 长春 130012 长春税务学院信息系, 长春 130021 提要: 利用约束 规划 污水管网监理规划下载职业规划大学生职业规划个人职业规划职业规划论文 及计算数学理论, 讨论自回归模型参数的精确估计方法, 给出求解参数 () 的方法, 计算量约为 个运算量. 此估计与原来的损失样本信息条件下的最小二乘估计 O N () 法求解的工作量 基本等价, 因此是一个可行的精确估计方法.O N () 关键词: 自回归模型; 参数估计; 最小二乘估计; 不损失样本信息 中图分类号:文献标识码: 文章编号: 052920279 20010220001204 A O 212. 1 1 引言 () 自回归 模型的参数估计是时间序列 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 中的基本问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 . 现有的方法都是在损失样本信息的 A R 1, 2 基础上得到的, 其中最有效的方法为最小二乘法, 本文称之为近似最小二乘法. 由于二阶平稳性是 () 时间序列分析中最常见的条件, 本文在此条件下进行分析, 即若序列{}满足条件: 1对任意整数 , x t t 2 ( ) ( ) 均 值 = 恒为常数; 2对任意整数 , [ =t Λ2 < + ?与 t 无关的常数; 3对任意整数 t, s, E x t Λ tE x [ ]只是 2的函数. E x tx s ts 考虑下列具有一般形式的 阶自回归模型:n n ()x = Υx + Ε,t = 0, ? 1, ? 2, ?, 1. 1 t it- i t ? i= 1 T ) ( 其中 , ?, 为模型参数, {}为白噪声序列, 满足 = 0, = 1, 且记参数向量 = , ?, ,Υ1 Υn Εt E Εt va r Εt ΥΥ1 Υn T ~( ) - 个 训 练 样 本 , ?, 记 为 . 模 型 的 近 似 最 小 二 乘 估 计 方 法 为 求 无 约 束 优 化 问 题N n x N x n+ 1 xA R N n 2 此时可以推得参数 的估计满足:m inx - Υx 的解, Υ t i t- i? ? nΥ?R t = n + 1 i= 1 ? x N - 1x N - n ζT - 1 T ~ζζζ υ ()() fi fi . 1. 2 () ςςςx,ς=ΥN = x ? x n 1 () ζN - n×n υ() 由于 ?,因此近似最小二乘估计损失了 行样本信息, 当 µ 时, 的误差相对较小;ςR n N n ΥN υ() 而当 与 相近时, 的误差较大, 甚至可能得不到满足要求的解. 本文借助约束规划理论, 给出 N n ΥN 一种新的参数估计方法, 该方法在理论上不损失样本信息, 在实践上也是方便可行的. 参 数 估 计2 T 2 ) ) ((记 = , ?, , 由于{} 是二阶平稳序列, 令 的方差 = , 协方差 , = x x N x 1 x t x t va r x t Ρco v x t x t- r 2 2 () ( ) () ( () ) ( ) ( ) , = , 阶协方差矩阵 中的 行 列为 = | - | , 其中 0= 1. 下 co v x t x t+ r ΘrΡk 8 k i j 8 k i j Θij ΡΘ 2( ) ( ) 面给出关于方差 、自相关系数 = 1, ?, - 1及自回归参数 的基本结论.ΡΘrrN Υ 引理 2. 1 若 n 阶 A R 模型满足平稳性条件, {Εt }为白噪声序列, 满足 E Εt = 0, va r Εt = 1, x t 的方 2 2 ( ) () 差 = , = , , 则ƒva r x t ΡΘrco v x t x t- r Ρ ( ) ( ( ( ) ) ) Θr- ΥΘr - 1- ΥΘr - 2- ? - ΥΘr - n = 0, r ? 1. 1 2 n 2 ) ( ) (() )(所以有 = 0, , = , , 0, . 再因为 n 阶 A R 模型满足平稳性条件, E x t co v x t x t- r ΘrΡxN 8 N 由引理 2. 1, 当 = 1, ?, 时, 有 rn )() (1 () Υ+ ΥΘ Θ- ? + Θ11 2 1+Υn n () () (Θ2)ΥΘ1+ Υ+ΥΘn -2 1 2 n ? + ()() () () 2. 2 = = 1 - ? - Υ1 Θ1-Υn Θn ]8 n Υ,fi fi ()Θn (() ) Υ ? + 1+ 2+ nΥ1 Θn -Υ2 Θn - 而当 = + 1, ?, - 1 时, 有 rn N )()) ( ( ( ) n . 2. 3 1+ ( ) ? + 2+ Θr= Υ1 Θr -Υ2 Θr -Υn Θr - - 1 (() (() () () () ) ) 因此 1, ?, - 1由 , ?, 确定, 于是 亦由 , ?, 确定. 若对 进行三角分 ΘΘN Υ1 Υn 8 N Υ1 Υn 8 N - 1 T() 解, 即存 在 上 三 角 矩 阵 , 使 得 = , 于 是 变 换 后 的 样 本 > 满 足 = = 0, G 8 N G G y G x Ey G E x T T () ) () () (, = , = = , 即 , 0, , 其中 仅依赖于未知参量 . 至此, 可得:co v y y G co v x x G G 8 N G I yN I y Υ 定理 2. 1 若 阶 模型满足平稳性条件, {}为白噪声序列, 满足 = 0, = 1, 的方 n A R Εt E Εt va r Εt x t 2 2 ) ( ) (() ) (差 = , , = , 则 均为正态分布, 满足 , 0, , 且关于 的最小二乘 va r x t Ρco v x t x t- r ΘrΡx t xN 8 N Υ 估计为 2 T - 1 () ()m in ‖y ‖= m in x 8 N x , 2. 4 () () () 其中 由 2. 2式和 2. 3式确定.8 N () 当 8 N 为满矩 () 2. 4式给出了最小二乘估计求未知参数 的理论模型, 此模型不损失样本信息.Υ () 模型 2. 4比传统的近似最小二乘估计本质上并未增加求解的运算量. 阵, µ 时, N n 为了说明这个问 T - 1 () 题, 的关系. 先考察一阶 模型, 分析 的实际计算量与 ×A R m in x 8 N x n N - 1 () () 例 2. 1则 为满矩阵, 而 为三对角矩阵, 若{x t }为平稳的一阶 A R 模型, 其形式为 8 N 8 N 1 - Υ0 12 - Υ1 + 1 - Υ Υ11- 1 ()() ω ω ω 2. 5 8 N = . 2 1 + Υ- Υ - Υ111 0 Υ- 11 2 ( ) ( ) , = 1ƒ+Εt t = 0, ? 1, ? 2, ?, 那 么 1= Υ1 Ρ Θ解: 由 于{} 为 一 阶 模 型, 即 =Υ1 x t- 1 x t A R x t r 2 ()) ( ) ( 1- 1. 因此, , = = 2, ?, -Υ1 ΘrΥ1 rN N - 1 1 Υ Υ? 1 1 Υω ω 1 fi 2 () ) (8 N = Υ, ƒ1 - 1 ω 1 Υfi 1 N - 1 ? ΥΥ1 1 1 - 1 () () 再由矩阵乘法运算知 的形式为 2. 5式.8 N 1 - Υ 1 ω ω - 1 T ()对于例 2. 1, 容易验证当上三角矩阵取为 G = 时, 8 N = G G. - Υ 1 1 2 1 - Υ1- 1 ( ( ) () ) () 下面讨论 阶 模型 的分解及计算.首先给出 Θ1, ?, Θn 关于 Υ的显 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达式: 由 n A R 8 N T - 1 () () () 2. 2式, 有 , , ?, = ,这里 Θ1 Θ2 Θn M ΥΥ 0 0 Υ? Υ 2n Υfi Ψ 1 0 Ψ ()() 2. 6 M Υ= I - - . Υfi ω n ω 0 0 ΥΥn- 1 ? 1 0 — 2 — - Υ Υ 1 ? - 1n ω ω ω - Υ- Υ 1 1? n()2. 7 G = , a n1 a nn ? fi ω a 11 i 2 ( ) () = , 满 足 a a Θ| lk | Ρ= 1, 其 中 ?, ? 时, 令 - 0 1, i n 且 当 > 1 ? < j na ij ik il a i i i ? k , l= 1 i j 2 T ) (k Ρ= 0. ) |(a a Θ| l -那么 = 0, = 1, Π ?{1, ?, }且 再令 = , ?, = ,Ey i va r y i iN ik j l y y N y 1 G x ?? k = 1 l= 1 - 1 T) () ()() (可由 , = 0 1?< ?, 于是 , 0, . 再由 的性质知, = 的分解惟一.G co v y i y j ij N yN I G 8 N G G () . 由 2. 7式知, 的关系为显式表示Υa i j i 2 () )()( + a a Θ1+1 2. 8 ? + Ρ= 1, ik ik il a ik a il Θi -? ? k = 1 | k - l| = 1 | k - l| = i- 1 i j () a r a Θ| l -()k = |1 ? j < i ? n. 2. 9 ik j l 0, ?? k = 1 l= 1 T () () 由 2. 9式知, , ?, = ,A a i1 a i, i- 1 Αa i i ()( )()a Θ a Θ- 2 ? a 011 111 i Θ11 2 2 2 ()()()a Θ l -1 a Θ l -2 a Θ l -1 ||||||? i + 2 l 2 l 2 l ? ? ? l= 1 l= 1 l= 1 A = , fi fi fi i- 1 i- 1 i- 1 ()()()a Θ| l -1| a Θ| l -2| a Θ| l -i + 1| ? i- 1, l i- 1, l i- 1, l ? ? ? l= 1 l= 1 l= 1 2 i- 1 T ) ( ( ) ( )Α= - 1, a Θ- a Θi -l, ?, a Θi - . 11 i l2 l i- 1, l ? ? l= 1 l= 1 - 1 A ΑT 22 ( ) ( ) ( ) ( ) 于是 , ?, =, 再 由 2. 8 式, 1 =1= 1 - 1 - ? -ƒΥn Θn , 当 i > 1 时, a i1 a i i a i i a 1 ΡΥ1 Θ 1 - 1 A Α T T- T ) ( ) () (, ?, , ?, = 1, 知 = 1.分别利 = 1, 2, ?, 时, 因此当 a i1 a ii 8 ia i1 a i i a ii in ) (( )ΑA , 18 i 1 用递归法, 可得 - 1 - 1 A ΑA ΑT- T T ( )()() ΑA , 18 i 2. 10 ) . (a , ?, a =i1 ii 1 1 综合上述结果, 可得: 定理 2. 2}为白噪声序列, 满足 =0, {1, 若 n 阶 A R 模型满足平稳性条件, =Εt E Εt 的方 va r Εt x t 2 2 ) ( ) (差 = , , = , 则va r x t Ρco v x t x t- r ΘrΡ T - 1 () () () () () 1, , ?, = , 其中由 2. 6式定义;Θ1 Θ2 Θn M ΥΥM Υ 2 2 () 2= 1ƒ= 1-() () ) () (a 11 Ρ Υ1 Θ1- ?- Υn Θn , 当 i> 1 时, a i1 , ?, a ii 由 2. 10式给出; ()为 + 1 对角形式, 其中的元素由 显式给出.3 上三角分解矩阵 G n Υ - 1 () ( ) 定理 2. 2 给出了 的三角分解矩阵 的具体形式, 这给模型 2. 4的计算提供了理论依据.8 N G 2 22 2( ) ( ( ) ) 1 11 = 知 特别地, 考虑一阶 模型情形: 由于 1= , 1- 1= 1 及 = 1,1- Υ. 为a A R ΘΥ1 ΡΥ1 Θa 1 Ρ 1 方便, 记 = , 于是由定理 2. 1 及定理 2. 2 知下列结论成立.ΥΥ1 N N - 1 2定理 2. 3 若{}为平稳的一阶自回归序列, 那么 的最小二乘解为 Υ= x x x .t x t Υt- 1 t ?? t= 2 t= 2 N T - 1 TT2 2 2 () () () () 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 : 记 f Υ= x 8 N x = x G G x = [ x - Υx ]+ 1 - Υx , 1 于是由模型 2. 4, Υ的t t- 1 ?t= 2 — 3 — Υ?R t= 2 - 1 N N N 22 2() () x . 22x t- -即 Υ= x x x .t 1 由于 f ″Υ?0, 因此 Υ的最优解满足 f ′Υ= 0, 1 t- 1 t ? ?? t= 2 t= 2 t= 2 ( ) 推论 2. 1 若{}为平稳的一阶自回归序列, 那么由近似最小二乘估计方法得到的解 1. 2满足 x t υ() lim Υ.N = ΥN ?? N N - 1 N N - 1 2 υυ 2() () () x x x ,lim 证明: 由 1. 2式, ΥN =因此有 lim ΥN =x = Υ. x x t- 1 tt t t- 1 t ? ? ?? N ?? N ?? t= 2 t= 1 = 2= 2 tt - 8我们用双精度 语言实现了上述理论结果, 误差精度为 10. 用计算机产生二阶平稳性序列的C ( ) 100 个随机点 = 1, 2, ?, 100列于表 1.x i i 表 1 二阶平稳性序列的 100 个随机点 1161 139 131 156 111 188 148 101 196 136 211221000- 0191 0104 1134 2111 0188 1130 0145 0154 1155 0145 - - - - - 0194 2116 1101 1159 2176 1144 1147 1190 2172 1123 - - - - - - - - - 0197 0127 0194 0112 1169 0160 1108 1173 1197 2176 - - - - - - - - 3114 3105 1158 1186 3126 3133 1165 2149 3101 3127 - - - - - - - - - - 1152 2139 0191 0174 0102 0180 0120 1123 0156 1152 - - 2141 2196 3140 1127 1167 2138 3109 1178 2118 0188 - 0142 0145 0150 1129 0153 1193 0167 0162 1131 0113 - - - - 1124 0167 2129 3157 3162 3152 3152 3148 1195 0121 - - - - - - - - - - - - - - 0172 0100 1116 0102 1123 0125 0127 0128 0190 1177 υ( ) ( 1当取前 30 个数据, 而 = ( ) ( ) 01785 4, 计算结果如下: n 6 时, 用 1. 2式算得的结果为 30=Υ ) - 01194 5, 01363 0, 01014 4, - 01374 0, 01180 0, 此时最小模为 181225 3; 用本文方法得到的解为 T ( ) 01864 4, - 01180 2, 01372 6, 01025 1, - 01405 2, 01230 7, 此时最小模为 171582 4, 可见比近似 υ( ( ) ( ) ) 最小二 乘 估 计 的 最 小 模 小. 2当 取 100 个 数 据, 时, 用 1. 2式 算 得 的 结 果 为 100=6 而 = Υn () 01850 9, - 01190 2, 01230 0, - 01025 5, 01076 6, - 01127 3, 此时最小模为 941385 8; 用本文方 () 法得到的解为 01867 9, - 01188 4, 01230 9, - 01026 7, 01075 9, - 01129 4, 此时最小模为 941289 2, 比近似最小二乘估计的最小模小. 参 考 文 献 1 顾 岚. 时间序列分析在经济中的应用 [. 北京: 中国统计出版社, 1994. M 2 . , [. Ko u t so y iann is AT h eo ry o f E co nom e t r ic san In t ro duc to ry E xpo sit io n o f E co nom e t r icM e tho d M L o ndo n and : , 1977.B a sing sto k eT h e M acm illan P re ss L TD A L ea st Square E st im a t ion of A utoregre ss ive Proce sse s 2L IN Zh en gh u a (), , , 130012, . . D ep a r tm en t of M a th em a t icsJ il in U n iv e rs ity C h ang ch u n PRC h ina 2F EN G R en zho n g (), , , 130021, . . D ep a r tm en t of I nf orm a t ion C h ang ch u n T ax a t ion C ol leg eC h ang ch u n PRC h ina A b s t ra c t: T h e p re sen t p ap e r dea ls w ith an ex ac t e st im a t io n o f th e p a ram e te r o f A R p ro ce sse s v ia th e , th eo r ie s o f co n st ra in ed op t im iza t io n s an d com p u ta t io n a l m a th em a t ic san d p re sen t s a m e tho d fo r (). so lv in g th is p a ram e te r an d th e op e ra t io n is abo u t O N T h e e st im a t io n is o f th e sam e o rde r op e ra t io n . , o f th e lea st squ a re e st im a t io n u n de r lo st in g som e in fo rm a t io n o f th e sam p leT h e refo reth e n ew ex ac t .e st im a t io n is a fea sib le m e tho d : ; ; ; Ke yw o rd s au to reg re ssive p ro ce sse st im a t io n o f p a ram e te rlea st squ a re e st im a t io ndo n ’ t lo st in fo rm a t io n s o f sam p le — 4 —