12时间序列模型

Wold分解 定理 三点共线定理勾股定理的证明证明勾股定理共线定理面面垂直的性质定理 ：任何协方差平稳过程xt，都可以被表示为 xt - ( - dt = ut + (1 ut-1+ (2 ut-2 + … + = 其中( 表示xt的期望。dt 表示xt的线性确定性成分，如周期性成分、时间t的多项式和指数形式等，可以直接用xt的滞后值预测。(0 = 1， < ∞。ut为白噪声过程。ut表示用xt的滞后项预测xt时的误差。 ut = xt - E(xt ( xt-1, xt-2 , …) 称为xt的线性非确定性成分。当dt = 0时，称xt为纯线性非确定性过程。 Wold分解定理由Wold在1938年提出。Wold分解定理只要求过程2阶平稳即可。从原理上讲，要得到过程的Wold分解，就必须知道无限个(j参数，这对于一个有限样本来说是不可能的。实际中可以对(j做另一种假定，即可以把( (L)看作是2个有限特征多项式的比， ((L) = = = 注意，无论原序列中含有何种确定性成分，在前面介绍的模型种类中，还是后面介绍的自相关函数、偏自相关函数中都假设在原序列中已经剔除了所有确定性成分，是一个纯的随机过程（过程中不含有任何确定性成分）。如果一个序列如上式， xt = ( + dt + ut + (1 ut-1+ (2 ut-2 + … + 则所有研究都是在yt = xt - ( - dt 的基础上进行。例如前面给出的各类模型中都不含有均值项、时间趋势项就是这个道理。 2.3 自相关函数 以上介绍了随机过程的几种模型。实际中单凭对时间序列的观察很难确定其属于哪一种模型，而自相关函数和偏自相关函数是 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 随机过程和识别模型的有力工具。 1. 自相关函数定义 在给出自相关函数定义之前先介绍自协方差函数概念。由第一节知随机过程{xt}中的每一个元素xt，t = 1, 2, … 都是随机变量。对于平稳的随机过程，其期望为常数，用 ( 表示，即 E(x t) = (, t = 1, 2, … (2.25) 随机过程的取值将以 ( 为中心上下变动。平稳随机过程的方差也是一个常量 Var(x t) = E [(xt - E(xt))2 ] = E [(xt - ()2 ] = (x2 , t = 1, 2, … (2.26) (x2用来度量随机过程取值对其均值 ( 的离散程度。 相隔k期的两个随机变量x t 与xt - k 的协方差即滞后k期的自协方差，定义为 (k = Cov (xt , x t - k ) = E[(xt - ( ) (xt - k - ( ) ] (2.27) 自协方差序列 (k , k = 0, 1, …, K, 称为随机过程 {xt} 的自协方差函数。当k = 0 时 (0 = Var (xt) = (x2 自相关系数定义 (k = （2.28） 因为对于一个平稳过程有 Var (xt) = Var (xt - k) = (x2 (2.29) 所以（2.28）可以改写为 (k = = = （2.30） 当 k = 0 时，有 ( 0 = 1。 以滞后期k为变量的自相关系数列 (k, k = 0, 1, …, K (2.31) 称为自相关函数。因为(k = (- k 即Cov (xt - k , xt ) = Cov (xt , x t + k )，自相关函数是零对称的，所以实际研究中只给出自相关函数的正半部分即可。 2.自回归过程的自相关函数 (1) 平稳AR(1)过程的自相关函数 AR(1) 过程如下 xt = (( xt-1 + ut , (((( ( 1 用xt- k 同乘上式两侧 xt xt- k = (( xt-1 xt- k + ut xt- k 两侧同取期望， (k = (1 (k -1 其中E(xt- k ut) = 0（ut与其t - k期及以前各项都不相关）。两侧同除 (0 得, (k = (1 (k -1 = (1 (1 (k -2 = … = (1k (0 因为 (o = 1。所以有 (k = (1k , （k ( 0） 对于平稳序列有 ( ((( ( (。所以当 (1为正时，自相关函数按指数衰减至零（过阻尼情形），当 (1为负时，自相关函数正负交错地指数衰减至零。见图2.6。因为对于经济时间序列，(1一般为正，所以第一种情形常见。指数衰减至零的表现形式说明随着时间间隔的加长，变量之间的关系变得越来越弱。 (( ( 0 （经济问题中常见） (( ( 0 （经济问题中少见） 图2.6 AR(1) 过程的自相关函数 （2）AR(p) 过程的自相关函数 用xt - k , (k ( (( 同乘平稳的 p阶自回归过程 xt = ( 1 xt -1 + ( 2 xt -2 +…+ ( p xt - p + ut (2.32) 的两侧，得 xt - k xt = (1 xt - k xt -1 + (2 xt - k xt -2 + … + (p xt - k xt - p + xt - k ut (2.33) 对上式两侧分别求期望得 (k = (1 (k -1 + (2 (k -2 + … + (p (k - p ， k ( 0 (2.34) 上式中对于 k ( 0，有E(xt - k ut ) = 0。因为当 k ( 0时，xt - k 发生在ut 之前，所以 xt - k 与 ut不相关。 用 (0分别除（2.34）式的两侧得 (k = (1 (k -1 + (2 (k -2 + … + (p (k -p ， k ( 0 (2.35) 令 ((L) = (1 - (1 L - (2 L2 - … - (p Lp）其中L为k的滞后算子，则上式可表达为 ((L) (k = 0 因 ((L) 可因式分解为， ((L) = , 则（2.35）式的通解（证明见附录）是 (k = A1 G1k + A2 G2k + … + Ap Gpk. (2.36) 其中Ai, i = 1, … p 为待定常数。这里 Gi-1, i = 1, 2, …, p 是特征方程 ((L) = (1 - (1 L - (2 L2 - … - (p Lp ) = 0 的根。为保证随机过程的平稳性，要求 | Gi | ( 1, i = 1, 2, …, p。这会遇到如下两种情形。 ① 当Gi为实数时，(2.36) 式中的Ai Gik 将随着k 的增加而几何衰减至零，称为指数衰减（过阻尼情形）。 ② 当Gi 和Gj 表示一对共轭复根时，设Gi = a + bi, Gj = a – bi, = R，则Gi , Gj的极座标形式是Gi = R (Cos( + i Sin( )，Gj = R (Cos( - i Sin( )。若AR(p) 过程平稳，则 (Gi( < 1，所以必有R <1。那么随着k的增加，Gik = Rk (Cosk( + i Sink( )，Gjk = Rk (Cosk( - i Sink( )，自相关函数（2.36）式中的相应项Gik , Gjk将按正弦振荡形式衰减（欠阻尼情形）。实际中的平稳自回归过程的自相关函数常是由指数衰减和正弦衰减两部分混合而成。 ③ 从（2.36）式可以看出，当特征方程的根取值远离单位圆时，k不必很大，自相关函数就会衰减至零。 ④ 有一个实数根接近1时，自相关函数将衰减的很慢，近似于线性衰减。当有两个以上的根取值接近1时，自相关函数同样会衰减的很慢。 a. 两个特征根为实根 b. 两个特征根为共轭复根 图2.6 AR(2) 过程的自相关函数 3. 移动平均过程的自相关函数 (1) MA(1) 过程的自相关函数。 对于MA(1)过程xt = ut + (1 ut-1 有 (k = E(xt xt- k) = E [(ut + (1 ut -1) (ut - k + (1 ut -k -1)] 当k = 0时， 　　　 (0 = E(xt xt) = E [(ut + (1 ut -1) (ut + (1 ut -1)] = E (ut2 + (1 ut ut-1 + (1 ut ut-1 + (12 ut-12 ) = (1 + (12 ) ( 2 当k = 1时 (1 = E(xt xt- 1) = E [(ut + (1 ut -1) (ut – 1 + (1 ut – 2 )] = E (ut ut -1 + (1 ut -12 + (1 ut ut -2 + (12 ut -1 ut -2) = (1 E (ut -1) 2 = (1 ( 2 当 k ( 1 时， (k = E [(ut + (1 ut -1) (ut – k + (1 ut – k -1)] = 0 综合以上三种情形，MA(1)过程自相关函数为 (k = = , k = 1 0 , k ( 1， 见图2.7。 (1 ( 0 (1 ( 0 图2.7 MA(1)过程的自相关函数 可见MA(1) 过程的自相关函数具有截尾特征。当k ( 1时，(k = 0。 (2) MA(q) 过程的自相关函数 MA(q) 过程的自相关函数是 (k = , k = 1, 2, …, q , 0 k ( q , 当k ( q 时，(k = 0，说明 (k , k = 0, 1, … 具有截尾特征。 （注意：模型移动平均项的符号以及这里 (k的符号正好与Box-Jenkins 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 中的符号相反，这样表示的好处是保持与计算机输出结果一致。） 4. ARMA (1, 1) 过程的自相关函数 ARMA (1, 1) 过程的自相关函数(k 从 (1开始指数衰减。(1的大小取决于 (1和 (1, (1的符号取决于 ((1 - (1 )。若 (1 > 0，指数衰减是平滑的，或正或负。若 (1 < 0，相关函数为正负交替式指数衰减。 对于ARMA (p, q) 过程，p, q ( 2时，自相关函数是指数衰减或正弦衰减的。 5. 相关图（correlogram） 对于一个有限时间序列（x1, x2, …, xT）用样本平均数 = EMBED Equation.3 估计总体均值 (，用样本方差 s2 = 估计总体方差(x2。 当用样本矩估计随机过程的自相关函数，则称其为相关图或估计的自相关函数，记为 rk = , k = 0, 1 , 2, …, K, ( K < T ) . (2.41) rk 是对(k的估计。其中 Ck = EMBED Equation.3 k = 0, 1, 2, …, K , 　 (2.42) 是对(k 的估计 C0 = (2.43) 是对(0的估计，T是时间序列数据的样本容量。实际中T不应太小，最好能大于60。 注意：(2.42)式分母为T，不是T-k。Ck为有偏估计量。但在小样本条件下更有效。 注：2个标准差 = 2 T -1/2 = 2（1/7）= 0.286。图中虚线表示到中心线2个标准差宽度。 相关图是对自相关函数的估计。由于MA过程和ARMA过程中的MA分量的自相关函数具有截尾特性，所以通过相关图可以估计MA过程的阶数q。相关图是识别MA过程阶数和ARMA过程中MA分量阶数的一个重要 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 。实际应用中相关图一般取k = 15就足够了。 rk的方差近似为T-1。所以在观察相关图时，若rk的绝对值超过2 T-1/2（2个标准差），就被认为是显著地不为零。当T充分大时，近似有 (rk -0) / T-1/2 = rk T1/2 ~ N (0, 1) 2.4 偏自相关函数 偏自相关函数是描述随机过程结构特征的另一种方法。用 (kj 表示k阶自回归式中第j个回归系数，则k阶自回归模型表示为 xt = (k 1 xt-1 + (k 2 xt-2 + … + (kk xt-k + ut 其中 (kk 是最后一个回归系数。若把k = 1, 2…的一系列回归式(kk看作是滞后期k的函数，则称 (kk, k = 1, 2 … (2.45) 为偏自相关函数。它由下式中的红项组成。 xt = (11 xt-1 + ut xt = (21 xt-1 + (22 xt-2 + ut 。。。 xt = (k 1 xt-1 + (k 2 xt-2 + … + (kk xt-k + ut 因偏自相关函数中每一个回归系数 (kk 恰好表示xt 与xt-k在排除了其中间变量xt-1, xt-2, …, xt-k +1 影响之后的相关系数， xt - (k 1 xt-1 - (k 2 xt-2 - … - (kk-1 xt-k +1 = (kk xt-k + ut 所以偏自相关函数由此得名。 对于AR(1)过程，xt = (11 xt-1 + ut，当k = 1时， (11 ( 0，当k > 1时，(kk = 0，所以AR(1)过程的偏自相关函数特征是在k = 1出现峰值（(11 = (1）然后截尾。 (11 > 0 (11 < 0 AR(1) 过程的偏相关图 对于AR(2)过程，当k ( 2时，(kk ( 0，当k >2时，(kk = 0。偏自相关函数在滞后期2以后有截尾特性。 对于AR(p)过程，当k ( p时，(kk ( 0，当k > p时，(kk = 0。偏自相关函数在滞后期p以后有截尾特性，因此可用此特征识别AR(p)过程的阶数。 MA(1) 过程的偏自相关函数呈指数衰减特征。若(1 > 0, 偏自相关函数呈交替改变符号式指数衰减；若(1 ( 0，偏自相关函数呈负数的指数衰减。 因为任何一个可逆的MA(q) 过程都可以转换成一个无限阶的系数按几何递减的AR过程，所以MA(q) 过程的偏自相关函数呈缓慢衰减特征。 (1 > 0 (1 < 0 MA(1) 过程的偏自相关函数 例5：对于xt = ut + (1 ut-1过程，有 [1/ (1+ (1 L)] xt = ut , 当(1 > 0， (1- (1 L + (12 L2 - … ) xt = ut , xt = (1 x t-1 - (12 x t-2 + (13 x t-3 - … + ut , 对于xt = ut - (1 ut-1过程，有 [1/ (1- (1 L)] xt = ut ，当(1 > 0, (1+ (1 L + (12 L2 + … ) xt = ut , xt = - (1 x t-1 - (12 x t-2 - (13 x t-3 - … + ut , 对于MA(2) 过程，若( (L) = 0的根是实数，偏自相关函数由两个指数衰减形式叠加而成。若( (L) = 0的根是虚数，偏自相关函数呈正弦衰减形式。 ARMA( p, q) 过程的偏自相关函数也是无限延长的，其表现形式与MA(q)过程的偏自相关函数相类似。根据模型中移动平均部分的阶数q以及参数(i的不同，偏自相关函数呈指数衰减和（或）正弦衰减混合形式。 对于时间序列数据，偏自相关函数通常是未知的。可用样本计算 (11, (22, … 的估计量 , , …。估计的偏自相关函数 , k = 1, 2, …, K, (2.48) 称为偏相关图。因为AR过程和ARMA过程中AR分量的偏自相关函数具有截尾特性，所以可利用偏相关图估计自回归过程的阶数p。实际中对于偏相关图取k = 15就足可以了。 的方差近似为T-1。当T充分大时，近似有 ( -0) / T-1/2 = T1/2 ~ N (0, 1) 所以在观察偏相关图时，若 的绝对值超过2 T-1/2（2个标准差），就被认为是显著地不为零。 2.5 时间序列模型的建立与预测 ARIMA过程yt用 ( (L)Δdyt = (0 +( (L) ut (2.51) 表示，其中( (L)和( (L)分别是p, q 阶的以L为变数的多项式，它们的根都在单位圆之外。(0为位移项，Δd yt表示对yt 进行d次差分之后可以表达为一个平稳的可逆的ARMA过程。这是随机过程的一般表达式。它既包括了AR，MA 和ARMA过程，也包括了单整的AR，MA和ARMA过程。 建立时间序列模型通常包括三个步骤。（1）模型的识别，（2）模型参数的估计，（3）诊断与检验。 模型的识别就是通过对相关图的分析，初步确定适合于给定样本的ARIMA模型形式，即确定d, p, q的取值。 模型参数的估计就是待初步确定模型形式后对模型参数进行估计。 诊断与检验就是以样本为基础检验拟合的模型，以求发现某些不妥之处。如果模型的某些参数估计值不能通过显著性检验，或者残差序列不能近似为一个白噪声过程，应返回第一步再次对模型进行识别。如果上述两个问题都不存在，就可接受所建立的模型。建摸过程用图2.8表示。下面对建摸过程做详细论述。 1.模型的识别 模型的识别主要依赖于对相关图与偏相关图的分析。在对经济时间序列进行分析之前，首先应对样本数据取对数，目的是消除数据中可能存在的异方差，然后分析其相关图。 识别的第1步是判断随机过程是否平稳。由2.2节知，如果一个随机过程是平稳的，其特征方程的根都应在单位圆之外。由2.7节知，如果( (L) = 0的根接近单位圆，自相关函数将衰减的很慢。所以在分析相关图时，如果发现其衰减很慢，即可认为该时间序列是非平稳的。这时应对该时间序列进行差分，同时分析差分序列的相关图以判断差分序列的平稳性，直至得到一个平稳的序列。对于经济时间序列，差分次数，即模型（2.51）中的参数d通常只取0，1或2。 图2.8 建立时间序列模型程序图 实际中也要防止过度差分。一般来说平稳序列差分得到的仍然是平稳序列，但当差分次数过多时存在两个缺点，（1）序列的样本容量减小；（2）方差变大；所以建模过程中要防止差分过度。对于一个序列，差分后若数据的极差变大，说明差分过度。 第2步是在平稳时间序列基础上识别ARMA模型阶数p, q。表2.3给出了不同ARMA模型的自相关函数和偏自相关函数。当然一个过程的自相关函数和偏自相关函数通常是未知的。用样本得到的只是估计的自相关函数和偏自相关函数，即相关图和偏相关图。建立ARMA模型，时间序列的相关图与偏相关图可为识别模型参数p, q提供信息。相关图和偏相关图（估计的自相关系数和偏自相关系数）通常比真实的自相关系数和偏自相关系数的方差要大，并表现为更高的自相关。实际中相关图，偏相关图的特征不会像自相关函数与偏自相关函数那样“规范”，所以应该善于从相关图，偏相关图中识别出模型的真实参数p, q。另外，估计的模型形式不是唯一的，所以在模型识别阶段应多选择几种模型形式，以供进一步选择。 表2.3 ARIMA过程与其自相关函数偏自相关函数特征 模 型 自相关函数特征 偏自相关函数特征 ARIMA(1,1,1) ( xt = (1( xt-1 + ut + (1ut-1 缓慢地线性衰减 AR（1） xt = (1 xt-1 + ut 若(1 > 0，平滑地指数衰减 若(1 < 0，正负交替地指数衰减 若(11 > 0，k=1时有正峰值然后截尾 若(11 < 0，k=1时有负峰值然后截尾 MA（1） xt = ut + (1 ut-1 若(1 > 0，k=1时有正峰值然后截尾 若(1 < 0，k=1时有负峰值然后截尾 若(1 > 0，交替式指数衰减 若(1 < 0，负的平滑式指数衰减 AR（2） xt = (1 xt-1 + (2 xt-2 + ut 指数或正弦衰减 （两个特征根为实根） （两个特征根为共轭复根） k=1, 2时有两个峰值然后截尾 （(1 > 0，(2 > 0） （(1 > 0，(2 < 0） MA（2） xt = ut + (1 ut-1+ (2 ut-2 k=1, 2有两个峰值然后截尾 （(1 > 0，(2 < 0） （(1 > 0，(2 > 0） 指数或正弦衰减 （(1 > 0，(2 < 0） （(1 > 0，(2 > 0） ARMA（1，1） xt = (1 xt-1 + ut + (1 ut-1 k=1有峰值然后按指数衰减 （(1 > 0，(1 > 0） （(1 > 0，(1 < 0） k=1有峰值然后按指数衰减 （(1 > 0，(1 > 0） （(1 > 0，(1 < 0） ARMA（2，1） xt = (1 xt-1+ (2 xt-2+ ut + (1 ut-1 k=1有峰值然后按指数或正弦衰减 （(1 > 0，(2 < 0，(1 > 0） k=1, 2有两个峰值然后按指数衰减 （(1 > 0，(2 < 0，(1 > 0） ARMA（1，2） xt = (1 xt-1+ ut + (1 ut-1+ (2 ut-2 k=1, 2有两个峰值然后按指数衰减 （(1 > 0，(1 > 0，(2 < 0） （(1 > 0，(1 > 0，(2 >0） k=1有峰值然后按指数或正弦衰减 （(1 > 0，(1 > 0，(2 < 0） （(1 > 0，(1 > 0，(2 > 0） ARMA（2，2） xt=(1xt-1+(2xt-2+ ut +(1ut-1+(2ut-2 k=1, 2有两个峰值然后按指数或正弦衰减 （(1 > 0，(2 < 0，(1 > 0，(2 < 0） （(1 > 0，(2 < 0，(1 > 0，(2 > 0） k=1, 2有两个峰值然后按指数或正弦衰减 （(1 > 0，(2 < 0，(1 > 0，(2 < 0） （(1 > 0，(2 < 0，(1 > 0，(2 > 0） 下面通过一些相关图和偏相关图识别模型结构。 2. 模型参数的估计 对于时间序列模型，一般采用极大似然法估计参数。对于一组相互独立的随机变量xt,（t = 1, 2, …, T），当得到一个样本 (x1, x2, …, xT) 时，似然函数可表示为 L (( | x1, x2, …, xT) = f (x1| ( ) f (x2| ( ) … f (xT | ( ) = | ( ) (2.52) 其中( =（(1, (2, …, (k）是一组未知参数。对数似然函数是 log L = f (xt | ( ) 通过选择 ( 使上式达到最大，从而求得极大似然估计值 。具体步骤是用上述对数似然函数对每个未知参数求偏导数并令其为零，即 = 0 … = 0, （k个方程联立） 一般来说似然函数是非线性的，必须采用迭代计算的方法求参数的极大似然估计值。极大似然估计量 (MLE) 具有一致性和渐近有效性。 首先讨论怎样对如下线性回归模型 yt = (0 + (1 xt1 + ( 2 xt 2 + … + ( k-1 xt k -1 + ut , t = 1, 2, …, T, (2.53) 进行极大似然估计。假定ut ( N(0, ( 2 ), 则yt 也服从正态分布。 yt ( N(E(yt), ( 2 )， 其中E(yt) = (0 + (1 xt1 + ( 2 xt 2 + … + (k -1 xt k -1。若yt是相互独立的，则对于样本 ( y1, y2, …, yT)，似然函数是 L((, ( 2 | y1, ,y2, …, yT) = f( y1) f( y2) … f( yT) 其中( 表示未知参数 (0, (1, …, ( k -1的集合。由（2.53）式每个yt的概率密度函数为 f ( yt ) = exp[ ]. 对于样本 ( y1, y2, …, yT)，对数似然函数为 logL = f ( yt ) = - log 2( - log ( 2 - - E( yt ) ]2 (2.54) 上式右侧前两项是常量。第三项的符号为负，所以对logL极大化等同于选择 值从而使平方和 - E( yt )]2 极小化，即选择 使 - - xt 1 - xt 2 - … - xt k -1) 2 = 极小化。上式中 表示残差。这种估计方法恰好与OLS法相同，所以在这个例子中 ( 的MLE估计量 与OLS估计量 完全相同，即 = 。与OLS法不同的是极大似然估计法在估计 的同时，还得到ut方差的估计量。对（2.54）式求 ( 2 的偏导数并令其为零。 = - + EMBED Equation.3 - E( yt ) ]2 = 0 (2.55) 用 代替上式中E(yt) 中的 ( 得 = T -1 现在讨论怎样对时间序列模型的参数进行极大似然估计。 对于非平稳过程yt ，假定经过d次差分之后可以表达为一个平稳、可逆的自回归移动平均过程xt ， ( (L) (d yt = ( (L) xt = ( (L) ut. (2.56) 对于yt 假定可以观测到T + d个观测值，即y- d+1, …, y0, y1, …, yT ，则经过d次差分之后， xt 的样本容量为T。 以 {x1, …, xT }为样本估计ARMA (p, q) 模型参数 ((1, …, (p, (1, …, (q )。 对随机过程{xt}的参数估计就如对回归模型的参数估计一样，目的是使xt与其拟合值 的残差平方和 = 最小。把 (2.56) 式改写为 ut = . (2.57) 若用 ， 和 分别表示对(i, ( i和ut的估计，则使下式最小。 = S ( , …, , , …, ) (2.58) 假定ut ( N (0, (u2), t = 1, … T，且不存在自相关，则条件对数似然函数为 log L = -T log(u - (2.59) 之所以称之为条件对数似然函数是因为 依赖于过去的不可知观测值x0, x-1, …, x- p+1和u0, u-1, …, u- q +1。比如 u1 = x1 - (1 x0 - (2 x-1 - … - (p x-p+1 - (1u0 - …- (qu- q+1 (2.60) 对（2.59）式求极大即等同于对 求极小。对 求极小时需要先确定x0, x–1, …, x-p+1和u0, u-1, …, u- q +1的值。此问题的一般处理方法是取这些变量等于他们的无条件期望值。u0, u-1, …, u- q +1的无条件期望值为零。若模型（2.56）中不含有漂移项，则x0, x-1, …, x- p +1的无条件期望值也为零。当样本容量T与滞后长度p, q值相比充分大，且(1, …, (p的值不接近1时，这种近似非常理想。 若 (2.56) 式中不含有移动平均项，对于自回归参数来说 (2.57) 式是一个线性函数。可以用OLS法估计参数。如果 (2.56) 式中含有移动平均项，那么对于移动平均参数来说， (2.57) 式是一个非线性函数。对 (2.57) 式必须采用非线性估计方法。 首先假定模型为纯自回归形式， ( (L) xt = ut (2.61) 或 xt = (1 xt-1 + … + (p xt-p + ut . (2.62) 这是一个线性回归模型，极大似然估计与OLS估计结果近似相同。 当模型中含有移动平均成分时 ut = ( -1(L) ( (L) xt (2.63) 对于参数来说，模型是非线性的。对于非线性模型，通常由三种估计方法。 ⑴直接搜索法。通过改变参数的取值，反复计算残差平方和 的值。然后从中选择最小的那个值所对应的参数值作为对参数的估计值。这种方法只有在参数个数较少时才是可行的。当参数个数较多时，计算量将非常大。例如当含有四个被估参数，每个参数需选择20个计算值时，则需要计算 (20) 4 = 160000次。 ⑵直接优化法。求误差平方和函数对每一个参数的偏导数并令其为零，从而求得正规方程 = 0, i =1, …, p + q (2.64) 其中（(1, …, (p+q）=（(1, …, (p, (1, …, (q）。因为 p + q 个方程中都含有 p + q 个参数，所以必须联立求解。由于计算上的困难，这种方法很少直接采用。 ⑶线性迭代法。对任何非线性函数通常都可以按泰勒级数展开。 f (x) = f (x0) + f ‘(x0) (x – x0) + … = f (x0) - f ‘(x0) x0 + f ‘(x0) x + … 首先为参数选一组初始值（(1, 0 , …, (p+q, 0）（下标零表示初始值。怎样确定初始值并不重要。）， 然后将xt = f (xt-1, …, xt-p) 按泰勒级数在（(1, 0 , …, (p+q, 0）点展开。 xt = f (xt-1, …, xt-p, (1, 0 , …, (p+q, 0 ) + + + … (2.65) 其中偏导数的下标写为零表示偏导数在 (1 = (1, 0 , …, (p+q = ( p+q, 0时的值。取上式右侧的前两项对原非线性函数xt 进行近似。去掉右侧第三项及以后各项得 xt - f (xt-1, …, xt-p, (1, 0 , …, (p+q, 0 ) + = + ut. (2.66) 上式为线性回归方程形式。左侧为已知量，右侧含有一组未知量(i , i = 1, …, p + q。利用OLS法对上式进行估计。设所得估计值用（(1, 1 , …, (p+q, 1）表示。以此作为第二组估计值，对非线性函数再一次线性化，从而得到一个新的线性方程。 xt - f (xt-1, …, xt-p, (1, 1 , …, (p+q, 1 ) + = + ut (2.67) 对上式再次应用OLS法估计参数，并把 ((1, 2, …, (p+q, 2) 作为待估参数的第三组估计值。重复上述过程，直至满足如下要求为止。 < (, i = 1, …, p + q, (2.68) 其中i表示参数序号，j表示迭代次数。( 是预先给定的精度标准。 如果最后一次的参数估计值用 ((1, k , …, (p+q, k ) 表示，并且 ((1, k , …, (p+q, k ) 接近真值 ((1 , …, (p+q ) ，则必有， ( 所以有 xt = f (xt-1, …, xt-p, (1, k , …, (p+q, k ) + ((1, k , …, (p+q, k ) 是对 ((1, …, (p+q ) 的最终估计。这种迭代计算一般都是通过计算机完成。 评价线性模型的一些统计量例F, t等都不能直接用于评价非线性模型。原因是尽管ut是正态分布的且均值为零，但残差 = xt - = xt - f (xt-1, …, xt-p, (1, k , …, (p+q, k ) (2.69) 不服从正态分布，则 不服从 (2 分布，参数估计量不服从正态分布。所以不能使用 F和t检验。然而对迭代中的最后一步可以进行F, t检验。 如果估计量 = (i, k , （i = 1, …, p + q），接近真值(i，那么F, t检验将会对非线性模型有很满意的解释作用。 3. 诊断与检验 完成模型的识别与参数估计后，应对估计结果进行诊断与检验，以求发现所选用的模型是否合适。若不合适，应该知道下一步作何种修改。 这一阶段主要检验拟合的模型是否合理。一是检验模型参数的估计值是否具有显著性；二是检验模型的残差序列是否为白噪声。参数估计值的显著性检验是通过t检验完成的，而模型的残差序列是否为白噪声的检验是用Box-Pierce (1970) 提出的Q统计量完成的。Q检验的零假设是 H：(1 = (2 = … = (K = 0 即模型的误差项是一个白噪声过程。Q统计量定义为 Q = T (2.70) 近似服从 (2( K - p - q) 分布，其中T表示样本容量，rk 表示用残差序列计算的自相关系数值，K表示自相关系数的个数，p 表示模型自回归部分的最大滞后值，q表示移动平均部分的最大滞后值。 Ljung和Box认为(2.70)式定义的Q统计量的分布与(2( K - p - q)分布存在差异（相应值偏小），于是提出修正的Q统计量。 Q = T (T+2) (2.71) 其中rk ，K，p，q的定义如(2.70)式。修正的Q统计量(2.71) 近似服从 (2( K - p - q) 分布。且它的近似性比原Q统计量的近似性更好。（EViews中给出的Q统计量就是按(2.71)式定义的。） 用残差序列计算Q统计量的值。显然若残差序列不是白噪声，残差序列中必含有其他成份，自相关系数不等于零。则Q值将很大，反之Q值将很小。判别规则是： 若Q < (2( ( K - p - q) ，则接受H0。 若Q > (2( ( K - p - q) ，则拒绝H0。 其中( 表示检验水平。 4. 时间序列模型预测 下面以ARMA (1, 1) 模型为例具体介绍预测方法。其他形式时间序列模型的预测方法与此类似。 设对时间序列样本{xt}, t = 1, 2, …, T，所拟合的模型是 xt = (1 xt-1 + ut + (1 ut-1 (2.72) 则理论上T + 1期xt的值应按下式计算 xT+1 = (1 xT + uT+1 + (1 uT (2.73) 用估计的参数 , 和 分别代替上式中的 (1, (1和uT 。 上式中的uT+1是未知的，但知E(uT+1) = 0，所以取uT+1 = 0。xT 是已知的（样本值）。对xT+1的预测按下式进行 = xT + EMBED Equation.3 (2.74) 由(2.73)式，理论上xT+2的预测式是 xT+2 = (1 xT+1 + uT+2 + (1 uT+1 仍取uT+1 = 0，uT+2 = 0，则xT+2的实际预测式是 = (2.75) 其中 是上一步得到的预测值，与此类推xT+3的预测式是 = EMBED Equation.3 (2.76) 由上可见，随着预测期的加长，预测式 (2.73) 中移动平均项逐步淡出预测模型，预测式变成了纯自回归形式。 若上面所用的xt 是一个差分变量，设 ( yt = xt ，则得到的预测值相当于( , (t = T +1, T +2 , … )。因为 yt = yt-1 + ( yt 所以原序列 T+1期预测值应按下式计算 = yT + ( (2.77) 对于t > T +1，预测式是 = +( , t = T +2, T +3, … (2.78) 其中 是相应上一步的预测结果。 用EViews计算相关图和偏相关图。 附录：对(2.36)式（自相关函数通解表达式）的证明 对于AR(p) 过程 xt = ( 1 xt -1 + ( 2 xt -2 +…+ ( p xt - p + ut (1) 它的自相关函数满足下式， (k = (1 (k -1 + (2 (k -2 + … + (p (k –p, k ( 0 (2) （见《计量经济分析》第77页）即有 (1 - (1 L - (2 L2 - … - (p Lp ) (k = 0 (3) 则（2）式的自相关函数有如下形式通解， (k = A1 G1k + A2 G2k + … + Ap Gpk. (4) 其中Ai, i = 1, … p 为待定系数。Gi-1, i = 1, 2, …, p 是（3）式特征方程 (1 - (1 L - (2 L2 - … - (p Lp ) = 0 的根。 证明（1）：首先以AR(2) 过程为例 xt = ( 1 xt -1 + ( 2 xt -2 + ut (5) 由上式可知 (k = (1 (k -1 + (2 (k -2 , k ( 0 (6) 即有 (1 - G1 L ) (1 – G2 L ) (k = 0 (7) 其中，Gi-1, i = 1, 2是方程(1 - (1 L - (2 L2 ) = 0 的根。令 (1 – G2 L ) (k = yk (8) 由(7)式，可得 (1 - G1 L ) yk = 0 (9) 将上式展开并进行迭代，可得 yk = G1 yk－1 = G1 (G1 yk－2) = G12 yk－2 = … = G1k y0 其中y0是由初始值确定的常数。由(8)式可得 (k = G2 (k－1 + yk = G2 (k－1 + y0 G1k (10) 对上式进行迭代， (k = G2 (G2 (k－2 + y0 G1k-1) + y0 G1k = G22 (k－2 + y0 G2 G1k-1 + y0 G1k …. = G2k ( 0 + y0 (G1k + G2 G1k-1 + … + G2 k-1 G1) (11) 当（3）式有相同的根（G1 = G2）时， (k = G1k + y0 k G1k = G1k (1+ y0 k) 当（3）式的根不相等（G1≠G2）时，因为 G1k - G2k = (G1 - G2) (G1 k -1 + G1 k -2 G21 +…+ G11 G2 k -2 + G2 k -1)， 所以（11）式 (k = G2k ( 0 + y0 G1 (G1k-1 + G2 G1k-2 + … + G2 k-1) = G2k ( 0 + y0 G1 = G2k ( 0 + (G1k –G2 k) = G2k + G1k – G2 k = G1k – (1– ) G2 k = A1G1k – A2 G2 k (12) 其中 A1 = , A2 = 1- 同理可以证明（2）式的通解是（4）式。（Ai是一个权数，所以它应该与系数以及系数方程的特征根有关系的。） 证明（2）：下面用归纳法证明。假定对于AR(p-1) 过程， xt = ( 1 xt -1 + ( 2 xt -2 +…+ ( p-1 xt – p+1 + ut (13) 则它的自相关函数有如下形式通解 (k = A1,p-1 G1k + A2,p-1 G2k + … + Ap-1,p-1 Gp-1k. (14) 其中，Gi-1, i = 1, 2, …, p-1 是方程(1 - (1 L - (2 L2 - … - (p-1 Lp -1 ) = 0 的根；Ai,p-1, i = 1, … p-1 为待定系数。 对于AR(p) 过程， xt = ( 1 xt -1 + ( 2 xt -2 +…+ ( p xt - p + ut (15) 则它的自相关函数满足下面方程 (k = (1 (k -1 + (2 (k -2 + … + (p (k –p, k ( 0 (16) 即有 (1 - G1 L ) (1 – G2 L ) … (1 – Gp L )(k = 0 (17) 其中，Gi-1, i = 1, 2是方程(1 - (1 L - (2 L2 - … - (p Lp) = 0 的根。令 (1 – G p L ) (k = yk (18) 由(17)式，可得 (1 - G1 L ) (1 – G2 L ) … (1 – Gp-1 L )yk = 0 (19) 即yk满足AR(p-1) 过程的自相关函数方程，从而可得 yk = A1 G1k + A2 G2k + … + Ap-1 Gp-1k. (20) 由(18)式可得 (k = Gp (k-1 + yk = Gp (k-1 + (21) 对上式进行迭代， (k = G p (G p (k-2 + ) + = G p 2 (k-2 + = ….　 = G p k ( 0 + (22) 证毕 识别 用相关图和偏相关图识别模型 形式（确定参数d, p, q） 估计 对初步选取的模型进行参数估计 诊断与检验 包括参数的显著性检验和 残差的随机性检验 模型可取吗 止 可取 不可取 2 12 _1004737345.unknown _1049639911.unknown _1116592665.unknown _1143268585.unknown _1143268589.unknown _1143268591.unknown _1143268592.unknown _1143268593.unknown _1143268590.unknown _1143268587.unknown _1143268588.unknown _1143268586.unknown _1143268583.unknown _1143268584.unknown _1143268582.unknown _1116591424.unknown _1116592536.unknown _1116592556.unknown _1116591844.unknown _1114802277.unknown _1116590779.unknown _1049975465.unknown _1049975525.unknown _1049826487.unknown _1017483775.unknown _1021530784.unknown _1021530837.unknown _1021530896.unknown _1021530950.unknown _1021531011.unknown _1021530891.unknown _1021530808.unknown _1021182056.unknown _1021530091.unknown _1020620765.unknown _1020620784.unknown _1020620894.unknown _1020620704.unknown _1004952609.unknown _1007617591.unknown _1017483762.unknown _1005596707.unknown _1004812610.unknown _1004869115.unknown _1004950568.unknown _1004950612.unknown _1004950679.unknown _1004950541.unknown _1004883219.unknown _1004950413.unknown _1004868188.unknown _1004868789.unknown _1004764678.unknown _1004812140.unknown _1004812450.unknown _1004811721.unknown _1004811645.unknown _1004811663.unknown _1004738293.unknown _1004528857.unknown _1004555706.unknown _1004605599.unknown _1004716933.unknown _1004717179.unknown _1004733301.unknown _1004736960.unknown _1004733282.unknown _1004717218.unknown _1004717033.unknown _1004717150.unknown _1004716942.unknown _1004717022.unknown _1004716796.unknown _1004716810.unknown _1004694805.unknown _1004555787.unknown _1004555884.unknown _1004555760.unknown _1004533833.unknown _1004555268.unknown _1004555316.unknown _1004555097.unknown _1004529202.unknown _1004529309.unknown _1004528908.unknown _1004200101.unknown _1004215095.unknown _1004525196.unknown _1004528835.unknown _1004528849.unknown _1004526690.unknown _1004513639.unknown _1004271213.unknown _1004340304.unknown _1004215133.unknown _1004200579.unknown _1004203926.unknown _1004213533.unknown _1004201450.unknown _1004200545.unknown _1004200562.unknown _1004200527.unknown _999762052.unknown _1004199949.unknown _1004199989.unknown _1004199508.unknown _1002089555.unknown _844160834.unknown _996477964.unknown _844160808.unknown