基于Kalman滤波的储备池多元时间序列在线预报器

第 36 卷 第 1 期 自 动 化 学 报 Vol. 36, No. 1 2010 年 1 月 ACTA AUTOMATICA SINICA January, 2010 基于Kalman滤波的储备池多元 时间序列在线预报器 韩 敏 1 王亚楠 1 摘 要 针对多元非线性时间序列, 结合回声状态网络和 Kalman 滤 波提出一种新的在线自适应预报方法. 该方法将 Kalman 滤波应用于回 声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更 新, 省去了传统递归网络扩展 Kalman 滤波中 Jacobian 矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳 定时给出所提算法的收敛性 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 . 仿真实例验证了所提方法的有效性. 关键词 卡尔曼滤波, 递归网络, 回声状态网络, 多变量序列, 预测 DOI 10.3724/SP.J.1004.2010.00169 Multivariate Time Series Online Predictor with Kalman Filter Trained Reservoir HAN Min1 WANG Ya-Nan1 Abstract A novel online adaptive prediction method is pro- posed for multivariable nonlinear time series, which is based on echo state network (ESN) and Kalman filtering (KF) algorithm. The KF is adopted in the high-dimension “reservoir” state space to directly update the output weights of the ESN online. It is im- plemented without the computation of Jacobian matrices which is in the expanded KF (EKF) algorithm of traditional recurrent neural network (RNN), so as to improve the prediction accuracy and extend the applications. The convergence of the proposed method is proved when the ESN is steady. Simulation examples demonstrate the validity of the proposed method. Key words Kalman filter (KF), recurrent neural network (RNN), echo state network (ESN), multivariate series, predic- tion 时间序列预测技术在复杂系统建模、数据流技术和故障 诊断等领域都具有较为广泛的应用[1], 是当前控制理论研究 的热点之一. 而神经网络作为一种有效的非线性黑箱建模方 法, 在当今时间序列研究中发挥着较大的作用. 特别是递归 网络 (Recurrent neural network, RNN) 内部包含反馈回路, 可适应动态系统的时变特性, 比仅能反映系统输入 –输出间 静态映射关系的前馈网络更适合动态系统建模[2]. 尽管 RNN 已逐渐发展成为一种时间序列处理的基本方 法, 但它始终存在训练复杂和稳定性分析困难的不足. 同时, 大多数预测方法都采用离线批处理算法. 对于时间序列数据 来说,其规模往往很大,离线方法对存储资源和运算资源的要 求高、成本大. 目前应用较广的在线 BP (Back propagation) 算法是一种梯度下降算法, 存在跟踪速度慢, 易陷入局部极 小的缺陷. 扩展卡尔曼滤波 (Expanded Kalman filter, EKF) 收稿日期 2008-12-26 录用日期 2009-03-24 Manuscript received December 26, 2008; accepted March 24, 2009 国家高技术研究发展计划 (863 计划) (2007AA04Z158), 国家自然科学基金 (60674073), 大连理工大学 2007 年 “数学 +X” 交叉学科建设专项项目资助 Supported by National High Technology Research and Development Program of China (863 Program) (2007AA04Z158), National Natu- ral Science Foundation of China (60674073), and 2007 “Math+X” Special Cross-disciplinary Construction of Dalian University of Tech- nology 1. 大连理工大学电信学院 大连 116024 1. School of Electronic and Information Engineering, Dalian Uni- versity of Technology, Dalian 116024 作为卡尔曼 (Kalman filter, KF) 算法[3] 的一种非线性推广 形式, 近年来被用于网络在线学习中. EKF 属于最优状态估 计算法, 用它训练神经网络时, 网络的权值被当作滤波器的 待估状态[4], 具有接近二次的收敛速度, 训练速率明显优于 BP. 但是, EKF 算法在计算中用到了误差协方差矩阵的近似 值, 最终只得到最优解的一阶近似形式, 算法的精度和收敛 性都无法保证, 仅在初始误差和噪声不大时有效. 且运算过 程中含有 Jacobian 矩阵的求取, 需要通过 RTRL 或 BPTT 这样的梯度下降算法实现[5]. 后来提出的 UKF 方法虽然能 够提高预测的精度, 但它以牺牲运算量为代价, 计算复杂度 远高于 EKF, 同时其 Unscented 变换参数的选取具有较大随 机性[6]. 回声状态网络 (Echo state network, ESN) 是一种性能 良好的新型递归网络, 具有较强的生物背景和非线性函数逼 近能力[7]. ESN 内部包含一个递归连接大且稀疏的储备池, 起到存储历史信息的 “回声” 作用, 储备池到输出之间呈线 性映射. 与常规 RNN 网络不同, ESN 的输入权值和储备池 内部连接权值在初始时刻即给定不变, 训练的目的是为得到 储备池到输出间的最优输出权值, 可应用线性算法求取. 本 文在 ESN 网络储备池学习机制基础之上, 将原始空间的非 线性问题转化为储备池高维状态空间的线性问题后, 利用 KF 算法实时更新网络的输出权值. 由于储备池状态至输出 值间为线性映射, KF 算法不需经任何扩展即可直接用于输 出权值的寻优. 相比于传统 RNN 的 EKF 算法, 既消除了 一阶线性近似产生的运算偏差, 解除了网络方程必为一阶可 导且导数可求的限制, 又避免了 Jacobian 矩阵的求取运算. 在 ESN 网络稳定的前提下, 给出本文算法的收敛性证明, 并 通过 Lorenz 多元时间序列预测仿真实验将本文方法与传统 EKF 方法进行比较. 1 多变量时间序列状态空间重构 对时间序列进行分析的第一步是相空间重构, 延迟坐标 状态空间重构是最常用的方法. 假定多元离散时间序列为 x1(t), x2(t), · · · , xn(t), 借鉴单变量序列重构相空间的方法, 分别选取 mi 和 τi (i = 1, 2, · · · , n) 为第 i 元混沌序列的嵌 入维数和时间延迟, 得到多元变量嵌入延迟向量如式 (1) 所 示. xxx(k) = [ xxx1(k) T,xxx2(k) T, · · · ,xxxn(k)T ]T (1) 其中 xxxi(k) = [xi(k), xi(k − τi), · · · , xi(k − (mi − 1)τi)]T (2) 对于 mi 和 τi (i = 1) 的选取, 目前仍没有统一的方法. 本文采用 C-C 方法, 它具有计算量小、易操作和抗噪性能强 的优点[8]. 设预测时域为 h, 得到式 (1) 后, 建立 k 时刻嵌入 延迟向量与预测值 yd(k + h) 间的定量关系. 由 Taken 定理 可知, 一定存在 F (·), 使 xxx(k + 1) = F (xxx(k)) 假设 yd(k) 能够通过量测函数 g(·) 观测延迟坐标向量 (1) 得到 yd(k) = g(xxx(k)) 相应地, 有下式成立 xxx(k) = xxx(k) 更多技术文章，论文请登录www.srvee.com 内容版权归作者所有 170 自 动 化 学 报 36卷 xxx(k + 1) = F (xxx(k)) ... xxx(k + h) = F (xxx(k + h− 1)) yd(k + h) = g(xxx(k + h)) 令 F0(·) ≡ 0, 将上面公式写作状态空间表达式形式 xxx(k) xxx(k + 1) ... xxx(k + h)  =  F0(xxx(k − 1)) F (xxx(k)) ... F (xxx(k + h− 1)) +  1 0 ... 0 xxx(k) (3) yd(k + h) = [ 0 0 · · · 1 ]  xxx(k) xxx(k + 1) ... g(xxx(k + h))  (4) 在 k时刻,状态空间表达式的输入为向量xxx(k),状态向量 为 [xxx(k)T,xxx(k+1)T, · · · ,xxx(k+h)T]T,输出信号为 yd(k+h). 预测原点和预测时域时间上的关系通过式 (3) 和式 (4) 转化 为 “空间” 上的关系, 为使用递归网络直接预测多元时间序列 奠定了基础. 2 储备池KF预测算法描述 本节将对储备池 KF 算法进行具体介绍, 给出算法的收 敛性证明, 并指出测量误差协方差矩阵 R(k) 对收敛速率具 有较大影响. 同时, 从不同方面将本文方法与常规 RNN 的 EKF 方法进行比较分析. 2.1 储备池KF在线预测算法 首先, 对常规 RNN 网络的 EKF 算法进行简单介绍, 进 而引出本文的储备池 KF 在线算法. 常规单输出 RNN 网络 一步预测状态空间方程可表示为 xxx(k + 1) = f(uuu(k),xxx(k);wwwf ) (5) y(k + 1) = g(xxx(k + 1), y(k);wwwg) (6) 其中, uuu(k) 为 k 时刻的嵌入延迟向量, xxx(k) 为隐含层状态, y(k + 1) 为网络输出. 用 EKF 算法训练 RNN 网络时, 网络 中所有连接权值均为待估状态, 写成状态空间表达式形式为 www(k + 1) = www(k) +ωωω(k) (7) yp(k + 1) = h(www(k),uuu(k),xxx(k)), y(k)) + υ(k) (8) 这里, yp(k + 1) 为实际观测值, ωωω(k) 和 υ(k) 为高斯白噪声. 对于常规 RNN 网络, 有 www(k) = [ wwwf (k) wwwg(k) ] 取Q(k) 和R(k) 分别为过程噪声ωωω(k) 和测量噪声 υυυ(k) 的协方差矩阵 Q(k) = E[ωωω(k)ωωω(k)T] (9) R(k) = E[υυυ(k)υυυ(k)T] (10) Kalman 滤波器具有两个基本工作步骤. 第一步为时 间更新, 通过前一时刻的状态 wˆww(k − 1) 和误差协方差矩阵 P (k − 1) 得到当前时刻状态和误差协方差矩阵的先验估计 wˆww−(k) 和 P−(k) wˆww−(k) = F (k − 1)wˆww(k − 1) (11) P−(k) = F (k − 1)P (k − 1)F (k − 1)T +Q(k − 1) (12) 其中, F (k) 为状态转移矩阵. 第二步为测量更新, 通过实际 测量值对状态和误差协方差矩阵进行校正, 估计误差协方差 矩阵和状态的更新式为 P (k) = (I −K(k)H(k)T)P−(k) (13) wˆww(k) = wˆww−(k) +K(k)e(k) (14) 其中, e(k) = yp(k)− y−(k). K(k) 为 Kalman 滤波增益, 计 算如下 A(k) = (R(k) +H(k)TP−(k)H(k))−1 (15) K(k) = P−(k)H(k)A(k) (16) 在用 EKF 算法训练常规 RNN 网络时, 状态转移矩阵 F (k) = I, 相应的测量矩阵近似为 H(k) ≈ ∂h(www(k)) ∂www(k) = [ ∂h(k) ∂w1 , ∂h(k) ∂w2 , · · · , ∂h(k) ∂wN ]T (17) 其中, N 为网络可调权值总数, H(k) 为网络输出对可调权值 的 Jacobian 矩阵. 由于 EKF 方法需计算 Jacobian 矩阵, 不 能用于 h(·) 不可导或导数求解困难的系统. 同时, RNN 网络 方程的形式一般比较复杂, 需应用 BPTT 或 RTRL 算法求 得 Jacobian 矩阵, 令运算量增大. 因而, 从运算精度、复杂度 和应用范围来说, 传统 RNN 的 EKF 算法均存在不足. ESN 网络具有独特的非线性处理机制, 其网络方程为 xxx(k + 1) = tansig(Wx · xxx(k) +Win · uuu(k)) (18) y(k) = www(k)Txxx(k) (19) 其中, xxx(k)、uuu(k) 代表 k 时刻储备池状态变量和输入向量, Wx、Win 分别为储备池内部的连接矩阵和外部输入至储 备池的连接矩阵. 通常, 储备池状态 xxx 的维数较高 (一般 取 100∼ 1 000 之间), 矩阵 Wx 保持 1% ∼ 5% 的稀疏连 接, Wx 和 Win 一经初始化后就保持不变, 当 Wx 的谱半径 ρ(Wx) ≤ 1 时[9], ESN 网络为稳定运行, 学习的目的是求取 最优输出向量www. 在最优估计理论和储备池机理的框架下, KF 算法可以 直接用来在线估计 ESN 的输出权值, 相应的观测方程为 yp(k) = www(k) Tsss(k) + υ(k) (20) 需要注意的是, 与常规 RNN 不同, 这里 www(k) 仅表示输出权 值. sss(k) 为 k 时刻 ESN 储备池的内部状态变量 xxx(k), 它在 储备池 KF 算法中充当了测量矩阵 H(k). 对比式 (8) 和式 (20) 可知, 观测方程 (20) 较为简单. 这是因为在 ESN 中, 对 于给定的网络输入, 可根据式 (18) 方便地求得储备池状态变 量 sss(k), 进而直接应用式 (11)∼ (16) 计算出 ESN 的输出权 值. 更多技术文章，论文请登录www.srvee.com 内容版权归作者所有 1期 韩敏等: 基于 Kalman滤波的储备池多元时间序列在线预报器 171 具有渐消记忆功能的 Kalman 滤波算法只需将式 (11) 替换成下式即可 wˆww−(k) = λ− 1 2 wˆww(k − 1), 0 < λ ≤ 1 (21) 其中, λ 为遗忘因子. 2.2 储备池KF算法收敛性分析 本节将对储备池 KF 算法的收敛性进行证明. 为方便表 达, 分析过程中用下标表示相应时刻的取值. 定义 k + 1 时刻 状态估计误差 w˜wwk+1 = www ∗ − wˆwwk+1 (22) www∗ 为最优输出权值, 定义准 Lyapunov 函数为 Vk+1 = w˜ww T k+1P −1 k+1w˜wwk+1 (23) 定理 1. 当 ESN网络满足 ρ(Wx) ≤ 1时, 通过式 (11) ∼ (16) 得到 wˆwwk. 当 k → ∞ 时, 必有 w˜wwk = 0 成立. 即当 ESN 稳定运行时, 储备池 KF 算法必收敛. 为了证明定理 1 成立, 我们首先证明 {Vk}k=1,··· ,∞ 为递 减数列. 令 Fk = I, Qk = 0, 由式 (11) 和 (14) 得 wˆwwk+1 = wˆwwk +Kk+1ek+1 (24) ek+1 = y p k+1 − yˆ−k+1 = HTk+1(www∗ − wˆww−k+1) = HTk+1(www ∗ − wˆwwk) = HTk+1w˜wwk (25) 在式 (24) 两边同时减www∗, 整理得到 w˜wwk+1 = w˜wwk −Kk+1ek+1 (26) 另一方面, 对式 (13)、(15) 和 (16) 进行等式变换, 可得 Pk+1Hk+1R −1 k+1 = PkHk+1Ak+1 = Kk+1 (27) P−1k+1 = (I+Hk+1R −1 k+1H T k+1Pk) −1 = P−1k +Hk+1R −1 k+1H T k+1 (28) 将式 (25)∼ (28) 分别代入 (23), 整理得到 Vk+1 = (w˜wwk − Pk+1Hk+1R−1k+1ek+1)T× P−1k+1(w˜wwk − Pk+1Hk+1R−1k+1ek+1) = Vk + e T k+1R −1 k+1(H T k+1Pk+1Hk+1R −1 k+1 − I)ek+1 = Vk + e T k+1R −1 k+1(H T k+1PkHk+1Ak+1 − I)ek+1 由于 Fk = I, Qk = 0, 将其代入式 (12) 可得 P−k+1 = Pk, 结 合式 (15), 得到 Vk+1 = Vk + e T k+1R −1 k+1(H T k+1PkHk+1 (Rk+1 +H T k+1P −1 k+1Hk+1) −1 − I)ek+1 = Vk + e T k+1R −1 k+1(H T k+1PkHk+1 (Rk+1 +H T k+1PkHk+1) −1 − I)ek+1 (29) 通常, 取 Rk = σ0I = R 为恒定的正对角阵. 要令 Vk+1 ≤ Vk, 只需保证 Ψ = HTk+1PkHk+1(Rk+1 +H T k+1PkHk+1) −1 − I (30) 为负定即可, 该结论显然成立. 因此 {Vk}k=1,··· ,∞ 为递减数 列. 同时, 由定义可知 ∀Vk ≥ 0, 根据单调有界原理, 必有 lim k→∞ Vk = V (31) 另一方面, 由式 (28) 可得 P−1k+1 = Θ(1, k + 1) TΓ(1, k + 1)Θ(1, k + 1) + P−10 (32) 其中, Θ(1, k + 1) = [H1, H2, · · · , Hk+1]T Γ(1, k + 1) = diag { R−11 , R −1 2 , · · · , R−1k+1 } 引理 1. 对于辨识算法 (11) ∼ (16), 若存在正实数 σ1, σ2 和正整数 n, 对于 ∀k > n 均满足[10] 0 < kσ1 ≤ λ(P−1k − P−10 ) ≤ kσ2 (33) 则有 lim k→∞ λmin(P −1 k ) =∞ (34) Sup lim k→∞ λmax(P −1 k ) λmin(P −1 k ) <∞ (35) 在 ESN 中, 当储备池谱半径 ρ(Wx) ≤ 1 时, 网络稳定运 行. 由式 (18) 求得储备池内部状态变量充当 KF 算法的测量 矩阵 Hk 时, 恒有 ‖Hk‖∞ = ‖xxxk‖∞ < 1 (36) 此时, 通过不等式放大易得不等式 (33) 右侧成立. 同时, 当 n 足够大时, 对 ∀k > n 一定有 Ω = P−1k − P−10 = Θ(1, k)TΓ(1, k)Θ(1, k) 为满秩. 又由式 (36) 可得不等式 (33) 左侧成立. 进而由引 理 1, 得到式 (34) 和 (35) 成立. 又因为 Vk tr(P−1k ) ≥ λmin(P −1 k )w˜ww T k w˜wwk dλmax(P −1 k ) ≥ 0 (37) 且 lim k→∞ tr(P−1k ) > lim k→∞ λmin(P −1 k ) =∞, 所以 lim k→∞ Vk tr(P−1k ) = lim k→∞ λmin(P −1 k )w˜ww T k w˜wwk dλmax(P −1 k ) = 0 (38) 由式 (35) 和 (38) 得到 lim k→∞ w˜wwk = 0 (39) 因此, 本文算法在 ESN 网络稳定时收敛. ¤ 对式 (29) 进一步化简, 可得 Vk+1 = Vk − eTk+1(HTk+1PkHk+1 +Rk+1)−1ek+1 = Vk − w˜wwTkHk+1(HTk+1PkHk+1 +Rk+1)−1HTk+1w˜wwk (40) 从式 (40) 中可以看出, Rk 取值对算法收敛速率有较大 的影响, Rk 取值大时收敛较慢, Rk 取值小时收敛较快. 而在 式 (15) 中, Rk 起到了正则项的作用, 取值过小时 A(k) 易呈 “病态”. 因此, Rk 的取值需要根据具体数据进行折衷选取. 更多技术文章，论文请登录www.srvee.com 内容版权归作者所有 172 自 动 化 学 报 36卷 3 仿真实例 为验证本文方法的有效性, 将其应用于 Lorenz混沌方程 的三变量时间序列预测仿真中, 并与 Elman 网络的 EKF 算 法[5] 进行比较. 引入均方根误差 ERMSE 来定量说明预测性能 ERMSE = ( 1 S − 1 S∑ i=1 (Pi −Oi)2 ) 1 2 (41) 其中, S 为测试样本个数, Oi 是某个实际观测值, Pi 为对应 预测输出. Lorenz 混沌方程如式 (42) 所示, 当取 a = 10, b = 8/3, c = 28, x(0) = y(0) = z(0) = 1.0 时, 系统产生混 沌. 利用四阶 Runge-Kutta 法迭代产生混沌时间序列, 使用 x(t)、y(t) 和 z(t) 序列共同预测 x(t+ η). x˙ = a(y − x) y˙ = (c− z)x− y z˙ = xy − bz (42) 根据 C-C 方法计算得到 τ1 = 19, τ2 = 13, τ3 = 12, m1 = 3,m2 = 5, m3 = 7, 相应的 15 维延迟坐标向 量为 ddd(t) = {x(t), · · · , x(t− 2τ1), y(t), · · · , y(t− 4τ2), z(t), · · · , z(t− 6τ3)}T = {xxxT, yyyT, zzzT}T 原序列长度为 2 501, η = 1 时经相空间重构生成 2 428 组数 据. 令 uuu(k) = ddd(k), 预测输出为 x(t + η), 分别用 Elman 网 络结合 EKF 算法和本文的储备池 KF 算法对其进行预测建 模. 在 Elman 网络中, 隐含层节点数选为 5, 网络的可调权值 总数为 111. Jacobian 矩阵通过截断 BPTT 算法求取, 截断 长度 p 取 10. 而 ESN 储备池的参数设置如表 1 所示. 表 1 ESN 的储备池参数设置 Table 1 Parameter settings of the ESN reservoir 储备池参数 取值 储备池维数 200 矩阵Wx 稀疏度 2% 矩阵Wx 谱半径 0.98 输入权值Win [−1,+1] 均匀分布 两种方法自适应预测曲线和自适应误差曲线如图 1∼ 4 所示. 从图中可以看出递归网络受到初始暂态影响, 在训练 前期产生较大偏差, 经一段时间以后逐渐趋于稳定. 舍弃前 面若干暂态点求取误差, 得到均方根误差结果如表 2 和表 3 所示. 从图 1、2 和表 2 可以看出, Elman 网络结合 EKF 算 法在第 1 000 个预测点左右趋于稳定, 稳定后的预测误差在 0.4 左右. 从图 3、4 和表 3 可以看出, 本文储备池 KF 方法 具有较短的暂态过程, 预测结果第 400 个预测点左右已趋于 稳定, 且稳定后预测误差在 0.04 左右, 优于传统方法. 对照两种方法 x(t) 时间序列的预测结果可知, 本文方法 的预测性能较常规方法有较大提升, 相应的暂态过程更短且 预测精度更高. 究其原因在于预测建模过程中, 非线性部分 和动态部分均已在储备池内部完成, 储备池 KF 算法本质上 是一种线性运算, 能够精确计算且不存在局部最优问题. 而 常规递归网络 EKF 方法需要线性化近似且存在局部最优, 对参数的初始值敏感, 因而实现效率比本文算法要低. 图 1 常规 RNN 在 EKF 算法下的预测曲线 Fig. 1 Prediction curves of EKF method in traditional RNN 图 2 常规 RNN 在 EKF 算法下的预测误差曲线 Fig. 2 Predition error curve of EKF method in traditional RNN 表 2 常规 RNN 网络 EKF 算法舍弃一定暂态后的预测均方根误差 (50 次随机试验取平均) Table 2 Prediction ERMSE of EKF method in traditional RNN excluded transient process with different lengths 舍弃暂态长度 200 400 600 800 1 000 1 200 ERMSE η = 1 0.7449 0.6245 0.5829 0.5021 0.4493 0.4376 η = 20 2.0020 1.9496 1.8644 1.7743 1.6201 1.5725 表 3 储备池 KF 算法舍弃一定暂态后的预测均方根误差 (50 次随机试验取平均) Table 3 Prediction ERMSE of reservoir KF method excluded transient process with different lengths 舍弃暂态长度 100 200 400 600 800 1 000 ERMSE η = 1 0.1297 0.0967 0.0408 0.0388 0.0386 0.0342 η = 20 0.7305 0.7174 0.6875 0.6782 0.6761 0.6556 更多技术文章，论文请登录www.srvee.com 内容版权归作者所有 1期 韩敏等: 基于 Kalman滤波的储备池多元时间序列在线预报器 173 图 3 储备池 KF 算法下的预测曲线 Fig. 3 Prediction curves of reservoir KF method 图 4 储备池 KF 算法训练下的预测误差曲线 Fig. 4 Prediction err curve of reservoir KF method 4 结论 本文在储备池方法和 KF 算法基础之上, 针对复杂多元 时间序列提出一种新的自适应预报方法. 重构多元相空间后, 通过 ESN 储备池将嵌入延迟向量至预测输出间的非线性动 态映射转化为高维储备池状态至预测输出间的线性静态映 射, 并运用 KF 算法随数据的逐步加入实时更新网络输出权 值. 给出本文算法在 ESN 稳定时为收敛的证明, 并通过仿真, 比较 Elman 网络 EKF 算法与本文储备池KF 算法的性能差 异. 由于常规 EKF 需要对非线性部分进行线性化近似, 利用 输出对可调参数导数的一阶 Taylor 展开来近似 KF 方程中 的测量矩阵, 算法本身存在近似偏差, 效率较低. 而本文方法 将非线性部分完全分离出去由储备池处理, KF 完成余下的 线性参数估计问题, 因而算法效率较高. 实验结果表明, 本文 的在线储备池 KF 算法为复杂系统的辨识提供了一条有效的 途径. References 1 Wang Yong-Li, Zhou Jing-Hua, Xu Hong-Bing, Dong Yi- Sheng, Liu Xue-Jun. An adaptive forecasting method for time-series data streams. Acta Automatica Sinica, 2007, 32(2): 197−201 (王永利, 周景华, 徐宏炳, 董逸生, 刘学军. 时间序列数据流的自适 应预测. 自动化学报, 2007, 32(2): 197−201) 2 Atiya A F, Parlos A G. New results on recurrent network training: unifying the algorithms and accelerating conver- gences. IEEE Transactions on Neural Networks, 2000, 11(3): 697−709 3 Sayed A H. A framework for state-space estimation with un- certain models. IEEE Transactions on Automatic Control, 2001, 46(7): 998−1013 4 Sum J, Leung C S, Young G H, KanWK. On the Kalman fil- tering method in neural network training and pruning. IEEE Transactions on Neural Networks, 1999, 10(1): 161−166 5 Cernansky M, Benuskova L. Simple recurrent network trained by RTRL and extended Kalman filter algorithms. Neural Network World, 2003, 13(3): 223−234 6 Choi J, Yeap T H, Bouchard M. Online state-space model- ing using recurrent multilayer perceptrons with unscented Kalman filter. Neural Processing Letters, 2002, 22(1): 69−84 7 Jaeger H, Haas H. Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communica- tion. Science, 2004, 304(5667): 78−80 8 Kim H S, Eykholt R, Salas J D. Nonlinear dynamics, delay times, and embedding windows. Physica D, 1999, 127(1-2): 48−60 9 Buehner M, Young P. A tighter bound for the echo state property. IEEE Transactions on Neural Networks, 2006, 17(3): 820−824 10 Boutayed M, Rafaralahy H, Darouach M. Convergence anal- ysis of the extended Kalman filter used as an observer for nonlinear deterministic discrete-time systems. IEEE Trans- actions on Automatic Control, 1997, 42(4): 581−586 韩 敏 大连理工大学教授. 主要研究方向为神经网络理论及其应用, 复 杂系统建模及自适应控制. 本文通信作者. E-mail: minhan@dlut.edu.cn (HAN Min Professor at Dalian University of Technology. Her research interest covers neural networks theory and applica- tion, complex systerms modeling, and adaptive control. Corre- sponding author of this paper.) 王亚楠 大连理工大学硕士研究生. 主要研究方向为神经网络应用和机 器学习. E-mail: wyanan@student.dlut.edu.cn (WANG Ya-Nan Master student at Dalian University of Technology. Her research interest covers neural networks appli- cation and machine learning.) 更多技术文章，论文请登录www.srvee.com 内容版权归作者所有