BP神经网络的改进及其应用

收稿日期: 2002�12�10 基金项目:河南省自然科学基金项目( 004040600) 作者简介:张文鸽( 1975�) , 女,河南巩义人, 郑州大学环境与水利学院硕士研究生。 文章编号: 1004�3918( 2003) 02�0202�05 BP神经网络的改进及其应用 张文鸽1, � 吴泽宁1, � 逯洪波2 ( 1.郑州大学环境与水利学院,河南 郑州 � 450002; 2. 黄河水利委员会,河南 郑州 � 450003) 摘 � 要:在 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 BP神经网络建模步骤的基础上, 针对 BP神经网络某些不足, 提出了几点改进措施。首先对原始数 据进行了非线性规格化; 其次,提出了记忆式初始权值和阀值; 最后以确定性系数最大为依据进行参数优 选, 并将改进后的 BP 神经网络应用于需水量预测。结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明, 改进后的 BP神经网络不仅提高了 BP神经 网络预测的精度, 而且加快了 BP 网络运行时的收敛速度。 关键词:人工神经网络; BP 神经网络;需水量; 预测 中图分类号: TP183 � � � 文献标识码: A 人工神经网络 ( Art ificial Neural Netw ork)是近些年来迅速发展起来的人工智能科学的一个分支,这几 年的广泛应用再度显示了它活跃的生命力。实践证明,人工神经网络除了应用在语言识别、自动控制等领域 外,还可以应用于预测、评价等其它方面,其准确性明显优于回归模型[ 1]。 ANN是由大量简单的处理单元 � � � 神经元相互连接而成的自适应非线性动态系统。每个神经元的结 构和功能都十分简单,其工作则是集体进行的,其信息传播、存贮与脑相似。它没有运算器、存贮器、控制器, 而只有相同的处理单元的组合。它的信息存贮在处理单元之间的连接键上,是一种模仿人脑神经细胞的结 构和功能的物理可实现系统。它具有自组织、自适应和自学习能力, 具有非线性、非局域性、非定常性和非凸 性等特点。近年来, 人工神经网络理论在许多领域都取得了令人满意的成果。 BP( Back- Propagat ion)神经网络是人工神经网络中最具代表性和广泛应用的一种,其结构简单,可操作 性强,能模拟任意的非线性输入输出关系。实践表明, 它也存在很多缺点, 如学习收敛速度慢,通常需要经过 几千次迭代甚至更多,容易陷入局部极小点而无法得到全局最优解。本文针对 BP 神经网络某些不足, 提出 了几点改进措施。 1 � BP神经网络结构及其建模步骤 1. 1 � BP神经网络结构 BP 神经网络,即多层前馈式误差反传播神经网络,通常由输入层、输出层和若干隐含层构成, 每层由若 干个结点组成, 每一个结点表示一个神经元, 上层结点与下层结点之间通过权联接,同一层结点之间没有联 系。如图 1所示。 BP 神经网络的学习过程分为信息的正向传播过程和误差的反向传播过程两个阶段。外部输入的信号 经输入层、隐含层的神经元逐层处理向前传播到输出层给出结果。如果在输出层得不到期望输出,则转入逆 向传播过程,将实际值与网络输出之间误差沿原来联结的通路返回, 通过修改各层神经元的联系权值,使误 差减少,然后再转入正向传播过程,反复迭代,直到误差小于给定的值为止。 1. 2 � BP神经网络的建模步骤 ( 1)设图 1中输入层、隐含层、输出层节点数分别为 m、l、n。设输入学习样本为 q 组: X 1, X 2, , Xp , , X q( Xp = ( xp1, , x pi , , x pm) ) ,其对应希望输出值为 T 1, T 2, , T p , , T q ( T p = ( tp1, , tpk , , t pn ) ) ,通 过网络对应输出端的实际输出值为( Y 1, , Y p , , Y q ( Y p = ( y p1, , ypk , , ypn) )。置所有可调参数(权和 阈值)为某种形式的较小数值。 (2)正向计算: 将第 p ( p = 1, 2, q )个样本顺序输入到图 1的网络中, 按下式分别计算隐含层、输出层各神经元的激 第 21 卷 � 第 2 期 2003 年 4 月 � � � � � � � � � � � � 河 � 南 � 科 � 学 HENAN � SCIENCE � � � � � � � � � � � � Vol� 21 � No . 2Apr. 2003 图 1� BP神经网络模型拓朴结构 Fig. 1 � St ructural chart of BP Neural Network 活值和输出值: 隐含层各神经元的激活值 S p j = !m i= 1 w 1 ij x p i - �1j j = 1, 2, l ; � i = 1, 2, m; � p = 1, 2, q ( 1) � � 式中, w 1ij为输入层至隐含层连接权; �1j 为隐含层节点的 阈值。 激活 函数 excel方差函数excelsd函数已知函数     2 f x m x mx m      2 1 4 2拉格朗日函数pdf函数公式下载 常采用 S型的 sigmoid( )函数 f ( u ) = 1 1 + e- u 将激活值代入激活函数可得隐含层第 j 节点的输出值 h p j = f ( S p j ) = f ( !m i= 1 w 1 ijx p i - �1j ) j = 1, 2, l ; � i = 1, 2, m; � p = 1, 2, q ( 2) 同理,可求得输出层第 k 节点的激活值 Spk 和输出值ypk S p k = !l j= 1 w 2 j kh p j - �2k k = 1, 2, n; � j = 1, 2, l ; � p = 1, 2, q (3) y = f ( S p k ) = f ( !l j= 1 w 2 j kh p j - �2k) k = 1, 2, n; � j = 1, 2, l ; � p = 1, 2, q (4) 式中, w 2j k 为隐含层至输出层连接权; �2k 为输出层节点的阈值。 (3)计算总误差 E= !q p= 1 !n k= 1 1 2 ( t p k - y p k ) 2 ,若 E �(允许误差) , 则停止迭代;否则执行第(4)步。 (4)反向计算:当输出层的实际输出值与希望输出值不一样时就要对网络进行校正。校正是从后向前进 行的。BP 算法采用的是 学习规则,即利用误差的负梯度来调整连接权, 使其输出误差单调减少。 ∀计算各层误差,对已知样本的输出目标可得 输出层校正误差为 p k= ( t p k- y p k) y p k (1- y p k ) k= 1, 2, n ; � p = 1, 2, q (5) 隐含层校正误差为 p j = !n j= 1 pkw 2j khpj (1- hpj ) k= 1, 2, n ; � j = 1, 2, l ; � p = 1, 2, q (6) #按下式修改各层的权值和阀值: 输出层至隐含层连接权和输出层阈值校正量分别为 !w 2j k = ∀∃ pk ∃ hpj (7) !�1k = ∀∃ pk k = 1, 2, n ; � j = 1, 2, l ; � p = 1, 2, q (8) 隐含层至输入层连接权和隐含层阈值校正量为 !w 1ij = ∀∃ pj ∃ x pi (9) !�1j = ∀∃ pj j = 1, 2, l ; � i = 1, 2, m � p = 1, 2, q (10) 式中, ∀为学习步长(学习率) , 0< ∀< 1。 (5)按新的权重新计算 Spj 、hpj 、Spk、ypk 和E , 直到 E �(允许误差) , 否则重复步骤( 2)- (4)。 2 � BP神经网络的不足及其改进 � � 由于 BP 神经网络具有逼近任意连续函数和非线性映射的能力, 因此在人工神经网络研究领域中得到 �203�2003年 4月 � � � � � � � � � � � � � � � BP 神经网络的改进及其应用 了广泛的应用。其结构简单,可操作性强, 能模拟任意的非线性输入输出关系。但它也存在学习收敛速度 慢、容易陷入局部极小点而无法得到全局最优解等缺点。 针对这些缺点, 目前已有不少人对此提出了改进方案。如文献[ 2]提出在修改权值中加入%动量项&;文 献[ 3]、[ 4]采用共轭梯度法;文献[ 5]引入同伦方法; 文献[ 6]采用 Cauchy 误差估计器代替传统的 LM S误差 估计器;文献[ 7]将输入输出数据初始化到( 0. 1, 0. 9)的区间内。这些方案对 BP 神经网络起到一定的改进 作用,但仍然存在着不足。本文在前人研究工作的基础上, 提出了几点改进措施。 2. 1 � 原始数据的非线性规格化 大多数 BP 神经网络模型以 S形函数作为转换函数,该函数的值域为[ 0, 1] ,因此在网络训练时要将原 始数据规范到[ 0, 1]区间,通常采用标准的归一方法来实现。但是规范后的每个输出的教师值序列中至少有 一个值为 0, 一个值为 1,恰好是 S 形函数的极小值和极大值,要求联接权足够大才能使网络的输出值与其匹 配,从而需要相当多的训练次数来不断修正权值, 导致训练速度缓慢。为避免这种现象, 一些文献建议将教 师值进行线性规范化至某一区间内[ 7] , [ 8] ,如文献[ 8]提出按式 y∋= y y max + ymin (11) 进行处理。这样做的确可以加快网络学习速度。但是,在进行预报时,由于预报值 y∋ 1,即 y ymax + ymin 1 (12) 反规格化后得 y ymax + ymin � � 由上式可知,预报值被人为限定在某一数值范围内,这无疑会大大限制 BP 模型预测能力的发挥。 本文建议将生成数据规范到[ 0. 2, 0. 8]区间, 由 ln0. 2= - 1. 609, ln0. 8= - 0. 223, 0 ( x - xmin) / ( x max- x min) 1可知, 0. 2 1 e [ 0. 223+ (1. 609- 0. 223) * ( x - x min ) / ( x max - x min ) ] 0. 8, 从而可用非线性函数 x∋ = 1 - 1 e [ 0. 223+ (1. 609- 0. 223) * ( x- x min ) / ( x max - x min ) ] (13) 来预处理数据。这样输入输出数据将全部在[ 0. 2, 0. 8]之间, 可以大大加快网络学习速度, 而数据间的联系 并不减少。 2. 2 � 记忆式初始权值、阈值 收敛速度慢、迭代时间长是 BP 神经网络模型的主要问题之一。通过大量应用实践发现, BP 神经网络 的初始权值、阈值虽然在理论上可以随意选取,但其选取方法却对 BP 算法的收敛速度有很大影响。一些文 献也提出了相应的初始权值、阈值选取方法[ 7] , [ 8]、,他们在各自的研究领域内取得了一定的成效。本文在此 基础上提出记忆式初始权值、阈值方法。 w 0 1(∃) = R nd (∃) , � � �01(∃) = R nd (∃) w 0 i (∃) = w 0i- 1(∃) , � � �0i (∃) = �0i- 1(∃) � � ( i = 2, 3, ) (14) 式中: w 0i , �0i 为第 i 次网络运行时的初始权值、阈值; w 0i- 1, �0i- 1为第 i- 1次网络运行结束时权值、阈值。 2. 3 � 参数自动优选 影响 BP 模型建模效果的参数较多,如隐含层的单元数、学习率∀、惯性冲量 #等。这些参数的选取并无 确定公式可循, 且随着所研究问题的不同参数值也变动较大,因而研究人员常常需要经过繁杂的手工调试及 大量的对比分析后才能得出一组最理想的参数值。 本文采用参数的循环嵌套方法,同时以确定性系数 D [ 9]最大作为优选的评价标准, 从而实现参数的自 动优选。 D = 1 - !N j = 1 ( y j - y ( j ) 2 !N j = 1 ( yj - y ) 2 (15) 式中, yj ( j = 1, 2, N )为原始拟合输出值; y( j ( j = 1, 2, N )为反规范化后的拟合输出值; y 表示输出层各 单元的多个建模样本均值; D 表示确定性系数。 �204� 河 � 南 � 科 � 学 � � � � � � � � � � � � 第 21 卷 第 2 期 采用参数自动优选方法,可以避免手工参数调试的盲目性,由计算机取代研究人员的繁重调试工作,而 直接获取最终的分析结果。 3 � 应用实例 � � A市 1988年到 1995年的生活需水量资料如表 1所示,对 1996、1997年的生活需水量进行预测。 表 1 � A市历年生活需水量 Table 1 � Water demand for life of A city 年份 1988 1989 1990 1991 1992 1993 1994 1995 需水量( 104m3) 2410 2660 2820 3130 3130 3360 3240 3350 ( 1)网络的结构 对于本例需水量预测问题,构造 BP 模型网络为输入层结点数取影响因子数,即采用上一年的累计生活 需水量、历时(年)作为输入层的两个单元,即 m= 2; 输出层结点数为 1个,即 n = 1。 (2)参数的选取 为避免参数手工调试的繁琐, 采用 3. 3提出的参数自动优选方法,主要对隐层单元数、学习率 ∀、惯性冲 量 #进行组合优选。目前对隐层单元数取值范围的研究较多,但并没有定论[ 8]。本例采用 1到 3倍输入层 单元数即 1到 9作为隐层单元数的取值区间,而学习率 ∀、惯性冲量 #均取在( 0, 1)区间上。另外,训练精度 �的取值可参考文献[ 8]。在这里,选取 �= 0. 0007。 (3)原始数据的非线性规格化 原始数据如表 2所示。 表 2 � 原始数据 Table 2 � Original data 历时(年) 1 2 3 4 5 6 7 8 累计生活需水量( 104m3) 2410 5070 7890 11020 14150 17510 20750 24100 采用式( 13)作为原始数据的规格化函数,得规格化后的原始数据如表 3所示。 表 3 � 非线性规格化后的原始数据 Table 3 � Original data af ter non- lin ear regularizat ion 历时 0. 2000 0. 3436 0. 4615 0. 5582 0. 6376 0. 7027 0. 7561 0. 8000 累计生活需水量 0. 2000 0. 3250 0. 4363 0. 5385 0. 6221 0. 6951 0. 8522 0. 8000 ( 4)权值和阀值的初始选取 采用本文提出的记忆式初始权值、阈值方法, 并与( 0, 1)随机初始权值、阈值方法进行对比。 根据 BP 模型建模步骤,编制了 BP网络算法程序。对 A 市 1988年至 1995年的生活需水量建立了 BP 网络模型,并对其 1996年、1997年的生活需水量进行预测,各计算成果如表 4~ 表 6所示。 表 4� BP神经网络模型建模精度 T able 4 � Precision calculated by the model for BP Neural Netw ork 残差区间% ( 0, 1] ( 1, 3] ( 3, 5] ( 5, ) ) 样本所占比例数 47. 1 41. 2 17. 6 5. 9 表 5 � 不同初始权值、阈值方法计算成果对比 Table 5 � Results calculated by dif ferent preliminary w eight and valve 总迭代次数 总 耗时 陷入局部极小点总次数 最终模总偏差 型 记忆式初始权值阈值 5542 14∗ 0 34. 34 ( 0, 1)随机初始权值阈值 866681 9∋06∗ 199 34. 34 �205�2003年 4月 � � � � � � � � � � � � � � � BP 神经网络的改进及其应用 表 6� 非线性与线性规格化函数计算成果对比 Table 6 � Result s calculated by non- lin ear and linear regularization funct ion 规格化函数 平均拟合误差% 平均预报误差% 非线性公式( 13) 1. 91 2. 03 线性公式( 11) 5. 38 2. 59 4 � 结语 � � 由于人工神经网络在模型理论上的重大突破,其在各个领域的应用日益广泛。BP 模型是人工神经网络 模型中的一种, 它能够对信息进行大规模并行处理,具有很好的鲁棒性和容错性,可以模拟任意的非线性输 入输出关系,但它存在收敛速度慢、容易陷入局部极小点等缺点, 因而在应用中受到很大的限制。本文在前 人研究的基础上,针对 BP 模型的不足,提出了几点改进措施,在实例分析中取得了明显的建模效果。归纳 起来,有以下几点: ( 1)采用非线性规格化函数对原始数据进行预处理,从而消除了线性规格化函数处理数列时的限制。 ( 2)提出了记忆式初始权值、阈值方法,大大提高了多次 BP 网络运行时的收敛速度。 ( 3)采用参数自动优选方法建立 BP 模型,从而避免了手工调试参数的繁琐工作。 参考文献: [ 1] � 王其文. 人工神经网络与线性回归的比较[ J] . 决策与决策支持系统, 1993, ( 3) : 59- 64. [ 2] � Rumelhart D E, et al. L earning Representation by BP Errors[ J] . Natur e ( London) , 1986, ( 7) : 64- 70. [ 3] � Fletcher R , et al. Function M inimization by Conjugate Gradients[ J] . Computer Journal, 1964, ( 7) : 265- 271. [ 4] � Patrick P, et al. M inimisation Method for T raining Feed forw ard Neural Netw ork[ J] . Neural Network, 1994, ( 7) : 145- 163. [ 5] � 高小榕, 杨福生. 采用同伦 BP算法进行多层前向神经网络的训练[ J] . 计算机学报, 1996, ( 9) : 9- 14. [ 6] � 彭松, 方祖祥. BP 神经网络学习算法的联合优化[ J] . 电路与系统学报, 2000, ( 3) : 26- 30. [ 7] � 赵斌, 吴中如. BP 模型在大坝安全监测预报中的应用[ J] . 大坝观测与土工测试, 1999, ( 6) : 1- 4. [ 8] � 刘国东, 丁晶. BP 网络用于水文预测的几个问题探讨[ J] . 水利学报, 1999, ( 1) : 65- 70. [ 9] � 陈明. 神经网络模型[ M ] . 大连: 大连理工大学出版社, 1995. Improvement and application to BP neural network ZHANG Wen�ge1, � WU Ze�ning1, � LU Hong�bo2 ( 1. School of Environment & w ater conservancy of Zhengzhou University, Zhengzhou 450002, China; 2. Commit tee of w ater conservancy of Yellow River, Zhengzhou 450003, China) Abstract:Based on analyzing the procedure to establish the model for BP Neural Netw ork and aimed at some de� f iciencies that ex it in BP Neural Netw ork, several improvements to BP Neural Network are come out. At first, original data are non- linear regularized, then remembrance preliminary w eight and valve are put forward, and at last parameters are chosen on the basis of the maximum determining coef ficient. And the improved BP Neural Netw ork is applied to w ater demand predict ion. T he case shows that the improved BP Neural Network not only can improve prediction precision but also can expedite convergence pace. Key words: art if icial neural network; BP neural netw ork; w ater demand; predict ion �206� 河 � 南 � 科 � 学 � � � � � � � � � � � � 第 21 卷 第 2 期