神经网络集成的免疫学习算法

第34卷第4期 2005年7月 中国矿业大学学报 JournalofChinaUniversityofMining&Technology V01．34No．4 Jul．2005 文章编号：1000—1964(2005)04—0486—04 神经网络集成的免疫学习算法 孟 江，王耀才，王天成，巩敦卫 (中国矿业大学信息与电气工程学院，江苏徐州 221008) 摘要：针对神经网络集成中个体独立训练的低效性，提出一种神经网络集成的免疫学习算法 NEIL，通过对集成单体神经网络的免疫优化，借助免疫算法的多峰值搜索和并行优化特性，将最 终的收敛抗体群分别对应神经网络集成的各个单体，实现集成的同时训练过程．仿真结果表明 NEIL算法是有效的，既保持了启发式优化方法的并行性，提高了神经网络集成的学习效率，又 可保证单体网络之间相互独立，具有较大的差异度，进一步增强神经网络集成的泛化性能． 关键词：神经网络集成；同时训练；免疫算法；泛化；差异度 中图分类号：TP183 文献标识码：A ImmuneLearningAlgorithmBasedonNeuralNetworkEnsemble MENGJiang，WANGYao—cai，WANGTian～cheng，GONGDun—wei (SchoolofInformationandElectricalEngineering， ChinaUniversityofMining＆Technology，Xuzhou，Jiangsu221008，China) Abstract：AimedatlOWefficiencyofindividualtraininginneuralnetworkensemble(NNE)，a neural-networkensembleimmunelearning(NELL)algorithmispresented，whichadoptsimmune algorithm(IA)tooptimizeindividualsinNNE，treatsconvergentantibodiesofIAasthe correspondingneuralnetwork，andrealizesthesimultaneoustrainingofNNE，accordingtothe characteristicsofmulti—peakedsearchandparalleloptimizationofIA．Thesimulatingresultshows thattheNEILalgorithmisofavailability，whichnotonlyincreasesthelearningefficiencyofNNE basedontheparallelismofheuristicoptimizationmethods，butalsoimprovestheNNE generalizationwithbiggerambiguitiesbecauseofthegreaterindependenceamongNNEindividuals． Keywords：neuralnetworkensemble；simultaneoustraining；immunealgorithm；generalization； ambiguity 神经网络集成(NNE)自1990年Hansen[13提 出后，该方法倍受关注并成为神经网络领域的研究 热点．与正则方法[2]、网络剪枝法[33和NNPA[43等 单一神经网络的泛化算法不同，集成无需配置网络 结构，只通过多个网络的组合集成，以较小的计算 代价就可显著改善了系统的泛化能力．Kroph[53通 过理论分析，发现神经网络集成的泛化误差不大于 网络个体泛化误差的平均值，即在各网络泛化误差 不变的情况下，增大差异度可有效降低神经网络集 成的泛化误差，从而提高系统性能． 典型的网络集成分为2步[6]：首先独立训练多 个网络子体，然后将网络的输出结论以某种方式结 合，构成网络集成的输出．因此集成个体的差异度 通常由训练集、网络结构和训练算法的差异性与随 机性保证，而网络个体的训练算法主要采用基于 BP计算的导数型优化方法，有可能产生彼此相似 的个体神经网络，影响集成的泛化性能． 针对上述状况，本文提出基于免疫原理的神经 收稿目期：2004—10—02 基金项目：国家自然科学基金项目(60304016) 作者简介。孟江(1977一)。男，山西省太原市人，博士研究生，从事神经网络与应用、免疫智能算法等方面的研究 E-malll blfiag@163．corn 万方数据 第4期 盂江等：神经网络集成的免疫学习算法 487 网络免疫学习(NEIL)算法．与单一神经网络权值 学习的免疫算法[7剐的思路不同，NEIL算法仅需 针对某个单体神经网络进行免疫学习，所得到的多 个收敛结果可分别对应神经网络集成的各个单体 网络，从而实现网络集成的同时训练．NEIL算法 实现了集成网络单体的并行训练，提高了学习效 率；同时，单体网络独立的权值分布，使得个体间有 较大差异度，进而保证神经网络集成具有良好的泛 化性能． 1免疫算法步骤 生物免疫系统是一个高效的信息处理系统：有 关研究表明，当病菌入侵时，免疫系统首先识别抗 原(antigen)，并使相应免疫细胞被激活，发生克隆 和细胞超变异反应，通过分泌对应的抗体 (antibody)将抗原消灭，这就是免疫系统的多样性 识别特性．基于这一特性而产生的免疫算法(IA)， 用于求解多峰值函数的优化问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，获得很好的效 果． 免疫算法的一般步骤为[9]： 1)免疫细胞产生——生成初始抗体：随机产 生多个抗体或从记忆库中提取构成初始群体； 2)抗原抗体相遇——分析问题：对问题与解 的特性进行分析， 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 解的合适表达形式； 3)抗体识别抗原——评价抗体：采用基于个 体浓度的适应度评价．为保持抗体的多样性，鼓励 高匹配度的抗体的同时，对浓度过高的抗体予以抑 制； 4)抗体繁殖：基于上一步的计算结果对抗体 群体进行选择、交叉、变异等遗传操作得到新群体； 5)终止判断：成立则结束，否则转第3)步． 与遗传算法相比，免疫算法具有明显的优势： a．在记忆单元基础之上进行操作，保证算法快速 收敛于全局最优解；b．2类亲和力计算模式，一者 说明了抗体和抗原的关系，即解和目标的匹配程 度，另者表征抗体之间的关系，保证了算法的多样 性． 2 NElL算法过程 神经网络训练算法，大致有2种思路：基于BP 计算的导数优化和启发式随机优化方法．以遗传算 法为代表的启发方法，已在神经网络单体训练中得 到很好的应用．基于网络单体组合而成的神经网络 集成，近年来由于其卓著的性能倍受青睐，然而目 前较多研究的内容主要集中于多个网络单体的结 合方式，与各网络单体的形成方式2个方面[6]．对 于神经网络集成的训练问题少有涉及，一般仍采用 分别训练各个网络单体的串行方法．若集成规模较 大时，无论哪一类单体训练算法都将导致极低的效 率；为此，本文在免疫机理的基础上，提出神经网络 集成的免疫学习的NEIL算法，流程如下所示． NEIL-Algorithm(Nets，丁) 其中，Nets为M个神经网络Net，(i=1，2，⋯， M)构成的集成系统，丁为集成系统的训练数据集． *参数初始化：epochs为迭代最大次数；pM为免 疫种群中的抗体数目；P。为交叉概率，P。为变 异概率． *抗体编码：将网络单体进行实数编码，并随机生 成pM个抗体串Ab，(_『一1，2，⋯，pM)组成初始 抗群Ao． *for愚=1：epochs *亲和力计算：对第k代抗体群At，分别计算 A。与Ab』的亲和力D』，AbJ与Ab，的亲和力 s|《． *抗群的浓度选择：基于浓度的抗体群选择模 式，根据Pr』=DJ／G，以轮盘赌方式进行选 择． *遗传操作：采用2点交叉方式与高斯变异，通 过亲和力评价选择性能优良的个体，作为下 一代抗群． *终止判断：若连续几次迭代无法改善解群特 性，则跳出循环体． *训练结束：将性能最佳的前M个抗体解码为网 络单体，组成神经网络集成，完成训练． 2．1 抗体编码 编码操作适用于将问题空间映射为算法空间， 有二进制码和实数编码等方式．前者简明通用，易 于进行遗传操作，但不具备正则性，并破坏了解空 间的拓扑连续性．实数编码为自然正则码，适于高 精度运算，神经网络权值及结构编码多用后者，本 文沿用实数编码方法． 典型的三层前馈网络行一h—m结构，网络节点 依次编号为1，2，⋯，竹(输入层)，，l+1，⋯，n+h(隐 含层)，咒+^+1，⋯，，z+^+m(输出层)；连接权叫。表 示由节点i到节点．『的输出权；阈值b』为前一层对 节点_『的输出阈值，然后依节点i顺序串联权值与 阈值，构成如图1的抗体串．其中，q与％分别为 网络节点和阈值节点存在标识，用于控制网络结 构．当0。或％取值为1时该节点存在；否则该节点 被删减． 万方数据 488 中国矿业大学学报 第34卷 E工[三互互]三]二互五二]三I互丁二互五二工三[二互五二E]三习臣]珂1输入层与 、———1爵不；磊——。。———1爵习i再F—一。丽函簏湎覆■j隐层权值串4第1个节点 第H个节点 隐含层闲值 J 8“”“’医正五五E卫五五EE五互五工卫互五工亚卫困珥1输出-层与、———系—n+zl鬲积F——一。——1磊n—+h葫i再F——一—磊i言fj隐层权值串第 个节点 ·第 个节点 输出层阈值 一 ⋯⋯1。 图1神经网络行一^一m结构的抗体串组成 ＼ Fig．1Antibodyexpressionintheneuralnetworkofn--hDm 2．2亲和力计算 免疫算法的亲和力(affinity)，与遗传算法的适 应度(fitness)具有相似性，但不同之处在于IA的 亲和力是由2部分构成：抗体与抗原的识别亲和 力，与抗体间的相似亲和力，前者标识抗体的适应 性程度，后者标识抗体的多样性程度． NEIL算法的识别亲和力D』，经由抗体解码为 网络单体Net』，在训练集7’中的误差平方和为 y=Netj(T．工)， E』=∑||Y—T．d(工)Ilz／ITI， “7 式中：7’为训练集；T．工为训练集的输入向量； T．d(工)为目标输出向量．将E，的最小化问题转化 为最大化模式，有 Dj=1／(E』+const)，(2) 式中：const为大于零的常数，其目的是避免分母为 0的溢出中断，本文取const=0．01． 实数编码的抗体，计算抗体间的相似亲和力难 以采用信息熵形式，改进为欧氏距离形式，即抗体 AbJ与Ab，间的亲和力S∥为 s∥=∑IIA靠一A‰II2， (3) 式中Ab曲，Abi,k为抗体串Ab』，Ab，的第点部分． 2．3浓度选择 抗体群更新策略采用基于免疫机制的抗体间 基于浓度的抑制作用，引入浓度因子调整个体的选 择几率^J，使浓度过高抗体受到抑制，并保证适 应度高的个体受到重视；若抗体浓度过高，在迭代 过程中容易陷入早熟收敛．具体计算为 Prj=D，／Ci， (4) 式中G为抗体浓度．文献[103给出了信熵浓度、 距离浓度和混合浓度的计算模式，由于抗体为实数 编码，因而本文选择基于距离的浓度公式，即 ¨ Ci一厶Siilarityn,／pM，(5) 式中：Similarityi，为相似抗体的个数，由下式给出 similarity∥：1if．1Sz'飞<．So’ (6) 、U o【IletWlse’ 式中S。对应于随具体问题而给出的适当常数． 抗体适应度越大，所占浓度越小，则被选中的概率 越大，如此实现了自然免疫系统的浓度调节机制， 也保证了抗体群的多样性． 2．4遗传操作 对选择后的抗体群，进行遗传操作：1)交叉操 作，采用两点交叉方式，交叉概率为Pf．2)高斯变 异，变异概率为P。；首先将抗体Abj解码为相应的 网络结构netJ，对所有权值组合的向量w』按式(7) 进行变换．3)重新编码为抗体A功，并依据亲和力， 进行新抗体的评价． ／--- W：=W汁√DiN(0，1)，(7) 式中N(O，1)为高斯算子． 3 实例仿真 选用数据集为MexicanHat数据集二维函数 生成，如式(8)所示 f：—10sin—(x)+￡， (8) Z 式中：X服从[一兀，兀]均匀分布；e为正态分布N(O， 1)的随机噪声．训练集取500个噪声数据，测试集 取300个无噪声数据． 神经网络集成规模选择为12个BP网络(结 构为1—12—1)；算法参数取epochs=350，P。=0．5， P。一0．1；利用本文给出的NEIL学习算法进行集 成训练，最终训练和测试误差曲线如图2所示．神 经网络集成的训练误差与测试误差随迭代次数呈 现下降趋势，最终稳定于0．035和0．06，表明误差 曲线NEIL算法是有效的． 0．11 0．09 装o．07 O．05 0 100 200 300 400 迭代次数 图2 NEIL算法的训练／测试误差 Fig．2Training／testingerrorofNEILalgorithm 万方数据 第4期 孟江等：神经网络集成的免疫学习算法 489 4 结 论 提出的基于免疫原理的神经网络集成学习算 法NEIL保持了随机启发式方法的并行性特点，将 网络单体的串行训练改进为并行训练．仿真结果 表明该算法是有效的，它提高了集成的学习效率． 同时网络个体之间相互独立，具有较大的差异度， 也进一步增强了神经网络集成的泛化精度． 参考文献： [1] [2] [3] [4] [5] [6] HansenIK。SalamonP．Neura|networkensemble [J]．IEEETrans．onPatternAnalysisandMachine Intelligence，1990，12(10)：993-1001． WeigendAS·RumelhartDE，HubermanBA．Gen— eralizationbyweight—eliminationwithapplicationtO forecasting[A]．AdvancesinNIPS3[c]．SanMateo： MorganKaufmann，1991． HassibiB，StorkDG，WolffG．Optimalbrainsur— geonandgeneralnetworkpruning[J]．Proc．ofIEEE Int’lConf．onNeuralNetworks，1993(1)：293—299． MengJ，WangYC，LiuT．Neuralnetworkpruning algorithmwithpenaltyOBSprocess[J]．Journalof ChinaUniversityofMining＆Technology(English Edition)，2005，15(1)t52—55． 。 KroghA，VedelsbyJ．Neuralnetworkensembles， crossvalidation，andactivelearning[A]．Advances inNIPS7[c]．Cambridge：MITPress，1995． 周志华，陈世福．神经网络集成[J]．计算机学报， 2002，25(1)：l一8． ZhouZH，ChenSF．NeuralNetworkEnsembleFJ]． ChineseJournalofComputers，2002，25(1)：1-8． ET]周伟良，何鲲，首先彬，等．基于一种免疫遗传算法 的B—P网络设计FJ]．安徽大学学报(自然科学版)， 1999，23(1)：63—66。 ZhouWL，HeK，CaoXB，eta1．DesignofB—P networkbasedonimmunegeneticalgorithm[J]． Journalof AnhuiUniversity(NaturalScience Edition)，1999，23(1)：63—66． [83郝勇娜，梁鸿生，柴继河，等．基于免疫算法的B—P网 络权值设计[J]．昆明理工大学学报，2004，29(2)：65— 67． HaoYN，LiangHS，ChaiJH，eta1．Designofthe weightsofB—PNetworksbasedonimmunealgorithm [J]．JournalofKunmingUniversityofScience& Technology(Science8LTechnology)，2004，29(2)： 65-67． [9]葛红，毛宗源．免疫算法的改进[J]．计算机工程与 应用，2002，14：47-49． GeH，MaoZY．Improvementforimmunealgorithm [J]．ComputerEngineering&Applications，2002， 14：47-49． [10]郑日荣，毛宗源，罗欣贤．改进人工免疫算法的分析 研究[J]．计算机工程与应用，2003，34：35—37． ZhengRR，MaoZY·LuoXX．Astudyon modifiedartificialimmunealgorithms[J]．Computer Engineering&Applications，2003，34：35-37． (责任编辑姚志昌) 万方数据 神经网络集成的免疫学习算法 作者： 孟江， 王耀才， 王天成， 巩敦卫， MENG Jiang， WANG Yao-cai， WANG Tian-Cheng， GONG Dun-wei 作者单位： 中国矿业大学,信息与电气工程学院,江苏,徐州,221008 刊名： 中国矿业大学学报 英文刊名： JOURNAL OF CHINA UNIVERSITY OF MINING & TECHNOLOGY 年，卷(期)： 2005，34(4) 被引用次数： 0次 参考文献(10条) 1.Hansen I K.Salamon P Neural network ensemble 1990(10) 2.Weigend A S.Rumelhart D E.Huberman B A Generalization by weight-elimination with application to forecasting 1991 3.Hassibi B.Stork D G.Wolff G Optimal brain surgeon and general network pruning 1993 4.Meng J.Wang Y C.Liu T Neural network pruning algorithm with penalty OBS process[期刊论文]-Journal of China University of Mining and Technology(English Edition) 2005(01) 5.Krogh A.Vedelsby J Neural network ensembles,cross validation, and active learning 1995 6.周志华.陈世福 神经网络集成[期刊论文]-计算机学报 2002(01) 7.周伟良.何鲲.曹先彬 基于一种免疫遗传算法的B-P网络设计[期刊论文]-安徽大学学报(自然科学版) 1999(01) 8.郝勇娜.梁鸿生.柴继河 基于免疫算法的B-P网络权值设计[期刊论文]-昆明理工大学学报(理工版) 2004(02) 9.葛红.毛宗源 免疫算法的改进[期刊论文]-计算机工程与应用 2002 10.郑日荣.毛宗源.罗欣贤 改进人工免疫算法的分析研究[期刊论文]-计算机工程与应用 2003 相似文献(1条) 1.期刊论文 吴翠娟.Wu Cuijuan 基于神经网络的选煤厂日用水量预测研究 -选煤技术2009,""(4) 选煤厂用水量是选煤过程的一个重要参量,文章采用单一神经网络训练方法和神经网络集成同时训练方法,通过典型数据训练和现场应用,表明预测精 度完全能够满足企业需要,可实现选煤厂日用水量的智能预测,为选煤过程的水量控制提供了依据. 本文链接：http://d.g.wanfangdata.com.cn/Periodical_zgkydxxb200504017.aspx 授权使用：中北大学(zbdxtsg)，授权号：38bc732c-3412-47eb-bcec-9e56011cac43 下载时间：2010年12月24日