神经网络集成的研究及其应用

神经网络集成的研究及其应用 周志华陈世福陈兆乾 南京大学计算机软件新技术国家重点实验室，南京2100q3) 摘 要 神经网络集成通过0lI练多个神经网络并将其结论进行台成，可以简单有效地提高学习系统的泛化能 力。本文从个体剖建和结论合成等两个层面入手，对目前国际上构建神经网络集成方面的研究成果进行了舟 绍．在此基础上．本文将神经网络集成技术应用于多视角人脸识别和肺癌细胞识别等两个真实世界闸越域r 实验表明，集成方法可能获得优于最佳单一神经网络的效果。 关键谒神经网络，集成，机器学习-模式识别 ResearchandApplicationofNeuralNetworkEnsemble ZHOUZhi．HuaCHENShi-FuCHENZhao—Qian (NationalLaboratoryforNovelSoftwareTechnology，NanjingUniversity，Nanjing210093) AbstractNeuralnetworkensemblecansignificantlyimprovethegeneratityoflearningsystems throughtrainingmultipleneuralnetworksandcombiningtheirreasoningresults．Inthispaper,recent achievementsofconstructingneuralnetworkensemblearcintroducedfromtheviewofindividual creationandconclusioncombina6．onMoreOver．thispaperappliestmeuralnetworkensembletotwoteat· worldproblemdomains，i．e．multi-viewfacerecognitionandlungcancercellidentification．Experiments showthatensemblemayattainbettereffectthan山ebestindividualiletworkcalldo KeywordsNeuralnetworks，ensemble，machinelearning．patternrecognition 1引言 神经网络已经在很多领域得到了成功 的应用，但由于缺乏严密理论体系的指导 ⋯，其经验性成分相当商。虽然Homik等 人m证明，只需一个具有单隐层的前馈网络 就可以逼近任意复杂度的函数，但如何找 到合适的网络配置却是一个NP问题。在实 际应用中，由于缺乏问题的先验知识，往 往很难找到理想的网络结构，这就影响了 网络泛化能力的提高。 1990年．Hansen和Salamonl3I开创性 地提出了神经网络集成(neuralnetwork ensemble)方法．为上述问题的解决提供了 ～个简易可行的 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。使J{j这种方法．可 以简单地通过训练多个神经网络并将其结 果进行合成，显著地提高学习系统的泛化 能力。由于其易于使用且效果明显，即馊 是缺乏神经网络研究背景的普通，[秽技术 人员也可以从中受益。最近几年，国际上 很多研究者都投入到神经网络集成的研究 中．不仅取得了很多理论成果，还成功地 将该技术应用于手写体字符识删”I、语音识 别I“、地震波分类⋯、遥感信息处理⋯等{6| 牟课题褂到国家自然科学堆命(69875006．AJ和江甜．秆自然科学基金(BK99036)资鼬．周志华．男，1973年生 l尊}．主要从事机器学习，神经嘲络、进化计算、数据挖掘等方向的研究T作．陈世福．男．1938年生． 教授，博j：生导帅．主赞从事目【器学习，知识T程，I芏|荤处删等方面的研究T作。陈兆乾．奠．1940衽生． 转投，博{‘生导帅·主爱从。扛机器学爿、々象系统-种黔Iq络等方面的研究丁作。 一91— 域，使得神经网络集成成为一个相当活跃 的研究热点。 本文第一部分对目前国际上掏建神经 网络集成方面的研究成果进行介绍，第二、 第四部分分别将神经网络集成应用于多视 角人脸识别和肺癌细胞识别等两个真实世 界问题域，最后在第五部分总结全文并指 出该领域今后可能的研究内容。 2集成构建方法 在使用神经网络集成时．首先要训练 出有限个独立的神经网络，在此基础上再 对其输出进行合成。因此，构建神经网络 集成就包含了两方面的内容，即如何创建 集成中的网络个体，以及如何将多个神经 网络的输出结论进行结合。 2．1个体创建 在创建个体网络方面，最重要的技术 是BoostingIs]和Bagging嗍。这两种技术本身 并非专为神经网络集成 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ，可用于多种 学习模型．但本文只讨论它们在神经网络 集成中的应用． Boosting最早由schapid‘o提出．Freund i101对其进行了改进。通过这种方法可以产 生一个种经网络序列，各网络的训练集决 定于在其之前产生的网络的表现，被已有 网络错误判别的训练例将以较大的概率出 现在新网络的训练集中。这样，新网络将 能够较好地处理对已有网络来说很困难的 示例。另一方面，虽然Boosting方法能够增 强神经网络集成的泛化能力，但是同时也 有可能使集成过分偏向于某几个特别困难 的示倒。因此，该方法不太稳定，有时能 起到很好的作用，有时却没有效果。 值得注意的是，Sehapire[”和Freund[”I 的算法在解决实际问题时存在较大的不 足，即它们都要求事先知道个体网络学习 精度的下限，这在实际问题中很难做到。 1995年．Freund和Schapird”’提出了AdaBoost 算法．该算法的效率与Freund算法㈣很接 近，却可以非常容易地应用到实际问题中， 一92一 因此，该算法已成为目前最流行f19Boosting 算法。 在使f}{BaggingI⋯方法时，各个体网络 的训练集从原始训练集中随机产生．训练 集的规模通常与原始训练集相与，训练例 允许重复选取。这样．原始训练集中某些 示例可能在新的训练集中出现多次，而男 外一些示例则可能一次也不出现。Bagging 方法通过重新选取训练集增加了神经网络 集成的差异度，从而提高了泛化能力。 Bnfimanl91指出，Bagging能提高神经网络、 决策树等不稳定学习算法的预测精度．而 对k最近邻方法等稳定的学习算法效果不明 显，有时甚至使预测精度降低。 Bagging与Boosting的区别在于：前 者训练集的选择是随机的，各iJil练集之间 相互独立．而后者训练集的选择是相关的， 各训练集与己生成的网络有关；前者产生 的各网络没有权重，而后者产生的网络有 权重的：前者的各个网络可以并行生成， 而后者只能串行生成。由于神经网络训练 极为耗时，Bagging可通过井行训练节省大 量时间开销。 此外，还存在多种个体创建方法。咧 如．有些研究者1121lnl利用遗传算法来产生 神经网络集成中的个体：有些研究者使用 不同的目标函数I“l、隐层神经元数””、权 空间初始点1161等来训练不同的网络，从而 获得神经网络集成的个体。 2．2结论台成 当神经髑络集成用于分类器时．集成 的输出通常由各网络的输出投票产生。通 常采用绝对多数投票法(某分类成为最终 结果当且仅当有超过半数的神经网络输出 结果为该分类)或相对多数投票法(某分 类成为最终结果当且仅当输出结果为该分 类的神经网络的数目晟多)。理论分析和大 量试验表明㈣，后者优于前者。因此，在对 分类器进行集成时，目前大多采用相对多 数投票法。 当神经网络集成用于回归估计时，集 成的输出通常由各网络的输出通过简单平 均或加权平均产生。Perrone等人“71认为， 采剧加权f均可以得到比简单平均更好的 泛化能力。但是．也有一些研究者”⋯认为， 对权值进干了优化将会导致过配(OVeD fitting)，从而_f吏得集成的泛化能力降低， 因此．他们提倡使用简单平均。 此外还存在多种结合方式。例如．有 些研究者¨9脚’利用神经网络这样的学习系 统．通过学习来对多个预测进行结合；有 些研究者121I通过对一组子网进行进化，使 各子网都可以较好地处理一个输入子空 间。从而一步步地进行结合。 3．多视角人脸识别 当视角发生改变，即人脸在图象深度 方向上发生偏转时．即使在相同的光照、 表情、遮挡等条件下，同一人脸的图象也 会发生极大的变化，这使得多视角人脸识 别具有很大的难度。本文作者与微软中国 研究院、卡内基．梅隆大学的合作者一起． 设计了一种基于神经网络集成的方法来解 决这一问题：限于篇幅．我们仅介绍神经 网络集成在该问题域中的应用情况，其他 内容见参考文献[24】。 我们首先按照Pentland等人的方法聊 建立多视角特征空间，即为每一个视角建 立一个特征脸集。在此基础上，我们就可 以将人脸图象投影到特征空问中，以分解 出的人脸向量作为神经网络的输入。 为了识别多视角人脸，我们设计了一 种特殊的神经网络集成方法。集成中用于 处理输入图象的网络个体数与特征空间数 相同。人脸图象首先在对应于不同视角的 多个特征空间中同时进行分解，然后输入 到各神经网络。这些网络的输出通过一个 集成模块进行结合．从而获得最终的识别 结果。集成模块由一个输入、输出层神经 元数相同的网络实现，其每一输入层神经 元都与一个用于处理输入图象的网络的输 出层神经元相连。由于每一个用于处理输 入图象的网络都对应于一个视角，且该网 络的每一输出层神经元都对应于一个待识 对象，因此，州丁结论台成的网络的每一 输入层神经元既表示了r视角也表示了待识 对象。我们通过训练使该网络实现竞争作 用．即根据输入，每次只有～个输出层神 经元被激活，这样，该激活神经元不仅可 以表示识别出的对象，还可以表示该图象 所处的视角。因此，我们的方法不仅可以 识别人脸，还可以在识别的同时给出偏转 角度估计信息。 我们用属于10个待识对象的1200幅 人脸图象来建立0。、+10。、+20。，+30。等4 个不同视角的特征脸集，并利用另外1200 幅图象为每个特征空间训练一个单隐层BP 网络【Ⅻ。由于在光照、表情、遮挡等条件 相同的情况下．左偏转图象可以很容易地 经过对称处理转变为右偏转图象，因此， 我们的系统可以识别偏转角度为00。_30。 之间的人脸图象。 我们使用了4个不同的测试集，各由 100幅未用于训练且未用于建立特征脸集的 图象组成，其偏转角度分布于_5。_35。之 阃。表l给出了茧一网络的测试结果。需 要注意的是，我们为每一视角都训练了5 个网络，表l中的数据属于各视角下的最 佳网络．即用同角度测试集测试时精度最 高的网络。 表I多视角人脸识别目恿之 单一神经网络镧试辅度 测试羹 孵络 平均值妒 l旷20． 30* o。 '8*8I*69％玎％ "”％ l0。 79％ ％％ ¨％ 54％ 7825％ 20． 52％ 93％ "％ 72％ 78j％ " 44％6％13％ 钾％ ∞5％ 从表l可以看出，如果存在一个精确 的偏转角度估计预处理过程，使得我们可 以根据角度来选择最佳网络，．识别精度可 以达到97％。而如果没有这一过程的协助． 单一网络的识踟精度仅能达到35．625％。 用前文所述的4个测试集对神经网络 集成进行测试的结果如表2所示。需要注 意的是，我们训练了5个神经阿络集成， 表2中数据属于其中最好的一个。 从表2可以看出，神经网络集成获得 ～93— 了相当好的识别效果。尤其令人兴奋的是， 其精度(98．75％)甚至高于利用精确的角 度偏转估计预处理选择虽佳单一网络所能 达到的效果(97％)。这充分说明利用神经 网络集成可以显著地提高识别性能。 表2多视角人脸识别问题之神经网络集成测试精度 旷蔫试集 l嗍试集 20*测试集31P量I试橐l平均值 98喁 ．呻％ 1GO％ 99％ l，盯5％ 4肺癌细胞识别 细胞病理诊断是肿瘤诊断的主要手段 之一，目前基本上是医生凭借病理学知识 和自己的经验进行分析和判断。但由于其 主观性较强，且有些肿瘤细胞形态变化差 异{t／,b，因此即便是经验丰富的病理专家． 在诊断时也常常会出现偏差。 本文作者与中国人民解放军八一医院 的合作者联合研制了一个肺癌早期诊断系 统。该系统首先通过CCD和图象采集卡对 肺癌穿刺样本进行图象采集．以得到优质 的细胞图象．然后对原始图象进行去噪、 平滑、锐化、图象分割和形态滤波等一系 列处理，再运用形态学和色度学对细胞图 象进行形态特征和色度特征的提取。在此 基础上，利用神经网络技术分析提取山的 特征，以判断是否存在癌细胞，并且辨别 出癌细胞的种类．限于篇幅，本文只介绍 神经网络集成在该问题域中的应用情况． 有关图象预处理的内容见参考文献125]。 我们使用快速神经网络分类器 融NNC㈣进行了两个实验。实验所用的数 据为从真实细胞切片中提取的样本，共552 个．我们事先预留了100个样本作为测试 集，用于对训练好的系统进行测试，只使 用剩余的452个样本进行训练。图象样本 经过预处理之后，提供给神经网络系统的 输入向量为14维，分别对应f周蚝、似圆 度、面积、照明度、饱和度等14个特征。 在第一个实验中，神经网络系统需要辨别 出所提供的细胞图象是否是癌细胞。在第 一94一 一个实验中．神经网络系统需要辨j；}『f-钏 胞属r以F五种情况中的哪一种：{无癌、 腺癌、鳞癌、小细胞癌、核异型)。 在每个实验中，我们都使川Bagging 技术由初始训练集产生5个训练集，每个 训练集中都包含452个样本。从2．1节可氮』． 这些训练集互不相同。我们用这些训练集 分别训练5个FANNC网络，并用其来诊断 测试集中的细胞图象．判别精度如表3和 表4所示。需要注意的是．在第一个实验 中，所使用的FANNC网络具有2个输出神 经元，在第二个实验中，网络具有5个输 出神经元。 表3肺癌细胞识别问题实验1之 单一神经网络测试精度 表4肺癌细胞识别问题实验2之 单一神经网络测试精度 我们使用相对多数投票法分别对两个 实验中所用的5个网络进行集成．然后用 其来诊断测试集中的细胞图象，判别精度 分别达到了79％和66％。显然，神经网络 集成的效果优于最佳的单一神经网络(分 别为76％和61％)。 值得注意的是，由于细胞图象常常会 出现重叠、覆盖等现象，由前述简单图象 预处理提取出的特征有所欠缺，这使得单 纯的神经网络集成的诊断能力低于经验丰 富的病理专家的水平。在肺癌早期诊断系 统中，我们引入了人类专家的启发式知识， 将其与神经网络集成相结合，使得系统的 诊断能力达到了病理专家的水平，取得了 很好的效果。 5结束语 本文从个体创建和I结论合成等两个层 面介纠了国际上神经网络集成构建方面的 土要”究成果．并将该技术应f}j丁多视角 人脸识制和肺癌细胞识捌．取得了很好的 效果。 目前，在构建神经网络集成的研究中 仍然存在着很多肯待解决的重要问题。我 们认为，以F两方面的内容将成为该领域 在今后几年的研究重点。首先，现有研究 成果表明，当神经网络集成中的个体网络 差异较大时，集成的效果较好．但如何获 得差异较大的个体网络．以及如何评价多 个网络之间的差异度，目前仍没有较好的 方法。其次，在使用神经网络集成，尤其 是Boosting类方法时，训练样本的有限性 是一个很大的问题．如何尽可能地充分利 用训练数据．也是一个很值得研究的重要 课题。 致谢 本文第三部分(多视角^脸识jj日)所连工作 由作者周志华与徽轼中国研究院主任研究员张宏江 博士、卡内基．梅陵大学电子与计算机工程系陈祖 翰教授、皇甫杰博士台作．于微软中国研究院媒体 计算组完成．．第四部分(肺癌细胞识别)所连工作 得到了中国人民解放军八一医院叶玉坤副院长、汪 拣主任等专家的支持和协助． 5 参考文献 陈世福．陈兆乾．人工智能与知识工程．南京： 南京大学出敝社．1998． Horn像KM．S6nchcorabeM．1iⅣ11i恒H． Mu]tilayerfeedforwafdnetworksmuniversal approximatorsNeuralNetworks，1989．2口)： 359．366． HatlsenLkSnialno'hp Neuralnetw阱k coscmblesJEEEn研l阳cr咖onPreterit AnalysisandMachineIntelligence,1990．12(Io)： 993．1001． HallSertLK．IiisbergLSalamonPEnsemble methodsforhandwfit[enthgitreoognitioeIn： Proceedingsofthe1992lEEE’SPwDrbho口otl NeuralNetwo出f。rSignafProcessing．Los A}arrutos，CA：IEEE。1992，333—342． KirldandJ．squad-base[1expertmodulesfor closingdiDllthongrecognidonIn：Proceedingsoy the2ndNewZealandIntet'rlationalTwo-St／Pam ConferenceonNeurafNetworf“andLtpert Sygte?ns．LosAlamJtos．CA：IEEE．】995302— 305 6 Shimshot：IiY’IntratorNC[assificationofsciSITtlC signalsbyintegralingensemblesofneuraJ networksIEEETransactions∞ Sigaaf Processing．1998．46(5)：1194—1201 1 B扯‰nC．CIothiaux邑MOOTeE，AndreanoK， Luo嘴D．Ensemblen,xthodsforautolxtatic maskingofclenadsinAVIRISimagery．In： Proceedingsoythe1994IEEEWorkshopofl NeuralNetworksyo,Signalprocessing．L05 Alamitos,CA：略jBI嘲．394-403 8 SchapimRBThestrengthofweakleamabili'ty MachineLearning，1990，5(2)：19％227 9 BreimanL Baggingpredictors．Machine Learning．1996．24(2)：】23·I柏． 10FreundYBoostingaweak柚gonthmbyn'mjonty InformationandComputation，1995．121(2)：256- 285． 1I F佗undYSchaDi托REAdeasion·tIleo衅tic generAizationofon·linelearningandan applicatiantoboosting．Journalo／Computerand Sy目emSciences，1997．55fJ)：J19—139 12opitzD1眦ShavlikJWGenerating“uraleand divcr锑m朗nbe巧ofaneuraln乱workensemble In：TouretzkynMozcfM．HasselmoMcds AdvancesinNeuralInformationProcessing Systems{Volume8)．Cambridge．MA：MITPress． 1996,535—541． 13 YaoX．LiuYMakinguseofpopulation informationin evolutionaryartificialneural nctwodc,s．IEEETransactionsonSystems．Man andc1晒啪f血5一m一日?Cybernetics．199B， 280)：417425 14Hamw,mreJ，WaJbelA Anovelobjective f1_nlctJoofartmproved曲09∞'11crecogralionusing lime-delayirleorninetworks．mEETransactions onNeuralNetworks、1990，1(2)：216-228 15 ChetkauerKJ。humancxDmlevelperformance onascientificimageanalysistaskbyasystem usingcombm。dartificialneuralrttworksIn： proceedingso，the13thAAA!Wo·ae．shopon IntegrafingMultiplekamedModels如’ ImprovingandScalingMachineI，口rn哪 A冶orithms，MerJoPart，CA：AAAIPress．1996． 15．21． 16MaelinR．Sha、IlikJ WCombining龀 vredictionsof multipleclassifiers：using 一95一 l 2 3 4 cornpctitivelearningcoInida／izeneuralnetworks． 111：Proceedin8softhe14thInternationat30int Conferenceonar@ciatIntelligence，SanMateo． CA：MorganKaufmann，1995．524-530 17 PerroneMRCooplerLN Whennetworks disagree：ensemblemethodforneuralnetworks In：MalllLffloneRJcdArtificiaINeuralNetworks 如rSpeechandⅥsion．London：Chapm∞·Hall_ 1993．126-142 180呻zD．ShavlikJ Activelysearchingforall effecliveneuralnetworkensemble．Connection Science,1996．8(3．4)：337-353 19ZhangX，MesirovJ．W砒【zDHybridsystemfor protonsecondaryS(TUCtCh'8grcdicdon．Journal巧 MolecularBiology，1992，225(4)：1049·1063． 20RostB，SanderC．Predictionofproteinsecondary strgctol_eatbetterthan70％accuracy．Journal盯 MolecularBiology,1993，232(2)：584-599． 2l JacobsR，JordanM．NowlanS，HintollG Adaptivemixturesoflocalexperts．Neural Computation，1991．3(I)：79—87． 一96— 22PenaandA．MoghaddamB，StacnerT Vie,*一 basedandmodulareigcnspacesfor[ace recognitionIn：Proceedingsofthet1：EE ConferenceonComputerⅥsionandPattern Recognition．LosAlamitOS．CA：[EEE．1994．84— 9l 23RumelhartD．Hinton6WilliamsR Learning representationsbybackpropagatingerrorsNature． 1986．323(外：318-362． 24HumgFJ，ZhouZ．narLgH-J．Chert—Pose invariantfacerecognition．In：Proceedingsofthe 4th1EEEInternationalConferenceonAutomatic FaceandGestureRecognition，LosAIamitos，CA： 哑E．2000．245．250 25陆新泉．李宁，陈世福．叶玉坤．形态学和色度 学在肺癌早期谚断系统中的研究与实现．模式 识别与人工智能，2000,13(1)：116．120． 26zhouZ．ChenS．ChenZ FANNC：Afast adaptiveneuralnetworkclassifier．gnowledfe andInformationSyste,,Ⅱ，2000．2(I)：115-129 神经网络集成的研究及其应用 作者： 周志华， 陈世福， 陈兆乾 作者单位： 南京大学计算机软件新技术国家重点实验室(南京) 本文读者也读过(10条) 1. 刘飞.孔媛媛.王海军.LIU Fei.KONG Yuan-yuan.WANG Hai-jun 一种基于粗糙集与BP神经网络集成的新方法[期刊论文]-连云港职业技术学院学报2008,21(2) 2. 朱金明 酸碱平衡--蜂产品维护人体健康的重要因素[期刊论文]-蜜蜂杂志2005(3) 3. 覃秋梅.范礼林 一种新的不确定性推理模型[会议论文]-2001 4. 邱颖.孟庆武.程虎.周祖翼 一种BP网络改进算法及应用[会议论文]-2001 5. 冯宝民.李成斌.程虎.孟庆武.中国科学院软件研究所(北京) 神经网络预测沉积相的数学可解性和数据有效性[会议论文]-2001 6. 邹俊.韩景倜.闫永刚.万春辉.ZOU Jun.HAN Jing-ti.YAN Yong-gang.WAN Chun-hui 飞机空-空作战效能加权模糊综合评估[期刊论文]-火力与指挥控制2005,30(3) 7. 程玉虎.王雪松.孙伟.CHENG Yu-hu.WANG Xue-song.SUN Wei 自适应T-S型模糊径向基函数网络[期刊论文]-系统仿真学报2007,19(19) 8. 陈有伟.李为民 基于混合训练神经网络的武器系统效能评估[期刊论文]-军事运筹与系统工程2003(2) 9. 张大明 四类食物可缓解疲倦[期刊论文]-安全与健康（上半月版）2006(8) 10. 吴鸣锐.清华大学计算机科学与技术系(北京).张钹.清华大学计算机科学与技术系(北京) 确定性退火算法的理论分析及其在函数优化中的应用[会议论文]-2001 本文链接：http://d.g.wanfangdata.com.cn/Conference_3206866.aspx