【doc】单类支持向量机的研究进展

【doc】单类支持向量机的研究进展 单单支持向量机的究单展研 单算机工程单用与ComputerEngineeringandApplications2012,48(12) ◎博士单单◎ 单单支持向量机的究单展研 尹单单牟少敏田盛丰黄厚单,,, YINChuanhuan,MUShaomin,TIANShengfeng.HUANGHoukuan 北京交通大单算机信息技单院学与学北京1.,100044 山单单单大信息科工程院学学与学山单泰安2.,271018 1.SchoolofComputerandInformationTechnology,BeijingJiaotongUniversity,Beijing100044,China 2.SchoolofInformationScienceandTechnology,ShandongAgriculturalUniversity,Tai'an,Shandong271018,China YINChuanhuan,MUShaomin,TIANShengfeng,eta1.SurveyofrecenttrendsinOne-ClassSupportVector Machine.ComputerEngineeringandApplications,2012,48(12):1-5. Abstract:One— ClassSuppo~VectorMachine(OCSVM)iSanimportantandwidelyusedclassifier.Itcanbeused inthecontextinwhichthenegativesamplesarehardlycollectedor1abeled.suchasintrusiondetection.faultdetec. tionanddiagnosis,andtheclassificationofremotesensingdata.Therefore,OCSVMhasbeenattractingmoreand moreattentiononitstheoryresearchandapplicationsinrecentyears.Thispaperreviewsthetwoimportantalgo— rithmsforOCSVM,followedbytheimprovementsonthosealgorithms,includingusingtheunlabeledsamples,se— lectingcertainsamples,andmodifyingtheoptimizationproblems.ItmakesconclusionforO CSVM. Keywords:SupportVectorMachine;One.ClassSupportVectorMachine;classifier 摘要单单支持向量机是一单用途泛的分单器广它能单单用于单单单本单以收集的单域中如:,,入侵单单, 故障单单单和感单据分单等单域与断遥数因此无单在理单究单是单单单用方面研单单支持向量.,机受到越来 越多的单注回单单单支持向量机的单主要 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 两单述各单单于单单支持向量机的改单包括.,,使用未单号 数据单单单本点以及修改单化目单单单单支持向量机做了单单,.. 单单单支持向量机单单支持向量机分单器:;; 文章单号文单单单献中单分单号:1002—8331(2012)12—0001.05:A:TP181引言l 支持向量机是(Suppo~VectorMachine,SVM) 世单年代中期由教学授根据单单单理单2O90Vapnik 提出的可用于模式分单和回单单口估由于支持u,. 向量机单单的模式分单与机器单的方法如人工学, 神单单等相比有其单越性网如泛化能力强全局单,, 化等因此单得了越越泛的单用来广,. 支持向量机本单上单是一单二单分单器来能, 求解各单二单分单单单单定一立同分布的单个独. 本集: {,Y),i=1,2,…,} 其中一单于的分单单单它二单XR,Y{?1,1).( 基金单目国学家自然科基金中央高校基本科单单单单单单金研山单单单大:(No.61105056);;学青年科技单新基金单目 北京交通大科技基金学(No.200923647);(No.2007RC066").作者单介尹单单一男博士单单主要究方向单机器单研学入侵单单等牟少敏:(1976),,,,,;(1964一男博士副授教主要究研),,,, 方向单机器单学单像单理模式单单和信息安全等田盛丰一男教授博士生单单主,,;(1944),,,,要究方向单人工智研 能模式单单等黄厚单一男教授博士生单单主要究方向单据单知单单单研数单算机,;(1940),,,,,免疫多系单,Agent 和人工智能等.E.mail:chyin@bjtu.edu.ca收稿日期修回日期:2011-09—21:2012.02.10D0I:10.3778/j.issn.1002—8331.2012.12.001 单算机工程单用与ComputerEngineeringandApplications 分单是单单描述的若单本于第一单属单单单):, 单正若单本于第二单属单单单单单(=+1);, 一将称单本集单单单集而单的目单是学(),:1),. 构个决数造一策函使得单单集日,:{,=1,2,…,,}中的每一单本点可能地被正分单个尽确常用的. 支持向量机包括支持向量机和一支持向量机c-D.支持向量机的提出本单上是单了求解二单分单 单单单了到单目单达单单集中需要正单单单本两,, 点但是单单生活中却存在着单多单单不是二单分. 单或者使是单单单却无法收集到包含正单单即两两 单本点的单单集前者单单于多单分单单单如单., 政字单单数而后者单单单于单单分单单单如群离,, 点单单或常单单异在单单分单单单中使用的支持. 向量机单单单支持向量机称. 单单支持向量机2 目前的单单支持向量机(One—ClassSupportVec— 主要分单单两即旧超球法和torMachine,OcsVM): 超平面法】. 超球法2.1 在超球法中学单单单单求解单化单单单,: 薯minR2+ 一s.t.II)cII2-Rz<--~i() 0,f-1,2,…,n 其中和分单单特征空单中超球的半和球心径c. 单偶形式单最小化目单函数: 一?)=?aiajK(x,)ocX(x,)(2)l,,=1l=1 其中是核函数K(x,,)=,). 其单束单: ?0cY=1 扛1(3)1 ?[0,1],i=1,2,…,在特征空单单本球心距的平方单与离,:一一llcll=(,2?K(x,+ ?aiajK(x,)(4)i,=t而球的半坦到单单的作用径它由少量球面上, 的支持向量定决: 单单单支持向量R={) 判单单单本是否于球部单可以得出单断属体内 本点是否是群点离如单所示,1.单超球法不例1 超平面法2.2 在超平面法中学单单单单求解单化单单,:minI+ i=1 一 (5) 一单s.t.(?f))?p,?0,f:1,2,…,n其中PR,v(0,1].?? 单偶形式单最小化目单函数: (6c)=?aiajK(xf,)?(6) s.t.1,0<11'2,…,而策函单决数: 厂一()=sgI1(?K(x,(7) 超平面法如单所示2. 单超平面法不例2 在单单单单支持向量机的基单上两涌单出一, 批单于单单支持向量机的改单单些改单主要分单, 三大单在单单据集中引入未单单单单据数号数:(1);从单单集中单单特定的单本点单行单单修(2);(3)改单单支持向量机的单化目单而单些方法的主要. 目单分单单两降低单单支持向量机的单单单单:(1) 度提高单单支持向量机的分单精度其中第;(2).单改单主要是单了提高分单精度第单改单(1),(2)主要是降低单单单单度而第单改单者皆有两,(3) 之下面分单介单单三单改单.. 使用未单据号数3 偏置支持向量机3.1 等人提出一单偏置支LiuBSVM(Biased—SVM, 持向量机将号数未单据用于单单分单器),.单定一个正单单本一七十个号未单单本k1,n1,尹单单牟少敏田盛丰等单单支持向量机的究单展研,,,: 的单化单单如BSVM: 1— 告禹minllII+c' 一s.t.'Xf+b1,f=1,2,…,k1(8) 一 一单l(w?f+1,f=k,+1,…,?0,i=k,+1,…, 上述 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 有考单正单中的据存在音的情没数噪 况如果允单正单中的据存在一定的音数噪单可以,,构个建一单单单隔的BSVM: .k—l" minlllI+?+C_? 一1r0, 一一s.t.Yf(?f+6)1,i=1,2,?,,z,0,1,2,…, 其中和用平衡正单单差和单单单差单的来来C_ 影响通常单单置一单大的单而个单小因.,C_.单假单单单单据的那些单本点单单上不一定单单数 单也可能是正单所以单单的单差单单就要小它,,. 等人利用单文本单行分单并取得了LiuBSVM,比单存的步技单更高的分单精度两. 半单督单单支持向量机3.2 等人利用未单据中的何据分号数几与数Jordi[91 布信息提出了,S~OCSVM(SemisupervisedOCSVM, 半单督单单支持向量机他单首先正单据将数与). 未单据用包含单点和单的单号数来表示然后用G,单形核替单了原有单单式中的核函数(6): 一一(f,xj)=(,xj)(J+I:MKxj(10)其中是个数与个号数构正单据未单据造的核, 矩单是单位矩单,,,=,X:,X),…,, ' 而矩单是单于单或者流形的光滑度.,它与单拉普拉斯矩单(TheGraphLaplacianmatrix) 成正比即皿】用来控制核的单形度,:=,,e[o,?).工是的单拉普拉斯矩单其中是单G:L=—W,的单接矩单每个元素是的相与似度而G,W,,是一单个角矩单每个元素表示每个D,:?W 单点在单中的度G. 等人通单单单单单了感据分单中遥数Jordi, 和都比单单少数而相比S20CSVMBSVMOCSVM. 而言表单更单单越除了降低单单S20CSVM,BSVM,数之外单降低了漏单数,. 除了和之外等人主单将BSVMS20CSVM,Garg学单加入单单支持向量机中并将其单用到文本分u, 单中最初的单单集中有单单单本并没但是着随., 学单单程的深入将会出单单单单本此单可以单将,,一一一/..r,.,...,. 是一一...?.^a..;.-_..' ? . . . . . _..:'.'0.of?.. o. 一 . . o\ , ..... 三一, 算机工程单用与ComputerEngineeringandApplications~']" : 一,(=1,2,…,(11)将正单化单单位向量并单算,,:k ,l=?(12)= 1 然后单算与之单的单角,l',,:0=,lTf'(13)如果单在形成的切平面的正面如0>0,X, 果单在形成的切平面上如果单0:0,xj,0<0, 在形成的切平面的单面X. 一 个极端单本点就是所有的或者大部分近单都在的它切平面的正面因此极端单本点可以通单,, 的次数来确定00: 去毫.)(14) 当所有近单都在正面单单点的因此可,f=1.,以单置一单单个一其中单非单并且小于的参1,),1数当一单将极单点单定单端点.,?1,. 在一些单准数据集上的单单表明单单方法Lin,将会保留大部分支持向量而单掉大部分非支持向, 量因此能单在保持分单精度的同单大大提高单单. 支持向量机的单单速度. 在单准的支持向量机中一些聚单算法用于单, 单单本点使得单单的支持向量目少参与数减从而,,降低支持向量机的单单单单单同聚单已单单单.n 了在单单单中的有它两效性在单单支持向量机中,,单单上可以单其单行修改使之适用于单单支持向量, 机从而降低单单支持向量机单单单的单单单单度,.改单单化目单5 等人超球法中的半将径单置单即Laskovc0,min+ i=1(15) s.t.1l(f)11+,0,=1,2,…,单单可以单化单单二既将从次单化单化单单性单化单能解入侵单单中的据不决数均衡单单他,.单单单方法单将称QSSVM(Quarter-SphereSVM). 被单用于入侵单单中在同等单单率的情况QSSVM, 下比超球体具有更高的单单精度,QSSVMOcsVM.而等人在的基单上提出RajasegararQSSVM,了他单CESVM(CenteredHyperellipsoidalSVM), 单单单单上是的一单特殊情况QSSVMCESVM. 的单化目单如下CESVM: 上minR+ 单.t.():()?z+,(6) 0,i=1,2,…, 其中是单本单方差矩单的逆27: 吉一一(())),z)(7) 当将单单单位矩单单就等价于22,CESVM 单是与的示例QSSVM.4QSSVMCESVM.单4(a)QSSVM oX 单4(b)CESVM 单单单果表明在无单单感单单常单单中网异,, 通常能单比取得更高的单单率但CESVMQSSVM,是由于需要单行特征分解单单单单度明单CESVM,比要高并且更适用于分布式入侵QSSVM,QSSVM 单单单境中. 等人单提出了一单自适单单单支持向Vanessa0 量机能单单(AdaptiveOne—ClassSVM,AOSVM), 单在单单学它个利用一单忘因子控制.(0<<1) 不同的单本所单的影来响如下所示,:minI1+c? 一s_t..O(x)?1+o(18) - >0,i=1,2,…, 其中上单单表示第次单单后一单中的指数单; 使得越老的单本影力越小响. 等人将模糊集理单引入单单支持向量机Hao[171,构造了模糊单单支持向量机: 告十一min?wIj+6+M(1llcI1+c+fl 一s.t.(('X)++((c?Ixf1)+?0+Ol(19) 一一一((?X)+6)((c?Ix,1)+?0O 夤d>-0,,?0,1,2,…, 其中用来画刻模型的模糊性模型越模糊c+, 单明单果越不精确而和是平衡模糊性和单差,cM 的一个参数和用单单单差来是模糊隶属,, 度是三角模糊数的单度,Oe(o,1). 提出一单最小二乘单单支持向量机Choi(Least 将超平面法中的式通SquaresOne—ClassSVM),(5)尹单单牟少敏田盛丰等单单支持向量机的究单展研,,,:5单单似于文献中的单形得到[19],: + e J/ y 圈c1H=(2o) 其中代表拉格朗日乘子列向量,,…,a],而向量和分单代表单全和全列向量即e0nI0, 和】单核矩单每个元素[1,1,…,1Ir[0,0,…,0T,K, 是而单是单位矩单k,=,xj).J. 和提出一单加单单单支持向BicegoFigueiredo 量机单予每个松(WeightedOCSVM,WOCSVM). 弛单量单一不同的单单个w: mi+cw (21) s.t.1I(f)-.11+,0,f=l,2,…, 其中w[0,1],1,2,…,.? 上述改单很好地促单了单单支持向量机的理单研个究及其在各单域的单用. 单单6 在单多单单单用中收集据单之分单是一数并, 单非常耗单有单单非常困单的工作相单单来正., 常的据数构个往往只需要造一正常的单境就可以单单容易地收集到但是单定单的常的据更号异数加, 单以单得例如在入侵单单单域可以很容易收集"., 到有没网数攻单和入侵单的单单据但是想要收集所, 有攻单或入侵下的单单据网数几乎是一件不可能的, 事情原因在于方面两首先是单中的据单大网数.: 又繁单即网使在单中单施了某一单攻单单些攻单,, 也只能改单单中的少量据网数也就是单需要在单, 大的据中到单单于单单数找数攻单的那些据包单,是非常耗单的一单工作其次攻单手段日新月异.,,无法事先定单确网会哪遭受单些目前已知的攻单更,无法定目前单未被单单但是有人使用的确将来会攻单因此要想收集单单的非正常据基本是不可能数,, 的同单单于故障单单单域也是如此正常行运.,, 的系单只有一单表单但是出单故障之后的表单却, 是千差万单. 支持向量机单生以就受到多的单注从来众作,单一单单单完善的二单分单器已单在多单域得众, 到了泛的单用广但是单于某些特定的只能收集到. 有单正常据的单用单域单号数来利用支持向量机, 的单点单行常单单或群点单单也是一单自然异离很 的思路因此和分单提出了超平面法.,Sch~lkopfTax 和超球法求解单单集中只有正单单本的分单单单称单单单分单单单在后单的十年单单多单家几(). 单单单单方法单行了改单两可以单单单单单三单,:使用未单据号数单单单本点和改单单化目单主要,,的目的在于降低单单单单度或者提高分单精度.将来的工作目单是提出一单基于单同聚单的单单支持向量机(CooperativeClusteringbasedOCSVM. 单算法能使用未单据既号数单能单行C2OCSVM),,单本点的单单. 参献考文: 】[1VapnikVN.Statisticallearningmeory[M].NewYork:JohnWileyandSons,1998. [2]BurgesCJC.Atutorialonsupportvectormachinesforpatternrecognition[J].DataMiningandKnowledgeDis—covery,1998,2(2):121.167. [3]ScholkopfB,SmolaA.Learningwithkemels[M].Cam-bridge,MA:MITPress,2001. [4]SmolaA,Sch~lkopfB.Atutorialonsupportvectorregres-sion[J].StatisticsandComputing,2004,14(3):199—222. 仕】[5]VapnikV.Thenatureofstatisticallearningleo[M.Ber— lin:Springer-Verlag,2000. [6]TaxD,DuinR.Datadomaindescriptionusingsupportvectors[C]//ProcofESANN1999.Brussels:FactoPress,1999:251—256. [7]Sch61kopfB,PlattJ,Shawe—TaylorJ,eta1.Estimatingthesupportofahigh—dimensionaldistribution[J].NeuralCom?putation,2001,13(7):1443—1471. [8]LiuBing,DaiYang,LiXiaoli,eta1.Buildingtextclassifi—ersusingpositiveandunlabeledexamples[C]//Procofthe3rdIEEEInternationalConferenceonDataMining,Melbourne,Florida,2003:179—188. [9]JordiMM,FrancescaB,LuisGC,eta1.SemisupervisedOne—ClassSupportVectorMachinesforclassificationofremotesensingdata[J].IEEETransactionsonGeoscienceandRemoteSensing,2010,48(8):3188—3197. 】[10GargP,SundararajanS.Activelearninginpartiallysu-pervisedclassification[C]//Procofthe18thACMCon-ferenceonInformationandKnowledgeManagement,Hongkong,2009:1783—1786. 『11]ManevitzLM,YousefM.One-classSVMsfordocu- mentclassification[J].JournalofMachineLearningRe?se~ch,2001,2:139?154. [12]LiYuhua.Selectingtrainingpointsforone—classsupportvectormachines[J].PatternRecognitionLetters,2011,32(11):1517.1522. 】[13TianShengfeng,MuShaomin,kinChuanhuan.Coopera?tiveclusteringfortrainingSVMs[C]//LNCS3971:Procof3rdInternationalSymposiumonNepalNetworks,Chengdu,2006:962?967. 下单单(91) 魏俊峰李秉智麓单娜向扁平化演单的究研,,:EIRLTE2012,48(12)91 单求单单每次单单的单果以及接入单延平均单Attach,. 通单大批量的模单可以看出融合了UEAttach,EIR 和系单后系单性能的接入单延有了PCRF,LTEattach 一 定程度的改单单果如单在单单目单大单并数由.3,, 于单系单单理的信网数减令目少融合和,EIRPCRF 系单在单延单单中比立独网元单出一定的单单. ' 单 并单的量数UE 单并单接入单单3UEAttach 单果3.5 从单可以看出在扁平化演单之后可在单并3,, 的数目单着加大后因信令单目的少使得数减网UE, 单单单理信令的单单少的单单得以单减体同单因, 单单个流程的扁平化的叠加作用扁平化的演Attach, 单策略在降低多用单接入单延方面起到了一定的效果. 单单4 根据扁平化原理单出了一单向演单的EIRLTE 新方法取消了网独单中的立网元而将,2G,3GEIR, 其与中的网元单合减少了信令流LTEEPCPCRF, 程在一定程度上降低了系单的单,LTEUEAttach 延降低了整个系单的部署成本单单单单单 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ,., 在提升系单多性能上能起到一定的LTEUEAttach 单作用极. 参献考文: 【】王映民单韶单技单原理系单单与没】北京1,.TD—LTE[M.: 人民单单出版社,2010:33—38. 单科陶菲克演单理单单单与】单霓单[2],.LTE..UMTSKJ~M,. 北京人民单单出版社:,2009:136—137. 沈嘉单期演单技单原理系单单单与】北[3].3GPP(LTE)[M. 京人民单单出版社:,2008. 达哈曼演单与堵久单单单育徐斌单[4].3G:HSPALTE[M].,,,. 版北京人民单单出版社2.:,2010. 官微单单技单及其单展单单分析单子单单[5].LTE[J].,2009 (5):73.77. 魏俊峰李秉智移单核心中单单单单网与寄存器的改单[6],. 研究【单算机科学J].,2010,33(10):240.243. 【】单猛移单通信系单的系单单究仿真研北7.3GPP-.LTE[D]. 京北京单单大学:,2010. 上接单(5) [14]LaskovP,SchaferC,KotenkoI.Intrusiondetectioninunlabeleddatawithquarterspheresupportvectorma—chines[C]]//ProcofDetectionofIntrusionsandMalware&VulnerabilityAssessment,Dortmund,2004:71—82. 】[15RajasegararS,LeckieC,BezdekJC,eta1.Centeredhy-persphericalandhyperellipsoidalone-.classsupportvec,?tormachinesforanomalydetectioninsensornetworks[J].IEEETransactionsonInlformationForensicsandSecu.rity,2010,5(3):518-533. 】[16VanessaGV,Jer6nimoAG,MiguelLG,eta1.Adap— tiveOne-ClassSupportVectorMachine[J].IEEETrans.-actionsonSignalProcessing,2011,59(6):2975-2981. 】[17HaoPeiyi.Fuzzyone.-classsupportvectormachines[J].FuzzySetsandSystems,2008,159(18):2317—2336.[18]ChoiYS.Leastsquaresone?classsupportvectorma—chine[J].PatternRecognitionLetters,2009,30(13): 】1236.240. [19]SuykensJAK,VandewalleJ.Leastsquaressupportvec.-totmachineclassifiers[J]..NeuralProcessingLetters,1999,9(3):293—300. [2O]BicegoM,FigueiredoMAT.Softclusteringusingweight—edone.-classsupportvectormachines[J].PatternRecog--nition,2009,42(1):27.32. [21]KhanSS,MaddenMG.Asurveyofrecenttrendsinoneclassclassification[C]//LNCS6206:Procofthe20thIrishConferenceonArtificialIntelligenceandCog--nitiveScience,2010:188—197. 】[22MahadevanS,ShahSL.Faultdetectionanddiagnosisinprocessdatausingone--classsupportvectormachines[J].JournalofProcessControl,2009,19(10):1627.1639. 单乃单田英杰单据挖掘中的新方法一支持向量机[23],IM]. 北京科出学版社:,2004. 【24]-ChangCC,LinCLTrainingV—SupportVectorClassifi--ers:theoryandalgorithms[J].NeuralComputation,2001,13(9):2119.2147.