下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 ROC分析技术在机器学习中的应用

ROC分析技术在机器学习中的应用.doc

ROC分析技术在机器学习中的应用

胡向风
2017-12-28 0人阅读 举报 0 0 暂无简介

简介:本文档为《ROC分析技术在机器学习中的应用doc》,可适用于综合领域

ROC分析技术在机器学习中的应用ComputerEngineeringandApplications计算机工程与应用ROC分析技术在机器学习中的应用张晓龙,江川,骆名剑ZHANGXiaolong,JIANGChuan,LUOMingjian武汉科技大学计算机科学与技术学院,武汉DepartmentofComputerScienceandTechnology,WuhanUniversityofScienceandTechnology,Wuhan,ChinaEmail:xiaolongzhangmailwusteducnZHANGXiaolong,JIANGChuan,LUOMingjianApplicationofROCanalysisinmachinelearningComputerEngineeringandApplications():AbstractReceiverOperatingCharacteristics(ROC)analysisisatechniquefororganizingclassifiersandvisualizingtheirperformanceComparingwithgeneralaccuracy,ROCcoulddescribetheclassifycapabilityadequatelyandbeadoptedinallconditionsThismethodhasmanycharacteristicsuchashighreliability,objectandaccuratedescribeandespeciallyitcannotbeinfluencedbythedataenvironmentInthispaper,wesystematicallydiscusstheresearchachievementandintroducetheadvantagesandshortcomingsaboutROCanalysisIntheendwelookforwardtoitsdevelopmentKeywords:ROCanalysismachinelearning~classifieraccuracy摘要:ROC(受试者工作特征)分析技术是一种用来衡量分类算法和图示它们性能的技术与传统的正确率相比,ROC分析更能够全面地描述分类算法的分类性能该方法具有可信度高,描述客观精确,特别是不受数据环境影响等优势对国内外这一方法的研究成果进行了较为系统地介绍,详细分析了它的优缺点,最后对这一技术的发展进行了展望关键词:ROC分析机器学习分类算法正确率文章编号:()文献标识码:A中图分类号:T~引言ROC分析(ReceiverOperatingCharacteristicAnalysis)O世纪O年代起源于统计决策理论,用来说明分类器命中率和误报警率之间的关系,最早在第二次世界大战中应用于雷达信号观察能力的评价后来使用在晶体管和心理物理学等的相关研究中年由Lustedt’J首先提出并将信号检测理论应用到放射线诊断和技术学中随后ROC曲线在临床诊断中的应用迅速展开年前后,ROC分析法已经基本成形,此时,ROC分析不仅用于放射线诊断和放射技术领域中,而且被导人了核医学成像领域,随后被用于诊断放射学实验室医疗癌症的筛选和精神病的诊断尤其是医疗影像诊断准确性的评价Swets等的研究成果为ROC分析扩展到更广阔的领域提供了基础,近十年来,在人工智能的一些领域也有相关地引进,如:机器学习多代理系统,智能决策支持和专家系统等斯帕克曼()最早将ROC曲线引入到机器学习领域中,他证明了ROC曲线的值估计和比较算法ROC分析技术现已成功地应用于评价分类算法ROC分析技术及其在机器学习中的应用正确率的不足分类学习算法从带有类标识的训练集上构造一个拥有预测功能的分类器,它用于提取描述重要数据类别的模型或预测未来的数据趋势嗍它们的预测能力通常用在测试集上预测正确率(accuracy)等来衡量这类度量标准在当前的实际应用中发现了很多限制和不足主要出现在以下两种情况:()在数据不平衡的情况下,即数据的类别分布比例相差很大时正确率并不能准确表达分类器的性能在实际应用中,类分布比例在O和刻度上十分普遍甚至在某些领域达到了t~如正确率达到O的分类算法可能比随机猜测所有的信用卡都是”正常使用”的正确率还要低,此时很高的正确率并不能够充分说明分类器性能的好坏:或者当正确率用在动态环境,诸如网页信息获取,查询到的不相关网页的数量大大的超过想要查询的网页数量并且随着时间的推移这个比例随着网页数量还会稳步地增加此时,测试集和训练集上的类别分布变化如果用正确率评价,一些在训练集中正确率很高的分类器性能可能会急剧下降,这显然会影响对算法的客观评价()当分类错误代价不相等时,正确率只能保证出现错误的数量最小,但是并不能保证是总体代价最小例如”将信用卡盗用误认为正常使用”对于银行发生的损失是将”正常使用误认为盗用”的很多倍,甚至在一些与人身生命安全相关的重要决策中,这种错误代价的关系往往无法具体衡量从实用角度基金项目:教育部回国人员科研启f~(TheProjectsponsoredbySRFforROCS,SEM)湖j省教育厅重点项目(MD)作者简介:~(一),男,教授,博士,主要研究方向为机器学习,数据挖掘江川()男硕士研究生,主要研究方向为数据挖掘骆名剑(一)硕士主要方向为数据挖掘一,()ComputerEngineering御Applications计算机工程与应用讲分类学习算法应该尽量地减少代价高的错误出现而不是着重于减少错误数量此外因为错误代价的不同,在典型信息获取过程中需要高的准确度(precision),在医疗影像诊断中需要高的召回率(recal)r~这些应用中并不需要以正确率作为选择合适算法的标准另外在越来越多的应用中,需要有些分类器能够提供分类的可靠性相似度或者对每个样例分类质量的数值估计也就是说不仅希望模型为每个样例预测出一个类别而且希望它能为每次预测提供一个可靠性估计因此在当前的应用中正确率已经显示出了很多的不足和缺陷,它已不再能够充分描述分类器的性能或者比较多个分类算法的优劣ROC分析对类别分布,错误代价不敏感,直观以及可理解性等特性,逐渐使它代替正确率成为更好的度量方法ROC曲线分析技术ROC曲线给定二类别分类器和测试数据集可以构造x的混淆矩阵来表示分类算法结果这个矩阵是正确率等很多评价标准以及ROC分析的基础定义分类算法将负例误分为正例的个数与所有负例的比值为FP率(FalsePositiverate),将正例分为正例的个数与所有正例的比值为P率(TruePositiverate)ROC图是以FP率为横轴以TP率为纵轴的二维图I图显示了混淆矩阵和几个通过它算出的通用性能评估标准混淆矩阵中主对角线上的数值代表正确的决定的数量,反对角线上的数值代表类别之间预测错误真实类别预测类别PNueFalePositivesPositivesF旦eeNegativeNegativeFPrale=TPmte=罟RcallPreciiPAccuraeyffiTPTNTPFPP七圈混淆矩阵和几个通过它算出的通用性能评估标准如果正例相对于负例在测试集中比例发生变化,分类器在ROC空间中的位置将不会变化,这个特征说明它对类别分布敏感ROC图以rPR和FPR为坐标轴,任何一维都是严格的混淆矩阵某一列内部间的比例,因此不会依赖类别分布一张ROC图描绘了收益(TruePositives)和代价(FalsePositives)的关系图显示了分别标为A到E的个分类器图使用ROCon绘制可在Leamingrocon下载使用FPrate田ROC圈中的分类分类算法中包括两种分类算法(分类器),一为硬分类器(CrispClassifier),另一为软分类器(SoftClassifier)硬分类器是指其输出结果是某个类别的分类算法如C支持向量机(SVM)等软分类器是指算法在样例上会自然产生一个数值如朴素贝叶斯(NB),神经网络(NN)等,这个数值表示该样例被分到某个类别的可能性每个硬分类器在数据集上只产生一个(FP,TP)对,因此其结果对应于ROC空间中的一个点图表示了个硬分类器结果对应的ROC图一般来讲位于ROC空间中左上的分类器性能较好另外在ROC空间里有几个重要的点,如左下的点(,)描述一个理想的分类器这样的分类器没有代价,也没有收益右上的点(,)表示另外一个理想的分类器有完全相反的结果用对角线yx描述了一个随机猜测的分类器一个随机的分类器将产生一个以它猜测正例的几率的在对角线上的ROC点例如如果以概率猜测,那么它将拥有的TPrate但是它也会有的FPrate,那么这个分类器对应对角线上的(,)为了方便地用ROC图比较几个分类算法,需要生成一个ROC曲线外壳也称为ROC曲线凸壳首先将ROC空间中所有的点,包括理想分类器对应的ROC点(,)和(,),自左向右连成一条盐线在从左向右连接的过程中在连接一个新点之前要检查连接线段的斜率ROC曲线外壳应该拥有一个单调递减的斜率如果新的连接线段的斜率大于前面线段的斜率,那么放弃连接前面的ROC点重复这个步骤直到曲线只剩下一个点这样就可保证斜率的单调并使ROC曲线凸起凡是在凸壳下所有的凹陷处的点表示该分类器在某分布条件下并不是最优的分类器所以在得到正例和负例的分布比例和错误代价信息以后,在ROC曲线凸壳上的分类器将拥有最佳性能图中折线则显示了图中的几个分类器生成ROC曲线凸壳,可以看到图中D,算法对应的点处于凸壳下面,也就是说这两种算法在这个数据集上不管任何分布,任何代价条件下都不可能获得最优性能而处于凸壳上的点,B,C算法则在某些指定的类别分布比例和错误代价的条件下可以获得最优的性能FPrate圈ROC曲线凸壳如何在给定的条件下方便地得到最优分类器呢在ROC曲线凸壳中,可以以一条错误代价比除以正负样例分布比例为斜率的直线,从左上角沿着ROC空间的反对角线平行移动,最先与这条直线相交的点就是最优性能分类器在图号输出概率ltruelltruetrue,lfalsefalseltruetrucfalsetrueoltruefalseltruefalselfalsetruelfalseofalsetrueofalselfalseo()lloFPrate(b)在正例和负倒相等的条件下口算法最优图设置不同的阈值创建的ROC曲线点处作一条水平线与TPrate轴相交,可以得到此时曰算法的正确率为O(见图(b))需要注意的是,图中说明的正确率当且仅当错误代价相同的情况下才有意义软分类器通过设置阈值可以方便地转化为硬分类器如果分类器的输出高于阅值,分类器输出true否则输出false每设置一个阈值软分类器都会在ROC空间中会产生一个点设置阈值从一到,相应就可绘制一条ROC曲线也可以将它转换为一条曲线并且可以使这条曲线包含所有可能的错误代价比假设一个测试集有O条样例其中包括O个正例,O个负例图(a)描述了软分类器在该测试集上的输出,以输出概率排序图(b)显示了通过设置递减阈值得到的ROC曲线任何从有限数据集生成的ROC曲线实际上都是一个阶梯函数图中曲线顶点旁的数值对应产生它的阈值当测试样例个数趋近无穷大时,它近似一条连续曲线图中包含ROC曲线的是它的凸壳,最右上的斜线与凸壳的交点表示在类别概率相等,错误代价相等时分类算法的最佳阈值点计算ROC曲线的通用方法(AUC)为了能够直接比较多个分类器在任何比例分布和任何错误代价比的情况下希望将ROC曲线描述的分类器性能转换为一个数值来表示分类器的性能目前为止一个通用的方法是计算ROC曲线下的面积(AreaUndertlleROC)缩写为AUC或AROCAUC是曲线下区域与单位面积的比,所以它的值在OO到O之间然而因为随即猜测产生的对角线的AUC值为O因此一个实际的分类器的AUC值必须要大于AUC有一个重要的统计特征:一个分类器的AUC等于这个分类器把一个样例分为正例比分为负例高的概率Breiman~指出AUC与Gini指数也密切相关,它是对角线和ROC曲线之间面积的两倍Hand嗍指出Ginil=xAUC在比较分类器时只用比较它们对应的ROC曲线所占的面积,AUC大的预示着具有比较好的平均性能因此图tJ(a)中的分类器曰的性能要优于A的性能图(b)中显示了一个软分类器A和一个硬分类器曰的AUC分类器曰只能使用单一的,固定的阅值尽管两个分类器在固定点(曰的阈值)处相等,当偏离这个点时,曰的性能就比A差,这同时也说明AUC比正确率更适合作为算法性能评价标准因为在A点处两者的正确率相等,正确率并不能分辨那个算法要好一些,而通过AUC可以简单的得到更加实际的结论但是也必须注意到一个高AUC分类器可能在特定的区域比低AUC分类器的性能差图(a)中显示如下的例子:分类器四通常比A好但是在FPrateO时A要稍微强一点此外,Chadest”等试图通过理论来证明AUC比正确率优越Provost和Bradleyt等通过大量的比较实验发现AUC比正FalsePositiverateIBePo~itiverate(a)(b)图RC曲线下面积宕H磊o导n曷H{duL宕Hoon导nzHduLOOlOOOO薯tHP()ComputerEngineeringandApplications计算机S程与应用确率更适合作为分类评价标准虽然计算ROC的算法并不是很复杂,可以使用微元法累加所有的梯形面积,但是Hand和TiU进而提出了一种更加简单的近似计算AUC方法AUC与正确率的比较讨论用不同的两种测量标准来评估同一种学习算法,首先希望两种测量标准至少保持一致就好比如果一个标准认为算法A优于曰那么另一个标准最好也会得出A比曰好的结论进一步如果一个标准能够说明算法A和不同,而另一个不能,这就说明这个标准的分辨率高为了得到更加精细的比较结论往往使用分辨率较高的评价标准这就需要一些通用的标准为此引入概率一致性和分辨率定义…:定义对于两个评估标准,’和g在论域中,令R=f(口,b)la,bEI,(a)):厂(),g(口)g()l,S={(a,b)la,,,(口),(b),g(口)()},则称,和g一致性程度为C=IRI(IRIISI)定义对于两个评估标准厂和g,在论域中,令尸{(a,b)la,bE(a)(),g(a)=g()},Q=f(a,b)la,bE,g(a)g(b)}口),(),则称,比g的分辨率高IpIIQI倍从以上定义可以看出,如果评价标准,’和g的一致程度为C,那么当fbt为A比好,g也会认为A比好的概率为C如果厂的分辨率比g高D倍,那么厂能说明A和之间的不同而g不能说明A和之间的不同是g能说明A和之间的不同而厂不能说明A和之间的不同的D倍很明显,如果希望得到结论,’比g好,需要证明C并且Dl为此Charles等【ll】在人工数据上的实验验证了这些他首先假定测试样例中有,,,,,,个样例,而且样例中正例和负例个数相等对于每个样例集,枚举所有可能出现的分类情况,一共有’种可能其中为样例个数的一半然后比较它们的AUC和正确率实验结果如表和表【n惭示,计算结果清晰的显示AUC与正确率实际上统计一致并且分辨率要比正确率高,因此AUC更加适合于作为学习算法的度量表AUC与正确率的概率一致性裹AUC与正确率的可分辨性比较ROC分析技术的发展ROC分析技术当前的发展状况因为ROC分析具有直观,易懂,使用简单和正确率一致等很多优点使得ROC分析得到了迅猛的发展,国际机器学习会议(ICML,InternationalConferenceonMachineLearning)和欧洲人工智能会议(ECAI,theEuropeanConferenceonArtificialIntelligence)在年为它开辟了主题在机器学习领域中,它已经发展成为一种标准的分析方法但是也存在许多不足因此一些机器学习研究者根据实际需要扩展和改进了ROC分析技术并在ROC分析基础上改进并提出了一些新的分析方法DET图Martint等发现多个高性能的分类器ROC曲线一起显示时,会拥塞在图的左上角扎成一捆给直观比较分类器性能带来不便,于是通过改变ROC图的坐标和坐标刻度等提出DET图(DETgraphs)首先,DET图用falsenegative标示y轴,而不是truepositives因此他们标出一种分类错误和与之相反的分类错误其次,DET图在两个轴上都采取log刻度因此左下部分(对应ROC图中左上部分)的曲线面积被扩展DET图的log刻度在左下角的区域比实际面积大,这个性质使比较高性能的分类器变得简单代价曲线(CostCurves)ROC曲线通过读取斜率而不是坐标值来决定一个分类器比另一个更优,但是当需:要使用ROC曲线详细说明一个算法比另一个算法优越的区域和具体数量时,比较曲线的斜率并不直观DrummondandHolten认为如果曲线主要用来比较算法相关的代价,分析图应该能明确地标识这些代价,基于此他们扩展了ROC曲线提出使用代价曲线来完成这些功能在代价曲线中以PCF(代价概率函数,ProbabilityCostFunction)为轴,测量正例的比例,范围为(,),定义如下:JPcF():一一,P()c(I)(一)C(l一)公式中c(一l)表示将一个正例分为负例的代价,C(I一)表示将一个负例分为正例的代价P()是正例的概率,P(一)是负例的概率y轴范围也是(,)直接标注算法的性能,即经归一化处理的的错误代价期望最理想的分类器是一条从(()到(,)的水平线代价曲线是将ROC曲线点和线互换的结果,图t描述了ROC曲线和代价曲线的对应关系硬分类器在ROC空间中表示的一个点在花费曲线中用一条线表示这条线被设计为与分类器期望代价相关分类器的在ROC空间中点(FP,TP)对应于Cost空间中点(,FP),(,一TP)之间的线段,相应的y轴表示为分类器的期望因此,ROC空间中的凸壳在代价空间中用直线包围的最低边界表示相关最优图和LC索引LC索引是ROC曲线的另一种变体,和代价曲线类似,它也是比较分类器代价Adams和Handtq认为ROC通常很少能提供精确的代价信息但是一些关于代价的信息经常是可用的专家可能不能精确地指定FalsePositive和FalseNegative的代价,但是通常可以指出哪类错误代价比另一类更昂贵或者将错误代价比值限定在一个范围内因此ROC作为分类器的性能度量就显得粗糙该方法将错误代价映射到区间(),然后转换一系列ROC曲线到一系列平行线,并显示各个分类器相对优越的区域类似于提供一个最接近的比率值,专家可以提供在(,)之间的错误代价比可能范围,这使算法比较专注于实际需求感兴张晓龙,江川,骆名剑:ROC分析技术在机器学习中的应用,()蹦ePositiverateProbabilityCostFunctim图ROC曲线以及对应的代价曲线趣的区域通过相对最优图,置信度测量Lc索引定义为分类器在该区间内分到某个类别优于另一个的概率如果仅仅关注于哪个分类器最优问题相对最优图可以看作是代价曲线的二进制版本pROCpROC(probabilistieROCcurve)曲线是最新出来的一种方法它和ROC曲线非常类似AUC的一个缺点就是它仅仅只是用于计算ROC曲线的面积,无法输出概率估计值因此C~sarFerri等提出了一个能够同时输出概率估计值和曲线面积的方法:pAUC(probabilisticAreaUndertheROCCurve)在这个方法里他设计出一个类似于ROC曲线的曲线名为pROCpAUC方法也是通过计算这个曲线下面积来得到的只不过它将概率估计加入到ROC曲线中此外还有一些文献以ROC分析结果为导向重新评估了以前的机器学习方法对于一些几乎是常识的知识提出新的看法对于决策树,长期以来一直认为正确率的提高主要依靠裁剪技术但是在用AUC评估C算法时,发现剪裁基本没有作用在传统的机器学习领域,一直认为NaiveBayes方法和决策树方法不分伯仲但是现在用ROC分析的研究表明NaiveBayes方法要优于决策树方法与此同时,一些学者还针对与ROC分析在分类中的应用,提出了新的分裂标准I,Smoothing方法,集成方法嘲等ROC分析技术所主要存在的问题多类ROC分析ROC分析因为二分类问题的对称性,分类算法性能可以直接用二维图形描绘因此ROC分析方法多侧重于处理二分类问题但是,如果用于描述大于两类的空间将很复杂因为一个分类算法在类数据集上生成的混淆矩阵一共有NxN个元素其中包含个正确分类(矩阵中主对角线上的元素)的和个错误分类(矩阵中所有不在主对角线上的元素)所以在多类ROC中,不再是考虑rP和FP的关系现在有个收益决策和J『I个错误,如果按照二类别ROC分析的思想理念,现在需要考虑一个独立变量之间的关系因此需要一维来描述如果仅考虑个类,ROC空间中的点将变成维多面体,如果考虑个类,ROC空间中的点将变成=维多面体目前多类别ROC方法的扩展思路主要分为类,第类是直接扩展二类别ROC分析方法到多类别这类方法计算和结果图示非常困难如Momanl圳提出的三类别ROC分析方法将类问题的维坐标转换为两个维坐标来表示,或者使用雷达图口】来表示ROC空间中的一个点等这些方法因为计算可行性很难扩展到个类别以上基于此,很多学者开发了第类方法,这类方法将多类别ROC分析转化为多个二类别ROC分析然后对应比较将多类别ROC分析转化为二类别ROC分析的方法主要有一对多(OVAOneVsAl)方法,成对(Pairwise)方法等这类方法计算简单,分类算法的性能可以通过向量表示在实际中得到较好应用,但是在比较算法之间的性能时,尤其是在都不占据绝对优势时又变得难以抉择而且不能够像二类别RC方法一样直接给出某个算法是最优算法的具体条件此外结果向量中各个元素之间的相关性也会影响评价结果针对这一情况最近国内还有骆名剑等啕提出用纠错输出码解决多类ROC问题第类方法是扩展AUC的等价概念,如HTM方法嘲利用AUC与Wilcoxon测试等价这类方法也存在很多理论和应用上的问题软分类器和概率估计如何使得ROC曲线同时能输出预测数据集的概率估计值还是个难题虽然目前针对这一情况已经研究出了很多的方法,比如前面提到的pROC,还有将决策树算法改造成软分类器,对于改造后的决策树分类器称为概率估计树(PET)概率估计树与分类树具有同样优良的特征但是由决策树被直接转换的概率树(如C提供的概率估计)提供的概率估计很差目前已经开发了几种技术用来提高PET的AUC但是它们都没有提供系统的实验对提高基于概率分类方法进行具体深入的分析目前来说一个简单通用的方法是用拉普拉斯纠错,它可以显着提高基于概率的分类此外,Bagging也可以提高PET的质量甚至比对提高正确率更加有效不过总的来说概率估计问题目前来说还没有很好的解决平均ROC曲线尽管ROC曲线可能被用来评价分类器更应该关注到用它们去得到分类器优劣的结论因此如何更好地计算ROC曲线并用来得到分类器孰优孰劣的结论非常重要最常见的方法是通过在ROC空间中画出它们的曲线,观察这些曲线中谁占统治地位以此来选择最好的分类器但这并不是最佳选择因为它们之间没有关lIj营u莹H一l目gZ,()ComputerEngineeringandApplications计算机工程与应用了这些方法并分别指出它们的优缺点但是如何平均ROC曲线还是一个没有完全解决的难题结论目前国际上一些专家纷纷特别撰文推荐使用ROC作为分类算法的评价标准阍在国内,ROC的应用在医疗领域应用已经很成熟,但是在机器学习领域还很少看到关于ROC的研究成果ROC曲线近年来发展迅速但是仍然在应用上有很多限制,首先,它和其它的评价标准的关系还没有被完全的阐明其次,它对有关决策支持和专家系统技术的结合正在被正视:再者,它能提高智能体的结果还没有被调查证实对于集成学习,专家系统,决策支持系统,代理系统,信息获取方面都有很多还未解决的难题,其标准也有待完善因此这些问题使得ROC分析成为一个很好的有待深入研究的新方法(收稿日期:年月)参考文献:【】LustedLBLogicalanalysisinroentgendiagnosis【J】Radiology,:【SwetsJA,DawesRM,MonahanJBetterdecisionsthmughseienceJScientificAmerican,【】SpackmanSignaldetectiontheory:valuabletoolsforevaluatinginductiveleamingCPreceedingsoftheSixthInternationalWorkshoponMachineLearning,【】FerriC,FlachP,HemdndezOrMloJDecisiontreesforranking:effeetofnewsmoothingmethods,newsplittingcriteriaandsimplepruningmethodsRDSIC,I】FawcettT,ProvostFAdaptivefrauddetectionJDataMiningandKnowledgeDiscovery,,():【】PlattJProbabilisticqutputsforsuppo~vector,machinesandcomparisontoregularizedlikelihoodmethodsCSmolaAJ,BatlettP,SchoelkopfB,etaAdvancesinLargeMarginClassifiers,:【】FawcettTROCgraphs:notesandpracticalconsiderationsforresearchers忉MachineLearning,【QuinlanC:programsformachinelearning【M】SanMateo,Califomia:MorganKaufmann【JBradleyAPTheuseoftheareaundertheROCcurveintheevaluationofmachinelearningalgorithmsJPatternRecognition,:【】FawcettTROCgraphs:notesandpracticalconsiderationsfordataminingresearehemRHPLaboratorieso【l】LingCX,HuangJ,ZhmlgHAUC:abettermeasurethanaccuracyincomparinglearningalgorithmsCCanadianConferenceonAIo【】ProvostF,FawcettT,KohaviRThecaseagainstaccuracyestimationforcomparinginductionalgorithmsCICML,【】BradleyAPTheuseoitheal’~aundertheROCcurveintheevaluationofmachinelearningalgorithms【J】PatternRecognition,O:【】MartinA,DoddingtonG,KanlmT,etaTheDETcurveinassessmentofdetectiontaskperformanceCPmcEurospeeeh’,RhodesGreece,:【】DrummondC,HoheRCExplicitlyrepresentingexpectedcost:analternativetoROCrepn~ntationCRamakrishnanR,Stolfo,SProceedingsoftheSixthACMSIGKDDIntemationalConferenceOHKnowledgeDiscoveryandDataMiningACMPress,:O【AdamsNM,HandDJComparingclassifierswhenthemisallocationscostsareuneertain叭PatternRecognition,,:l【】FerriC,FlachPA,HemandezOralloJModifyingROCcurvestoincorporatepredictedprubabilitiesCROCML,【】DrummondC,HolteRCWhatROCcurvescan’tdo(andcostcurvescan)CECAI,【】ProvostF,DomingosPTreeinductionforprobabilitybasedranking【J】MachineLearning,():【O】MossmanDThreewayROCsJMedicalDecisionMaking()【】Fe耐C,HernOndezOralloJSalidoMAVolumeundertheROCsutraceformulticlassproblems【CExactComputationandEvaluationofApproximationsUnivPolitecnieadeValencia【】骆名剑基于ROC的分类算法评价方法【D】武汉:武汉科技大学,o【】HandDJ,TillRJAsimplegeneralisationoftheareaundertheROCCurveformultipleclassclasmficatm’nproblems【J】MachineLearning,():【】DrummondC,HolteRCClassifiercostCurves:makingperformgnceevaluationeasierandmoreinformative【J】Unpublishedmanuseriptavailablefromtheauthors,【】ClearwaterS,StemEArulelearningprograminhighenergyphysicseventclassificationJCompPhysicsComm,,:【】CaruanaR,Alexandm,NiculescuMizilAnempiricalevaluationofsupervisedlearningforROCarea~CECAI,(上接页)约生产成本和降低缺货惩罚,实现系统优化(收稿日期:年月)参考文献:【】GaneshanRManagingsupplychaininventories:amultipleretailerOnewarehouse,multiplesuppliermodel叨InternationalJournalofProductionEconomics,,:【PontrandolfoP,GosaviAOkogbaaOGGlobalsupplychainmnagement:areinforcementlearningapproach叨I

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/21

ROC分析技术在机器学习中的应用

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利