[doc格式] 基于梯度向量直方图的行人检测

[doc 格式 pdf格式笔记格式下载页码格式下载公文格式下载简报格式下载 ] 基于梯度向量直方图的行人检测 基于梯度向量直方图的行人检测 第9卷第l3期2009年7月 1671-1819(2009)13-3646—06 科学技术与 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 ScienceTechnologyandEngineering Vo1.9No.13July2009 ?2009Sci.Teeh.Engng. 基于梯度向量直方图的行人检测 黄茜顾杰峰杨文亮 (华南理工大学电子与信息学院,广州510640) 摘要针对Adaboost行人检测训练非常耗时的问题,在梯度方向直方图(HistogransofOrientedGradiant,HOg)特征计算上 引入积分向量图,同时对于作为AdaBoost学习过程中的分类器——线性SVM,应用序列最小优化(SeguentialMinimalOptimi? gation,sMo)来解决其二次规划(QP)问题.实验结果表明,通过这两个方面的改进,不仅行人检测训练检测速度得到了提升, 而且取得了令人满意的检测效果. 关键词梯度方向直方图(HOG)行人检测序列最小优化(SMO)积分向量图 中图法分类号TP301.6;文献标志码A 行人检测是计算机视觉和模式识别领域中的重 要研究方向,其应用领域有视频监控,机器人学,虚拟 现实技术等等.行人检测存在主要难点为:行人不仅 具有多态性和非刚性特征,同时还受到光照,衣着以 及复杂背景环境等影响.如何快速,准确地从视频或 者图像背景中将行人检测出来,仍然是一个热点研究 问题,也是步态研究,行为分析等的基础. 在目前广泛的文献资料中,行人检测的方法主 要可以分为三类:第一类是背景提取和形状模型匹 配的方法:主要是通过对当前图像与参考背景的像 素进行逐个做差来得到运动目标,通过运动目标与 相应行人的形状模型进行匹配与否来进行判别J. 这类方法缺点非常明显:(1)只能处理包含一系列 的图像帧的视频,不能处理单独的一帧图像. (2)行人具有的多态性决定了通过模型匹配不能达 到较理想的结果.事实上,这类方法是较早期的方 法,目前已经基本淘汰.第二类是应用Harr型特征 的方法:通过从训练样本中提取Hart型特征,对这 些特征进行训练得到强分类器,最后通过强分类器 来进行行人识别J.Harr型特征检测方法成功的 应用在人脸检测,速度很快,精度较高,已经广泛应 2o09年3月3日收到 第一作者简介:黄茜,硕士研究生导师,研究方向:人工智能和图 像信息处理. 用,但是行人检测不同于人脸检测,Harr特征主要 是基于灰度分布的区域特征,人脸在这方面非常稳 定,所以有很高的检测精度,应用于行人时,主要由 于不同衣着的影响,行人图像在灰度分布的区域上 并没有明显的特征.第三类是利用梯度方向直方 图HistogramsofOrientedGradient(HOG)特征的方 法j:它提取了图像中局部区域的梯度方向直方图 特征,通过对样本中该特征进行训练,然后用模式识 别中的方法形成分类器,从而实现行人检测.它的独 特之处在于,HOG特征描述了图像局部区域的梯度 强度和梯度方向的分布情况,该分布情况能对局部对 象外观和形状进行很好的表征,事实证明能够很好的 应用在行人检测中,已经成为目前主流的方法.Dalai 等人通过16X16像素块HOG特征来表示样本图像 (128×64)的一个检测窗13[33;Zhu等人在Dalai基础 上引入了AdaBoost的方法同时增加了HOG特征的 个数,达到较好的检测结果,但是训练速度较慢J. 综上可以看出,目前存在的问题主要为:HOG特征训 练时间过长,(2)检测精度有待进一步提高. 本文主要针对这两方面做了以下改进.首先, 在计算HOG特征中引入了积分向量图,使HOG特 征的计算时间大大减少;其次,引人了线性SVM作 为HOG特征训练的分类器,通过SMO来解决SVM 的二次规划问题,不但大大节省了计算时间,而且 l3期黄营,等:基于梯度向量直方图的行人检测3647 不会牵涉到迭代法造成的误差积累;最后提取的特 征个数大大减少,缩短了训练时间.在本文的实验 部分,我们和目前已经发表的较新的文章中的实验 结果做了对比,本文达到的检测精度接近于当前最 佳精度的同时,训练的速度上得到较大的提升. 1HoG特征 用日表示一个图像,H(,Y)表示图像在像素点 (,Y)处的灰度值. 1.1HOG特征的定义 总的来说,HOG特征是针对图像某个矩形区域 中的梯度方向与强度的统计信息而定义的一种特 征.具体的计算过程如下: 按照如下方法计算梯度: G(,Y)=H(+1,Y)一日(一1,Y)(1) G(,Y)=H(,Y+1)一H(,Y一1)(2) G(,Y),G(,Y),H(,Y)分别表示样本图像 中像素点处(,Y)的水平方向梯度,垂直方向梯度 的幅值. 样本中像素点(,Y)的梯度大小定义为: G(,Y)=?G(,Y)+G(,Y)(3) 样本中像素点(,Y)的梯度方向为: tan ()? 把[一号,号】的梯度方向均匀划分为9个区间 (bin).各个像素点在分量区间上的幅值为: Vk(x,y={,),’ot(x, , y y) 诺 ~ 6 bi n nk ??9 (5) Dalal等人提出的HOG特征针对16×16像素 大小的块(block),每个块平均分成四个单元(cel1), 即每个单元的大小为8×8像素点.由于这些特征 只能获得有限的正负样本信息,故本文采用Zhu等 人提出的大小变化的块,增加HOG特征的个数来获 得更多的正负样本信息.图1为本文采用的HOG 特征 模板 个人简介word模板免费下载关于员工迟到处罚通告模板康奈尔office模板下载康奈尔 笔记本 模板 下载软件方案模板免费下载 ,其中宽()与高()的比率分别为:(1: 1),(2:1),(1:2). C1C2 C3C4 图1HOG特征模板 为了消除光照等影响,对块中每个单元的区间 分量进行归一化: ?(,Y)+ C,k)表示,在某个单元C中,第k个区间的 累计强度在c所属的块中所占的比例,其中i= 1,2,3,4.上式中加一个较小的数,避免出现分母 为零,本文实验中取=0.001.由公式(6)可得出 每个单元的特征可由一个9维向量表示,而每个块 由四个单元组成,从而块的特征可由一个36维向量 表示.本文的HOG特征可以表示为: {C,k)Ii=1,2,3,4,k=1,2,…,9}. 1.2积分向量图引入到HOG特征计算中 对于每个单元内的特征计算,常规的方法为如 下的区域累加: = ?(,Y);1??9,k?Z. 其中B为单元内像素点在第k个区间上幅值 之和.由于涉及到的区间分量的个数为9,因此每 个单元的特征需要进行9次上式区域求和处理.本 文中块移动的步长在水平和垂直方向分别为单元长 和高的二分之一长度,因此在水平和垂直方向块与块 之间产生了单元的交叠,使得应用常规的计算HOG 特征方法造成了大量地重复计算.如图2a所示,在 计算完区域AELH的特征后,然后需要计算区域BF- MI的特征,这时传统的方法势必对其内部的区域 BELI部分又进行了一次计算,造成了重复计算. 为了克服上述方法中存在着对特征的重复计 算的情况,本文提出了积分向量图的方法,用于计 算HOG特征.由于对梯度方向进行区域划分,因此 本文定义每个像素点的特征用9维向量来表示,故 3648科学技术与工程9卷 每个像素点向量特征可表示为:P(,Y)=ekG(, Y).其中e=(0,…,…0)表示像素点(,Y)梯度 方(10)得到,(f(C)表示为第i个单元内的 各个区间中数值统计,每个区间的数值由公式(6) 得到).同样的方法可以得到块(矩形ABCD)的 HOG特征其它三个分量C),厂(C,),C).由 此可见,HOG特征的计算,只与此特征端点的积分 向量图有关,而与图像坐标值无关.因此,不管此 HOG特征的尺度如何,特征值的计算所耗费的时间 都是常数.正因如此,积分向量图的引入,大大地 提高了训练和检测的速度. c1)=HH(5,Y5)+HH(1—1,Y1—1)一 (1—1,L(Yl+y~)/23)一删(L(1+2)/2/,Y一1) (10) 图2a样本的块(block),b点(,Y)的积分图, C块(block)积分向量图 2分类器选择 在AdaBoost总体学习框架中,本文通过应用线 性SVM分类器来对样本中对应的每个HOG特征进 行分类训练,得到的分类函数即是一个弱分类器.其 中SVM的二次规划(QP)问题通过序列最小优化(se. quentialminimaloptimization,SMO)来进行解决?引. 选择线性SVM原因在于其运算速度上远远优 于非线性SVM,同时在AdaBoost学习框架中,每个 循环过程中SVM训练的结果只是作为一个弱分类 器,故在每个循环过程中对弱分类器的正确分类率 要求不是很高.线性SVM虽然存在着相对于非线 性分类效果较差的情况,但是从实验中数据得出, 线性SVM对样本的正确分类率仍旧能达到70%左 右,符合作为弱分类的要求,即正确分类率大于 50%;通过SMO来解决线性SVM的二次规划问题 (QP)不但大大节省了计算时间,而且不会牵涉到迭 代法造成的误差积累.同时SMO不涉及二次规划 数值解法,不需要将核函数矩阵整个存在内存里, 而数值解法每步迭代都要用此矩阵作运算,SMO使 用内存与样本成线性增长,而不是以往算法的平方 增长,故提升了训练速度,同时节省了训练所需的 内存. SMO算法通过搜索二次规划中可行的区域,使 目标函数最大化. N1 : ?一寺?Otiyi.;0??c,Vi=1’,J (13) (13)式中Y(1或一1)表示样本类别,拉格 朗日乘子.通过两变量OL,对QP问题进行分析 求解:设a.,OL为待优化变量,此时最优化问题的子 问题可以写为两个变量的最优化问题: 1,OL2)=L_K(1,1)21+L_K(2,2)+ ? y1一(+)+y~otl?)+l=j ,v y2ol?yiotK(x,)(14)i=3 ? 由于?yiq=0,所以得出i=l YlOL1+Y2a2=Ylo1+y2兰ld(15) 通过式(14),式(15)在每一个迭代步骤只选两 个变量.和进行调整,同时固定其他变量,通过 13期黄酋,等:基于梯度向量直方图的行人检测3649 求解最优化问题,得到关于这两个变量的最优值. 其中b,W更新如下: Ab=E(x,Y)+Aa1Y1+aa2Y22T(16) aw=aalYl1+?2Y22(17) (16)式中E(x,y)表示oJd,O的预测错误. 3样本训练算法 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 由于每个训练样本中提取的HOG特征为2309 个,故我们希望能够从中得到一部分能显着区分正 负样本的HOG特征.本文采用AdaBoost算法来选 择这部分带有权重的HOG特征(弱分类器),结合 形成一个强分类器.弱分类器的选择是在每次循 环中通过对每个特征进行线性SMO分类,选取分类 错误率最小的那个特征所对应分类函数.为了加 快弱分类器的提取,我们根据文献[4]所提出的思 想在每次循环中随机选取一定数量的特征进行训 练,在本文中每次循环中随机的选取了300个特征 进行训练,大大地节省了训练时间. AdaBoost结合线性SMO分类器的训练流程如下: (1)训练样本图像(.. Y),…,(.Y).为训 练样本序列,Yi=一1,1分别表示负样本和正样本. (2)初始化权重,寺分别对应于Y= 一 1,1.m,z分别为负样本和正样本的个数. (3)Fort=1,…, ?归一化权重W一{,. ?W=1 ?随机选取300个HOG特征,应用SMO对正 负样本进行训练. ?计算错误分类率:?Wl(p,)一),I 其中h(,P,0)在SMO决策函数的值大于零时等 于l,其它值等于一1. ?从300个特征中选取拥有最小错误分类率 的特征,计算得到对于此特征的SMO的决策函数,并 定义该HOG特征为此次循环弱分类器:=(,ft, P,0). ?更新样本权重: Wf’lf邛’,Y=.(); Wt+l , i×it,?(). 其中z是归一化常数. = )>0. ?公式(12)中的惩罚因子也需要涉及权重的 更新:C…. =C”XW…. . (4)()=sign(?h()). 上述样本训练中选出的弱分类器应是能最大 化区分正负样本集的特征块,即那些反映人体部位 的特征块.图3显示了经过上述训练后所得到前三 个特征块,其定位出训练样本中正样本人体的躯干 和腿位置. 图3训练得到的前三个特征块 4实验结果 本文选用的行人库为Inria行人库和MIT行人 库.训练集是Inria行人库中的2416张行人图片 (正样本128X64)和1218张非行人图片(负样本 3650科学技术与工程9卷 128×64).测试集由两部分组成:(1)Inria行人库 中的1126张行人图片和453张非行人图片; (2)MIT行人库中的924张行人图片. 训练样本的平台:pentium4,2.66GHz的CPU 以及1.5G内存的PC机.每个训练样本中提取 2309特征,通过Adaboost从中提取100个特征组成 强分类器所需的时间为约13h. 根据表1的数据结果,我们发现应用积分向量 图方法计算HOG特征的时间远远少于传统的区域 向量累加和的方法,同时随着单元的尺度的增大, 积分向量图法计算的速度越发显着.表1中区域向 量累加方法对于不同大小的单元计算时间相差不 大,验证了传统的区域累加和的方法计算时间主要 由计算区域总像素点的个数决定,即单元的个数与 每个单元所包含像素点个数的乘积.所以大小不 同的单元虽然在样本中所含的个数不同,但总的计 算区域内像素点个数相近.反之,在表1中的积分 向量图的计算时间跟单元的个数成正比(样本中尺 度为6×6的单元个数大于尺度为8×8的个数),跟 计算区域的总像素个数无关. 表1HOG特征计算时间比较 图4显示AdaBoost每次选取弱分类器循环中 训练随机300个特征和训练所有特征的情况.从图 4中我们得出,当强分类器所包含的弱分器个数较 少时,训练所有特征的所得到的强分类器的识别率 远远高于随机训练300个特征的结果.但是随着强 l 0.9 8 O.7 申l卜0.6 磊0.5 0.4 0_3 O.2 O.1 O 一 /一 . ‘r / ——————一—.__300个HOG—— ——一一2309个HoG—— 1lO2O3O405O 强分类器包含的弱分类器个数 图4AdaBoost循环中随机训练 300个特征与完全训练的比较 分类中弱分类器的增加,识别率逐步接近.可以得 出结论:每次随机选取300个HOG特征进行训练所 得到弱分类器,对最后的识别率与完全训练所有的 特征所得到结果接近. 图5为本文分类器检测结果的混淆矩阵.从图 5a,图5b中可以得到负样本的识别率为92.4%, Inria行人图片,MIT行人图片的识别率分别为 97.5%,97.9%,接近于文献[4]在L1归一化下负 样本识别率为90%时,正样本的识别率98%左右的 检测结果,但是本文中选取的特征只有2309个,少 于文献[4]中的特征个数5031个,这样训练环节中 的特征计算时间得到了较少. pN PlO9828 N加62512 pN P9o420 N20I625l2 图5混淆矩阵 b 图5a中正样本为Inria行人库中的1126张行人 图片(128×64),图5b中MIT行人库中正样本为924 张行人图片,表2中负样本为从453张非行人检测图 片(320×240)中随机选取2718张图片(128×64) 5结论 本文在样本训练环节的AdaBoost学习过程中引 入线性SMO分类器,以及在特征计算中使用积分向 量图,加快了训练样本的速度.在Inria行人库和 MIT行人库的也取得令人满意的检测速度与检测 效果. 本文的工作还存在着一定不足,下步工作包括 研究特征提取环节增加预处理对结果影响,如梯度 选取等,以及增加环形HOG特征与引人级联Ada— Boost等工作. 参考文献 1FujiyoshiLAJ,PatilRS.Movingtargetclassificationandtracking fromreal—timevideo.ProcessingofIEEEWorkshoponApplicationsof ComputerVision.1998:8一l4 13期黄酋,等:基于梯度向量直方图的行人检测365l 2ViolaP,JonesMJ,SnowD.Detectingpedestriansusingpatternsof motionandappearance.The9thICCV,2003;1:734—_741 3DalaiN,TriggsB.Histogramsoforientedgradientsforhumandetec— tion.CVPR,2005 4ZhuQians,AvidanS,YehMC.Fasthumandetectionusiflgacascadeof histogramsoforientedS=~lients.Proceedingsof.I.E....E—E—Conference on ComputerVisionandPatternRecognition.NewYork:2006;2:1491--1498 PedestrianDetectionBasedon 5PlattJ.Fasttrainingofsupportvectormachinesusingsequentialmini— maloptimization.In:AdvancesinKernelMethods—SupportVector Learning,M1TPress,toappear,1998. 6KeerthiSS,ShevadeSK,BhattacharyyaC.Improvementstoplatt’s SMOalgorithmforSVMclassifierdesign.NeuralComputation,2001 7TheodoridisS,KoutroumbasH.模式识别(英文版.第3版).北京: 机械工业出版社, HistogramsofOrientedGradients HUANGQian,GUJie—feng,YANGWen—liang (DepartmentofElectronics&Information,SouthChinaUniversityofT echnology,Guangzhou510640,P.R.China) [Abstract]AimingattheproblemthattrainingtimeofAdaboostPedestriandet ectionisextremelylong,Integral VectorImageispresentedtocomputeHOGfeatures,andapplyiedlinearSVM toAdaBoostasaclassifier.Theex— perimentresultsshowthatnotonlythetrainingtimeis throughimprovementoftheabovetwosides. [Keywords]HOGpedestriandetectionSMO improved,butalsotheresultofdetectionissatisfactory integralvectorimage (上接第3645页) 拟退火算法,减少了运行时间,而且不存在早熟收 敛现象,尤其在大型 试题库 社会保障学试题和答案公务员考试面试题题库危货运输装卸管理人员钢筋工试题库含答案大学纺织材料学试题 组卷系统中组卷成功率 高.理论分析和实验结果表明,基于混合求解的智 能组卷算法具有较好的智能组卷性能. 参考文献 1毛秉毅.智能组卷系统研究.计算机工程,2002;28(6):278—279 2王小平,曹立明.遗传算法一理论,应用与软件实现.西安:西安 交通大学出版社,2002 3ChuPC.BeasleyJE.Ageneticalgorithmforthegeneralizedassign— mentproblem.ComputersandOperationsResearch,1997;24:l7—-23 4PalssonBO.ThechallengesofInsilieobiology.NatureBioteeh, 2000:18:1147—1150 5邓莉,鲁瑞华.一种改进的抑制早熟收敛的模糊遗传算法.计 算机科学,2007;34(11):l50一l53 6刘燕,郭英.改进模拟退火算法在适量量化编码中的应用. 通信技术,2008;41(2):8l—82 7LastM,EyalS.Afuzzy—basedlifetimeextensionofgeneticalgorithms. FuzzySetsandSystems,2005;(49):l31一l47 ResearchonMethodBasedonHybridSolutionAlgorithmforIntelligentTestPaper HUNan.XIEZheng—quan (EIDepartmentofLoudiVocational&TechnicalCollege,Loudi417000,P.R.China; SoftwareSchool,HunanUniversity,Changsha410083,P.R.China) [Abstract]Intelligenttestpaperisamulti—boundtargetscombinatorialopti mizationproblem.Asforthedeficiencies oftraditionalalgorithmintestpaper,geneticalgorithmiscombinedwithsimulatedannealingalgorithmandproposesahy- bridsolutionalgorithm.Thisnewalgorithmnotonlyovercomestheprematureconvergencebutalsoimprovesspeedand performancesignificantly.Experimentalresultsshowthatthisnewalgorithmiseffectiveforintelligenttestpaper. [Keywords]intelligenttestpapergeneticalgorithmsimulatedannealingalgo rithmhybrid solutionalgorithm