关闭

关闭

关闭

封号提示

内容

首页 基于稀疏编码的视觉目标跟踪方法研究.doc

基于稀疏编码的视觉目标跟踪方法研究.doc

基于稀疏编码的视觉目标跟踪方法研究.doc

上传者: zui玉刚 2018-01-14 评分 0 0 0 0 0 0 暂无简介 简介 举报

简介:本文档为《基于稀疏编码的视觉目标跟踪方法研究doc》,可适用于项目管理领域,主题内容包含基于稀疏编码的视觉目标跟踪方法研究博士学位论文基于稀疏编码的视觉目标跟踪方法研究RESEARCHONVISUALTARGETTRACKINGBASE符等。

基于稀疏编码的视觉目标跟踪方法研究博士学位论文基于稀疏编码的视觉目标跟踪方法研究RESEARCHONVISUALTARGETTRACKINGBASEDONSPARSECODING张盛平哈尔滨工业大学年月国内图书分类号:TP学校代码:国际图书分类号:密级:公开工学博士学位论文基于稀疏编码的视觉目标跟踪方法研究博士研究生张盛平导师姚鸿勋教授申请学位工学博士学科计算机应用技术所在单位计算机科学与技术学院年月答辩曰期授予学位单位:哈尔滨工业大学ClassifiedIndex:TPUDC:DissertationfortheDoctoralDegreeinEngineeringRESEARCHONVISUALTARGETTRACKINGBASEDONSPARSECODINGCandidate:ZhangShengpingSupervisor:ProfYaoHongxunAcademicDegreeAppliedfor:DoctorofEngineeringSpecialty:ComputerApplicationTechnologyAffiliation:SchoolofComputerScienceandTechnologyDateofDefence:December,DegreeConferringInstitution:HarbinInstituteofTechnology摘要摘要视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术,是计算机视觉研究中非常重要的一个研究课题。不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究,也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务,但对于计算机视觉而言,现有跟踪算法的性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来,还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化。为了解决这些难点问题,本论文以最近在信号处理和神经科学领域受到广泛关注的稀疏编码模型为理论基础,重点研究了如何利用稀疏编码的特性开发更加有效的目标跟踪方法。具体地,本论文的主要研究内容分为两条主线。第一条主线,利用稀疏表示全局的子空间搜索能力及对外观变化的表示能力,提出了两个目标跟踪算法:基于稀疏表示相似度计算的目标跟踪该方法将目标跟踪问题形式化为从所有目标候选中找到一个最小的子空间,能够以最小的重构误差线性表示目标模板。该问题最终转化为一个稀疏表示问题,即将目标模板表示为所有目标候选的线性组合。当假设目标候选包含当前跟踪结果时,线性表示的系数是稀疏的,因而可以通过Il范式最小化求解。并且,所求解的表示系数能够反映目标候选与目标模板之间的相似度,因此可以基于表示系数从目标候选中找出与目标模板最相似的候选作为跟踪结果。尽管本论文提出的方法并不是第一次将稀疏表示引入到目标跟踪中,但与先前提出的工作相比,创新点在于:第一,动机更直观。跟踪的目的正是要从目标候选中寻找与目标模板最相似的候选。本文的工作将目标模板表示为目标候选的线性组合,比之前的工作将目标候选表示为目标模板和单位基函数的线性组合更直观。第二,模型更合理。先前的方法在线性表示中引入单位基函数,而单位基函数的使用已经被后续的工作证实对跟踪的性能会带来负面的影响。第三,计算效率更高。Il范式最小化的求解是一个耗时的过程,本文提出的方法只需要计算一次Il范式最小化。而先前的工作需要为每一个目标候选计算一次Il范式最小化。基于在线外观变化基函数学习的目标跟踪尽管本文上一个提出的方法利用了稀疏表示的全局子空间搜索能力,在执行目标跟踪时达到了比先前的相关I哈尔滨工业大学工学博士学位论文方法更优的性能,但该方法并没有显式地对目标跟踪过程中由于外在因素而导致的目标外观变化进行处理。本文进一步提出一种基于在线外观变化基函数学习的目标跟踪方法,将目标跟踪过程中目标外观的变化进一步分解为一组基函数的线性组合。更重要的是,考虑到目标跟踪过程中,目标的外观变化是逐渐累积形成的,本文采用了在线学习的方法从每一时刻收集到的训练样本中在线地更新这组外观变化基函数。一方面,学习的方法能够保证所学习出的基函数能够更加紧凑地对外观变化进行表示。另一方面,在线学习的方法在每一时刻利用当前收集到的样本对上一时刻的基函数进行更新,可以显著降低学习方法的计算复杂度。本方法的另一个创新点在于,同时维持多个目标模板用于包含目标由于自身因素的变化而得到的多个目标外观。这些目标模板同样采用了在线更新的策略,用于适应目标在不同场景的变化。相比于现有的方法通常使用单位基函数来对目标的外观变化进行表示,本文使用学习的基函数来表示外观变化,除了具有更强的对外观变化的表示能力外,更重要的是避免了现有方法中单位基函数即使在未发生遮挡时也能够随意表示任一像素的问题。除了利用稀疏表示全局的子空间搜索能力以及对目标外观变化的表示能力外,稀疏编码还具有更符合人类视觉系统对视觉信息响应特性的能力,即局部的表示能力。本论文的第二条研究主线将稀疏编码的局部表示能力用于目标跟踪中的外观建模,提出的算法包括:基于相关稀疏特征选择外观建模的目标跟踪传统的外观建模方法广泛使用硬编码的特征,如SIFT和HOG等。这类特征的明显特点是固定计算步骤,不随场景的不同而改变。然而自然图像中的结构信息十分多样,并不能通过固定的计算方法来描述出所有潜在的结构特征。另一方面,自然图像中潜在的结构特征满足一定的统计规律,这类特征可以通过统计学习的方法得到。因此,本论文提出了一种无监督的特征学习方法。首先从自然图像中采样足够多的图像块作为训练样本,学习一组独立成分分析(ICA的基函数和滤波器。已有的研究表明,ICA的滤波器类似于Gabor滤波器,能对图像中的边缘信息进行响应。在为目标的外观进行建模时,计算出目标图像中所有图像块在各个滤波器下的响应并统计响应的分布作为目标的外观表示。考虑到跟踪序列只是自然图像的一个子集,为了增强基于ICA响应的外观表示的判别能力,进一步提出一种基于熵增的特征选择方法,选择与目标最相关的那些特征,计算它们的分布作为目标最终的外观表示。因为ICA是稀疏编码的一个特例,ICA响应也是稀疏的,因此将该方法称为基于相关稀疏特征选择的目标跟踪方法。本方法的创新点在于,第一次将稀疏编码这一无监督的学习方法用于目标跟踪中的外观建摘要模。相比于硬编码的特征而言,本文提出的基于学习的方法更符合自然图像的统计规律,也能更好地适应跟踪场景的变化。基于判别稀疏编码和金字塔表示外观建模的目标跟踪本文上一个提出的方法,虽然利用了ICA这一学习方法,但仍然是从信号统计的角度分析问题。本文进一步将神经科学理论模型与机器学习方法相结合,提出了一个生物启发的外观建模方法。该方法模拟了视觉信息通过视网膜经主视觉皮层的简单细胞到复杂细胞的响应过程,共包括五层,预处理层、编码层、修正层、归一化层和聚集层。除了预处理层、修正层和归一化层均采用神经科学成熟的操作外,本文工作侧重于编码层和聚集层。特别是为了提高所建立外观模型的判别能力,在编码层,使用判别的稀疏编码来编码局部的图像块,使得编码的系数能够对来自目标图像和背景图像的图像块进行有效地区分。在聚集层,为了从局部的编码系数得到目标图像全局的特征表示并保存局部编码系数在全局上的空间关系,提出使用多尺度的空间金字塔表示来对局部的编码系数进行聚集操作,最终得到的特征表示从局部和全局两方面保证了其判别性。本方法的创新点在于,借鉴神经科学领域对大脑视觉信息的响应机制,结合机器学习中的判别学习和空间金字塔表示,为目标跟踪提出了一个生物启发的外观建模框架。关键词:目标跟踪外观建模稀疏编码空间金字塔生物启发模型哈尔滨工业大学工学博士学位论文AbstractVisualobjecttrackingmeansthetechniquethatcontinuouslyinfersthetrajectoriesofthespecificmovingobjectfromthevideosequencecapturedbyacameraItisaveryimportantresearchtopicincomputervisioncommunicateItnotonlypromotesthetheoreticalresearchinimageprocessing,patternrecognition,machinelearningandartificialintelligencebutalsobeanecessarystepofmanypracticalcomputervisionsystemsAlthoughitiseffortlessforhumanvisionsystem,theperformancesofexistingtrackingmethodsarefarawayfromthehumanintelligenceThemaindifficultyisthatvisualobjecttrackinginnaturalsceneshouldnotonlysolvehowtodistinguishthetargetfromthebackgroundbutalsoneedtoovercometheappearancevariationscausedbypose,illuminationandocclusionduringtrackingToaddressthesedifficulties,thisthesistakesthepopularsparsecodingmodelinsignalprocessingandneuroscienceasthebasistostudyhowtodevelopeffectivetargettrackingmethodsbasedontherolesofsparsecodingInparticularly,themaincontentofthisthesisisalongtwomainlinesFirst,exploitingtheabilitiesofperformingglobalsubspacesearchingandrepresentingappearancevariations,weproposedtwoalgorithmsfortargetsearching,including:TargettrackingviasimilaritycomputingbasedonsparserepresentationThismethodformulatesvisualobjecttrackingasfindingtheminimalsubspacethatrepresentsthetargettemplatewiththeminimalreconstructionerrorfromalltargetcandidatesThisproblemisfinallyformulatedasasparserepresentationproblemthatrepresentsthetargettemplateasthelinearcombinationofalltargetcandidatesWithareasonableassumptionthatthetargetcandidatescontainthetargettemplate,therepresentationcoefficientscanbecomputedviaInormminimizationFurthermore,therepresentationcoefficientscanmeasurethesimilaritybetweenthetargetcandidateandthetargettemplateTherefore,wecanfindthecandidatethatmostmatchestothetargettemplateasthetrackingresultsfromalltargetcandidatesAlthoughitisnotthefirsttimetousesparserepresentationinvisualtracking,comparedwiththepreviouswork,ourcontributionsarethreefolds:IVAbstractIthemotivationismoreintuitiveThepurposeofvisualtrackingistofindthecandidatethatmostmatchestothetargetfromallcandidatesTheproposedmethodrepresentsthetargettemplateasthelinearcombinationofalltargetcandidates,whichismoreintuitivethanthepreviousworkthatrepresentseachtargetcandidateasthelinearcombinationoftargettemplatesandunitbasisfunctionsThemodelismorereasonableThepreviousworkintroducestheunitbasisfunctionsintothesparserepresentationframeworkHowever,thesubsequenceworkindicatesthattheusageofunitbasisfunctionswillbringnegativeeffectsonthetrackingperformancethecomputationismoreefficientTheIinormminimizationisverytimeconsumingTheproposedmethodonlyneedstocomputeitonetimeHowever,thepreviousworkneedstocomputeonetimeforeachtargetcandidateThecomparisonexperimentsindicatethattheproposedmethodismoresuperiorthanthepreviousworkTargettrackingbasedononlinelearningappearancevariationbasisAlthoughthelastmethodbasedontheglobalsubspacesearchingachievesthebettertrackingperformancethanthepreviouswork,itdoesnotexplicitlyhandletheappearancevariationscausedbyexternalfactorsduringtrackingToimprovethelastmethod,wefurtherproposedatargettrackingmethodbasedononlinelearningbasisfunctionsforappearancevariations,whichfactorizestheappearancevariationsintoalinearcombinationofasetofbasisfunctionsMoreimportantly,consideringtheappearancevariationsareproducedgradually,weupdatethebasisfunctionsonlineusingthecollectedtrainingsamplesateachtimeThebasisfunctionsobtainedbythelearningstrategycanrepresenttheappearancevariationsmorecompactlyOntheotherhand,theonlinelearningmethodupdatesthebasisfunctionsusingthecollectedtrainingsampleeachtime,whichsignificantlyreducethecomputationalcomplexityTheothercontributionoftheproposedmethodisthatitmaintainasetoftargettemplatesinordertocontaindifferenttargetappearancesproducedduetointrinsicfactorsThesetemplatesarealsoupdatedonlinetoadapttovariationsindifferencescenesComparedwiththepreviousworkwhichusesunitbasisfunctionstohandleappearancevariations,theproposedmethodusesthelearnedbasisfunctionstorepresenttheappearancevariationsInadditiontothemorepowerfulrepresentationability,moreimportant,itcanavoidtheproblemofrepresentinganypixelevenifthereisnoocclusionduetotheusageofunitbasisfunctionsV哈尔滨工业大学工学博士学位论文Inadditiontotheabilitiesofglobalsubspacesearchingandhandlingtargetappearancevariations,sparsecodinghasalsothelocalrepresentationabilitywhichismoresimilarwiththeresponsepropertiesofhumanvisionsystemThesecondpartofthisthesisexploitsthelocalrepresentationabilityofsparsecodinginappearancemodelingTheproposedalgorithmsinclude:TargettrackingviaappearancemodelingbasedonrelatedsparsefeatureselectionTraditionalappearancemodelingmethodsusuallyusehandcraftedfeaturessuchasSIFTandHOGandsoonThesignificantpropertyofthesefeaturesisthattheyhavefixedcomputationprocedureanddonotchangeaccordingtothedifferentapplicationsHowever,thestructureinformationinnaturalimagesisveryrichItisnotpossibletodescribeallunderlingstructurefeaturesusingthefixedprocedureOntheotherhand,theunderlingstructuresinnaturalimagesmeetsomekindofstatisticrules,whichindicatesthattheycanbeobtainedusingstatisticallearningmethodsTherefore,weproposedanunsupervisedfeaturelearningmethodforvisualtrackingFirst,welearnasetofICAbasisfunctionsandfiltersusingcollectedtrainingsamplesfromnaturalimagesTheexistingstudiesindicatethatthelearnedICAfittersaresimilarwithGaborfiltersandcanresponsetoedgesinimagesTomodeltargetappearance,computetheresponsesofallimagepatchessampledfromthetargetimagetoallICAfiltersandcomputetheresponsedistributionofallfilersasthetargetappearancemodelHowever,consideringthetrackingsequenceisjustasubsetofnaturalimages,wefurtherproposeafeatureselectionmethodtoselectthosefiltersthatarerelatedtothetargetandcomputethedistributionoftheirresponsesasthefinalappearancemodelBecauseICAisaspecialcaseofsparsecoding,theresponsesofICAisalsosparse,wecalledtheproposedmethodasappearancemodelingbasedonsparsefeatureselectionThecontributionoftheproposedmethodisthatitisthefirsttimetousetheunsupervisedsparsecodinginappearancemodelingforvisualtrackingComparedwithhandcraftedfeatures,thelearnedfeaturesaremoreconsistentwiththestatisticalregularitiesandcanadaptwelltothevariationsoftrackingsceneTargettrackingviaappearancemodelingbasedondiscriminativesparsecodingandpyramidrepresentationAlthoughthelastworkexploitstheunsupervisedICAmethod,itisdemonstratedfromthepointofviewofsignalstatisticsWefurthercombinetheneurosciencemodelsandmachinelearningmethVlAbstractodsandproposeageneralbiologicallyinspiredappearancemodelingframework,whichsimulatestheresponseprocessofvisualinformationfromretinatocomplexcellinprimaryvisualcortexThisprocessincludesfivelayers:preprocessinglayer,codinglayer,rectificationlayer,normalizationlayerandpoolinglayerInadditiontopreprocessinglayer,rectificationlayerandnormalizationlayerwhichadopttheexistingoperatorsinneuroscience,ourworkfocusesonthecodinglayerandpoolinglayerInparticular,toimprovethediscriminativeabilityoftheproposedappearancemodel,weusediscriminativesparsecodingtocodelocalimagepatchesatthecodinglayerTheresultingsparsecodesareeasytodistinguishthetargetpatchesfromthebackgroundpatchesAtthepoolinglayer,toobtaintheglobalrepresentationfromthelocalsparescodeswhilereservethespatialrelationshipofthelocalsparsecodes,weproposedtousemultiscalespatialpyramidrepresentationtopoolthelocalsparsecodesThefinalfeaturerepresentationhasbothlocalandglobaldiscriminativeabilitiesThecontributionoftheproposedmethodisthatwecombinethebiologicallyinspiredevidencesandmachinelearningmethodsandproposedageneralbiologicallyinspiredappearancemodelingframeworkforvisualtrackingKeywords:Objecttracking,appearancemodeling,sparsecoding,spatialpyramid,biologicallyinspiredmodelsVII目录录摘要IABSTRACTIV第章绪论视觉目标跟踪的研究背景及意义视觉目标跟踪问题描述和难点分析视觉目标跟踪问题描述目标跟踪难点分析目标跟踪的国内外研究现状及分析依据候选生成算法分类依据外观建模算法分类依据目标搜索算法分类依据模板更新算法分类国内外从事相关工作的研究机构本文的研究内容及组织结构本文的研究内容本文的组织结构第章稀疏编码与目标跟踪引言稀疏编码模型介绍稀疏编码理论稀疏编码与其它模型的关系本文使用稀疏编码的动机基于全局稀疏表示的目标搜索基于局部稀疏编码的外观建模第章基于稀疏表示相似度计算的目标跟踪引言相关工作基于重要性采样的目标候选生成目标参数化表示IX哈尔滨工业大学工学博士学位论文序列重要性采样目标特征提取下采样亮度特征亮度直方图特征纹理直方图特征基于稀疏表示的目标跟踪求解实验结果与分析实验设置性能评价准则不同的特征表示对跟踪性能的影响与其它跟踪方法的比较本章小结第章基于在线外观变化基函数学习的目标跟踪引言相关工作外观变化鲁棒的稀疏表示目标跟踪外观变化基函数在线学习在线收集训练样本在线学习基函数目标模板在线更新实验结果与分析定性的实验结果定量的实验结果本章小结第章基于相关稀疏特征选择外观建模的目标跟踪引言相关工作独立成分分析基函数学习基于相关特征选择的外观建模基函数响应分布基于熵增的相关特征选择X目录基于高斯牛顿法的目标跟踪实验结果与分析定性的实验结果定量的实验结果本章小结第章基于判别稀疏编码和金字塔表示外观建模的目标跟踪引言相关工作生物启发式的外观建模基于白化操作的预处理层基于判别稀疏编码的编码层基于非负操作的修正层基于除法操作的归一化层基于金字塔表示的聚集层基于多尺度金字塔匹配的目标跟踪实验结果与分析不同层对跟踪性能的影响与文献中其它相关方法的比较与本文提出的其它方法的比较运行速度比较本章小结结论参考文献攻读博士学位期间发表的论文及其他成果哈尔滨工业大学学位论文原创性声明及使用授权说明致谢个人简历XIContentsContentsAbstractInChineseIAbstractInEnglishIVChapterIntroductionResearchbackgroundandimportanceofvisualtargettrackingDescriptionofvisualtargettrackinganddifficultiesanalysisDescriptionofvisualtargettrackingDifficultyanalysisoftargettrackingOverviewtargettrackingmethodsCategorizationaccordingtocandidategeneratingmethodsCategorizationaccordingtoappearancemodelingmethodsCategorizationaccordingtotargetsearchingmethodsCategorizationaccordingtotemplateupdatemethodsResearchinstitutesandrepresentativeworkResearchcontentandorganizationstructureResearchcontentOrganizationstructureChapterSparsecodingandtargettrackingIntroductionIntroductiontosparsecodingmodelSparsecodingtheoryRelationshipbetweenSparsecodingandothermodelsMotivationsofusingsparsecodingTargetsearchingbasedonglobalsparserepresentationAppearancemodelingbasedonlocalsparsecodingChapterTargettrackingviasimilaritycomputingbasedonsparserepresentationIntroductionRelatedworkTargetcandidategeneratingbasedonimportancesampling哈尔滨工业大学工学博士学位论文TargetparameterizationSequentialImportancesamplingTargetfeatureextractionDownsamplingintensityfeaturesIntensityhistogramfeaturesTexturehistogramfeaturesSolutiontotargettrackingbasedonsparserepresentationExperimentalresultsandanalysisParametersetupPerformanceevaluationstandardAffectsofdifferentfeaturerepresentationontrackingperformanceComparisonwithothertrackingmethodsConclusionChapterTargettrackingbasedononlineappearancevariationbasislearningIntroductionRelatedworkTargettrackingbasedonappearancevariationrobustsparserepresentationOnlinelearningofappearancevariationbasisOnlinecollectingtrainingsamplesOnlinelearningbasisfunctionsOnlinetargettemplateupdateExperimentalresultsandanalysisQualitativeexperimentresultsQuantitativeexperimentresultsConclusionChapterTargettrackingviaappearancemodelingbasedonrelatedsparsefeatureselectionIntroductionRelatedworkICAbasisfunctionlearningAppearancemodelingbasedonrelatedfeatureselectionXIVContentsBasisfunctionresponsedistributionRelatedfeatureselectionbasedonentropygainTargettrackingbasedonGaussianNetonExperimentalresultsandanalysisQualitativeexperimentresultsQuantitativeexperimentresultsConclusionChapterTargettrackingbasedondiscriminativesparsecodingandpyramidrepresentationIntroductionRelatedworkBiologicallyinspiredappearancemodelingWhiteningoperatorbasedprocessinglayerDiscriminativesparsecodingbasedcodinglayerRectificationlayerNormalizationlayerPyramidrepresentationbasedpoolinglayerTargettrackingbasedonmultiplescalepyramidmatchingExperimentalresultsandanalysisAffectsofdifferentlayersontrackingperformanceComparisonwithotherrelatedmethodsComparisonwithothermethodsproppedinthisthesisComparisonofcomputingspeed

用户评论(0)

0/200

精彩专题

上传我的资料

每篇奖励 +2积分

资料评价:

/22
0下载券 下载 加入VIP, 送下载券

意见
反馈

立即扫码关注

爱问共享资料微信公众号

返回
顶部