基于多尺度的动态视觉显著性检测方法

基于多尺度的动态视觉显著性检测方法 碌究与开发/ /————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— 基于多尺度的动态视觉显着性检测方法 楼甜甜 (华东师范大学信息科学技术学院,上海200241) 摘要:视觉显着性是能在视觉环境中感知突兀区域的能力,以显着性的Center—Su~ound为前提, 提出一种基于多尺度的动态视频视觉显着性检测的方法.用不同尺度视频选取匹配的中 心一周边图像块(Patch).并结合基于上下文环境的备件概率分布进行显着性检测. 关键词:视觉显着性;条件概率;中心一周边;独立成分(ICs);动态视频 O引言 视觉显着性检测对机器人视觉的处理过程具有相 当重要的意义.视觉显着性可以决定注视方向.而且使 得对象的检测和识别更加的方便人类的视觉有非常 惊人的识别能力.在自然环境中.利用很少的信息资源 就能识别复杂的场景所以在计算机视觉中.把这种以 注意点作为信息加工的方式引入图像分析领域.将计 算资源优先分配给容易关注的区域.将提高图像分析 方法的工作效率 在我们前面的研究中.已经对静态图片做了显着 性的检测.与Itti31和Bruee[41做出的KL(KullElack ~ibler)值进行比较,效果不错.本文针对动态视频进 行显着性的检测.在方法上较静态图像会有些不同.首 先在对视频进行图像块(Patch)的抽取时.选用不同的 方式,其次要考虑时间维度的问题在上述基础上提出 了一个多尺度的动态视觉显着性的检测的算法.用不 同尺度的视频来选取匹配的center-surround[11.并结合 基于上下文环境的条件概率分布(PmbabilitvDistfibu. tions.PDs)阁来进行显着性检测 1视觉显着性 在未知的自然环境中.人类视觉在描述自然环境 时.会将注意力集中在一些与周围环境有比较明显差 别的区域,对这些区域有比较突出的反映,这种特性称 为视觉显着性 人类视觉系统能够快速检测和定位静态视网膜上 感兴趣的部分.为模拟这种能力.R.Milanese等人综合 自底向上和自顶向下两种策略IN.综合了多种图像特征 (亮度,颜色,曲率),并应用多尺度高斯滤波器计算显 着性子图.目前的显着区域检测算法可分为两大类,第 一 类是基于局部特征的算法.局部特征主要包括边缘 密度,复杂度等:第二类是基于视觉反差的算法,主要 有DOG滤波.随机抽样匹配.Center—Su~ound算子? 等,这种方法大都根据感知过程提出来,通行性更强. 也是当前主要的研究方向.其中以Ittill31的算法最具代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 性. 2显着性检测算法分析 2.1基于上下文环境的条件概率(PDs) 在自然场景中.基于上下文环境的条件概率就是 指在给定背景环境中的一个目标的概率其中.每个自 然场景中的上下文图像块都对应一个视觉目标的图像 块,无论是在时问域还是空问域上自然环境中的基于 上下文环境的条件概率是以独立成分(ICs)来表现的. 因为独立成分的峰值明显.而且互相独立.还有一点就 是自然环境的独立成分能比较好地反映视觉早期处理 的一些方面 我们使用中心一周边(Center-Surround)构造来建模 基于上下文环境的条件概率.抽取不同的图像块 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 收稿日期:2011-03—17修稿日期:2011—03—31 作者简介:楼甜甜(1986-),女,浙江东阳人,硕士研究生,研究方向为计算机视觉 现代计算机2011.04o \\\,.三一 为中心和周边 []? 在公式(1)中,Xs和Xc是配对的周边和中心图像 块样本,As,Ac,Asc是独立成分,通过这个公式我们可 以根据独立成分分析(ICA)来算出独立成分.同时还可 以为后续算条件概率所用 r,居1rO1『1【.J=【..J【.J.(2) 根据公式(1)计算Xs和Xc的的独立成分时.采用 的是改进了的FastICA算法I51.以使得成分Us和Usc互 相独立改进版的FastICA是在研究过程中.由笔者导 师提出想法,然后共同完成的.通过改进版的ICA我们 得到As,Asc,Ac,Ws,Wsc,Wc这几个独立的积,其中 As是周边图像块的独立成分.Asc是周边与中心图像 块匹配的独立成分.Ac是周边与中心图像块不匹配的 独立成分,示例结果可以看图1. 这个目标显着,反之亦然,因此可以得出显着性S. 2.2多尺度图像块抽取 多尺度是指多尺度视频大小.也即对视频进行降 维.对视频做尺度0到尺度1的降维.当然可以再对尺 度1做降维.但视频信息量比较多.所以实现过程中只 降了一次 动态视频我们用视频帧来描述时间t.对时刻t做 显着性检测时需要获取更多帧的信息.在本文中.我们 提出了一种新型的取帧抽图像块的方法.即尺度0的 t,t一1,t-2,t一3四帧作为中心的信息抽取图像块,在尺 度1的t,卜2,卜4,t一6四帧作为周边的信息抽取图像 块.这样做的原因是在尺度0和尺度l上对各帧图像 进行了降维.所以对于整个视频来说.时间上也要进行 降维.以达到维度上的统一.如图2. h.AmtFrame~-1Frame_ t-2Frame_ t-3 ____ __?? 图1左图A结果.右图为A.结果3实验及分析 根据公式(2)可得出Usc,其中u是第i个与Xc 不匹配的独立成分的激活度.因此.自然场景中的基于 上下文环境的条件概率可以用贝叶斯方程得到,即: P(Xc/Xs)==1-IP(ul)(3) 根据上述公式.条件概率只取决于与Xc不匹配的 独立成分.而这个成分可以通过改进版FastICA得到. S=-lnP(Xc/Xs)一lnP()(4) 在以上建立的基于上下文环境的条件概率的情况 下.我们可以对动态视频进行显着性的检测,我们从It— ti's视频数据库中的抽取了150000的图像块.并进行 了改进版FastICA的运算从分析中可知,当自然场景 中一个目标的发生与周围上下文环境的相关性低时. o现代计算机2011.04 图2取帧方式图 实验的数据是Itte'sr~的视频数据库.其中有50个 视频.我们分别从中抽取了150000的中心图像块和周 边图像块.因为视频为彩色,计算量很大,在实现过程 中把它转化为灰度视频.每个视频的尺度大小是480x 640.作为尺度0.采用多尺度抽取方式,把视频降维,得 到尺度1.即240x320,然后在尺度0,l上去抽取中心和 周边的图像块.大小为llxl1.再加上时间轴t,整合成 一 个1lxllx4维的图像块实验结果图如图3所示. 结果图中.我们把我们所做出的显着性与Brucet~ 所做出的视频的显着性进行比较.我们可以看出.本文 所采用的方法能也能很好地检测出视频的显着性. 但是.其中第二帧中的较远地方的动作也有显着 性.相对于Bruce的显着性稍差,经过我们的分析,有 两方面的原因.一方面是在时间尺度上的降维方法还 可以改进.另一方面是实验设备的限制.无法运行更多 的样品图像块.在后续的实验中,我们将不断地解决这 些存在的问题. OutudeofframeOutt:II…Bruce'…de0tfram*Bt1oham* 圈圈曩圈 瓣圈 ?一 4结语 图3实验结果与其他结果比较 本文提了一种基于多尺度动态视觉显着性的完 整算法.以基于上下文环境的条件概率分布来计算 着性,而不是根据特征值进行局部着性计算检测的 效果也具有实用性和适应性.在以后的研究l丁作中.将 把这种显着性检测方法应片j于关键点的确定以及场景 分类等计算机视觉的方面 参考文献 [1]htiL,KochC.FeatureCombinationStrategiesforSaliency, BasedVisualAttentionSystems.JournalofElectronicImag, ing,2001,10(1):16l,169 [2]L.Itti,C.Koch.ComputationalModelingofVisualAttention. NatureReviewsNeuroscience[J].vo1.2,PP.194-203,2001 【3]IttiL,KochC,NieburE.AModelofSaliency-BasedVisual AttentionforRapidSceneAnalysis[J].IEEETransactionson PatternAnalysisandMachineIntelligence,1998,20(11): l254—1259 【4]BruceND,TsotsosJK(2009)Saliency,Attention,andVisual Search:anInformationTheoreticApproach[J].JVis9:51,24 [5]XuJ,YangZ,TsienJZ(2010)EmergenceofVisualSaliency fromNaturalScenesViaContext-MediatedProbabilityDistri- buttonsCoding[J1.PLoSONE5(12):e15796.dot:10.1371/ jOUITla].pone.0015796 [6]MilaneseR,WechsterH,eta1.IntegrationofBottom—Upand Top——DownCuesforVisualAttentionUsingNonLinearRelax—- ation.In:Proc.oftheIEEEComputerSocietyConferenceon ComputerVisionandPatternRecognition.Seattle,USA,1994: 781,785 【7]IttiL,BaldiP(2009)BayesianSurpriseAttractsHumanAt— tention[J].VisionRes49:1295,1306 ADynamicSaliencyDetectionMethodBasedonMulti-Scale LOUTian—tian (DepartmentofInformationScienceandTechnology,EastChinaNormalUniversity,Shang hai200241) Abstract Keywords Visualsaliencyhasabilitythatmakessomeitemsinvisualscenesstandoutfromtheircontexts. Accordingtothecenter— surroundhypothesisofsaliency,proposesadynamicsaliencydetection methodbasedonmulti—scale.Inthisway,differentscaledcenter-surroundpatchesaleob— tained,whichcombinedwithcontext—mediatedPDstoanalyzevideosaliency. VisualSaliency;ProbabilityDistributions;Center— Surround;IndependentComponent;Dynamic Videa 现代计算机2011.049 一 一