【doc】未知环境中基于视觉显著性的自然路标检测

【doc】未知环境中基于视觉显著性的自然路标检测 未知环境中基于视觉显著性的自然路标检 测 第19卷第1期 2006年2月 模式识别与人工智能 PR&AI Vol_19No.1 Feb2006 未知环境中基于视觉显着性的自然路标检测* 王璐.蔡自兴 (中南大学信息科学与工程学院智能系统与软件研究所长沙410083) (中原工学院计算机科学系郑州450007) 摘要自然路标检测是移动机器人在未知环境中表示与识别环境的基础.基于此,本文提出一种具有适应能力, 基于视觉显着性的自然路标检测系统. 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 了保细节采样策略.能够自行调节参数以适应各种环境纹理分析的Ga— bor滤波器,在多尺度空间上计算颜色,纹理的对比度,经综合处理得到描述路标可选区域的显着性指示图.实验结 果表明本文算法在显着点检测方面具有较高的准确性,并且具有较高的重复检测能力,能够适应远近尺度,旋转和 视角变化等自然环境识别要求. 关键词自然路标检测,视觉显着性,Gabor滤波器,重复检测能力 中图法分类号TP391 VisualSaliencyBasedNaturalLandmarksDetectionunder UnknownEnvironments WANGLu,.CAIZi—Xing (CenterofIntelligentSystemandSoftware,S(.hoolofInformationScience andEngineering,CentralSouthUniversity,Changsha410083) .(DepartmentofCornputerScience,ZhongyuanUniversityofTechnology,Zhengzhou450007) ABSTRACT Naturallandmarkdetectionisabasisofmobilerobotsnavigationtorepresentandrecognize unknownenvironments.Asaliencybasedadaptivenaturallandmarksdetectingsystemispresented inthispaper.Firstlythedetailpreservingsamplingschemeisdesignedtocreatemulti— scaleimage spaceswhereopponenciesofcolorandtexturearecomputed.AndtheGaborfilter,whichcanadjust parametersadaptively,isdesignedtoanalyzetextureofallkindsofenvironments.Atlastthe saliencymapthatpointsoutwherecanbetreatedasnaturallandmarkiscreated.Experiments showthatthisalgorithmhasbetterprecisionondetectingsalientpointsandbetterrepeatability includingscale,rotationandviewpointinvariance. KeyWordsNaturalLandmarksDetection,VisualSaliency,GaborFilter,Repeatabilityof Detection *国家自然科学基金重点资助项目(No.60234030) 收稿日期:2004—08—02;修回日期:2005—03—30 作者简介王璐,男,1972年生,讲师,博士研究生,主要研究方向为人工智能,移动机 器人导航,计算机视觉等.E—mall:dqx— wl@21cn.corn.蔡自兴,男,1938年生,教授,博士生导师,主要研究方向为人工智能, 机器人学,智能控制等. 1期王璐等:未知环境中基于视觉显着性的自然路标检测 1引言 路标检测在移动机器人导航的环境建模问题中 占有重要地位.可靠而稳定的路标是组成几何地图 (metricmap)和拓扑地图(topologicmap)的基本要 素.由于目前技术的局限性,利用分割等手段难以从 图像中检测出可靠且有效的路标对象,而检测出识 别路标就更加困难.基于图像外观(appearance based)的移动机器人导航绕过图像分割问题,提取 有意义的场景描述作为拓扑地图的路标,同时也带 来了新的问题,即如何选择有意义的场景兼顾存储 需求及路标匹配问题. 自然路标是指环境中已有的(并非人工设置), 能够用以标识不同环境的参考对象或模式.结构化 环境下自然路标(如交通标志)检测及识别经常采用 模板 个人简介word模板免费下载关于员工迟到处罚通告模板康奈尔office模板下载康奈尔 笔记本 模板 下载软件方案模板免费下载 匹配策略,技术相对成熟.非结构化环境(户内, 户外)由于缺乏先验知识,环境条件不断变化,给自 然路标检测带来极大困难.基于图像外观的方法通 过计算图像的颜色,边缘,纹理,梯度,密度等信息获 取场景描述,并以此作为存储的基元和匹配的依据. 由于其在可操作和计算需求方面的优越性,该方法 越来越受到研究人员的欢迎和关注.但目前出现的 许多系统仍局限于室内环境,如I.C.Christos[1]等 人使用映射和点置换不变向量来抽取环境特征,在 此基础上提出了一个检测和识别走廊上自然路标的 框架,整个系统计算需求较高且对环境要求理想化. 为提高运算速度,N.Winters[2]等人提出利用信息 采样抽取注意区域(attentiveregion).与之类似的 还有应用PCA(principalcomponentanalysis)建立 低维特征子空间以降低存储需求以及应用多维直 方图(multi—dimensionalhistogram)描述图像外观 特征等方法. 生物视觉系统的研究显示:当生物体(例如果 蝇)观察周围环境时,往往由于行为目的需求或局部 景象线索(如突出物体)将注意力有选择地集中在某 个或某些景物上[5].将这样的景物作为路标可以有 效区分和代表各种环境.D.Lowe提出的SIFT方 法能够有效检测具有尺度,平移和旋转不变性的兴 趣点,但检测的兴趣点过多(上千个)就会使算法很 难适应移动机器人导航的实时性要求,也不利于后 续处理|6].R.Sim通过计算局部边缘密度最大值来 检测显着点,但该方法无法适应尺度和视角的变 化口].T.Eduardo等利用多尺度图象在亮度,颜色, 方向方面的对比提取视觉显着区域,作为非结构化 室外环境中自然路标的侯选区域[.算法采用固定 滤波器扫描图像,并简单地为每个特征赋以相同权 重进行综合,导致某些显着点被削弱甚至淹没.而且 实践表明,算法在1.7GHzPC机上运行至少需3.7s (480×320),无法满足移动机器人导航应用中的实 时要求. 颜色和纹理是非结构化环境中识别视觉路标的 两个最重要的特征.本文通过对多尺度图像颜色和 纹理的对比获取视觉显着区域,将其作为基于外观 导航的自然路标候选区域.采用I.MS法则训练和 学习综合颜色和纹理特征时的权值,使算法更加理 性.此外,为增强适应性,提出用于纹理检测的Ga— bor滤波器的自适应设计 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 . 2视觉显着性 注视(Attention)机制的研究表明,人类视觉在描 述场景时往往将注意力集中在某些明显与众不同,视 觉效果突兀的区域,这种特性称为视觉显着性. 图像处理时,根据图像所具有的多种特征的线性 组合建立一幅伴随图像.该图像中,归一后具有较大 值的像素点对应原图像视觉效果显着的图像位置.人 类视觉系统能够快速检测和定位静态视网膜上"感兴 趣"的部分.为模拟这种能力,R.Milanese等人综合 自底向上和自顶向下两种策略l9],即从分析图像数据 本身人手和应用已知信息(如目标模板或任务)人手. R.Milanese综合了多种图像特征(亮度,颜色,曲 率),并应用多尺度高斯滤波器计算显着性子图.尽管 目前存在各种模拟视觉显着性的方法,但这些方法实 质上都可归结为用每个位置上抽取的信息与剩余图 像进行比较来计算具有突出性的部分. 3路标检测系统 受特征综合理论(featureintegratedtheory)和 人类视觉模型启发,本文检测自然路标首先对输入 图像建立多尺度特征空间,然后计算各尺度空间在 颜色,纹理因素的对比度,每个对比度描述称为显着 性子图.综合所有显着性子图,只保留与周围对比度 高的图像位置,最后形成能够指示显着性区域的伴 随图像(显着性指示图saliencymap). 3.1建立多尺度特征空间 输入静态彩色图像,首先用高斯低通滤波器滤 除噪声,输出作为第1级子图.在此基础上采样生成 4级(尺度)特征空间子图,各级图像大小依次为1:l 1O2模式识别与人工智能19卷 (Scale1)一1:64(Scale4). 设输入图像为G.,生成的4级子图依次为G一 G,计算公式为 G.=W*G,(1) G1一SubsampledG.,"?L1,31,(2) 其中,为高斯低通滤波器,"*"代表卷积.为保留 原图像对比强烈的图像信息,本文设计了保细节的 采样策略:采样模板为2×2的正方形,首先计算模 板窗口内4个相邻像素的方差,以此作为判断该区 域是否具有较多细节的依据.若方差不超过阈值 T(本文设归一化阈值T===0.7),则认为该区域纹理 简单,模板为El/4,1/4.1/4,1/4].若方差超过阈值 T,则认为该区域纹理复杂,将窗口内像素取亮度按 降序排列,对排序后的像素使用突出特征的模板 [3/8,3/8,1/8,1/s3. 使用上述模板扫描图像,模板输出作为子图像 相应位置的像素值,从而得到金字塔型的多尺度特 征空问.取Scale1,Scale2为中心级,即Center一 (Scalel,Scale2};取Scale3,Scale4为边缘级,即 Surround一(Scale3,Scale4}.级间对比度定义为中 心级与边缘级的特征差.用符号表示为"e".具体含 义为:将边缘级插补运算后得到中心级图像大小,再 与中心级作逐像素的特征差值运算. 3.2颜色对比子圈 根据人眼对颜色的敏感性,将RGB空间转换到 RGBY空间.着重强调红/绿,蓝/黄的对比度.转 换公式如下: R—r一(g+6)/2,G=g一(r+6)/2. B—b一(r+g)/2, Y一(r+g)/2一lr—gl/2一b. 计算色彩对比显着性子图 船(f,s)=l(R(c)一G(c))e(G(s)一R(s))I,(3) BY(c,5)=I(B(f)一y(c))0(y(s)一B())l,(4) 其中,f?Center.S?Surround.RG(c,s)表示红/ 绿对比度,BY(c,s)表示蓝/黄对比度.这样.将产 生8张色彩对比显着性子图. 3.3纹理对比子图 基于Gabor滤波的纹理分析具有在空间域和频 率域同时取得最优局部化的特性.对人的心理物理 学,视觉生理学的研究表明,人的视觉注意系统有着 与其相似的特性n. 设Gabor滤波器函数为h(z,),定义为 h(x,)一g(x.y)e.'. 其中.g(x,)一1/2e什.可见Gabor 滤波器的设计需确定3个参数:,U,,关于Gabor 滤波器的自适应设计见第四部分.由于Gabor滤波 器在频率域是极对称的,因此方向选择只要在0一不 之间就能覆盖整个频率域空问.为计算简便,仅考虑 滤波器方向角为0.,45.,90.,135.四种情形. 给定图像在四个方向的纹理分析如下: (z,)一lG(z,)*h口(z,)l,(5) "*"代表卷积,h(z,)包括四个方向的Gabor滤 波器函数. 计算纹理对比显着性子图 T(c,,)一l(z,)eT(z,)l,(6) 其中.c?Center,s?Surround,0?(0.,45.,90., 135.}.这样将产生16张纹理对比显着性子图. 3.4综合颜色与纹理对比 定义归一化操作N(?);(1)将每幅显着性子图 中所有像素值转换到E0,M](本文中M=255)空 间,从而保证具有不同数值范围的子图映射到相同 数值空间.(2)计算每幅子图的最大像素值V和 平均像素值V,…(3)将每幅图象的所有像素乘以 (V…一V一),从而使原本突出的区域或像素更加 显着.综合颜色与纹理显着性子图,最终生成综合显 着性指示图的过程如下: l豳__?(a)原图(b)颜色于图综合(c)纹理子图综合(d)综合颜色与纹理(e)候选路标 区域 的显着性指示图. (b)Combiningsubmaps(c)Combiningsubmaps(d)Saliencymapconsidering(e)Landmark ofcoloroftexturecolorandtextureregioncandidate 图1Berkeley图像库显着性检测 Fig.1SaliencydetectiononBerkeleyimagelibrary 1期王璐等:未知环境中基于视觉显着性的自然路标检测1O3 (1)颜色子图综合 ,4 一 ?0~N(RG(c,))+N(BY())].(7) (2)纹理子图综合 ——,.一24 丁N(?(王iT(c,s,)).(8)0E{0.45,90.,135.}…一 (3)综合颜色与纹理 S===1C+"2T.(9) 颜色与纹理分别代表景物的两个重要特性,不 同类型场景对显着性指示图的贡献有差异.为合理 综合这两种特征,本文采用LMS法则对式(9)中权 值,叫z进行离线学习.训练集由2o幅人工处理 (无明显差异的自然背景上叠加唯一的显着目标作 为路标)图像和1o幅无明显目标图像组成.反复应 用训练样本,得到稳定的权值一0.413及w.一 0.587. 应用该权值按式(9)综合色彩与纹理显着性子 图,最终得到显着性指示图.后续处理以显着性最强 的图象位置(灰度图中越亮的位置代表显着性越强) 为中心取64×64的子图像作为基于外观导航的自 然路标. 4具有适应性的Gabor滤波器 纹理分析中应用Gabor滤波器的一个基本问题 是确定滤波器参数,预先设定参数的方法无法适应 不同环境的纹理特点,因而本文设计一种根据傅立 叶功率谱峰值确定Gabor滤波器参数的新方法. (1)对输入M×N图像作FFT,并计算功率谱 P(U,).其极坐标形式为P(f,),f—sqrt(U+ )且0一arctan(/M). (2)对于给定的频带宽度B,设半峰处的频率为 F和F.由倍频程带宽的定义得B—log(F2/F); 由Gabor滤波器的对称性,有F一(F2+F)/2,F —sqrt(U.+V)是滤波器的中心频率.于是可得: F一2F/(1+2);F2—2叶F/(1+2).生理学的 研究表明,人类视觉神经细胞对于空间信息输入的 响应具有频率选择性,而且具有一定的频率带宽范 围,约为0.6—2.0个倍频程.为简化计算,取B= (0.6+2.0)/2=1.3. (3)对频域,进行分区,划分方式为:先设F一 1,由第(2)步中的公式计算F和F,可以得到第一 个频段范围af.然后,令F=F,再由该式计算新 的F和F2,从而得到第2个频段范围af,直到F 大于最大频率为止.得到的分段为{af,af.,……, ),其中m为分段数. (4)对每个频域分区计算其平均功率谱,即 PR{k)一1/#R(屉)三(d)?R()P(f,).0=0.,45., 9O.,135.;1/#R(忌)为该区域内频率分量的数目,k — l,2……. (5)搜索平均功率谱最大的频域分区af以确 定F和Fz,则F=(F.+F)/2.然后根据F— sqrt(U+V)及0一arctan(V/U)确定方向为0., 45.,90.,135.的Gabor滤波器的(U,V)参数. (6)根据Gabor滤波器半峰带宽公式B一 log2((+sqrt(1n2/2))/(zcFasqrt(1n2/2))) 可得一(7r(21)F)/((2+1)sqrt(1n2/2)). (7)由上述6步确定4个方向的Gabor滤波器为 h(,)=1/2mexp((z.+Y.)/2os)× exp(2~(z+Gy)),k一1,2,3,4.(10) 由于本文侧重于纹理对比分析,而不是通常的 纹理检测,因此仅对改进后的Gabor滤波器进行了 纹理对比实验,如图2所示.结果显示,应用普通 Gabor滤波器进行的纹理对比分析会产生很多显着 点,给进一步的显着性综合带来较大的麻烦;而应用 改进的Gabor滤波器进行纹理对比分析时,较准确 地指出了纹理对比最显着的区域. _一_(a)原图(b)普通Gabor滤波器(c)自适应Gabor 纹理对比分析滤波器纹理对比分析 (a)Originalimage (b)TextureopponencyusingcommonGaborfilter (c)TextureopponencyusingadaptiveGaborfilter 图2应用Gabor滤波器的纹理对比分析 Fig.2AnalysisoftextureopponencyusingGaborfilter 5实验及分析 移动机器人导航要求路标检测系统能够在一定 程度的环境变化情况下,仍然稳定地检测自然路标. 为验证本文方法的重复检测路标能力,我们不仅对 BerkeleyBenchmark图像库进行了测试,而且进行 了远近尺度,旋转,视角变化及光照变化情况的路标 检测实验.计算机硬件软件环境如下:P4赛扬 1.7GHz,256MDDR内存,集成显卡;Windows2000 Professional操作系统,VC6编程环境.SonyEVI— 104模式识别与人工智能19卷 D100摄像头,所有图像均为24位真彩色. 5.1 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 图像库测试 本文首先对来自Berkeley图像库的2O幅图像 进行测试.建立纹理子图平均耗时370.6ms,建立颜 色子图平均耗时123.2ms,全部运行时间不超过 600ms.而T.Eduardo方法的运行时间超过3.7s, 虽然考虑编程能力的差异,该时间不一定完全反映 问题,但同等条件下本文方法显着性检测更迅速.从 检测效果看,由于图像分辨率高且亮度分布较均匀, 应用本算法能够有效检测出显着性区域,尤其经过 权值学习后成功率达到95(19幅检测结果包括人 类视觉选择的显着区域).图3显示本文方法及T. Eduardo方法各自产生的显着性指示图(灰度图), 图中越白的位置代表显着性越强,可见本文方法得 到的显着位置更准确. ___(a)原图(b)本文方法得到的(c)T.Eduardo方 显着性指示图法得到的显着性 指示图 (a)Originalimage (b)Thesaliencymapusingproposedmethod (c)ThesaliencymapusingT.Eduardo'smethod 图3Berkeley图像库的显着性检测比较 Fig.3ComparisonofsaliencydetectiononBerkeleyim agelibrary 5.2远近尺度(scale)变化实验 为满足移动机器人运动中的路标检测要求,本文 对运动时的尺度变化情况进行了实验.Harris角点检 测等方法因为不具有尺度不变性只能适用于较小运 动的场合,我们对尺度变化的容许度进行室内实验的 结果表明,本文方法能够容许更大的尺度变化.图4 (分辨率480×320)给出机器人前进5m过程中,本文 方法与T.Eduardo方法及Harris角点检测方法的比 较结果. 5.32-D旋转实验 当机器人在坎坷地形下行进或某些目标发生倾 斜时,路标检测系统需要满足旋转变化的容许要求. 为此,本文进行了一系列旋转角度变化的实验.在背 景变化不明显情况下,本方法基本上能够容许任何 角度的变化.图5给出旋转4O.的检测结果. (a)尺度变化的显着性检测结果 (a)Resultofsaliencydetection (b)3种算法对尺麂变化的容许度比较 (b)Comparisonoftoleranceamong3algorithms 图4远近尺度变化实验 Fig.4Experimentonthecaseofscalechanges —l—l(a)原图(b)原图的显着性指示图(c)旋转图(d)旋转图的显着性指示图 (a)Originalimage(b)Thesaliencymapoforiginalimage(c)Rotatedimage(d)Thesaliencym apofrotatedimage 图52D旋转实验 Fig.5Experimentonthecaseof2-Drotation 1期王璐等:未知环境中基于视觉显着性的自然路标检测lO5 ____(a)原图(b)原图的显着性指示图(c)视角变化图(d)视角变化图的显着性指示图 (a)Originalimage(b)Thesaliencymapoforiginalimage(c)Viewpointchangedimage(d)Th esaliencymapofviewpoint changedimage 图6视角变化实验 Fig.6Experimentonthecaseofviewpointchanges 5.4视角变化实验 视角变化使原来局部变化极值点淹没在新的极 值点中,因此检测局部边缘密度最大值等方法难以 保持较高的特征点,而本文方法在多数环境下能够 有效检测出基本一致的显着点,并形成较稳定的路 标区域.图6显示门作为路标在视角变化情况仍然 保持了其显着性,并有效屏蔽了若干噪声点. 5.5算法的局限性 基于实时运行的考虑,本文仅采用色彩和纹理 两种特征提取外观信息.从运行结果看,需进一步研 究亮度,曲率等特征在什么场合会产生重要贡献,而 且必须考虑因此而增加的运算负担,即需要一个折 中方案.尽管本文算法在尺度,旋转及视角变化方面 有良好表现,但对光照变化非常敏感.还存在一个问 题是如何从所有路标候选区域中选择某个或某几个 作为路标,今后的工作将应用DS一证据理论对多幅 图像序列进行分析,以期得到稳定的自然路标. 6结束语 本文给出一个基于多尺度图像空间提取显着性 区域的完整算法,采用自底向上策略,以像素本身分 析为基础而不是依赖模板,从检测效果看具有实用 性和适应性.后续工作致力于进一步提高检测的可 靠性和可重复性,使检测到的显着性区域成为基于 外观(appearancebased)机器人导航中切实可用的 路标. 参考文献 [1]ColiosCI,TrahaniasPE.AFrameworkforVisualLandmark PermutationInvari—- IdentificationBasedOnProjectiveandPoint-- antVectors.RoboticsandAutonomousSystems,200l,35(1): 375l [2]WintersN,Santos—VictorJ.InformationSamplingforVision— BasedRobotNavigation.JournalofRoboticsandAutonomous Systems,2002.4l(2—3)145一l59 [33ArtacM,JoganM.LeonardisA.MobileRobotLocalizationU singanIncrementalEigenspaceMode1.In:ProcoftheIEEEIn— ternationalConferenceonRoboticsandAutomation.Washing ton.USA,2002,Ij1025—1030 [4]ZhouC,weiYC,TanTN.MobileRobotSelf—Iocallzation BasedonGlobalVisualAppearanceFeatures.In:Procofthe IEEEInternationalConferenceonRoboticsandAutomation. Taipei,China,2003,I:127l一1276 [5]HeisenbergM.WolfR.StudiesofBrainFunction.Berlin,Get many:Springer—Verlag,1984 [6]I.oweDG.ObjectRecognitionfromLocalScale—InvarlantFen— lures.In:ProcoftheInternationalConferenceonComputerVi sion.Corfu,Greece:l999.1l5O一1157 [7]SireR.DudekG.LearningVisualLandmarksforPoseEstima— tlon.In:ProcoftheIEEEInternationalConferenceonRobotics andAutomation.Detroit,USA.1999.1972—1978 E8]EduardoT.CarmeT.DetectionofNatureLandmarksthrough MuhiscaleOpponentFeatures.In:Procofthel5thInternation alConferenceonPatternRecognition.Barcelona,Spain,2000, ?;3988—3991 Eg]MilaneseR.WechsterH,eta1.IntegrationofBottom—Upand Top—DownCuesforVisualAttentionUsingNon—LinearRelaxa tion.In,ProcoftheIEEEComputerSocietyConferenceon ComputerVisionandPatternRecognition.Seattle.USA. 1994.781785 [1o]ShengW,XiaB.TextureSegmentationMethodBased013Ga— borRingFiltering.InfraredandLaserEngineering?2003,32 (5):484—488(inChinese) (盛文,夏斌.基于Gabor环滤波的纹理分割方法.红外与激光 工程.2003.32(5):484—488)