%b8%80种面向移动机器人的光流场计算方法

一种面向移动机器人的光流场计算 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 胡庭波吴涛贺汉根 (国防科技大学机电工程与自动化学院，长沙410073) E-mail：hul024008@eyou．eom 摘要光流场的计算是移动机器人领域一个很重要的研究课题．但是现有的光流场计算方法并未充分利用移动机器 人的特．最。文章假设移动机器人配备了双目视觉系统和码盘，在此基础上提出了一种基于立体匹配技术的光流场计算方 法。通过对实际采集的图片的对比试验，表明该方法较之传统方法，具有速度更快，准确性更高的优点。 关键词 光流 立体匹配特征跟踪 移动机器人 文章编号1002—8331一(2006)19—0035—03文献标识码A 中图分类号TP242 TheComputationofOpticalFlowfortheMobileRobot HuTingboWuTaoHeHangen (SchoolofMechanicsandAutomation，NationalUniversityofDefenseTechnology，Changsha410073) Abstract：Thecomputationofopticalflowisoneofimportantbranchesinthestudyofmobilerobots．However，the existingmethodsfailedtousealltheinformationofmobilerobots．Inthispaper，anewmethodtocomputetheoptical flowbasedonstereomatchingispresented．Thismethodcanbeusedifmobilerobotsareequippedwithstereovision andodometer．Experimentsbasedonrealimagesshowthatthismethodcangetmoreaccurateresultsinlesstimethan traditionalmethods． Keywords：opticalflow，stereomatching，featuretracking，mobilerobot l 引言 光流的概念是Gibson于1950年首先提出的．所谓光流就 是指图像中模式运动的速度．它是一种二维瞬时速度场，其中 的二维速度矢量是场景中可见点的三维速度矢量在成像表面 的投影。光流不仅包含了被观察物体的运动信息．而且携带着 有关景物三维结构的丰富信息。已被广泛用于目标分割、识别、 跟踪、机器人导航以及形状信息恢复等重要领域。对光流的研 究已经成为计算机视觉及相关领域研究中的一个重要部分。 光流的重要地位和作用．使得众多的心理物理学家和工程 研究人员都加入到它的研究中．提出了许多不同的方法．而且 新方法还在不断涌现。目前．光流的计算方法主要分为：微分 法、匹配法、基于能量的方法、基于相位的方法和神经动力学方 法等。但是这些方法都是基于单目摄像机计算光流．可利用的 信息有限．因此导致这些方法都存在一定的缺陷．主要表现在 计算量大、精度不高、对噪声敏感、缺乏鲁棒性等【3】。 本文提出了一种基于立体匹配技术的光流场计算方法．该 方法首先提取场景中的特征点．然后利用双目视觉技术获得这 些特征点的i维信息．在此基础上．结合码盘信息对特征点在 下一帧图像中的位置进行估计．最后对前后两帧中的特征点进 行匹配以计算光流。因此本文方法特别适于配备有双目视觉系 统的移动机器人． 以下是本文的组织结构：第2节介绍基于Moravec算子的 特征点提取方法。第3节介绍了一种新的立体匹配方法．该算 法能够充分利用先验信息减小匹配的搜索范围。第4节介绍特 征点的跟踪匹配算法．该算法采用循环校验的方法．有效减少 了跟踪误差。最后，我们对本文算法与传统算法的光流场计算 结果进行了对比。并对下一步工作进行了展望。 2特征提取 特征点主要指明显点。例如角点、原点等。提取特征点的算 子称为兴趣算子．目前常用的兴趣算子有Moravec算子、 Forstner算子、Hannah算子。Forstner算子和Hannah算子计算 比较复杂．本文使用计算简单速度快的Moravec算子进行特征 点提取．特征匹配在像素点的肘×Ⅳ的邻域内．分别计算4个方 向上的差分．如果其中的最小值大于某个阂值，则认为此像素 点为特征点．具体的算子如下： 卜赤F善蚤州“一1)-g(i“川“)】2 yz2面矗善∑j=l嘶札√+1)-g(i““一)】2 卜面南面善善蛳“川)-删+l，州+1)】2 卜面丁高善蚤酬“川+1)-g(iml删2 V=min(V．⋯VV，．V。) (1) 基金项目：国家自然科学基金资助项目(编号：60234030) 作者简介：胡庭波(1981一)，博士研究生，研究方向为计算机视觉。吴涛(1975一)，讲师，研究方向为机器学习与图像处理。贺汉根(1943一)，教授，博 士生导师，研究方向为智能系统。 计算机工程与应用2006．1935 万方数据 如V>V，，则认为此为一特征点，¨为一事先设定好的阈 值。为了防止提取的特征点过密，增加特征匹配的时间，本文对 Moravec算子做了一定的改进，将图像分为lOxlO的网格，在 网格内选取y的极值作为特征点．最终的Moravec特征点提取 效果如图1．图中“+”为提取出的特征点： 图1特征提取结果 3基于特征点的立体匹配 特征匹配要解决的问题是在同一场景的两幅或者多幅图 像对中寻找匹配点．从而恢复特征点的三维坐标。传统的特征 点搜索方法是首先在一幅图像上选择一个特征点．然后在第二 幅图像上搜索对应的特征点。显然，这是一个二维搜索问题．搜 索范围非常大。为此．需要引入一些其它的约束条件。目前使用 得最为普遍的约束条件是极线约束．即只需在第二幅图像的一 条线上进行搜索。但这种方法对摄像机的标定结果依赖较大． 摄像机的相对位置关系略有变化．立体匹配的结果都会受到较 大影响。 为此．本文采用了一种新的立体匹配方法：该方法利用预 测一校正的思想．实现了较高精度的立体匹配．同时对摄像机的 相对位置的变化具有一定的鲁棒性。 已知左图像一点的坐标(Ⅱ。，F。)以及相应的高度值Y，则可 以通过公式 『“t 1 A。IVll：肘 ll J H A2{口2l=％ 【1 J (2) 消去名和。计算出这一点在右图中的对应点(U2口：)，其中M。 H 和尬分别为左右摄像机的透视投影矩阵，lYl为点的三维坐 【三J 标。当然．对视觉场景中任何一点，要对其进行准确的高度值预 测并不容易．所以实际中我们采用两种策略提高预测的准确 性： (1)对高度值采用区间估计．而不是点估计的方法进行预 测。只要这个区间不太大．右图中的对应点就能被限制在一个 小的邻域范围内： (2)利用高度值连续变化的特点，采用自底向上、由左到右 的顺序依次进行预测。这样．对下一个点的高度值进行区间估 计时可以利用其下行和左列的高度值信息。这种方法尤其适用 于移动机器人的视觉系统．因为移动机器人视觉系统所采集的 图像下边缘通常是大地平面．因此假设这些点的高度值位于0 附近的一个区间内是合理的。 在对点的高度值给出区间预测后．最终确定该点的实际高 36 2006．19计算机下程与应用 度值需要计算不同高度值下的两个对应点的相似性。本文采用 NCC(NormalizedCrossCorrelation)度量两个点之间的相似 性： (3) 乞l(pf)×乞l(p，) PfE甲1 P，EⅣ2 本算法只需要知道两台摄像机在同一世界坐标系下的透 视投影矩阵．不需要精确地知道摄像机的各个内外 参数 转速和进给参数表a氧化沟运行参数高温蒸汽处理医疗废物pid参数自整定算法口腔医院集中消毒供应 ，最重 要的是不需要极线校准．对摄像头的安装 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 不高。 为了减少误匹配．我们还使用了一致性检验：即在右图中 得到匹配点后．再将它与左图中的原点的某个邻域内的所有点 进行匹配．如果依然是原点相似度最大，则认为已经匹配上，否 则认为是误匹配。使用一致性检验后．320x240的图像得到的 匹配点的数目大约减少了1／10。 图2是采用本匹配算法．利用特征点的三维信息重建得到 的虚拟三维地形。其中图2(a)为原始左图像，图中的黑点表示 匹配上的特征点。计算出匹配特征点的三维坐标后．其它点的 高度就可以通过对这些特征点高度进行双线性插值得到．图2 (b)为使用OpenGL绘制的虚拟三维场景。 注意图中的场景是由一片沙砾和鹅卵石铺成的道路。图片 中的主要纹理是由一些简单模式大量重复出现构成。对一般的 立体匹配算法而言．处理这种图片是很困难的。但利用本算法 得到了比较理想的结果。实验表明该方法得到的匹配误差比较 小．足以满足光流场计算的要求。 (a)原始左图像 (b)使用OpenGL绘制的虚拟三维场景 图2特征点匹配与重建结果 4特征跟踪 计算光流场的核心是实现前后帧特征点的匹配。一般的前 后帧特征点匹配方法都需要对特征点进行预测跟踪，不仅算法 复杂且经常出现误匹配。 因为本文主要针对机器人双目视觉系统．所以可以利用很 多有利因素来避免这些复杂的计算。一方面，双目视觉系统可 以帮助我们获取场景中各点大致的三维信息：另一方面，机器 人自身的传感器(如码盘)可以帮助我们获取其自身运动的大 致信息。虽然这些信息都不是太准确。但是已经足以保证对下 一帧特征点位置预测的精度。事实表明：这种融合多传感器数 据的特征点跟踪方法不仅算法简单，而且准确性高。具体步骤 如下： (1)首先对前一帧的图像对(儿．鹏)进行特征匹配，得到特 征点的三维坐标。 (2)通过移动机器人的码盘数据获知机器人的移动距离， 从而计算出特征点在下一帧图像中的位置．进行前后两帧之间 万方数据 特征点的匹配。具体方法是： 假设对前一帧左图像中特征点(M，口)经过立体重建得到的 『石z] fAx] 三维坐标为f”f，而码盘测量得到两帧之间的位移为}Ay|， 【z．J 【＆j 机器人的航向角变化为0。航向角的变化产生了旋转矩阵 fcos曰0一sin0] 0 1 0 l，所以在机器人下一帧位置时，该特征点的 【sinpo cospj 三维坐标由下式得出： cosO0一sin0Ax 0 1 0 Ay sin00cos0& 0 0 0 1 (4) 即可得到特征点在下一帧图像中的二维 坐标，其中M．为左摄像头的透视投影矩阵。由于预测值存在 偏差，所以需要在l啦I周围取一小区域进行特征匹配．取相似 Lv2J 性最大的点为备选点．相似性计算时仍然使用了NCC相似性 度量。 (3)跟踪得到的特征点在下一帧图像对(，’￡。，7尺)中进行左 右图像特征匹配重建点的三维坐标。 (4)将，7尺中的特征点与侬中的特征点进行匹配．验证特 征跟踪的正确性，同样可以使用一致性检验．保证在各自的邻 域内两点的相似度为最大。 所以。整个特征跟踪的过程可以用图3来表示： 图3特征跟踪过程 即首先在前一帧图像对中进行特征点匹配．再匹配左图像 的前后两帧特征点．然后对后一帧的左右图像进行特征点匹 配．最后对右图像的前后两帧特征点进行匹配．整个匹配过程 构成一个循环。 5实验结果与分析 为验证本文所提出算法的准确性．我们在自制的移动机器 人平台上进行了试验。试验中，机器人每移动一段距离，从左右 摄像头输入图像．并记录下此时码盘测量得到的定位数据．试 验中共测量了100帧图像以检验文中的光流场计算算法。 图4是其中的两桢结果。其中图4(a)、(c)是采用文献『61 中的方法得到的光流场计算结果，图4(b)、(d)是采用本文算 法得到的结果。通过比较不难发现：传统光流场计算方法不可 避免会出现一些误匹配点．但是采用本文算法则可以得到比较 满意的结果。 图4光流场计算结果 事实上，本文提出的算法不仅准确性高．而且计算速度快。 因为传统光流场计算方法为提高准确性。往往需要对提取的特 征点进行全局的优化匹配。而本文提出的算法由于充分利用了 场景中的三维信息和车体自身的运动信息．尽管这些信息还有 一定的误差．但是已经极大减小了匹配的搜索范围．因而计算 光流场时无需进行全局优化。 6 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 本文提出了一种面向移动机器人的基于立体匹配的光流 场计算方法．通过对实际采集的室外图片所进行的对比试验表 明：本文提出的光流场特征匹配方法较之传统方法．具有速度 快、准确度高的优点，因而特别适合于移动机器人的应用。 下一步．我们将对光流场结果进行深入分析．进一步实现 基于光流场的障碍物检测。(收稿日期：2006年1月) 参考文献 1．李弼程，彭天强，彭波等．智能图像处理技术[M]．北京：电子工业出版 社．2004：248～251 2．郑明玲．刘衡竹，遥感图像配准中特征点选择的高性能算法研究及其 实现[J】计算机学报，2004；27(9)：1284～1289 3．刘圉锋，诸昌钤．光流的计算技术【J]．西安交通大学学报，1997；32(6)： 656～662 4．ZhangZY．FlexibleCameraCalibrationbyViewingaPlanefrom UnknownOrientations[C]．In：ProceedingsofIEEEInternationalCon- fereneeonComputerVision，1999：666～673 5．KKanatani．3一Dinterpretationofopticalflowbyrenormalization[J]． InternationalJournalofComputerVision，1993；1l(3)：267～282 6．PHSTort，DWMurray．Thedevelopmentandcomparisonofrobust methodsforestimatingthefundamentalmatrix[J]．IJCV，1997；24(3)： 27l～3()0 计算机工程与应用2006．1937 M= №地● 由 万方数据