双目视觉

（申请工学硕士学位论文） 基于双目视觉的障碍物识别研究 培养单位：自动化学院 学科专业：控制理论与控制工程 研 究 生 ：李 宇 指导老师：魏怡 副教授 2007年 4月 ??? ???????????????????? ?? ? ?? ? ? ??? ?? ? ? ? ?????? ? 分类号 密 级 公开 UDC 学校代码 10497 学 位 论 文 题 目 基于双目视觉的障碍物识别研究 英 文 the Study of Obstacle Detection 题 目 Technology Based on Binocular Stereovision 研究生姓名 李 宇 姓名 魏怡 职称 副教授 学位 博士 单位名称 自动化学院 邮编 430070 申请学位级别 硕士 学科专业名称 控制理论与控制工程 论文提交日期 论文答辩日期 学位授予单位 武汉理工大学 学位授予日期 答辩委员会主席 评阅人 2007年 4 月 指导教师 武汉理工大学硕士学位论文 I 摘 要 随着城市化的发展和汽车的普及，交通运输问题日益严重。近年来，车辆 增长的速度也已远远高于道路和其他交通设施的增长速度，交通事故频繁、人 员伤亡与日俱增、财产损失巨大这都要求车辆不仅要具有良好的安全性而且要 具备一定的智能性，随之智能车辆 (Intelligent Vehicle) 的概念应运而生。与此 同时，以实现无人、全自动和安全驾驶为最终目标的智能车辆是近年来发展较 为迅速的一个研究领域。 本文主要是针对这个研究领域中的目标自动识别问题：利用双目视觉目标 识别技术，来进行车辆前方障碍物的自动识别。并且引入一种称为 V－视差的算 法。这种算法可以识别前方具有面特征的障碍物，比如行人、车辆、墙壁等等。 而且，这种算法对于光照、阴影等干扰不敏感,适用于城市复杂背景下智能车辆 的障碍物识别。 具体来讲，基于双目的 V－视差识别过程主要包括三个部分的内容：由于本 课题中所处理的图像背景比较复杂，使得立体匹配工作很困难，为解决这个问 题。首先，通过搜索道路边界线，将道路面与复杂冗余背景相分离，减少复杂 背景的影响。 然后，进行立体匹配工作，从双目图像对中快速、准确地寻找同名点，并 利用同名点合成浓密视差图像，进而提取视差信息作为目标识别的依据。 最后，根据合成的浓密视差图进一步生成 V－视差图，提取 V－视差图中的 直线信息，通过这些直线信息可以锁定目标存在的大致区域，然后进行目标识 别。识别的目标包括双目图像中出现的静止和运动目标。 关键词：双目视觉，V－视差，障碍物识别 武汉理工大学硕士学位论文 II ABSTRACT With the rapid development of the urbanization and the popularization of the vehicle, traffic problem has increasingly become a hot problem. In recent years, the increment speed of the cars is far more than roads and the establishments of traffic. It leads to so many problems, such as, the traffic accident happened frequently, the personnel casualty grows day by day and the property damage is huge. All these need to develop a new type of cars which can be safe and intelligent. So the concept of intelligence vehicles arises at the historic moment along with it. At the same time, the realization of completely automatic and safe driving intelligent vehicles is a new rapidly developed research area in the recent years. This article mainly aims at automatically obstacle detection in this research area: Automatically detect the obstacles in front of the vehicle by use of the binocular stereovision obstacle detection technology. And introduce one kind of technology which has been called the V- disparity algorithm. It can detect the obstacles which has the surface characteristic, for instance pedestrian, vehicle, wall and so on. Moreover, this algorithm is insensitive to illumination, shadow and so on. It is suitable to detect obstacles under the complex background of the city. Specifically speaking, this article mainly includes three partial contents: First, We reduce the influence of the complex background by detecting the path scribe mark and separating the path surface with the complex redundant background. Then, we seek the homologues from the binocular images fast and accurately by stereo matching. And get high-quality stereo disparity map of the images. It then will be the basis of the obstacle detection. Finally, further builds the V- disparity map according to the stereo disparity map, extracts the straight line information in the V- disparity map, and through these straight line information can get the approximate region of the target. Then we can detect the obstacles. The obstacles include static and movement objects. Key Words: Binocular Stereovision, V-disparity, Obstacle Detection 武汉理工大学硕士学位论文 III 目 录 第 1章 绪论..............................................................................................................1 1.1 课题研究的目的和意义 .................................................................................1 1.2 课题研究的现状 .............................................................................................2 1.3 本课题研究的内容 .........................................................................................4 第 2章 双目视觉目标识别原理及算法理论 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 ........................................5 2.1 双目视觉原理 .................................................................................................5 2.2 摄像机模型与标定 .........................................................................................7 2.2.1 几何透视变换 .......................................................................................7 2.2.2 摄像机模型 .........................................................................................10 2.2.3 摄像机物镜畸变 .................................................................................11 2.2.4 双目摄像机标定 .................................................................................13 2.3 双目立体匹配 ...............................................................................................14 2.3.1 立体匹配的内容 .................................................................................15 2.3.2 选择匹配基元 .....................................................................................15 2.3.3 匹配准则 .............................................................................................16 2.3.4 立体匹配 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 .....................................................................................17 2.3.5 基于彩色图像的绝对值差（SAD）改进算法 .................................19 第 3章 基于 V-视差的双目识别算法 ............................................................23 3.1 双目视觉对障碍物识别算法 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ...............................................................23 3.2 双目摄像机模型 ...........................................................................................25 3.3 V-视差图的面特征 ........................................................................................26 3.4 V-视差图的生成 ............................................................................................28 3.5 障碍物目标的识别 .......................................................................................29 3.5.1 拟合提取直线算法 .............................................................................29 3.5.2 拟合提取直线步骤 .............................................................................30 3.5.3 障碍物识别 .........................................................................................32 第 4章 双目视觉系统的实现与试验结果....................................................34 4.1 图像的预处理 ...............................................................................................34 4.2 图像冗余信息的处理 ...................................................................................35 武汉理工大学硕士学位论文 IV 4.1.1 图像边缘 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 .....................................................................................35 4.1.2 道路边界线的检测 .............................................................................38 4.1.3 图像冗余信息的处理 .........................................................................39 4.3 双目图像视差的计算 ...................................................................................39 4.4 计算 V－视差 ...............................................................................................41 4.5 障碍物识别 ...................................................................................................42 第 5章 总结与展望..............................................................................................45 参考文献...................................................................................................................47 作者在攻读硕士学位期间发表的学术论文 .................................................50 致 谢 .......................................................................................................................51 武汉理工大学硕士学位论文 1 第 1章 绪论 1.1 课题研究的目的和意义 目标识别技术作为图像理解领域研究的一个重要分支，是利用计算机自动 分析和提取原始图像中的前景信息,也就是基于模式识别、数据处理等理论，模 仿人的视觉系统感知外部世界各种形状的一项技术。 用于计算机分析的数字图像有很多种类：根据图像获取的时间间隔不同， 可以分为静止图像和动态图像(或视频序列)；根据同一时刻采集图像的视觉传 感器数量不同，可以分为单目、双目和多目图像。 早在上世纪 70 年代，就已经有学者致力于目标识别技术的研发，但由于相 关的理论基础不完善以及计算机硬件资源的限制，图像的自动理解仅仅局限于 静止的单幅图像。随着软、硬件资源的不断开发和更新，计算机的功能和处理 速度与日俱增，传统的针对单目静止图像的目标识别研究已经较为完善且在实 际应用中取得良好的效果，图像理解的重点逐渐转向视频和双目的范畴，或者 说机器视觉分析逐步成为当今讨论的热门课题之一。 人类通过视觉感知外部世界，主要是从不断变化的景物中提取各类目标的 形状、颜色、运动状态等信息，准确的说人眼获取和处理的视觉信息相当于两 个视觉传感器对同一景区进行连续拍摄得到的双目视频序列，基于双目视觉的 目标识别是对人眼视觉系统认识和学习外界的一个更为真实的模拟。 这一技术应用前景非常广阔，本论文主要结合智能驾驶研究双目识别技术。 随着城市化的发展和汽车的普及，交通运输问题日益严重。交通事故的主 要原因包括超速行驶、占道行驶、酒后驾驶、疲劳驾驶等原因。而碰撞是交通 事故的主要表现形式，其中大部分是车－车碰撞和人－车碰撞。根据交通部门 的统计，中国交通事故的致死率平均为 27.3%，大大高于其他发达国家。 在欧洲，每年大约有 1,200,000 起交通事故，1,600,000 行人受伤，25%的 受伤者是行人、骑自行车的人或摩托车驾驶员，与行人相关的事故占交通事故 伤害的第二位。在美国，每年大约有 6 百万碰撞事故，导致 41,000 美国人丧生， 同时大约每 13 分钟有一起碰撞事故，碰撞导致美国每年损失 1500 亿美元。在 武汉理工大学硕士学位论文 2 日本，每年大约有 1,000,000 起交通事故发生，大约 10, 000 人丧生，因此造成 的经济损失每年高达 1.2 亿美元。每年全世界大约有 10,000,000 人在道路交通事 故中受伤，其包括 3,000,000 严重受伤和 400,000 受伤，经济损失占世界 GDP 的 1/3。根据戴姆勒-克莱斯勒公司的研究表明，如果驾驶员有 0 .5 秒额外警告时间， 大约 60% 的后端碰撞事故是可以避免的，而 1 秒的额外警告的时间则可以避免 90% 的后端碰撞事故。 因此，以实现无人、全自动和安全驾驶为最终目标的智能车辆是近年来发 展较为迅速的一个研究领域。我国科技部于 2002 年正式启动了十五科技攻关计 划重大项目：智能交通系统关键技术开发和示范工程，其中一个重要的内容就 是进行车辆安全和辅助驾驶的研究。 总之，本课题以智能驾驶中的障碍物识别为应用方向，以车辆行驶中双目 传感器采集的图像对为处理内容，车辆的行驶背景为日常生活的真实场景，可 能包含复杂背景的路况，通过对双目图像信息进行目标提取，为驾驶员或无人 驾驶车辆提供潜在的障碍物信息，达到提前预警的目的。而且对智能驾驶系统 和机器人导航的进一步开发是极为有意义的。 1.2 课题研究的现状 基于视觉的智能车辆是在车辆上安装摄像镜头，利用计算机视觉技术，模 仿人眼视觉机理，通过处理摄像镜头捕捉的图像，获得引导信息，与以上引导 技术相比，视觉引导有许多优势，它不必在道路上增加设施，能适合来往车辆、 行人、临时设施等不可预先建模确定的随机障碍物，与 GPS 电子引导技术相结 合，可以满足智能车辆全天候的绝大部分需求。90 年代以来，视觉引导技术与 DGPS 技术的发展，大大加速了智能车辆的研究[41]。 在欧洲，早在 1987 年奔驰公司和德国国防军大学联合研制 VAMORS 系列 自动驾驶汽车就已创下了道路标志线跟踪的最高时速——97 公里。在随后几年 不断创造新的时速记录并且具备了超车换道功能和对多种气象条件的适应能 力，其核心是运行于 BVV 上的视觉导航系统。研制的 VaMoRs- P 系统也已在高 速公路和普通 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 公路上进行了大量实验，实验内容包括跟踪车道线，躲避障 碍，以及自动超车等。利用自适应控制进行纵向及横向自主方式行为实验，该 系统 1995 年公布的最高时速可达 130 km/ h。法国帕斯卡大学自动化与电子材料 武汉理工大学硕士学位论文 3 科学实验室与法国 D. R. A. S 雪铁龙 (Citroen) 技术中心合作研制 Peugeot 系统， 其视觉系统使用单摄像机实时检测并跟踪道路白线，采用高斯滤波和平均值计 算确定灰度标准方差，利用梯度计算确定车道线的右 (或左) 边缘，同时选择 多项式函数建立轨迹模型，利用时空光滑方法降低噪声和提高鲁棒性。当车体 前方或驾驶参数出现非正常状况时，系统以语音信号的方式向驾驶员发出警告 性提示，以避免或降低因驾驶员疏忽所引发的行车事故，提高车辆在道路行驶 中的安全性，可见该系统完成的是相对简单的安全警告与辅助导航功能。意大 利帕尔马大学研制的 ARGO 样车，其核心是 GOLD 视觉导航系统，它基于道路 平坦假设，采用单摄像机重投影完成平行的道路标志线检测，双摄像机重投影 完成车辆检测功能，根据 GOLD 视觉系统，ARGO 实验车能够自动控制方向， 实现道路跟踪，此外还能够实现人触发的换道操作[37]。 在美国，卡内基梅隆大学（CMU）与多家汽车公司研制 Navlab 系列车，1995 年建立了智能实验车 Navlab-5 运动跑车。CMU 与 Assist Ware 技术公司合作在 Navlab-5 上开发了 PANS 便携式高级导航支撑平台，以及快速自适应车体定位处 理器——RALPH 视觉系统。图像处理和道路识别策略：采用视觉窗口技术，仅 处理感兴趣区域的局部信息，RALPH 系统选取一个随车速变化的梯形窗口，该 梯形窗口中每一行所对应的实际水平宽度约 7m 左右，大约为典型车道宽度的两 倍，然后对梯形窗口的内容进行几何变换，建立一个 3 0× 3 2 象素的低分辨率图 像，满足实时性要求。道路检测使用道路平坦假设和平行于道路的特征如车道 线、道路边界等识别道路。Navlab-5 自主驾驶的平均速度为 88. 5km / h，还首次 进行了横穿美国大陆的长途自主驾驶实验，距离长达 4586km。统计结果表明， 自主驾驶的行程 4496km 竟占总行程的 98. 1 %。在 1997 年研制了 Navlab-8 小型 商务车，能够进行方向速度控制，依然是 RALPH 视觉系统。 在日本，也成立类似专门机构，每年展示智能车辆取得的新成就，并在高 级安全车辆上安装了这些成果，提供车道跑偏警告，车距保持及障碍检测功能。 在中国，国防科技大学由常文森、贺汉根教授领导研制了 CITAVT－Ⅲ自 动驾驶汽车，是小型厢式客车，进行方向、速度控制，完成校园环境的低速无 人驾驶试验，其特色是视觉系统采用 A110DSP 自行开发的图像处理系统。2001 年研制的 CITAVT－Ⅳ完成了高速公路上与其他普通车辆一起行驶的试验，效果 较好，实现最高时速 75.6 公里。清华大学研制 THMR-V 试验车，是小型商务车， 能够进行方向、速度控制，完成高速公路场景录像仿真。吉林大学王荣本教授 武汉理工大学硕士学位论文 4 研制 JUT 系列实验车是根据铺在道路上的白条进行跟踪，速度较慢，主要用于 柔性加工中的货物运输。 1.3 本课题研究的内容 本文主要结合智能驾驶研究双目识别技术。利用双目视觉目标识别技术， 来进行车辆前方障碍物的自动识别。并且引入一种称为 V－视差的算法。这种算 法可以识别前方具有面特征的障碍物，比如行人、车辆、墙壁等等。而采用 V －视差的算法来识别前方障碍物，首先要利用立体视觉匹配技术建立浓密视差 图,并对该浓密视差图进行了改进以便减少误匹配并在其基础上生成 V－视差 图。本课题研究的内容主要包含以下部分： (1) 双目图像冗余信息的处理：本课题需要处理的图像背景比较复杂，使得 立体匹配工作很困难，为解决这个问题，需要对图像进行预处理，尽量减少图 像背景的复杂度。具体方法是通过道路边界线的搜索，将道路面与复杂冗余背 景相分离，减少复杂背景的影响。 (2) 双目信息处理：此部分包括同名点寻找和浓密视差图计算。为了顺利地 识别目标，首先必须从双目图像对中快速、准确地寻找同名点，并利用同名点 合成浓密视差图，进而提取视差信息作为目标识别的依据。 (3) 目标区域标定和目标识别：根据合成的浓密视差图进一步生成 V－视差 图，提取 V－视差图中的直线信息，通过这些直线信息可以锁定目标存在的大致 区域，然后进行目标识别。识别的目标包括双目图像中出现的静止和运动目标。 在具体内容的安排上，本文总共分为五个章节。第一章是绪论；第二章主 要介绍双目视觉目标识别原理、双目摄像机模型与标定，然后介绍了双目立体 匹配的算法并在此基础上提出一种基于彩色图像的绝对值差的改进算法；本文 的重点 V－视差算法在第三章进行了介绍：对 V－视差算法的原理、计算方法以 及其应用于障碍物的识别步骤都做了详细说明；第四章介绍了双目视觉系统在 VC++平台上的实现与具体试验过程；最后，在第五章进行了总结与展望。 武汉理工大学硕士学位论文 5 第 2章 双目视觉目标识别原理及算法理论分析 2.1 双目视觉原理 用人的双眼（两眼球间距称为眼基线）去观察客观的三维世界的景物，由 于几何光学投影，离观察者不同距离的点在左右两眼视网膜上的构像能产生生 理视差，称为双目视差（binocular disparity）。它反映了客观景物的深度。人能 有深度感知，就是因为有了这个视差，再经过大脑的加工形成的。基于视差理 论的双目立体视觉，就是运用在基线两端的两个摄像机对同一景物成像，获得 景物的立体图像对，通过各种算法匹配出同名像点，从而计算出视差，然后采 用基于三角测量的方法恢复深度信息。现有的绝大多数双目立体视觉系统均采 用这种原理。图 2-1(a) 所示双目立体视觉模型为用左、右（L、R 表示）两摄 像机观测同一景物时的情形。物体上的点 P 在 L 摄像机中的成像点为 LP ，它是 通过从 P 点发出的光线经过透镜中心 LC 与图像平面相交而形成的。相反地，若 已知图像平面上的一点 LP 和透镜中心 LC 可唯一地确定一条射线 LP LC 。所有可成 像在 LP 点的物体点必定在这条 LP LC 射线上。如果我们能找到同一物体点 P 在 另一摄像机 R 中的成像点 RP ，那么根据第二个图像点 RP 与相应透镜中心 RC 决 定的第二条射线 RP RC 与 LP LC 的交点就可以确定物体点 P 的位置。因此，如 果已知两台摄像机的几何位置，利用三角原理就可以获取物体在空间的位置。 射线 LP LC 上各点在右摄像机图像平面中的成像是一条直线（ RP 'RP ），这条直线 被称为外极线（epipolar）。同理， RP RC 上各点在左摄像机图像平面中的成像也 形成外极线。 因此，如果已知空间点在一个图像平面中的成像点要寻找在另一图像平面 中的对应点时，只需沿此图像平面中的外极线搜索即可。理想情况下，两摄像 机的光轴平行，并且摄像机的水平扫描线位于同一平面时（即理想的平行视点 模型），设 P 点在左、右图像平面中成像点相对于坐标原点 LO 和 RO （ LO 和 RO 是左、右摄像机透镜光轴与图像平面的交点）的距离分别为 1x 、 2x ，则 P 点在 左、右图像平面中成像点位置差 1 2x x− 被称为视差（disparity）。由图 2-1(b) 中 几何关系得： 武汉理工大学硕士学位论文 6 2 z f a z a x − = + (2-1) 1 2 2 b x x az f z b x a − + +− = + + (2-2) 由式 (2-1)、(2-2) 可得 2 2 1 2 bxa x x x = −− (2-3) 代入式 (2-1) 得 P 点距透镜中心的距离 z 为 1 2 fbz x x = − (2-4) 式 (2-4) 中 f 是透镜的焦距，b 是两透镜中心之间的距离(基线长度)，当摄像 机的几何位置固定时，视差 1 2x x− 只与距离 z 有关，而与 P 点离相机光轴的距 离无关。视差越大说明物体离透镜的距离越近；反之，则越远。该式把物体与 像平面的距离（即 3D 信息中的深度）与视差直接联系了起来。 图 2-1 双目立体视觉模型 (a) (b) 武汉理工大学硕士学位论文 7 2.2 摄像机模型与标定 摄像机模型是光学成像几何关系的简化，最简单的模型为线性模型，或称 为针孔模型。本文的试验器材采用两个性能一致的摄像机，单个摄像机满足针 孔模型。 2.2.1 几何透视变换 在图像采集中需要将客观世界的 3-D 场景投影到摄像机的 2-D 像平面上， 这个投影可用成像变换描述。最常用的成像变换是几何透视变换，它的特点是， 随着 3-D 场景与摄像机之间的距离变化，像平面上的投影也发生变化[2]。 成像变换涉及到不同坐标系统之间的变换。考虑到图像采集最终结果是要 得到计算机里的数字图像，在对 3-D 空间景物成像时涉及到的坐标系统主要有: (1) 世界(world)坐标系统:也称真实或现实世界坐标系统 XYZ ，它是客观世 界的绝对坐标(所以也称客观坐标系统)。一般的 3-D 场景都是用这个坐标系统 来表示的。 (2) 摄像机坐标系统:以摄像机为中心制定的坐标系统 xyz ,一般常取摄像机 的光学轴为 z 轴。 (3) 像平面坐标系统:在摄像机内所形成的像平面坐标系统 ' 'x y 。一般常取像 平面与摄像机坐标系统的 xy平面平行，且 x 轴与 'x 轴，y 轴与 'y 轴分别重合，这 样像平面原点就在摄像机光学轴上。 (4) 计算机图像坐标系统:在计算机内部数字图像所用的坐标系统 MN 。数 字图像最终由计算机内的存储器存放，所以要将像平面的投影坐标转换到计算 机图像坐标系统中。 根据以上几个坐标系统不同的相互关系，可以得到不同的成像几何模型， 也称摄像机模型。下面介绍通用的世界坐标系与摄像机坐标系分开时的摄像机 模型（仅将 xy平面和 ' 'x y 平面重合）。 世界坐标系与摄像机坐标系不重合的摄像机模型如图 2-2 所示。像平面中 心(原点)与世界坐标系统的位置偏差记为矢量D，其分量分别为 , ,x y zD D D 。这 里假设摄像机分别以γ 角扫视(水平旋转)和以α 角倾斜(垂直旋转)，其中γ 是 x 和 X 轴间的夹角，α 是 z 和Z 轴间的夹角。 武汉理工大学硕士学位论文 8 为得到此模型的几何透视变换公式，我们先考虑一种特殊的情况——世界 坐标与摄像机坐标系重合，此时其齐次形式的摄像机坐标矢量为： h hC PW= (2-5) 其中，P 为透视变换矩阵； hW 为世界坐标对应的齐次坐标。 从世界坐标与摄像机坐标系统重合的摄像机模型到我们要求解的摄像机模型， 可以认为经过下面的三个步骤得到： (1) 将像平面原点按矢量D移出世界坐标系统的原点； (2) 以某个γ 角(绕 z 轴)扫视 x 轴； (3) 以某个α 角对 z 轴倾斜(绕 z 轴旋转)。 将摄像机相对世界坐标系统运动也等价于将世界坐标系统相对摄像机逆运 动。具体来说可对每个世界坐标系统中的点分别进行如上几何关系转换所采取 的 3 个步骤。平移世界坐标系统的原点到像平面原点可用下列变换矩阵完成： 1 0 0 0 1 0 0 0 1 0 0 0 1 x y z D D T D −⎡ ⎤⎢ ⎥−⎢ ⎥= ⎢ ⎥−⎢ ⎥⎣ ⎦ (2-6) 换句话说，位于坐标为 ( , , )x y zD D D 的齐次坐标点 hD 经过变换 ' hT D 后位于变 图 2-2 世界坐标系与摄像机坐标系不重合的摄像机模型 武汉理工大学硕士学位论文 9 换后新坐标系统的原点。 进一步考虑如何将坐标轴重合。扫视角γ 是 x 和 X 轴间的夹角，在正常(标 称)位置，这两个轴是平行的。为了以需要的γ 角度扫视 x 轴，我们只需将摄像 机逆时针(以从旋转轴正向看原点来定义)绕 z 轴旋转γ 角，即： cos sin 0 0 sin cos 0 0 0 0 1 0 0 0 0 1 Rγ γ γ γ γ ⎡ ⎤⎢ ⎥−⎢ ⎥= ⎢ ⎥⎢ ⎥⎣ ⎦ (2-7) 没有旋转( 0γ = ° )的位置对应 x 和 X 轴平行。类似的，倾斜角α 是 z 和 Z 轴 间的夹角，我们可以将摄像机逆时针绕 x 轴旋转α 角以达到倾斜摄像机α 角的效 果，即： 1 0 0 0 0 cos sin 0 0 sin cos 0 0 0 0 1 Rα α α α α ⎡ ⎤⎢ ⎥⎢ ⎥= ⎢ ⎥−⎢ ⎥⎣ ⎦ (2-8) 没有倾斜( 0α = ° )的位置对应 z 和 Z 轴平行。分别完成以上两个旋转的变换 矩阵可以级联成为一个矩阵： cos sin 0 0 sin cos cos cos sin 0 sin sin sin cos cos 0 0 0 0 1 R R Rα γ γ γ γ α γ α α γ α α γ α ⎡ ⎤⎢ ⎥−⎢ ⎥= = ⎢ ⎥−⎢ ⎥⎣ ⎦ (2-9) 这里 R'代表了摄像机在空间旋转带来的影响。 如对 hW 进行上述一系列变换 hRTW 就可把世界坐标系与摄像机坐标系统重 合起来。因此，一个满足图 2-2 所式几何关系的摄像机观察到的齐次世界坐标 点 hW 在摄像机坐标系统总具有如下齐次表达： h hC PRTW= (2-10) 武汉理工大学硕士学位论文 10 2.2.2摄像机模型 摄像机模型是光学成像几何的简化，实际成像系统应采用透镜成像原理，见 图 2-3，其中u 为物距， f 为透镜焦距，ν 为像距，三者满足下列关系[43] ： 1 1 1 f u v = + (2-11) 在一般情况下有 u >> f，由式(2-11)得 v f≈ ，所以实用中可以用小孔成像模 型来代替透镜成像模型。 设有空间点P ，在世界坐标中的坐标为 ( , , )X Y Z ，在摄像机坐标系下的坐标 为 ( , , )x y z ，它在摄像机成像平面上的投影点为 ' '( , )x y ，它们的透视投影关系为： ' xx f z = ⋅ (2-12) ' yy f z = ⋅ (2-13) 应用齐次坐标表示为： ' ' 0 0 0 0 0 0 1 0 0 1 0 1 x x f y z y f z ⎡ ⎤⎡ ⎤ ⎡ ⎤ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦⎣ ⎦ ⎣ ⎦ (2-14) 设图像的像素坐标是 ( , )u v ，则图像点的像素坐标与以毫米为单位的图像坐 图 2-3 透镜成像模型 武汉理工大学硕士学位论文 11 标的关系为： ' 0 ' 0 ' 0 0 1 0 0 1 u v u s u x v s v y z ⎡ ⎤⎡ ⎤ ⎡ ⎤ ⎢ ⎥⎢ ⎥ ⎢ ⎥= ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ (2-15) 其中， us ， vs 为图像平面单位距离上的像素数(pixels / mm),称为比例系数， 0 0( , )u v 为摄像机光轴与图像平面的交点，即计算机帧存图像中心的坐标。 摄像机坐标与世界坐标的转换关系为： 0 1 1 1 h T x X y R T Y RTW z Z ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥⎡ ⎤⎢ ⎥ ⎢ ⎥= = ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ (2-16) 其中，R 和 T 分别为从世界坐标系到摄像机坐标系的旋转和平移变换，R 是 一个 3x3 的正交矩阵，T 是 3x1 的平移向量。 于是，我们得到以世界坐标系表示的 P 点坐标 ( , , )X Y Z ，与其投影点 p 的坐 标 ( , )u v 的关系如下： 0 0 1 2 0 0 0 0 0 1 1 0 0 1 0 1 u v h hT X u u R T Y z v v M M W MW Z α α ⎡ ⎤⎡ ⎤ ⎡ ⎤ ⎢ ⎥⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥= = =⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ (2-17) 其中， ,u u v vf s f sα α= ⋅ = ⋅ ；M 为 3x4 矩阵，称为投影矩阵； 1M 完全由 内部参数决定； 2M 完全由摄像机相对于世界坐标系的方位即外部参数决定。 可见，如果己知摄像机的内外参数，就已知投影矩阵M ，对任何空间点P ， 如果己知其空间三维坐标 ( , , )X Y Z ，就可以求出其图像坐标点的位置 ( , )u v 。但 是，反过来，如果己知空间某点的图像点的位置 ( , )u v ，即使已知投影矩阵，其 空间坐标也不是唯一确定的，它对应的是空间的一条直线。 2.2.3 摄像机物镜畸变 在摄像瞬间，物点、摄像机透镜中心和像点应处在一条直线上，但因摄像 武汉理工大学硕士学位论文 12 机物镜畸变的影响，物点在像片中的像点位置发生了位移，偏离了三点共线条 件。所以，利用像片对目标进行识别前应进行预处理以消除物镜畸变的影响。 摄像机物镜畸变包括对称畸变与非对称畸变。 1．对称畸变是在以像主点为对称中心的辐射线上，辐射距相等的点畸变相 同。畸变公式为： 3 51 2 3r K r K r K rΔ = + + (2-18) 式中： rΔ 为像点的对称畸变差，是误差值； r 为像主点到像点的辐射距， 22 yxr += （ x ， y 是没经畸变改正 的像点坐标）； 321 K,K,K 为对称畸变系数； 将 rΔ 分解为 x 、 y 方向上两个分量 xΔ 、 yΔ ，则，物镜畸变差的改正数为： rx x r ΔΔ = − (2-19) ry y r ΔΔ = − (2-20) 所以，改正畸变差后的像点坐标 y,x ′′ 为： 2 41 2 3(1 ) (1 ) r rx x x x x x x K K r K r r r Δ Δ′ = − Δ = − = − = − − − (2-21) 2 41 2 3(1 ) (1 ) r ry y y y y y y K K r K r r r Δ Δ′ = − Δ = − = − = − − − (2-22) 2. 非对称畸变引起的畸变差为： 2 21 2( 2 ) 2x p r x p xyΔ = + + (2-23) 2 22 1( 2 ) 2y p r y p xyΔ = + + (2-24) 式中， xΔ ， yΔ 为非对称畸变引起的 x ， y 方向的畸变差， 21 p,p 为非对称 畸变系数。 若同时考虑对称畸变与非对称畸变，则改正畸变差后的像点坐标 y,x ′′ 为： 武汉理工大学硕士学位论文 13 2 4 2 21 2 3 1 2(1 ) ( 2 ) 2x x K K r K r p r x p xy′ = − − − − + − (2-25) 2 4 2 21 2 3 2 1(1 ) ( 2 ) 2y y K K r K r p r y p xy′ = − − − − + − (2-26) （注：公式中的像点坐标均是以主点为原点的坐标） 由于摄像机镜头的固有特性，由摄像机直接获取的原始图像都存在不同程 度的几何畸变，尽管人眼有时并不能辨识畸变的存在，发生畸变的图像是一种 受污染数据，对处理结果尤其是视差计算这类像素―像素的运算势必产生负面 影响。对于非广角镜头，一般只考虑对称畸变的纠正。完成摄像机内部参数标 定后直接将内部参数带入对称畸变纠正的定义式可以完成对原始图像的纠正。 2.2.4 双目摄像机标定 双目摄像机的标定，先要对单个摄像机进行标定，然后再计算两个摄像机 的相对位置。单目摄像机标定先要确定一系列基准点，这些点在世界坐标系统 中的坐标已知且其图像坐标已测出，然后根据这些基准点来计算摄像机的参数。 需要标定的参数分为两类：外部参数和内部参数。外部参数对每帧图像都是不 同的，而内部参数是不变的。参数的标定是从客观场景到数字图像的成像变换 的过程中进行的。具体过程以及每一步中需要标定的参数分别是： 第 1 步：从世界坐标系变换到其中心在光学中心的摄像机坐标系统，其变 换参数称为外部参数。需要标定的参数是旋转矩阵R 和平移向量T 。旋转矩阵R 是两个坐标系统的三组对应坐标轴之间的夹角的函数，平移向量T 是平移世界坐 标系原点到摄像机平面原点的变换。 第 2 步：从摄像机坐标系中 3-D 坐标变换到计算机图像坐标系统中 2-D 坐标，其变换参数称为内部参数。这个步骤要经过三个步骤，分别是从摄像机 3-D 坐标到无失真像平面坐标的变换，从无失真的像平面坐标到受镜头径向失 真影响而偏移的实际像平面坐标的变换和实际的像平面坐标到计算机图像坐标 的变换。此过程中需要标定的参数有焦距 f 、镜头失真系数 k 、不确定性图像尺 度因子u 、图像平面原点的计算机图像坐标 mo 和 no 。 第 3 步：双目立体视觉的标定。先对每个摄像机分别标定，获得两个摄像 机各自的内外参数，如果外参数分别用 1R 、 1t 与 2R 、 2t 表示，则 1R 、 1t 表示 1C 摄 像机与世界坐标系之间的相对位置， 2R 、 2t 表示 2C 摄像机与世界坐标系之间的 相对位置。以求出它们的投影矩阵 1M 和 2M ，然后求解相对定位问题，相对定 武汉理工大学硕士学位论文 14 位问题是指用场景点在两个图像平面上的投影来确定两个摄像机坐标系之间的 关系。并通过 1M 和 2M 矩阵求出极线方程和基线距离。对任意一点 P ，如果它 在世界坐标系、 1C 坐标系与 2C 坐标系下的非齐次坐标分别为 wx ， 1Cx ， 2Cx ，则 1 1 1C w x R x t= + (2-27) 2 2 2C w x R x t= + (2-28) 将上式中 wx 消去后得到： 1 2 1 1 1 2 1 1 2C Cx R R x t R t − −= + − (2-29) 因此，两个摄像机之间的几何关系可用以下R 和 t表示： 11 2R R R −= (2-30) 11 1 2t t R t −= − (2-31) 由此双目摄像机模型参数之间的几何关系就可以求出了。 2.3 双目立体匹配 立体匹配是寻找同一空间景物在不同视点下投影图像中像素间的一一对应 关系。与普通的图像模板匹配不同，立体匹配是在两幅或多幅存在视点差异、 几何和灰度畸变以及噪声干扰的图像对之间进行的，不存在任何标准模板。当 空间三维场景被投影为一维图像时，受场景中诸多因素，如光照条件、景物几 何形状和物理特牲、噪声干扰和畸变以及摄像机特性等的影响，同一景物在不 同视点下的图像会有很大不同，要准确地对包含了如此多不利因素的图像进行 无歧