基于双目视觉的钢轨磨耗测量系统的关键技术的研究与实现

基于双目视觉的钢轨磨耗测量系统的关键技术的研究与实现 北京交通大学 硕士学位 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 基于双目视觉的钢轨磨耗测量系统关键技术的研究与实现 姓名:王玉柱 申请学位级别:硕士 专业:计算机应用 指导教师:尹辉 20090601中文摘要 中文摘要 摘要:近年来随着高速铁路和重载运输的大力发展,客货运量和行车密度大 幅度增长,钢轨磨耗益严重。而我国钢轨磨耗大部分采用接触式卡距或其它接 触式测量方法,存在劳动强度较大、精度较低、效率较低等缺点。研制新的非接 触式的钢轨磨耗自动测量系统具有重大的意义。目自订国内已有基于单目视觉的非 接触式钢轨磨耗测量系统的研究。本文针对单目视觉的局限性将双目视觉技术应 用到钢轨磨耗测量研究中,对系统关键技术进行了深入的研究,实现了钢轨磨耗 的测量。 本文提出了一种基于双目视觉技术的非接触式钢轨磨耗测量 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。在对当前 各种标定技术做出综合 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 的基础上,提出了一种适合钢轨磨耗测量环境的倒凹 字形标定模板,并针对该模板设计了随机特征点提取算法和两步相机 标定算法实现系统的精确标定。在此基础上,针对钢轨磨耗测量的具体要求,设 计了图像处理模块,采用立体匹配算法实现了钢轨断面轮廓关键点的匹配,通过 三维重建完成了钢轨断面磨耗的测量。 本文首先研究了当前各种近景摄影测量标定技术,然后详细介绍了系统的总 体设计方案,其中包括系统标定、图像预处理、轮廓还原、匹配测量等模块的详、 细设计,并对各模块涉及的关键技术做了深入的研究。最后实现了钢轨磨耗测量 系统软件.,并使用该软件进行了实际钢轨磨耗测量实验。 实验结果表明本系统能够完成预期的钢轨磨耗测量任务,测量精度达到., 基本满足实际测量要求。该系统具有非接触、快速、结构小巧、上下道方便、显 示直观等优点。本论文的研究成果为我国高速铁路钢轨的磨耗测量提出了一种可 行的解决方案。 三维重建; 关键词:钢轨磨耗测量;近景摄影测量;相机标定;立体匹配; 分类号:.北京交通人学硕十学位论文: , ? , . ,.. . ... ., .,? . . .. ,, ,. ., . . ., . ,,..:; ; ; :一 ; 。:.独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研 究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发 表或 撰写过的研究成果,也不包含为获得北京交通大学或其他教育机构的学位或 证书 而使用过的 材料 关于××同志的政审材料调查表环保先进个人材料国家普通话测试材料农民专业合作社注销四查四问剖析材料 。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名: 即年月圩同 芝刍孝芝签字日期: ‘一一,一’‘一. 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索, 提供阅览服务.并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 保密的学位论文在解密后适用本授权说明 学位论文作者签名: 乏耐五 新签名:彳啦 签字同期: 签字日期: 叩年月 咿月致谢 本论文的工作是在我的导师尹辉副教授的悉心指导下完成的,尹辉副教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 尹辉老师对我的关心和指导。 尹辉副教授悉心指导我们完成了实验室的科研工作,在学习上和生活上都给 予了我很大的关心和帮助,在此向尹辉老师表示衷心的谢意。 尹辉副教授对于我的科研工作和论文都提出了许多的宝贵意见,在此表示衷 心的感谢。 在实验室工作及撰写论文期间,刘婷婷、阎筑峰、黄浩、刘金永等同学对我 论文中的校对、研究工作给予了热情帮助,在此向他们表达我的感激之情。 另外也感谢家人,他们的理解和支持使我能够在学校专心完成我的学业。绪论 绪论 .引言 我国交通的现状决定了我国铁路运输的特点,即牵引吨位不断提高,而行车 密度越来越大,行车密度已达世界之最,给铁路工务管理部门直接带来的是钢轨 磨耗的加剧,因而长期以来钢轨磨耗一直是工务部门十分重视的问题。近年来高 速铁路和重载运输的大力发展、客货运量和行车密度大幅度增长,钢轨磨耗益 严重。钢轨的磨耗由材质、环境、状态、列车运行速度等多因素造成,特别 是弯 道钢轨垂直磨耗、侧面磨耗严重可达十几毫米。在各种决定钢轨伤损的参数中, 钢轨头部的磨耗值是最主要的参数之一。钢轨磨耗是否超限直接决定钢轨是否需 要更换或打磨,必须对路轨状态进行监测并及时更换钢轨,否则将造成重大损失。 因此,精确地测量出磨耗值对于钢轨的维护及行车安全是非常重要的。 如何精确而高效地测量出钢轨磨耗一直是国内外铁道部门的一个重要的研究 课题。这方面的研究由于国情所限,与国外相比较落后,国外在大型轨检车上配 置有综合性的轨道计算机监测系统,国内虽然已有基于计算机视觉的非接触式测 量研究,但实际钢轨磨耗的测量一直是采用接触式卡距或其它接触式测量方法, 此法工作条件恶劣、测量速度慢、人为因素对结果影响较大,而且测量结果不直 观、数据整理缓慢,已不能满足当前高速铁路发展的需要。轨道测试环境对检测 装置要求非接触测量、测量快速、结构小巧、上下道方便、显示直观,并能反映 钢轨剖面磨耗的轨迹。因此,研究专用的新型钢轨磨耗自动检测装置具有重要的 意义。 .钢轨磨耗测量与图像测量技术现状 .. 国内外钢轨磨耗测量技术的现状 目前国内外传统的钢轨磨耗测量方法主要有以下三种: .接触卡具测量【】 测量原理:如图.所示,以钢轨外侧头部为基准,利用垂直测尺和侧面测尺 测出钢轨在垂直和水平方向分量的长度,得出钢轨表面关键的几何参数。我国大 部分铁路工务段都利用这种卡具来进行钢轨磨耗的测量。该方法属于人工机械式北京交通人学硕学位论文 测量,精度较高,操作方便,但只能对一些特殊点测量而不能实现自动化全程测 量,工作效率低,受人为影响因素较高。属于接触式测量,长时问使用会导致精 度下降。 图.接触式卡具法钢轨磨耗测量 一. .涡流检测法 测量原理:如图所示,利用流过线圈的交流电产生的电磁场进入被检测的 金属体内,在金属体内电磁场的振幅和相位会发生变化,这种变化与金属体 表面 的电磁性能和几何形状有关。电磁场的变化对复合交流电阻、线圈阻抗又产生一 种反作用。金属材质的不均匀性改变了电磁场在被检测体内的分布。并能从线圈 阻抗的变化测出表面材质的不均匀性。这种方法可以实现在线快速检测,精度一 般,对钢轨可以进行全方位的测量,安装要求较高,由于探头本身尺寸较大导致 不能进行小尺寸范围内的测量,同时根据不同规格的钢轨需要提供不同尺寸的探 头组,费用较高。该方法一般使用在钢轨生产厂家。典型的产品为蒂森钢公司的 钢轨检测系统。该检测系统在钢轨行进速度为./时可对钢轨四周进行检测。 图?涡流法钢轨磨耗测量 .光学三角测量法 测量原理:如图卜所示,根据光学三角测量方法的原理,配以伺服驱动扫描 装置,在微处理器的控制下,可实现钢轨磨耗剖面轨迹的自动测量。在图卜中步 进扫描电机实现了轨面上水平方向的逐点扫描,】,方向钢轨磨耗深度通过光 绪论 路的三角测量方法上光点位置的变化求出。此种方法测量精度较高,操作简 单,但不能实现自动化全程在线测量,检测范围较小,工作效率低,只能用于抽 点测量。 ?口讨 ?啪 图.光学三角法钢轨磨耗测鼙 以上三种钢轨磨耗测量方法都有各自的局限性,虽然目前他们都在被广泛的 采用,但是为了实现钢轨车载式与便携式自动测量,提高工作效率必须利甩目前 现有各种新技术研究一种新的非接触式,精度高,测量速度快的现代测量方法。 北美和欧洲发达国家从世纪年代初期就开始利用计算机技术进行自动、 精确的钢轨磨耗测量的研究,但限于数字图像处理技术和计算机硬件的水平,效 果不很理想一。目前,随着计算机的普及和发展,以及计算机视觉等技术的同臻成 熟,此项目的研究得到了充分的发展。 公司研究与开发的 简称 此系统既可装载在轨道检测车上作为轨道检测信息的一部分,也可集成 为便携式钢轨磨耗测量设备。 图 基于激光的钢轨测量系统结构图公司研究与开发的 简称。此系统结构与公司的基本一样。区别是它北京交通人学硕卜学位论文 是一个独立的车载检测系统。 我国从世乡.年代中期不始这方面的理论研究,取得了一些成果,但离实 用阶段还有相当距离【。 图像测量技术 图像测量技术是是以现代光学技术为基础,结合光电子学、计算机图像处理 学、信息处理、计算机视觉等现代科学技术为一体的现代测量技术,近年来在测 量领域中得到了广泛的应用与研究,使之逐渐形成一种重要的测量技术。它被广 泛应用于几何量的尺寸测量、精密复杂零件的微尺寸测量,外观检测等和图像有 关的技术领域中。所谓图像测量就是测量物体时,把图像当作检测和传递信息的 手段或载体加以利用的测量方法,其目的是从图像中提取有用的信号,达到对被 测对象的实际测量。图像测量系统的处理过程主要分两大步:数据采集和数据处 理。数据采集包括原始图像的采集以及初始值的采集。数据处理是利用图像测量 原理和图像处理的各种技术,计算三维空间物体的几何参数坐标,并以要求的形 式显示。 图像测量方法主要有光学图样法干涉法、莫尔法、相位法等和基于图像传 感器的光电法。与之相比,光电法具有环境适应性好、柔性好、测量范围宽、图 像信息易于管理等特点。然而,目前对光电法的理论和方法研究仍然处于低精度 的水平。图像测量主要有以下方法: 干涉测量法?? 干涉测量法是利用了光波的干涉原理对物体形状进行测量。特别是激光问世 以来,干涉测量法得到迅速发展,涌现出双光束干涉、多光束干涉、外差干涉、 全息等多种方法。干涉测量法的特点是测量精度高,达到级。该方法缺点是测 量尺寸范围小,对环境要求很苛刻。 莫尔等高线法 莫尔轮廓法是等人于年提出来的。在莫尔轮廓法基础上提出了影 像莫尔法,投影莫尔法,扫描莫尔法,及这些方法的改进方法,使得莫尔等高线 三维计量技术不同程度地达到实用化程度。 影像莫尔法: 影像莫尔法的特点是原理简单、精度较高,但由于制造面积较 大的光栅很困难,所以该方法适用于较小物体的测量。 投影莫尔法:是将光栅像投射到被测物体上,然后在观察侧用第二个光栅观 察物体表面的变形光栅像,这样就得到莫尔条纹。分析莫尔条纹便可得到物 体高 度信息。该方法的特点是适合于测量较大的物体。 绪论 扫描莫尔法:其投影侧与投影莫尔法相同,但在观察侧不用第二个光栅来形 成莫尔条纹,而是用电子扫描光栅和变形像迭加生成莫尔等高线。它的优点是利 用现代电子技术,可以很方便地改变扫描光栅距离、位相等。生成不同位相的莫 。尔等高线条纹图像,便于实现计算机自动处理。该方法缺点是需要扫描机构,数 据获取速度低、稳定性较差、对噪声敏感。 傅立叶变换轮廓法?纠 傅立叶变换轮廓法是对投射到物体表面的光栅图形在其空间频域和空间信号 域内进行傅立叶变换和处理。该技术具有比传统莫尔技术更高的灵敏度,并全自 动区分物体表面的起伏变化,对条纹阶次和内插数的设黄没有要求,该技术没有 由光栅图形的高次谐波成分产生的假的莫尔条纹所引起的误差。 相位测量法引 相位测量法原理是利用投影在物体上的光栅根据物体的高度化而产生变形, 根据变形的光栅图像的条纹图实现物体的测量。由于采用多帧图像,相移法 的特点是精度高,可达到条纹周期的/,另外由于该法只需计算三个强度值 和反函数,所以处理简单。该方法缺点是不能消除条纹图中高频噪声引起的误 差。 新的非接触测量法【叫 非接触测量法比较新颖,其原理是被测物固定在工作转台上,经成像实现 物体三维形状的非接触测量,该方法属于光电法。此项技术目前主要应用在产品 的品质管理上,通过对各类零件的分类存档,用以改进设计,提高产品质量等。 该方法缺点是测量精度较低,约为?. ,且被测物体的形状也比较简单,如 长方体、圆柱体等的测量。 .计算机视觉技术 计算机视觉作为一门新兴的多学科交叉科学技术,它涉及图像处理、模式识 别、图像理解、计算机科学等诸多领域,在机器人视觉、医学整形和美容、工业 产品的外观设计、三维轮廓测量、艺术雕塑、近景摄影测量等领域有着广泛的应 用前景,是当今国际上的热门课题之一。从计算机视觉技术的初步创建到现在, 其理论基础在不断的加强,视觉系统框架与视觉可计算的研究也在不断发展,同 时其他相关技术的发展也为计算机视觉的研究提供了条件或基础,促进了它的发 展和完善。计算机视觉技术近年来已经成为人工智能研究的热点技术之一,在机 器人视觉系统、机器人手眼标定、航空制图、人机对话、产品质量控制与工件姿 态控制、医学临床仿真等许多领域都有着广泛的应用,创造出巨大的经济价值。北京交通人学硕十学位论文 计算机视觉的研究具有双重的意义:其一是建成计算机视觉系统,用计算机 实现人工的视觉系统功能。即要使计算机能够借助各种视觉传感器女等获取 场景的图像,通过图像分析等技术手段来感知和恢复二维场景中物体的几何性质、 姿念结构、相对位置等信息,并对客观场景进行识别、描述、解释,进而做出判 断与决策;其二,计算机视觉模型的研究结果可作为探索人脑视觉工作机理的手 段,反过来进一步加深人们对人脑视觉的掌握和理解,促进人类视觉系统本身的 研究进程【 ?。计算机视觉技术下吸引着大批包括视觉生理、心理、物理、数学 以及计算视觉等领域的研究人员运用不同的技术手段对之进行深入的研究。 .. 国内外双目立体视觉研究现状 国外在基于双目立体视觉的计算机三维重建方面,主要是对立体匹配和三维 重建两个部分进行研究?。?。立体匹配部分主要是研究特征点的提取和匹配算法 的完善,以便更加精确地建立匹配点的对应关系:三维重建部分主要是研究如何从 已得到的匹配点中计算出摄像机的投影矩阵如果是外部标定的话,就是求出摄像 机的外部参数以及如何计算出匹配点的三维坐标。 在立体匹配方面,国外的学者们不断提出了一些新的方法和理论。例如英国 的.【刈提出了一种直接的基于奇异值分解的匹配方法,即首先构造一个近似 的包含特征点的?距离信息的强度矩阵矩阵的维数由两幅图 像上的特征点的数目来确定,然后对矩阵进行奇异值分解,接着将得到的对角 阵的对角元素全部替换为,这样反过来求出一个与矩阵相同维数的矩阵尸,通 过矩阵中各个元素的值就能判断出对应的特征点是否匹配。由于在整个计算过 程中全部是代数意义下的运算,所以匹配的精度有待于进一步的提高。在三维重 建方面,微软的张正友在应用点法求出基础矩阵,的基础上进一步提高了应用 .算法最小化图像点与对应的外极线间距离的方法,大大提高了 基础矩阵的精度。在利用基础矩阵求出摄像机外部参数方面,.卜 提出了一种方法,即通过计算四种候选值的景深来唯一确定一组旋转矩阵和平 移向量。 而目前国内在计算机双目立体视觉方面,无论是在摄像机标定技术还是在立 体图像对的匹配算法上都进行了大量的研究,提出了很多比较完善的理论。而在 算法的具体实现方面,中科院自动化研究所机器人视觉研究小组己经取得了很大 的成就。如机器人视觉研究组的雷成博士开发了软件,该软件主要完成了 特征点的提取、特征点的匹配、摄像机的自标定、模型的三维显示的功能。该软 件使用比较方便,能对不同来源的二维图像进行处理,但是它的缺点也比较明显, 首先是由于使用方程进行摄像机自标定,所以它需要的图像对的数目为 三副,尽管它使用的其它方法和原理都是基于双日立体视觉的,但这对于类似机 器人视觉的工作环境显然是不允许:其次在实际的匹配过程中能明显感觉到效率 不高,速度很慢。另外,机器人视觉研究组的钟云德?博士利用一种称为半稠密 匹配的方法进行立体图像对的匹配,由于这种方法是对稀疏匹配和稠密匹配的一 种折中,所以在匹配过程中增加了大量的新的匹配点.从而更好的实现了模型的 三维显示,当然这也在一定程度上增加了匹配过程所用的时问。此外,天津大学 的陈明舟”“硕士实现了基于主动光栅投影的双目立体视觉。在他的研究中,主要 是采用主动光栅投影双目视觉测量来获取被测自由曲面外形轮廓的方法,实现自 由曲面的高精度检测。在图像匹配过程中,他使用了基于外极线约束的光栅边缘 匹配方法,并且通过光栅边缘的两种编码技术和利用样条拟台的方法来优化匹配 过程。该方法主要缺点是一方面图像匹配过程的过渡依赖于外约束,而对图像中 边缘本身的拓扑关系依赖较少:另一方面该方法的实现对所需要的外部设备的精 度要求较高。还有,清华大学的王磊”也提出了一种基于平面投影变换和遗传算 法的匹配算法。该算法能在未知摄像机内外参数的情况下自动找到正确的对应点, 但是由于使用的是平面投影变换.所以在使用中只允许摄像机有旋转运动而不能 平移,这种约束条件在很多场合是不能满足的。 ..计算机视觉系统的体系结构 目? 目? 模,?分类与识别 削计算机视觉系统的基本系统结构幽 图示意了计算机视觉系统的一般组成““。二维图像的灰度分布中隐含着物 体的某些三维信息,例如取向、形状等,计算机视觉的理论就是要将这些局部的 三维信息提取出来。图像处理和特征提取部分的功能是滤除图像中的噪声,把图 像中的重要信息表达清楚,这些重要信息是指图像中灰度变化剧烈处的部位及其 分布。在大多数计算机视觉系统中,提取的特征是边缘、区域或纹理。特征提取北京交通人学硕十学位论文 获得是要素图,它大致描述了景物的轮廓。要素图结合照明和成像的特定条件, 运用三维信息恢复算法,可以在观察者为中心的坐标系中得到可见表面的三维信 息,这些信息包括表面离摄像机或观察者的距离,各点的法向以及法向的不 连 续点等等,这些三维信息构成了.维图。.维图经过分类与模式识别,可以识 别出场景中存在的物体。到此,计算机视觉输出的不再是图像信息,而是某些表 示物体类别或关系的符号,这些符号在场景分析过程中进行运算、推理或决策, 最终结果描述出场景中的各物体类别及其相互关系,以指令、显示等方式指导执 行机构完成任务。实现过程与计算模块构成计算机视觉的整体系统。 ..基于计算机视觉的测量系统 基于计算机视觉测量系统原理是通过视觉或分析图像获取被测物体在世界坐 标系中的三维坐标。根据获取手段的不同,基于计算机视觉的三维测量系统大致 分为两类:一类是利用精密的硬件设备,如带视觉测量头的三维坐标测量机、激 光三角测量装置等弘引,它们直接测量出物体表面点的三维坐标,这一类系统在测 量前要对摄像机和测量装置进行精密标定,然后才能得到物体的精确三维信息; 另一类三维测量系统对硬件设备的依赖较少,仅利用摄像机成像模型等即能从获 取的二维图像恢复物体的三维结构【乃,这才是真下意义上的计算机视觉测量。 利用摄像机成像模型从获取的二维图像序列重建物体的三维结构是计算机视 觉研究领域的经典问题之一。多年来学者们提出了恢复三维信息的各种各样的算 法。 这些算法归纳起来又可分为三类: 假设建立了图像间的对应关系,同时已知摄像机内参数矩阵和摄像机之间 的相对位置关系,确定观察点的三维位置,如立体视觉系统。 假设建立了图像间的对应关系,已知摄像机内参数矩阵,先计算各视角图 像坐标系之间的位置关系,进而获取三维信息,如由运动恢复结构 ,即。’ 已知图像间特征点的匹配关系,要求提取摄像机内参数,然后计算各视角 图像坐标系之间的相对位置,最后获取三维信息,如近景摄影测量。/葛 .本文的主要研究内容与创新点 本文主要针对钢轨的磨耗测量,研究快速、高精度、便携式钢轨断面测量理 论与技术,重点是利用多学科交叉的优势,研究新的测量方法和计算方法。绪论 ..本文的主要内容 本文提出了一种基于双目视觉的非接触式钢轨磨耗测量系统,介绍了系统的 工作原理,重点研究了特征点提取、相机标定、立体匹配、边缘提取、边缘 细化、 搜索匹配点、三维重建和轮廓匹配测量等关键技术,并针对本系统的特点改进了 已有的立体匹配算法、边缘细化算法,提出一种匹配点搜索算法。本文还系统的 介绍了相机成像模型、模型的标定算法、磨耗计算方法。其中轮廓还原模块解决 了在成像模型中的二维图像坐标到世界三维空间坐标之间的相互对应关系问题。 本文通过分析常用的特征点提取算法,并结合实际钢轨磨耗测量的特点和实际应 用要求,改进的系统标定模板,提高了系统标定的精度,并提出了一种新的钢轨 轮廓匹配和钢轨磨耗测量方法。 本文还在平台下使用 .实现钢轨磨耗测量系统 .。本系统主要功能模块包括图像预处理、相机标定、立体 匹配、轮廓还原,匹配测量等。 本文最后在大量实验结果基础上分析了系统产生误差的各种因素,给出了改 进思路,并且提出了进一步的研究方向与建议。 ..本文的主要特色与创新点 设计出一种新的非接触、快速、准确、准实时的钢轨磨耗测量新方案,不 需要扫描,装置简单,测量速度快。 设计了一种适合钢轨磨耗测量环境的标定模板和一种适合基于双目视觉 的钢轨磨耗测量系统的图像处理模块和匹配测量模块。 实现了一种非接触式的基于计算机视觉的钢轨磨耗测量系统。实验表明基 本满足实际测量要求。 .论文组织 本文第一章为绪言部分,简要介绍课题研究内容以及一些相关知识。绪言部 分主要包括:课题的研究背景、钢轨磨耗测量技术现状、基于计算机视觉的非接 触测量技术研究现状,以及本课题的研究内容与创新点;本文第二章介绍了计算 机视觉的标定相关技术,其中主要内容包括:对计算机视觉技术中标定技术的介 绍、摄像机成像模型与标定原理的分析、几种典型的摄像标定算法介绍,以及对 各种标定方法作一些综合分析;本文第三章部分描述了钢轨磨耗测量系统构成与 北京交通人学硕十学位论文 测量原理,主要内容包括:介绍本测量系统的硬件的组成、硬件结构的设计,本 系统测量原理与测量过程介绍;第四章是本文核心部分,主要介绍本系统的详细 设计,主要内容包括:系统的总体设计方案、系统标定模块设计、图像预处理 模 块设计、轮廓还原模块设计、匹配测量模块设计,以及各模块中关键技术的研究; 第五章部分是实验,主要介绍系统的测量实验,并分析了系统的性能和误差产生 的因素;本文最后一章是对本测量系统做出一些总结,并提出了进一步的工作及 展望。 计算机视觉中数码相机标定方法的研究 计算机视觉中数码相机标定方法的研究 在应用计算机视觉的测量系统中,无论是采用摄像机还是数码相机作为原始 图像的采集设备,都必须进行系统标定。系统标定是应用计算机视觉进行现场测 量和图像处理的第一步,也是关键的一步。计算机视觉的基本任务之一,就是从 摄像机获取的图像信息出发来计算三维空’日物体的几何信息以及位置信息。并由 此重建识别物体或确定物体的空间位置,而空间物体表面某点的三维几何位置与 其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。这些几何 模型的参数就是摄像机参数。在大多数情况下这些参数必须通过实验与计算 才能 得到,这个过程就是摄像机标定。因此摄像机的标定是计算机视觉中一个必不可 少的过程,实际上也是计算机视觉技术中研究的一个重要方面。只有通过标定我 们才能将二维的图像空间与三维的物理空间联系起来,也才能真正发挥计算机视 觉的作用。 本章首先介绍计算机标定技术的基本理论知识,以及摄像机成像模型,摄像 机标定的原理,重点介绍几种有代表性的标定方法,最后综合分析各种标定方法 基础上,确定本系统标定方案。 .数码相机及其成像模型 .. 数码相机的特点及工作原理 在拍摄照片时不需要胶卷,直接将图像转换成 由于数码相机 数字信号。因而有许多区别于胶片相机的特点:不需要冲印,即时成像,无污染; 随即有显示,可实现取景预览、照片查阅和删除等功能;可直接与计算机通 讯,便于保存,同时也能实现远距离传输;能给照片配音,可实现一段活动视频; 能实施对照片进行各种编辑和整理:阅览方便,取照容易等。由于上述特点,它在 多媒体演示、视频取证、情报及新闻采集、辅助设计、图像资料管理、网络 通信保险业、房地产中介业、医学记录、地理研究、网页制作及日常生活等许多 领域得到了越来越广泛的应用。 数码相机除有胶卷相机的成像过程外,主要是有独特的获取图像的载体、图 像的存储器和对应的控制系统。获取图像的载体能够将光信号转换成电信号,这 样的载体有两种, 电荷藕合器件和北京交通学颇位论文 互补余届氧化物半导体,目前以应 、 用较多。存储介质也有多种,有软磁盘、、 型闪光记忆卡和小型的硬磁盘。典型的数码相机通常由四大部分构成:成像芯片、 中央处理器、存储器、彩色。数码相机的工作原理可用图.表示】。 ’ 图像传砖嚣 内置存储嚣 内存 ? . 存储卡 信号放人 卜/转换 徽址理嚣 敢模转按器 ?接 幽数码相机的’作原理..数码相机的成像模型 数码相机成像的每幅数字图像是由×个点阵组成的,行?列的图像中 的每一个元素称为像素即是图像点的亮度或称为灰度,若为彩色图像,则 图像上像素的亮度将由红、绿、蓝三种颜色的亮度表示。数码相机的成像也 是以 针孔模型为基础的,它的成像实际上是将三维空间的景象映射成二维像素矩 阵中 的扶度值,这个二维像素矩阵灰度值是对应若平面上?个离散元件上的 电荷量。 首先,我们先定义几种不同类型的坐标系:世界坐标系、光心坐标系相机坐 标系、图像坐标系、像素坐标系。 世界坐标系:.,匕,, 由于数码相机可安放在环境中的任何位置,所以在环境中选择了一个基准坐 标系来描述数码相机的位置,并用它描述环境中其他任何物体的位置,该坐 标系 称为世界坐标系,坐标由。,,乙柬表示。 光心坐标系:置,,五 为了分析数码相机成像的几何关系,所以定义了一个新的坐标系,其原点在 相机的光心上,.轴和轴分别为平行于图像平面的两条垂直边,乏轴与相 机的光轴重合,坐标由置,,乏来表示。 图像坐标系:. 在.坐标系中,原点定义在相机光轴与像平面的交点,该点般计算机视觉中数 码相机标定方法的研究 位于图像平面中心处,轴和】,轴分别为平行于图像平面的两条垂直边,坐 标由,来表示。 .像素坐标系:,矿 在,坐标系中,原点定义在图像平面的左上角,轴和轴分别平 行于图像坐标系的轴和轴,坐标由,来表示,,是以象素为单位的坐标, 每一象素的坐标,分别是该象素在数组中的列数与行数。 数码相机的成像过程如图.所示可以通过上述四个坐标系的三次转换过程 来表达: 将世界坐标系中的信息转换到光心坐标系; 光心坐标系中的信息按照针孔模型规律转换到图像坐标系中; 最后由图像坐标系转换成像素坐标系。 敢瓦.,, 图数码相机的成像模犁 针孔模型是目前最常见的相机模型【,它简单实用而又不失准确性,在计算 机图形学里被广泛使用。如图.,空间任何一点尸在图像上的成像位置可以用 针 孔模型近似表示,即任何点在图像上的投影位置为光心与点的连线与 图像平面的交点,这种关系也称为中心投影或透视投影。由比例关系有如下 关系 式: :区 ?.、’ :盟 ’ 其中,,是点的图像坐标,,?,为空间点的光心坐标,厂为相 机的焦距,可以用齐次坐标与矩阵表示上述透视投影关系:北京交通人学硕十学位论文 ?. 抖四 图像坐标系中的坐标原点是光轴与图像坐标平面的交点,坐标值是以某一 长度单位例如毫米来表示的,是一个连续变化的量。像素坐标系中的坐标是以 象素为单位来表达的,原点在像平面的左上角,图像坐标系的原点在像素坐标系 中的坐标为“。.,如图所示: , . ? ’图图像坐标系与像素坐标系 每一个象素在工轴和】,轴方向上的物理尺寸为,,,则图像中任意一个象素 在图像坐标系和像素坐标系这两个坐标系下的坐标有如下关系: “了 ?. ? 口 用齐次坐标与矩阵形式将上式表示为: %‰ ?. 冶叭亿, 辩七 计算机视觉中数码相机标定方法的研究 因此,空日点尸在世界坐标系和光心坐标系下的齐次坐标分别是。,匕,..., 和 五,,,,于是存在如下关系: 。 ?. 。 ?其中,为×的正交单位矩阵,为三维平移向量,,,’为向量。 将式和式代入式可以得到世界坐标系表示的点坐标 。,匕,。与其投影点的像素坐标,之关系式: 。 %。 十 匕 ,丁? % 、?? 。 厂 呲帅九 、?????? 乙” ,,,....。.。........ ?. 。 ., , ‰,丁、 匕 匕 匕 。 。 。 兰鲁小 这就是针孔模型下数码相机的成像模型。其中,虬厂/以,/,: 为×矩阵,称为投影矩阵;.只与相机的内部结构有关,称为相机的内部参数; ,由相机相对于世界坐标系的方位决定,称为相机的外部参数。 由于透镜加工和安装等多方面因素影响,摄像机的线性模型不能准确地描述 其成像几何关系,尤其是镜头质量不佳或在使用视角较大的广角镜头时,在 远离 图像中心的边缘区域会形成较大的畸变。在年建立的摄像机非线性模 型认为镜头的畸变误差主要是径向轴对称畸变,其摄像机的非线性模型如图? 所 示,其畸变误差表示如下: ?.? 卜工呼‖:咖:?、 戌夕毛... 其中?,是像点到摄像机主点的距离,毛,哎是径向轴对称畸变误 差系数。北京交通人学硕十学位论文 .儿 图摄像机的卜线性模型 ?于年在两步法的基础上提出了更为精确的摄像机的非线性误 差修正模型,他认为许多摄像机系统除径向轴对称畸变外,还存在非径向轴 对称 畸变,即径向畸变和切向畸变,如图.所示。因此,把摄像机的畸变分为三 种情况:径向畸变 ,偏心畸变 ,薄棱镜畸 变 。 厂‘豫 /如铎 一, :切; 图摄像机畸变径向畸变 径向畸变与提出的径向轴对称畸变一致,它是由于镜片在加工误差造成 的,其特点是像点的位置误差与它到光心的距离有关。径向畸变误差可表示 为: 屯尼。“? ?但乡’ 妨白””, 偏心畸变 偏心畸变是由于透镜组中各透镜中心不共线所造成,它使得成像过程中径向 和切向都产生畸变。偏心畸变误差可表示为: 计算机视觉中数码相机标定方法的研究 心 :“。“, 。,为偏心畸变误差系数。 薄棱镜畸变是由于镜片在设计及安装不当造成。薄棱镜畸变误差上 的分量形式为: 屯墨“?/? 是:礼‖ 其中.,:为薄棱镜畸变误差系数。 考虑上述三种畸变,的摄像机非线性模型为: ?. ‘ 。 . ?::。:,:“:毛“:万, “毛“, : 其中,而,段,,,因此的模型仅是 的模型的一种简化。 .几种典型的标定方法 ..?直接线性变换方法 .和蹦吼于年代初提出了直接线性变换像机标定的方法【,他们 从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系,建立了 像机 成像几何的线性模型,这种线性模型参数的估计完全可以由线性方程的求解 来实 现。直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投 影矩 阵的形式: ?. 。。 , 朴嘶悸 其中“,,为图像坐标系下的点的齐次坐标,。,匕,。为世界坐标系下的 空间点的欧氏坐标,尸为×的透视投影矩阵,为未知尺度因子。然后,将代 入上述公式.,并消去未知尺度因子,从而可以得到方程组.: 北京交通人学硕十学位论文 圹???炉?“ 、 ’ 【。。一消。一“?。一 已知?个空间三维点和对应的图像上的点时,可以得到一个含有幸?个方程 的方程组: ?. 其中为的矩阵,而三为透视投影矩阵元素组成的向量: ,,,,,,,,,, 。 从上面的直线变换法公式推导可知: 彳 直线变换法标定的方法就是寻找合适的向量,使得彳 最小,即. 输出约束:. ’ ‘一丁。 ?. 其中, 为的个元素组成的向量, 为 列组成的矩阵,曰为第 列组成的向量。 .. 的的标定算法 年代中期提出的基于的定标方法是计算机视觉像机定标方面的 一项重要工作,该方法的核心是利用径向一致约束来求解除像机光轴方向的 平移 外的其它像机外参数,然后再求解像机的其它参数。基于方法的最大好处是 它所使用的大部分方程是线性方程,从而降低了参数求解的复杂性,因此其 定标 过程快捷,准确。其基本原理是对空间点坐标已经知道的标定块用摄像机获 取图 像,用亚像素图像定位技术提取图像网格点坐标,利用不同图像网格点对应 关系来 实现摄像机标定。 所采用的非线性摄像机成像模型在前一节作了详细介绍,只不过所采 用模型镜头成像畸变主要是径向轴对称畸变弘川。 : .。 ?‘...??...一’‘了 ~..??’。? 图径向畸变示意图 根据算法所采用的摄像机成像模型可得到世界坐标系和摄像机坐标系的计 算机视觉中数码相机标定方法的研究 ?. 小四,巨 其中,系数表达式为: 厂,,“ ,/,, 定 , , 【 根据上面的公式.,在理想图像坐标到数字图像坐标的变换只考虑 径向畸变下,由径向畸变可得如下公式: ?. 。 一“:毛“:”一“ ?。“’,一心 其中,,为一个点的数字化坐标, ,为理想的数字化坐标, “,, 匕为畸变中心。 从而,可以得到径向一致约束,在图像平面上,点,虬,,,, 共线,或者直线艺,咒,与直线,咒,平行或斜率相等,则有: 尘丝:竺兰 ?. 一’, ’,一匕 通常把图像中心取作畸变中心和主点的坐标,因此: 竺堡:竺鱼 ?. ? ? 加上摄像机横向扫描与采样定时误差引起的非确定性标尺因子最的影响,有 \ /. 少:, 其中, ““,一玑,“,.,,,.为像素点在图像帧中的坐标。 。 。 ’, 厂一 将匕述两公式代入公式 ‰ .% 十 ,,. 。 尺 ? % ,,.,..。一/ 、、???/厂 叭帅加 乙” ,,...............一/ 、、??????、可得到如下公式: 北京交通人学硕十学位论文 工‖十%,‖十吩‖』 , “,/七一尼成厂瓦丽?. 。。 木,,厂堆瓦鬲丙瓦云而 ,‖屹,‖吩‖』 ,厂,,. ,, 其中, 为旋转矩阵,摄像机标定就是通过标定块上已知 ,.,, 点空间坐标,匕,与图像上提取的像点考虑径向畸变后的对应坐标, 来计算摄像机内外参数。标定的参数主要包括: 旋转矩阵尺和平移向量; 等效焦距爹; 畸变因子毛,屯; ,非确定性标尺因子只。 主点 摄像标定方法的主要优点:能同时求解摄像机的内外参数,并且求解过程 是线性的,为非线性迭代运算提供了较好的初值;利用了摄像机坐标系三个 坐标 轴的正交约束性;考虑了镜头径向轴对称畸变。缺点是没有考虑到切向畸变 与纵 向畸变。 .. 摄像机标定方法 的标定法提出后得到广泛应用,但该标定法只考虑了镜头的径向轴对称畸 变。针对的不足,提出了对摄像机描述更为全面的非线性模型,该模型 己在上一节详细介绍。将提出的摄像机非线性模型代入共线方程,就得到 的摄像机标定与误差修正模型【。修正模型的主要公式如下: ..?.; 厂‖%,矿吩矽』 ?. 。 儿,唧%矿%‖之,矿%矿%‖ 摄像机标定算法主要分为三步:第一步求解摄像机外参数,第二步求解 摄像机内参数,然后对前两步的结果进行若干次迭代,从而可得到稳定的、精 度 较高的参数值【。 .. 平面标定方法 于年提出了一种用平面模板代替传统标定块的标定方法【】【。该方计算机视觉中数码相机标定方法的研究 法只要求绘制一个具有精确定位点阵的模板,如图.。然后摄像机在不同方位至 少两个获取平面模板的图像,摄像机和平面模板都可以自由运动,通过确定图像 和模板上的点的匹配计算出图像和模板之 单应性矩阵,然后利 用该单应性矩阵线性解出摄像机内参数。 绺 图 摄像机标定算法 标定算法基本原理:【】【】 首先,假定模板平面在世界坐标系的平面上,其主要公式如下: 】, ?亿, 朴地?, 钢?栩 其中,为摄像机的内参数矩阵,【 】为模板上点投影到图像平面 上对应点的齐次坐标,吃吩和分别为摄像机坐标系对于世界坐标系的旋转矩蔓 阵和平移向量。 ’ 而由公式吃呜】名【吒 】 又可得到,?,,?~ / 几 根据旋转矩阵的性质,即和慨,每幅图像可以获得以下两 个对内参数矩阵的基本约束: 矸。? ?. ?. 玎足刁?可~ 由于摄像机有个未知内参数,所以当所拍摄的图像数目大于等于时,就可 以线性唯一求出解。 张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。 它既避免了传统方法设备要求高,操作繁琐等缺点,又比自标定方法精度高, 符 但是张的方法是需要确定 合办公、家庭使用的桌面视觉系统的标定要求。 模板上点阵的物理坐标以及图像和模板之间的点的匹配,这给不熟悉计算机 视觉 的使用者带来了不便。 北京交通人学硕十学位论文 .标定方法分类与比较分析 ..摄像机标定方法分类: 如前文所述摄像机标定包括两方面的内容,就其任一方面的内容而言尚有诸 多的变化。因此将相机标定进行分类可有多种 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 。下面我们给出几种典型的分 类。 按标定中是否有参照物分为基于标定靶的标定和自标定 基于标定靶的标定往往具有很高的精度,其实现前提是有一个三维尺寸已精 确给出的参照物标定靶,标定靶通常要具有至个相互垂直的平面,还可沿某 一方向做精确的位移,这种标定方法往往具有很高的精度,但标定靶的制造成本 很高,而且标定过程中的调整很复杂。而自标定技术则不需要使用任何标定靶, 仅仅通过在一个固定的工作台上平移相机来实现由内部参数保持不变的同一相机 获取的三幅图像即可解算出该相机的内外部参数,但这种方法具有很大的随意性。 因为有太多的参数要去估计,故并不总能得到可靠的结果,因而还不成熟。 按建模时是否考虑相机畸变分为线性标定和非线性标定 线性标定法是通过求解线性方程组获得相机模型的内外参数无需迭代。缺点 是当相机畸变较大时,不适用非线性标定法,克服了线性标定完全不考虑畸变的 缺点,但在畸变参数的选择方面并无客观的标准。 按求解内外方位元素时是否考虑其物理意义分为隐式标定和显式标定叫 隐式标定直接由一组已知空间点解算相机的内外参数矩阵,所得结果可用于 三维测量和三维重建,但由于中间变量的引入不一定可得理想的显式解。 按标定靶的不同分为基于三维特征点的标定刨和基于二次曲线等线特征 的标定刈 三维特征点取自精密加工的三维标定靶,甚至是简化了的平面,模板线特征 则利用了曲线自身的几何特性。 按求解摄像机参数时所采用的数学方法不同将摄像机标定分为如下三种 .非线性优化法 考虑畸变的标定即是非线性标定,此时的求解通常要基于最优化算法。优点 是通过增加迭代次数可有效提高标定精度。缺点是对迭代初值的选取有严格 要求, 否则不能求得理想解,尤其是考虑镜头变形的情况?。 .透视变换矩阵法 基于中心投影不考虑非线性畸变,不需要用最优方法也不用选初值可直接由 一组已知空间点解算相机的内外参数矩阵。缺点是由于中间变量的引入导致 线性计算机视觉中数码相机标定方法的研究 方程组过参数化,因此能得到较好的隐式解,但不一定可得到理想的显示解 川。 .两步法 此方法是目前较为成熟的算法,它先通过线性优化求解部分相机参数,再由 迭代求得其余参数,这种方法能有效提升运算速度,减少了迭代次数,更重要 的 是由于第一步的线性优化,第二步的迭代总能求得理想解一引。 ..标定方法比较分析 传统的摄像机标定方法一川 主要包括方法、方法、的平面标定方法、孟胡的平面圆标定方 法、吴毅红等平行圆标定方法。这一类标定方法的特点是利用己知的景物结构信 息,常采用标定模板。其优点是可以使用于任意的摄像机模型,标定精度高。但 是同样存在缺点与不足,是标定过程复杂,需要高精度的已知结构信息。在实际 应用中很多情况下无法使用标定块。 主动视觉摄像机标定方法刘 主要包括胡占义等的基于平面单应矩阵的『交运动方法、基于外极点的正交 运动方法的主动视觉标定方法。这一类方法特点是已知摄像机的某些运动信息。 其优点是通常可以线性求解,鲁棒性比较高。但是同样存在缺点与不足:主要是 不能使用于摄像机运动未知和无法控制的场合。 摄像机自标定方法刘 摄像机自标定方法:主要包括基于方程、基于绝对二次曲面的标定方 程和基于无穷远平面的标定方程的自标定方法。这一类标定方法的特点是仅 依靠 多幅图像之间的对应关系进行标定。其优点是仅需要建立图像之间的对应,灵活 性强,潜在应用范围广。当然同样存在缺点与不足:是非线性标定,鲁棒性不高。 .本章小结 本章主要介绍了计算机视觉标定技术,以及摄像机成像模型,然后介绍了摄 像机标定方法的分类与几种典型的标定方法,并对目前几种摄像标定技术进行了 综合分析,最后选择了适合本系统使用的标定方法。 经过本章对相机标定的原理与各种标定方法的学习与研究,在现有的标定方 法都各有其优缺点,如何根据具体的场合去选择合适的标定方法仍是个见仁见智 的问题。比如一般认为法和透视矩阵法适用于快速测量精度要求不高的场合, 而自标定方法则往往用在现场无法设置标定块的场合。比较各标定方法可知如果北京交通人学硕十学位论文 标定的相机是用于立体视觉,则标定参数可以是中问参数,而可以不用考虑内外 参数的准确性。如果是用于主动视觉,则必须要精确知道内外参数。 而便携式钢轨磨耗测量系统主要研究目标是实现一种操作简易、结构相对简 单并且测量的速度、精度都能达到需求的测量工具。结合上述各种标定方法 的特 点与钢轨磨耗测量系统的实际应用要求,选择基于的两步法摄像机标定方案。 钢轨磨耗测结系统的硬件组成与测鼙原理 钢轨磨耗测量系统的硬件组成与测量原理 .系统的硬件组成与结构设计 图像测量系统一般由图像采集系统,图像处理系统,图像输出系统组成。图 像测量系统一般分为基于的视觉测量系统和嵌入式集成视觉测量系统。二者不 同之处就在于是否需要作为运行的外部环境。下面对这两类结构不同的视觉测 量方式作了比较。 在基于的机器视觉系统中,图像采集和图像处理的过程是通过插在机内 的或扩展插槽的图像采集卡和图像处理卡,利用的软硬件环境完成相应 的图像处理任务。图像采集卡主要完成对模拟视频信号的数字化过程。视频信号 首先经低通滤波器滤波,转换为在时间上连续的模拟信号。按照应用系统对图像 分辨率的要求,利用采样/持电路对连续的视频信号在时间下进行间隔采样,把 视频信号转换为离散的模拟信号。然后再由/转换器转变为数字信号输出。而图 像采集/处理卡在具有模数转换功能的同时,还有对视频图像分析、处理功能,同 时可对相机进行有效的控制。选择时,首先是应考虑其功能支不支持我们所选定 的相机。这包括是否同时支持逐行扫描和隔行扫描,是否支持相机的快速重置模 式。有的甚至还可以同时支持线扫描,可以同时接几个相机,能否直接连监视器 与,接口是何种形式,图像获取速度和数据传输速度是否能达到要求,是否有 部分图像预处理功能等。另外还应充分考虑其性价比。因为性能较好的图像采集 卡价格一般都很高,所以需要权衡考虑。 ..系统的硬件组成 在本钢轨磨耗测量系统中,由于还在实验阶段所以采用基于的图像采集与 图象处理,图像采集部分由激光源、标定模板、相机和图像采集卡组成;图 像处理系统部分由计算机系统和钢轨磨耗测量软件组成。图像输出系统由打印机 组成。其相互关系如图.所示。匕求空通人学硕.学?论文 ??? 商 ??? ??? 铜轨磨耗洄量系统软件 挂钢轨磨耗测量系统组成 . 系统各组成部分参数 标定模板参数 表标定模扳参数 圳 外形尺度 ,. 精度指标 图案样式 圆形 图案规格 半径 摄像头参数 表.摄像头参数 ?【/ 感光元件 / 传感器尺寸 传感器描述 总像素数 万 有效像素 万 倍 光学变焦倍数 晟大分辨率钢轨磨耗测苗系统的硬什组成与测堵原理 光源参数: 表.光源参数 光源类型 半导体工业一字线激光器 标准尺寸 波长 功率 . 工作电压 ..系统结构设计 钢轨磨耗测量系统研究的目的就是应用于现场钢轨磨耗测量,而且最好研发 成一个便携式的高精度的操作简易的钢轨磨耗测量工具。根据这些特点我们选择 基于立体双目视觉三维测量方法?。因为立体视觉测量方法,在测量过程中由于 摄像机和视觉系统的内外参数要求预先精确标定,测量时一般不再调整摄像机内 参数和两摄像机之间的相对位置。所以钢轨磨耗测量工具上道之前,对系统进行 精确标定,现场测量时内参数不发生变化