双目视觉测量中三维坐标的求取方法研究

双目视觉测量中三维坐标的求取方法研究 第 27 卷 第 19 期 2006 年 10 月 计算机工程与设计 Vol . 2 7 No . 1 9 Oct. 2006 Computer Engineering and Design 双目视觉测量中三维坐标的求取方法研究 罗世民, 李茂西 ()华东交通大学,江苏 南昌 330013 摘 要:双目视觉测量将同一时刻拍摄的两副物体激光条纹图像,经过特征提取和立体匹配得到两两对应的像素点对,根据 摄像机标定建立的物空间坐标到像平面坐标对应的矩阵,利用最小二乘法求取物体三维空间点的坐标。但是,由于最小二 乘法没有考虑所建立的超限定方程组所代表的几何意义,计算出的点坐标精度不高。提出一种考虑方程组所代表几何意义 的方法,利用异面直线公垂线中点去逼近物体空间点。 关键词:双目视觉测量; 摄像机标定; 立体匹配; 最小二乘法; 异面直线 () 中图法分类号:TN911.73 文献标识码:A 文章编号:1000-7024 200619-3622-03 Research on how to get object's 3D coordinate on two CCD camera measure system LUO Shi-min, LI Mao-xi ()East China Jiaotong University, Nanchang 330013, China Abstract:Double camera measure dispose of the two laser stripe images which gained by the two camera at the same time, via digitalimage process such as acquiring the feature, 3D matching to get two images pixels. Based on the relation between the object coordinate and the image coordinate that established by the camera calibration, using lease square-method to acquire 3D points coordinate. because lease square-method do not consider geometric meaning that the equation is represent for, so the measure precision is lower. A model is described which consider the equation geometric meaning, make use of crossover line to get 3D points coordinate. Key words:double camera measure; camera calibration; 3D matching; lease square-method; crossover line 对物体进行拍摄，通过提取图像上线激光在物体表面投影的0 引 言 中心像素点、像素点的立体匹配，得出测量点在两幅图像平面 上的像素坐标对，再利用成像公式计算出被测点的空间坐标。 在逆向工程中，双目视觉测量是根据激光三角法测量原理， 详细工作流程如图 1 所示。 利用两个不同方位的CCD 摄像机获取被测物体的深度信息，是 近几年国内发展较快的机器视觉测量系统。它测量速度快、精 度高，对被测物体无损伤，广泛应用于工业复杂曲面的测量。图像采集摄像机标定图像滤波分割细化 双目视觉测量系统是由两个成一定角度的 CCD 摄像机、 匹配建立数学模型3D 坐标半导体线激光器和运动控制系统组成，它将同一时刻拍摄的 两副激光条纹图像，经过特征提取和空间匹配得到一系列两 图 1 双目视觉测量系统工作流程 两对应的激光条纹的二维像素坐标。将该坐标代入摄像机标 定建立的方程中，即可得到包含空间点 3 个未知坐标值的 4 1.1 CCD 摄像机的标定个方程。传统的求解方法是利用最小二乘法求解这 3 个未知 摄像机标定是一个确定摄像机内部参数和外部参数的 参数，由于摄像机标定和数字图像处理算法的误差影响，两两 过程。标定的目的是建立物体的三维世界坐标系和图像坐 对应的二维像素坐标与摄像机光心所定义的直线实际并非相 标系之间的关系。根据小孔成像原理，三维世界坐标系到计 交直线，绝大部分为异面直线。本文提出了一种考虑方程所 算机图像二维坐标系的摄像机变换模型可以通过以下 4 个步 代表的几何意义的求解方法，利用两条异面直线公垂线的中 骤实现: ()()1物空间坐标系到摄像机坐标系的坐标变换; 2摄像点去逼近待求取的三维空间点;建立了数学模型验证这种方 ()3考虑一机坐标系和像平面坐标系的小孔透视变换; 法的可行性并证明了该方法能较大的提高测量数据的精度。 ()4实际图像坐标到计算机图像坐阶畸变的畸变模型; 最终得到关于二维像素坐标 , 和三维空间标的变换。 坐标 , , 之 ()间的关系，如式1所示: 1 双目视觉测量原理 双目视觉测量的基本原理是用两台摄像机从不同的角度 收稿日期:2006-02-28。 () () 作者简介:罗世民 1968,，男，江西进贤人，副教授，研究方向为机械设计与制造;李茂西 1976,，男，硕士研究生。 + + = 31 11 32 12 33 13 14 34 ()3 11 12 13 14 , + + = 31 21 32 22 33 23 24 34 ()= 1 21 22 23 24 () () 式2和式 3联立得到包含空间点 的 3 个未知坐标值 , , 的 31 32 33 34 4 个方程，为了求取点的三维坐标，传统的做法是利用最小二 1 式中: 矩阵的未知参数和系数 可以根据 Tsai R Y 的两步 4× 3 ()() 乘法求解式2和式3联立的超限定齐次方程组得到最优解， 法设计标定靶标进行标定计算获得。 将最优解近似的看作物体的坐标。1.2 激光条纹图像的处理 ()()本文考虑式2和式3所代表的几何意义，利用异面直线 1.2.1 滤波 的概念来求解三维空间点的坐标。如图 2 所示，像素点 , 1 由于环境光及 CCD 摄像机内、外部噪音的影响，采集得 和 , 是物体上的点 , , 在左右摄像机的 CCD 上所 2 到的二维激光条纹图像的质量有所下降，含有较多的随机噪 ()() 成的像，由于光路的可逆性，在理想模型下，式2和式3所定声点，目标特征不突出，影响了图像的分割、细化和匹配，因而 [] 1义的直线最终也必然交于该点 。但是，由于摄像机成像模型 需要用滤波算法来改善图像的质量。高斯滤波和中值滤波 并非理想的小孔成像以及 CCD 成像时噪音的影响和标定参 对激光条纹图像噪声点的去除都有较好的效果。 数的微小误差，实际这两条直线未必相交于一点，而这两条直 1.2.2 分割 (为使求 线根本不可能平行，所以这两条直线可能是异面直线图像分割是指从背景中将目标分离出来的过程。在双目 解具有普遍性，本文将相交直线视为公垂线长度为零的特殊 视觉测量中图像的目标部分是激光条纹，由于激光条纹在图 )。能够证明，在几何上，使用异面直线公垂线的中 异面直线像中的拓扑位置很重要，而其具体灰度值并不重要，采用阈值 ([])点逼近空间点 的误差较小 相关证明参见文献 3 。具体计分割算法能很好的分离图像中的激光条纹。该算法根据周围 环境光和激光光强的不同，设定一个阈值，将大于阈值的像素 []4 算中，首先计算两条异面直线的最短距离，即公垂线的长度。用白色表示，其它的像素用黑色表示，经过阈值分割可以将一 如果公垂线的长度比较短，我们就假设公垂线的中点为待求幅灰度图像转换成黑白二值图像。(点 当公垂线的长度为 0 时，两异面直线为相交直线，交点即 1.2.3 细化 由于线激光条纹投影到被测物体表面的宽度约为 1 mm ) 为待求点;如果公垂线太长，那么可以断定投影点, 和 1 左右，CCD 摄像机摄取的激光条纹图像经过滤波、分割处理 在匹配时误差太大，所求点可以忽略。, 2 后的目标特征激光条纹在宽度方向上所占的像素数目不止一 P 个像素，所以图像必须做细化处理。细化就是把一条较粗的 激光条纹沿着其中心细化成单一像素的过程。经细化处理后 的激光条纹图像要求保留原始激光条纹图像的几何和拓扑性 ZZ2 1 P P 2l I12 1质。一般采用重心算法来处理。I 2 l X1 1.2.4 2 图像匹配 oo 21 双目视觉测量中，为了求取线激光投影到物体上的投影 X 1 点所在的空间坐标，需要将物体上的一个投影点在两个 CCD 摄像机同一时刻所拍摄的两副图像上进行匹配，即是将一副 YY1 2 激光条纹图像上的目标像素点与另一副图像的目标像素点对 []图 2 双目视觉测量系统2准。在激光条纹匹配过程中需要遵从以下原则 :惟一性约 束、连续性约束、相容性约束、极线约束、顺序一致性约束。其 、 3 和 的单位向量为 如图所示，假设两条异面直线， 1 21 2 中极线约束是指一幅图像上的任一点，在另一幅图像上的对 、，为在两条异面直线上滑动的点。当|| ||值最小时 1 2 1 21 2 应点只可能位于一条特定的被称为极线的直线上。这个约束 ( )即为两条异面直线的公垂线，+ /2 为公垂线中点的坐标。 12 极大的降低了待验证的可能匹配点对的数量，把一个点在另 () 由于异面直线的公垂线与异面直线垂直容易得到式4为外一幅图像上可能匹配点的分布从二维降低到了一维。 经以上的数字图像算法处理后，即可将两副激光条纹图 =0+ + =0 1 1 11 12 221 1 2 ()即4 , + + =0 ,11 1 22 2 2 =02 2 1 2 求解方程得 1 2 1 1 2 2 1 2 =12 1 1 2 () 5 2 2 1 1 1 2 1 2 ,= 2 2 { 1 } 像提取成一系列两两对应的像素点坐标对<1 2 ，, >< , > 将求出的位置系数代入公垂线所在的直线方程中，求便于后续的计算。 1.3 数学模型的建立 P 1 将图像匹配后得到的像素点坐标对 < , l1 >< , > 代入式 P+ l 1 11 () 1，消去系数 得到关于待求物体上点的坐标 , , 的方程，如 Q 1 ()()(式2、式3所示。式中:带有上标 的参数代表左摄像机的标 ( ) x, y, z 的参数代表右摄像机的标定参数和像素点的坐标，带有上标 Q l2 2 P 2)定参数和像素点的坐标。 P+ l 2 2 2 1 + + = 31 2 11 3 12 33 13 14 34 ()2 1 , 图 3 空间点坐标求取模型 + + = 31 21 32 22 33 23 24 34 得|| || 的大小，如果|| ||小于某个设定阈值，就可近似认 1 21 2 3 结束语 为空间点坐标为+ /2。 12 随着逆向工程在工业复杂曲面测量中的广泛应用，双目2 实验验证 视觉测量技术在其中发挥了越来越重要的作用。本文介绍了 双目视觉测量的基本原理，在此基础上提出了异面直线公垂 实验采用两个 HITACHI KP-F3 型面阵 CCD，配接 8 mm 标 线中点逼近待测点的方法，实验证明:该方法能提高测量数据 准镜头，两个摄像头的基线距为 200 mm，选定标定靶标中心 的精度，减少噪声点，具有一定的实际应用意义。为原点，建立世界坐标系。标定好摄像机参数后，将靶标放在 传感器的测量范围内的任意位置，求取靶标上中心旁 4 个对 角圆孔的中心坐标。将理论值与实际求取值相比较，测量对 参考文献: 1 所示，实验证明，采用异面直线公垂线中点逼近 比结果如表[][]何斌,马天予,王运坚,等. VisualC ++数字图像处理M.北京:人 1 法能取得较高的测量精度，测量物体三维坐标点的误差不超 民邮电出版社, 2001.435-469. 过?0.05 mm;同时由于异面直线公垂线距离阈值的引入，采集 陈厚道, 周刚, 王从军, 等. 一种基于极线约束的激光条纹匹配 得到的数据噪声点有较大幅度的减少。[]2 []()算法J.计量技术, 2003,5:3-6. []3 黄家祥, 郁道银, 陈晓冬, 等. 冠状动脉树三维()/ mm 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 距离:42.426 mm 表 1 双目立体视觉测量试实验对比结果[]()重建方法 J. 天津大学学报, 2004, 37 5: x y z 左、右像素点距离误差386-391. Linda G Shapiro. George C Stockman.计算机 理论值-30.0 30.0 0.0 42.426 0 [] 4 (<123.3,132.0> []视觉M.机械工业出版社, 2005.315-317. 赵 1 -30.053 8 30.008 3 0.039 5 42.470 3 0.044 3 二乘法)<184.4,111.4> []俊红,瞿中. 数据采集的计数逻辑研究J.计 中点法-30.022 6 30.003 0 0.004 6 42.444 5 0.018 5 []6 ()算机工程与设计, 2005,262:439-441. 崔汉 理论值30.0 30.0 0.0 42.426 0 (<121.5,194.3> 国,吴梵,陈军.三维有限元数据场体绘制 算 2 二乘法29.996 0 30.013 5 0.089 4 42.433 2 0.007 2 )<184.3,179.2> []法的研究 J. 计算机工程与设计, 2005,26 []7 中点法29.966 2 30.009 2 0.066 6 42.409 1 -0.016 9 ()6:1508-1510. 0.0 42.426 0 -30.0 -30.0 理论值 (<367.3,131.5> Canero C, Radeva P, Toledo R, et al. 3D curve 3 二乘法-29.953 4 -30. 022 8 -0.192 1 42.410 0 -0.015 9 )<377.3,373.6> [][]中点法-30.016 9 -30.004 4 -0.123 9 42.441 7 0.015 7 8 reconstruction by biplane snakes C. Barce- 理论值30.0 -30.0 0.0 42.426 0 lona: IEEE 15th International Confe-rence on (<366.0,197.8> 4 二乘法29.967 9 -29.980 5 -0.108 5 42.390 1 -0.035 9 ()Pattern Recognition, 2000,4:563-566. )<437.0,117.9> 中点法30.000 9 -30.016 9 0.042 3 42.439 0 0.013 0 () 上接第 3579 页 4 月 23 日已经顺利通过山东省教育厅的技术鉴定。 智能化机动车性能检测 参考文献: [][]1 <<汽车综合性能检测>>编写组.汽车综合性能检测M. 上海:最 最 高 低 上海科学技术文献出版社, 1999. 稳 稳 滑 加 制 油 退 定 定 行 速 动 耗 出 []顾国瑞. 汽车检测诊断技术的应用与发展 J. 云南交通科技, 车 车 检 检 检 检 系 ][2 速 速 测 测 测 测 统 ()检 检 2000, 161:1- 4. 测 测 []()孙骏. 智能型机动车性能综合测试仪J.机电工程, 1997,141: []3 21. []图 6 上位机软件陈平.非接触测速信号的接口设计J.山东工程学院学报, 1995, []4 ()92:7-9. 耗仪之间的对比试验并给出如下的测试结论该仪器检测内: []胡大可. MSP430 系列 FLASH 型超低功耗 16 位单片机 M. []5 北京: 北京航空航天大学出版社, 2001. 李肇庆,韩涛.串行端口容和检测过程符合国家汽车质量检验的有关标准和试验方法; []该仪器体积小、质量轻，中文人机界面给使用操作带来极大 技术M.北京:国防工业出版社, 2004. 王宜怀,俞伟清,林国永. []串行异步通信模式下数据采集系统实 时性的研究 J.微计算 []6 方便三者对比试验结果基本一致，该仪器测试数据稳定可; ()机应用, 2001,221:35-39. 史国生,张为公.非接触光电式速度 [] 7 靠、重复性好;该仪器在速度的分辨率和实时性等方面高于 []()传感器的研究与应用J.传 感器技术, 2002,2110:37-39. 其它两种仪器。 []NIIT 公司.C#实用全书M.北京:电子工业出版社, 2002. []8 由国家机械工业局农用运输车鉴定试验山东检测二站所 作的对比试验可以看出，我们所开发的智能化机动车性能检 测系统功能完善，已经达到了预期的目标且该系统于 2005 年 []9