基于非线性逆透视变换的摄像机畸变参数标定

第 42卷 第 1O期 2008年 1O月 上 海 交 通 大 学 学 报 JOuRNAL OF SHANGHAI儿A0T0NG UNIVERSITY VoI．42 NO．10 Oct．2008 文章编号：1006—2467(2008)10—1736—04 基于非线性逆透视变换的摄像机畸变参数标定 李 颢 ， 杨 明 (上海交通大学 电子信息与电气 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院，上海 200240) 摘 要：为实现摄像机畸变参数标定，提出了一种基于非线性逆透视变换模型的标定新方法．根据 线性透视变换模型和畸变模型推导出非线性逆透视变换模型，以及逆透视变换参数与畸变参数之 间的关系；在此基础上，建立以畸变参数为最优解的泛函，然后进行优化搜索求解．在优化搜索中， 采用改进牛顿法确定搜索方向，然后，采用试探法沿搜索方向进行一维搜索．该方法仅需对数 目较 少的畸变参数进行优化搜索，可大幅降低优化搜索的维度和复杂度．仿真和实验结果表明：该方法 正确有效，求解精度较高． 关键词：摄像机畸变；非线性逆透视变换；标定；视觉；移动机器人 中图分类号：TP 242．6 文献标识码 ：A A Nonl inear Inverse Perspective Transform Based Method for Camera D istortion CaIibration LI Hao， YANG M ing (School of Electronic，Information and Electrical Engineering， Shanghai Jiaotong University，Shanghai 200240，China) Abstract：Camera distortion calibration plays an indispensable role in the research of robot vision．A non— linear inverse perspective transform based method was proposed．In the light of linear perspective model and distortion model，a nonlinear inverse perspective model as well as the relation between inverse perspec— tire transform coefficients and distortion coefficients was derived．A function with distortion coefficients as lhe optimum was put forward and optimized．Because only few distortion coefficients are optimized，the optimization dimension and complexity are largely reduced．During optimization，the search direction is de— termined by improved Newton method and a try and error linear search method is carried out along the search direction． Both the simulation and experiments verify the effectiveness and high accuracy of the method． Key words：camera distortion；nonlinear inverse perspective；calibration；vision；mobile robot 摄像机畸变参数(以下简称畸变参数)是影响摄 像机成像和图像分析效果的重要因素，因而畸变参 数标定在机器视觉、自主移动机器人等方面的研究 中有着重要的意义．在国内外已有的研究报道中，经 收稿 日期 ：2007—09—12 基金项目：欧盟第六框架 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 资助项目(EC—FP6 IST一028062)；上海科委登山计划资助项目(062107035)； 上海科委浦江人才计划资助项目(07pj14055) 作者简介：李 颢(1984一)，男，湖南湘潭人，硕士生，研究方向为机器视觉、智能车辆导航． 杨 明(联系人)，男，副教授，电话(TeI_)：021—34204553；E—mail：mingyang@sjtu．edu．cr1． 第10期 李 颢，等：基于非线性逆透视变换的摄像机畸变参数标定 典的畸变参数标定方法是根据摄像机成像模型，建 迂一个以摄像机内、外参数为最优解的泛函，采用两 步迭代法或非线性优化搜索等方法求解出该泛函的 最优解 ]．这类方法考虑到了摄像机内、外参数， 求解精度高，但计算量较大；大量的内、外参数间的 相互影响可能使求解的过程不收敛或产生错误的结 果．另一类方法是利用共线点在理想图像上依然共 线的性质求解满足该性质的畸变参数 “]．这类方 法较为简单，但易受局部成像特性的影响，求解精度 低于第一类方法．文献1-53中提出一种新的畸变参数 计算方法，先使用图像中央区域的标定点计算线性 透视变换，再计算畸变参数．该方法虽然简单，但求 解精度依赖图像中央区域的成像特性，求解精度也 低于第一类方法． 为了寻找兼顾求解效能和求解精度的标定方 法，本文提出了一种基于非线性逆透视变换模型的 标定新方法．根据线性透视变换模型和畸变模型推 导出非线性逆透视变换模型，以及逆透视变换参数 与畸变参数之间的关系；在此基础上，建立以畸变参 数为最优解的泛函，然后进行优化搜索求解．在优化 搜索中，采用改进牛顿法确定搜索方向，然后采用试 探法沿搜索方向进行一维搜索． 1 非线性逆透视变换模型 用(X ，Y ，Z )和( ， )分别表示三维空间中 一 点的世界坐标和对应的理想图像坐标．理想的线 性透视变换关系 为 Z U — M 3×4X4×1 (1) 式中：u—Eu， ，1] ；x l一[x ，y ，Z ，1] ．特殊 情况下，如果标定点集合都位于三维空间的一个平 面上，则可以取该平面为 x 一y 平面(Z 一0)建 立世界坐标系，以下略去 z ，只以(X ，Y )表示标 定点的世界坐标．则式(1)可转换为 Z U — M 3)(3 ×1 (2) 式中，x。 一[x ，Y ，1-1 ．进一步转换得出逆透视 变换关系： 1 1 ] ×1一乙M 3U一去N3×3U一 l n4 n5 1"16 lU p p 。 1 J (3) 式中， ， 。，⋯， 。为逆透视变换参数． 摄像机畸变包括径向、离心和薄棱镜畸变[2]．在 多数应用场合下，仅考虑径向畸变的前 1、2项，因 此 ，本文采用如下的畸变模型l】]： f~(vd ,Vo,k) -厂 1 1 1 0 0 0 0 0 0 f 1 fo1 1 {烈 { 1 0 0 0 0 0 0 {悄 { 1 n—En1， 2，⋯， 8] 一 厂 1X 1 一 1X 1 一 厂 】y 1 一厂 ly l — f x wN—fvNX N 一 } YwN—f Y N B—EX 1 Y ⋯ X N Y N] 式(6)是线性方程组，采用最小二乘法求出 n， 得到逆透视变换参数 ，n。，⋯， 关于畸变参数的 函数关系式 ： n— EW(k) W(k)] W(k) B (7) 2 畸变参数标定方法 2．1 构造以畸变参数为最优解的泛函 在式(5)中，消去 ，并把式(7)代入可得 y J 由前述过程可知，当 k是畸变参数时，则关系 式：x (是)一X ， (志)一yw 成立；否则，该关系式 不成立．因此 ，构造如下的泛函： (愚)一∑ [(x (忌)一X ) +(Wl (走)--y )。] 上 海 交 通 大 学 学 报 第42 I』!lJ求解畸变参数转换成了如下最优求解问题： 一 arg minJ(是) (10) l}{于该最优求解问题只需对较少的畸变参数进行优 化搜索，相比文献[2]中的方法可以大幅降低优化搜 索的维度和复杂度． 2．2 最优化搜索方法 整个优化搜索的初值取 k一(0，0)．在每一轮优 化搜索中，采用改进牛顿法确定搜索方向_7]，即满足 厅程 ： ‘，(忌)·d一一 J(是) 的解 d为搜索方向，再沿搜索方向进行一维搜索． 书文采取一种试探法进行一维搜索，步骤如下： (1)确定初始步长 n和b，令 b：一2a； (2)若 J(k+ da)≤ J(k)，k ：一 k+ da； “：一2a，b：一2a；回至(2)；否则 ，继续 ； (3)若 J(k+ db)≤ J(k)，K ：一k+ db， ，J：一2b；回至(2)；否则 ，继续 ； (4)若 ‘，( 一db)≤-，(k)， ：一k—db，b：===2b； ll1]至(2)；否则 ，继续； (5)a ：=a／2，b ：一2b，如果 n≤ resolution， ( ：=resolution(resolution为求解精度)或者 b> ㈦ (6n 是根据 经验 班主任工作经验交流宣传工作经验交流材料优秀班主任经验交流小学课改经验典型材料房地产总经理管理经验 选取 的阈值)，则停止一 维搜索；否则，回至(2)． 步长 a的作用是保证收敛的精度．如果仅采用 步长a，实验结果表明搜索过程可能会收敛到局部 做小值，导致整个优化搜索得到错误的结果，引入步 K b且沿 2个方向进行试探(步骤(3)、(4))是为 了 避免搜索陷入局部极小值． 当优化搜索结果与上一轮优化搜索结果的相对 化小于选定的阈值时，停止整个优化搜索过程 ；否 则，进行新一轮的优化搜索． 3 实 验 3．1 数值仿真实验 设图像分辨率为 640×480，摄像机主点的图像 标为(320，240)，选取标定点数为 40，这些标定点 基本覆盖整幅图像．给定逆透视变换参数 、标定点图 像坐标和畸变参数 k 、k。的理论值 ，并由式(8)求 出 怀定点的世界坐标 ，并以此作为标定点世界坐标 的 理论值． 实验中，假定畸变参数 k 、k。和逆透视变换参 数均为未知量 ，根据标定点 的图像坐标和世界坐标 世行求解．求解结果如表 1所示，其相对误差为 ． O0 ，与理论值完全一致．考虑实际应用中存在各 种光电噪声因素和等效的噪声因素，进行了有噪声 工况下的仿真实验．在标定点图像坐标上叠加量 为0、 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 差为 3像素的高斯白噪声，重新使用 方法求解畸变参数，求解结果见表 1．由表可见 的相对误差为 1．4 ，k 的相对误差为 6．3 ． 表 1 3种方法所得 结果对 比 Tab．1 The result comparison of three methods 采用文献[3，5]中的方法与本文方法进行比 求解结果见表 1．由表可见，无论是在无噪声还 噪声的情况下，本文方法的标定误差都远小于 [3，5]中方法的标定误差，而且，即使在无噪声自 想情况下，文献[3，5]中方法的求解结果仍存 差．这是因为文献[3，5]中的方法都是建立在某 似假设之上(为方便求解过程)，而这些近似假 有效性易受噪声干扰的影响，即使在理想情况] 会导致一定的求解误差． 在实际应用中，尼 的标定结果将主导图像阻 校正的效果．由表 1可见，用本文方法的 k 标 果的相对误差在有噪声情况下仍不超过 2 ， 较高的精度，可以满足实际应用的需要．进一步 表明，在有噪声的情况下，随着选取的标定点增 标定结果也越准确． 3．2 真实图像实验 采用生活中常见的网格状物体，如天花板、土 砖等．图像分辨率为 640×480，如图 1(a)所示， 平行线的交点作为标定点．手工获取这些标定 《 图像坐标，用本文方法进行标定，其结果为 k 0．998 x 10 ，k2(R1)一5．130 x 10 ．用求解的宝 对图 1(a)进行畸变校正而复原 出的正投影 图女 1(b)所示． | 。 (a)原始图 (b)复原出的正投影} 图1 真实图像实验结果 Fig．1 Experiments on real images 第10期 李 颢，等：基于非线性逆透视变换的摄像机畸变参数标定 从直观上看，畸变校正的效果不错，比如，原始 【 中弯曲的“直线”在复原的正投影图中恢复了笔直 『I勺原样． 采用文献[3，5]中方法进行对比，求解出的结果 分别为 k1(R2)===0．634×10 ，k2(R2)一2．035 X 10 。 和 k1(R3)一0．749 X 10 ，k2( 一2．228 X 10 。．取图 像中畸变较大的 4个点 A、B、C、D作为测试点，校 验不同方法的畸变校正效果．经过计算，本文和文献 [3，5]中方法复原的测试点平均位置误差分别为 0．31、1．19和0．95 cm，如表 2所示．由表可见，采用 本文方法后，测试点复原后的位置偏差明显减小，说 明本文方法具有更高的求解精度． 表 2 测试点 复原的位置偏差 Tab．2 Position error of recovered test points am eA eB ec PD 平均 本文 0．66 0．17 0．23 0．19 0．31 文献[3] 1．79 0．73 I．38 0．86 I．19 文献[5] 1．59 0．61 0．65 0．96 0．95 4 结 语 本文介绍了一种基于非线性逆透视变换模型的 摄像机畸变参数标定方法．该方法利用非线性逆透 视变换模型推导出逆透视变换参数与畸变参数之间 的关系；在此基础上，建立以畸变参数为最优解的泛 函并进行优化搜索求解．由于该方法仅需对数 目较 少的畸变参数进行优化搜索，故大幅降低了优化搜 索的维度和复杂度．实验结果表明，本文方法正确有 效且求解精度高． 参考文献： [1] Tsai R Y．A versatile camera calibration technique for high—。accuracy 3D machine vision metrology using off—‘ the—shelf TV cameras and lenses[J]．IEEE J of Robot— ics and Automation，1987，3(4)：323—344． [2] Weng J，Cohen P，Herniou M．Camera calibration with distortion models and accuracy evaluation[J]． IEEE Trails on PAMI，1992，14(10)：965—980． [3] 肖 鹏，朱利民．一种镜头几何畸变标定的快速算法 [J]．机械制造，2005，43(488)：27—29． XIA0 Peng． ZHU Li—min． A fast way to resolve camera distortion coefficients[J]．Machinery，2005， 43(488)：27-29． [4] Wang J H，Shi F H，Zhang J，et a1．A new calibra— tion model and method of camera lens distortion[c]／／ Proc of IEEE lnt Conf Oil Intdligent Robo~ and Systems．Bering：IEEE Press，2006，5713—5718 [5] Wang J，Lu N G，Dong M L，et a1．A new method for linear camera calibration and nonlinear distortion correction[C]／／Proe of SPIE，6280．Washington： SPIE Press，2006，62802O． [6] 宋雪峰，杨 明，王 宏．基于网格状纹理的简易摄 像机标定方法[J]．计算机工程与应用，2002，38(7)： 72—74． SONG Xue-feng，YANG Ming，WANG Hong．A cal— ibration method based on grid texture[J]．Computer Engineering and Applications，2002，38(7)：72—74． [7] 陈宝林．最优化理论和算法．[M]．2版．北京：清华大 学 出版社 ，2005． 上海软土地区地铁车站深基坑的变形特性 丁勇春 ， 王建华 ， (1．上海交通大学 土木工程系，上海 200030；2． 徐 中华 ， 陈锦剑 华东建筑 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 研究院有限公司，上海 200002) 摘 要：通过对上海软土地区地铁车站基坑实测数据的分析，探讨 了基坑围护结构变形、坑外土体变形及地表沉降 的一般规律．结果表明：上海软土地区地铁车站基坑围护结构的最大侧向位移为开挖深度的 O．O4 ～O．6 ，平均 值 为 0．3 ；围护结构侧 向变形通 常为深层凸鼓形 ，围护结构最 大侧移 点深度 一般位 于开挖 面以上 1．5m 至 开挖 面 以下7m；基坑周边最大地表沉降为开挖深度的O．05 ～O．7 ，为围护结构最大侧向变形的0．4～1．0；采用钻孔灌 注桩结合高压旋喷桩止水帷幕的地铁车站基坑的变形控制通常优于地下连续墙和 SMW 工法．