基于立体视觉的目标姿态测量技术

自动化测试 计算机测量与控制 . 2007 . 15 ( 1) 　Computer Measurement & Control 　 　·27 · 中华测控网 chinamca. com 收稿日期 :2006 - 04 - 17 ; 　修回日期 :2006 - 05 - 20。 作者简介 :胡宝洁 (1981 - ) ,女 ,河南南阳人 ,硕士研究生 ,主要从事 图像信息处理方向的研究。 曾　峦 (1963 - ) ,男 ,广东梅县人 ,教授 ,主要从事图像信息处理方 向的研究。 文章编号 :1671 - 4598 (2007) 01 - 0027 - 02 　　　　　　中图分类号 : TP391 　　　　　　文献标识码 :A 基于立体视觉的目标姿态测量技术 胡宝洁1 , 曾 　峦2 , 熊 　伟2 , 赵忠文2 (1. 装备指挥技术学院 研究生院 , 北京 　101416 ; 2. 装备指挥技术学院 重点实验室 , 北京 　101416) 摘要 : 基于动态场景分析的计算机视觉系统尤其是对运动目标的运动参数测量已成为计算机视觉研究的热点 ; 建立了基于双目立体 视觉的目标姿态测量系统 , 使用两个摄像机在不同视角对同一目标进行拍摄 , 采用 DL T 方法对摄像机标定 ; 对拍摄到的图像进行去噪、 滤波 , 通过立体图像匹配得到特征点在两幅图像中的同名点 , 姿态参数求解结合 DL T 算法和立体图像匹配算法 , 实现了对目标姿态参 数的测量 , 得到了目标的三维姿态信息 ; 实验结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明 , 该测量系统结构简单 , 计算量小 , 具有较高的测量精度。 关键词 : 双目立体视觉 ; 摄像机标定 ; 姿态参数 Object Pose Measurement Technique Based on Stereovision Hu Baojie1 , Zeng L uan2 , Xiong Wei2 , Zhao Zhongwen2 (1. Department of Postgraduate , Academy of Equipment Command & Technology , Beijing 　101416 , China 2. Key Laboratory , Academy of Equipment Command & Technology , Beijing 　101416 , China) Abstract : The computer vision system based on dynamic scene analysis has been a key research problem recently , especial for t he move2 ment parameters of t he moving object s. So , a pose measurement system was established based on binocular stereovision. Two cameras were used to shot t he same object , and t he camera was calibrated wit h DL T algorit hm. The image shot was filtered , and t hen feature point was found on two camera planes wit h stereo image matching , finally , t he pose parameters algorit hm combined DL T and stereo image matching to get t he 3D attit ude information. The experiment shows t hat t he measurement system is simple wit h small calculation and well precision. Key word word文档格式规范word作业纸小票打印word模板word简历模板免费word简历 : binocular stereovision ; camera calibration ; pose parameter 0 　引言 计算机视觉的研究目标是使计算机具有通过一幅获多幅图 像认识周围环境信息的能力 , 这种能力不仅能使机器感知 (测 量) 环境中物体的形状、位置、姿态、运动等几何信息 , 而且 能对它们进行描述、存储、识别与理解。计算机视觉不但适用 于大部分需要人类视觉的场合 , 而且适用于许多人类视觉无法 感知的场合 , 如精确测量、危险场景感知、不可见物体感知 等 [1 - 3 ] 。 近年来 , 基于动态场景分析的计算机视觉系统尤其是对运 动目标的运动参数测量已成为计算机视觉研究的热点。开展此 项研究具有深远的理论和实际意义 , 它将广泛应用于航空、航 天器的运动分析 , 地面机动目标试验碰撞运动分析等领域。本 文建立一种基于双目立体视觉的测量系统 , 利用摄像机获得实 时图像 , 通过对摄像机参数的精确标定和图像分析处理完成运 动目标的姿态参数测量。 1 　立体视觉测量原理 建立如图 1 所示的基于双目立体视觉的目标姿态测量系 统 , 使用两个摄像机在不同视角对同一目标进行拍摄 , 通过采 用摄像机标定、立体图像匹配、姿态参数求解等关键技术 , 实 现对目标姿态的测量 , 得到目标的三维姿态信息。 111 　摄像机标定 图 1 　参数测量系统示意图在使用双目立体视觉系统进行测量时 , 首先必须对摄像机进行内、外参数标定 , 建立测量坐标系基准 [4 ] 。摄像机模型采用小孔透视模型 (pin - hole model) , 如图 2 所示。设 ( Xw ,Y w , Zw ) 是三维世界坐标系中物点 P 的三维坐标 , ( x , y , 图 2 　带有一阶径向畸变的小孔模型 z) 是同一点 P 在摄像机坐标系中的三维坐标。将摄像机坐标 系定义为中心在 O 点 (摄像机的光心) , 且 z 轴与光轴重合的 坐标系 ; O X Y 是图像坐标系 , 其中心在 O 点 (光轴与图像平 　·28 ·　 计算机测量与控制　 第 15 卷 中华测控网 chinamca. com 面的交点) , X , Y 轴分别平行于摄像机坐标系的 x , y 轴。 ( X u , Y u) 是在理想小孔摄像机模型下的 P点的图像坐标 , 单 位为 mm , ( X d , Y d ) 是由透镜径向畸变引起的偏离 ( X u , Y u) 的实际图像坐标 ; ( u , v) 是计算机图像坐标系中 P 点的 图像坐标 , 单位是像素 (pixel) 。有效焦距 f 是光学中心到图 像平面的距离。 我们选择一个世界坐标系做为基准坐标系 , 三维空间坐标 系到摄像机坐标系的变换 , 即从 ( Xw , Y w , Zw ) 到 ( x , y , z) 的变换为 : x y z = R Xw Y w Zw + T (1) 式中 , R和 T 分别为从世界坐标系到摄像机坐标系的旋转和平 移变换 , 反映的是摄像机坐标系与世界坐标系之间的位置关系 , 称为外参数。R是一个 3 ×3 的正交矩阵 ,由α(俯仰角) 、β(旋转 角) 、γ(倾斜角)三个自由度决定。T是 3 ×1 的平移向量。 所采用的摄像机标定算法是直接线性变换法 (DL T) 。直 接线性变换的模型是 u = xw l1 + yw l2 + zw l3 + l4 xw l9 + yw l10 + zw l11 + l12 v = xw l5 + yw l6 + zw l7 + l8 xw l9 + yw l10 + zw l11 + l12 (2) 式中 , ( xw , yw , zw ) 是三维物体空间中控制点的坐标 , ( u , v) 是图像上对应于三维控制点的图像点的坐标 , l i 是直接线 性变换方法的待定参数。不失一般性 , 令 l12 = 1 , 如果知道 N ( N > 5) 个 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 参照物的控制点的坐标 ( xw , yw , zw ) 及其对 应的图像上的坐标 ( u , v) , 11 个参数就可以利用线性最小二 乘算法计算。 112 　目标姿态参数的求解 目标姿态测量的首要条件是处理出各特征点在摄像机像面 坐标下的三维坐标。在基于双目立体视觉的运动目标姿态参数 测量系统中 , 同一特征点分别在两个摄像机中成像 , 每一对摄 像机标定后 , 可以得到两组 DL T 参数 , 即两个空间直线方程 , 利用立体图像匹配算法求得同名像点图像坐标 , 得到空间位置 坐标 ( X , Y , Z) 。 设左、右相机的 DL T 参数分别为 : L Li , RLi ; i = 1 , 2 , . . . . , 11。同名像点图像坐标分别为 : ( L I , L J ) , ( R I , RJ ) 。利用标定方程就可得到下式 : ( L L1 + L L9 ×L I ) ×X + ( L L2 + L L10 ×L I ) ×Y + ( L L13 + L L11 ×L I ) ×Z + ( L L4 + L I ) = 0 ( L L5 + L L9 ×L J ) ×X + ( L L6 + L L10 ×L J ) ×Y + ( L L7 + L L11 ×L J ) ×Z + ( L L8 + L J ) = 0 ( RL1 + RL9 ×R I ) ×X + ( RL2 + RL10 ×R I ) ×Y + ( RL3 + RL11 ×R I ) ×Z + ( RL4 + R I ) = 0 ( RL5 + RL9 ×RJ ) ×X + ( RL6 + RL10 ×RJ ) ×Y + ( RL7 + RL11 ×RJ ) ×Z + ( RL8 + RJ ) = 0 (3) 　　用最小二乘法可变换成下式 : A00 ×X + A 01 ×Y + A02 ×Z = C0 A10 ×X + A 11 ×Y + A12 ×Z = C1 A20 ×X + A 21 ×Y + A22 ×Z = C2 (4) 由此解得空间位置坐标 ( X , Y , Z) 。 观察坐标系和目标坐标系之间的变换关系可用一个旋转矩 阵 R(正交矩阵) 和一个平移向量 t 来表示 ,其中旋转矩阵 R为 R = r11 r12 r13 r21 r22 r23 r31 r32 r33 (5) 　　旋转矩阵共有 9 个参数 , 实际上只有 3 个自由度。用绕 X , Y , Z 三个坐标轴的旋转角 , 即倾斜角φ, 偏转角θ, 俯仰 角ψ来表示 : R = cosθcosψ cosθsinψ - sinθ sinφsinθcosψ- cosφsinψ sinφsinθsinψ+ cosφcosψ sinφcosθ cosφsinθcosψ+ sinφsinψ cosφsinθsinψ- sinφcosψ cosφcosθ (6) 由此可得运动目标的偏转角、倾斜角和俯仰角 : φ = arctan ( r23 r33 ) (7) θ= - arcsin ( r13 ) (8) ψ = arctan ( r12 r11 ) (9) 　　从而得到运动目标的三维姿态参数。 2 　实验结果 实验采用焦距为 12mm 的普通 CCD 摄像头获取图像 ; 使 用灰度级为 256 的黑白图像采集卡 , 分辨率为 768 ×576。在 标定物上选取 10 个特征点 , 测出它们的世界坐标值 , 单位为 mm , 采集到的图像经滤波、去噪、立体图像匹配处理后得到 各特征点在左、右像机的图像坐标值 , 单位为 pixel , 如表 1 所示。 表 1 　特征点的世界坐标值以及在左、右摄像机像面的图像坐标值 世界坐标值 右图像坐标值 左图像坐标值 0 (101 , 121 , 0) (357 , 326) (387 , 333) 1 (40 , 20 , 0) (304 , 421) (314 , 437) 2 (140 , 81 , 0) (402 , 370) (434 , 376) 3 (80 , 161 , 0) (330 , 282) (361 , 289) 4 (360 , 761 8 , - 171 8) (655 , 380) (691 , 364) 5 (300 , 971 5 , - 171 8) (585 , 354) (622 , 345) 6 (280 , 178 , - 1718) (558 , 268) (604 , 259) 7 ( - 140 , 6015 , - 3613) (138 , 351) (105 , 376) 8 ( - 140 , 121 , - 3613) (185 , 296) (169 , 314) 9 ( - 4012 , 182 , - 3613) (218 , 239) (215 , 249) 由此可以得到左、右摄像机的 11 个 DL T 参数 L L 和 R L , 如表 2 所示 , 标定精度为 1168 ‰。 表 2 　左、右摄像机的 11 个 DL T 参数 0 1 2 3 4 5 6 7 8 9 10 RL - 0195101191 01608 - 2561378 01002 11058 - 01251 - 4361969 010002 - 010003- 010007 LL - 1118101119 01334 - 2671136010097 11359 - 01209 - 4581344 61631 - 010003- 010011 在目标物体上选取观测点 P1和 P2 , P1在左、右摄像机像 面的图像坐标值 (单位 :pixel) 分别为 (177 ,418) , (199 ,393) ; P2在左、右摄像机像面的图像坐标值分别为 (76 , 293) , (106 , 273) 。计算得到 P1 的空间坐标 (单位 : mm) 为 ( - 801235 , 191988 , - 361342) , P2 的空间坐标为 ( - 1601621 , 1401753 , - 361566) , 则计算得到| P1 P2 | = 1451073mm , 实际测量值为 14415mm , 相对误差为 01004。 (下转第 61 页) 第 1 期 谭思云 , 等 : 新型控制理论在超细粉末自动包装机中的应用研究 　 ·61 ·　 中华测控网 chinamca. com 图 5 　PL C 算法程序 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图 坡响应的负超调量的大小 , 尽量取最大 ; K4 - 控制着 零带中斜坡响应的正超调量的大小 , 所以为了减小正 超调量 K4 - 也尽量取最大 ; K3 + 控制允许偏差上限的 可靠程度 , 一般取值要比 K4 + 小一点 ; K3 - 控制允许 偏差下限的可靠程度 , 一般取值要比 K4 - 小一点 ; K2 + 控制在斜坡响应中上升时间的大小 , 即 K2 + 越大 系统的超调量要增加 , 所以 K2 + 尽量要小一点 ; K2 - 控制着正超调后的下降趋势 , 因此 K2 - 应当取相对较 小 ; K1 + , K1 - 在稳态区域内对误差变化率进行微调 , K1 + 的控制作用较小而且时间较短 , 所以在取值时应 该尽量要小 ; K1 - 对系统的影响也不是很大 , 所以取 值一般是大于零 , 同样也要尽量小 ; K0 控制系统中稳 态误差的大小 , 即它对斜坡响应部分几乎不会有影响。 根据具体实验数据 [1 ] 所得 , 采用九点控制器要比采用 传统的经典 PID 控制或者模糊控制能更好地更加稳定 地输出 , 对粉末自动包装机在自动包装过程中起到重 要的作用。为了提高超细粉末自动包装机的包装速度 , 而且在 这一阶段中对精度 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 不是很高 , 所以在工频带和缓冲带就可 以不采用九点控制器的控制方法。 对包装机的控制来说 , 要使粉末包装机达到工业精度要 求 , 可以从两个方面进行调整 , 一方面是从零带 ( r - e0 ) 的 大小或者零带 ( r - e0 ) 的下料速度 , 这是直接影响系统的包 装速度的两个重要因素 ; 另一方面是可以调整九点控制器的参 数 , 这样可以在零带中保证一个更加稳定的下料输出 , 这样可 以提高下料的速度 , 不过这只能实现微调。因此 , 可以根据粉 末包装精度的具体要求和电机带动设备的具体参数 , 对各种参 数进行设计。 4 　超细粉末自动包装机的控制程序设计 在系统设计过程中 , 控制程序的设计是整个控制系统的灵 魂。在这一设计中 , 采用 OMRON 系列 PLC 进行控制 , 因此控 制算法必须要在 PLC的程序中实现。在程序的编写过程中要注 意程序中按钮输入的自保等问题。程序编写主要分为 3 个部分 : 工频带的程序设计、缓冲带的程序设计 , 还有就是零带的程序 设计。特别是在零带的程序设计中采用了九点控制器在斜坡响 应中的控制策略 , 算法比前面的复杂。在超细粉末自动包装机 的算法设计中采用九点控制器的控制算法 , 因此要使用很多比 较语句和子程序。具体的程序流程图如图 5 所示 , 在流程图中 前面一部分是对粗下料的控制 , 后面一部分是对细下料的控制 , 主要是通过比较算法来实现的 , 特别值得一提的是 , 在最后的 九点控制器的比较框中 , 是九点控制器几个重要的参数分别组 成的 9 种情况进行比较后 , 选择相应的比例输出。在图 5 所示 的程序流程图中 , a0 表示前一次从秤量单元采样到的数据 ; a1 表示本次从秤量单元采样到的数据 ; E1 表示设定值与本次采样 值之间的偏差 ; E0 表示前一周期设定值与前一周期采样值的偏 差 ; E表示在零带 r - e0 中的偏差变化率 , 即 E = E0 - E1T , T为 采样周期。在程序中 , 按一定周期无条件跳转到采样过程 , 采 样值再进行比较运算输出 , 通过反复的采样比较选择适当的输 出 , 直到达到包装结束。 5 　结束语 在超细粉末自动包装机中采用新型控制理论 , 简化了控制 策略 , 提高了超细粉末自动包装机的精度和包装速度 , 满足了 一般 PID 控制或者模糊控制不能达到工业中高要求的包装精度 和速度 , 为新型智能控制理论在实际工业中的应用铺平了道路。 参考文献 : [ 1 ] 王　振 , 刘彦春 , 张南纶. 基于九点控制器的斜坡跟踪 [J ] . 计 算机仿真 , 2005 , 22 ( 6) : 266 - 271. [2 ] 谭思云 , 周建中. 一种新型的智能控制器———九点控制器 [J ] . 华中科技大学学报 , 2003 , 31 ( 12) : 41 - 43. [ 3 ] 谭思云 , 徐武雄. 九点控制器的动态性能研究 [J ] . 武汉理工大 学学报 , 2002 , 24 (11) : 78 - 79 , 96. [ 4 ] 谭思云 , 徐武雄. 九点控制器的相平面分析 [J ] . 武汉理工大学 学报 (信息与管理工程版) , 2002 , 24 (5) : 114 - 116. [ 5 ] 李伯胜 , 丁黎光 , 李春柏. 超细粉末自动包装机 PLC 控制系统的 设计 [J ] . Guangxi Machinery , 2002 , (1) : 26 - 29. [ 6 ] 孙晓明. 九点控制器控制精度的仿真研究 [J ] . 武汉理工大学学 报 , 2002 , 24 (5) : 91 - 94. (上接第 28 页) 3 　结论 本文建立了基于双目立体视觉的目标姿态测量系统 , 使用 两个摄像机在不同视角对同一目标进行拍摄 , 通过采用摄像机 标定、立体图像匹配算法以及姿态参数求解等关键技术 , 实现 对目标姿态的测量 , 得到目标的三维姿态信息。由实验结果可 以看出 , 该测量系统简单实用 , 计算量小 , 无需计算出摄像机 的内外参数 , 具有较高的测量精度。主要缺点是测量范围有 限 , 同时在实时性方面有待于做进一步的研究。 参考文献 : [ 1 ] 吴立德. 计算机视觉 [ M] . 上海 : 复旦大学出版社 , 1993. [ 2 ] 吴焕明 , 方　漪. 基于计算机立体视觉的图像测量技术 [J ] . 工 程图学学报 , 2002 , (4) : 60 - 67. [ 3 ] 张　超 , 沈振康 , 张淑琴. 基于立体视觉的测量技术 [J ] . 系统 工程与电子技术 , 2002 , 24 (9) : 126 - 129. [ 4 ] 肖永利 , 张　琛. 运动物体位移及姿态参数的一种图像测量方法 [J ] . 机器人 , 2001 , 23 (3) : 266 - 269.