运动物体位移及姿态参数的一种图像测量方法

文章编号: 100220446 (2001) 0320266204 运动物体位移及姿态参数的一种图像测量方法α 肖永利　 张　琛 (上海交通大学信息存储研究中心　上海　200030) 摘　要: 利用散焦图像深度估计原理, 给出了一种运动物体移动距离和姿态的测量方法, 并对图像特征点的获 取和跟踪方法作了研究. 该测量方法首先在物体上设置了四个明暗分明的圆形特征点, 然后根据物体运动过程中特 征点图像边缘的模糊程度, 测量计算物体沿摄像机光轴的移动距离. 当物体发生倾斜后, 可由被测量的四个特征点 沿光轴的移动距离值不同来计算物体的倾斜角. 该方法仅需一台摄像机, 测量原理简单, 计算量小, 能满足实时性要 求, 并具有一定的测量精度. 关键词: 散焦; 图像测量; 特征点跟踪 中图分类号: 　T P24　　　　文献标识码: 　B M EASUR ING D ISPLACEM ENT AND ATT ITUD E OF MOV ING OBJECTS BASED ON THE BL UR IN D EFOCUSED IM AGES X IAO Yong2li　ZHAN G Chen ( Inf orm a tion S torag e R esearch Cen ter, S hang ha i J iaotong U n iversity , 　S hang ha i　200030) 　Abstract: A m ethod fo rM easuring disp lacem ent and att itude of smod on the b lu r in defocused im ages w as studied in th is paper. T he track ing algo rithm fo r im age m arkers w as also p resenred. Four part icu lar m arkers w ere set on the moving ob jects. T he disp lacem ents of four m arkers w ere calcu la ted respectively by the b lu r of their defocused im ages. T he disp lacem ent of moving ob jects along op tical ax is w as the average of four disp lacem ents of m arkers, and the att itude angle w as calcu la ted by the disp lacem ents of tw o diagonal m arkers. T he experim ental resu lts show that the p resen ted m ethod w as simp le, less calcu la t ion, and cou ld satisfy the requ irem ents fo r m easurem ent in real t im e. Its erro rs w ere also accep tab le. 　Keywords: defocused im age, disp lacem ent and att itude m easuring, track ing algo rithm 1　引言 ( In troduction ) 利用图像方法对运动物体进行识别与测量是计 算机视觉领域内的一个主要研究内容. 在以往的研 究中, 对运动物体的参数测量大多数都是基于聚焦 图像进行的, 并且采用方法也多以立体视觉和运动 视觉为主. 这些方法虽然测量精度高, 但也存在测量 过程复杂和计算量大等缺点, 因此实时性不好, 很难 满足一般运动物体的测量要求. 基于散焦图像的深度估计是根据物体所处位置 如果偏离摄像机聚焦平面, 就会在像检测器上形成 模糊的散焦图像, 且偏离距离越大, 图像的散焦模糊 程度也越强, 利用这一图像变化特点并结合少量预 知参数就可计算获得物体的隐含深度信息. 散焦图 像的深度估计研究的多是静止物体, 并且散焦图像 是通过改变摄像机参数获得的[1 ]. 本文在此原理基础 上, 研究讨论了一种运动物体的移动距离和姿态测 量方法. 散焦图像不是由改变摄像机参数来获得, 而 是根据运动物体与固定摄像机的相对位置不同得到 的, 并由此相应计算出物体的移动距离. 为了在图像 内尽快寻找运动物体的特征点, 以提高测量速度, 本 文还对目标特征点的获取和跟踪方法作了研究. 具 体实验表明, 该方法测量设备要求低, 仅需一台摄像 机, 并且测量原理简单, 计算量小, 测量速度快, 能满 足实时在线测量要求, 并具有一定的测量精度. 第 23 卷第 3 期 2001 年 5 月 机器人　ROBO T V o l. 23,N o. 3　 M ay, 2001 α 收稿日期: 2000- 09- 19 2　移动距离测量原理 (M ea surem en t pr inc i- ple of m ov ing d istance) 当一点光源 o 所处位置在摄像机聚焦平面上时, 对于薄透镜, 物距 d、焦距 f 与像距 v 之间有如下的 成像关系式: 1 f = 1 d + 1 v (1) 图 1　摄像机系统成像示意图 F ig. 1　 Im aging of cam era system 　　当保持像距 v 的位置不变, 而光源 o 的物距偏离 摄像机聚焦平面 ∃d 后, 则光源 o 在摄像机像检测面 上所成的像 o″将不再是一个聚焦的点, 而是一个直 径为 s 的光斑 (如图 1) , s 的大小与 ∃d 的大小有关, 与光源 o 和光心轴线的距离无关, 即只要 ∃d 不变, 光源 o 在该位置平面内运动, 光斑直径 s 的大小保持 不变. 由摄像机系统成像示意图 1 的几何关系可推 出光斑直径 s 与物距和摄像机参数的关系式为 s = av 1 f - 1 d + ∃d - 1v (2) 其中 a 为摄像机镜头的光圈孔径. 由关系式 (2) 可知, 当物体起始距离 d 和摄像机 参数 a , f , v 已知后, 物体移动距离 ∃d 和光斑直径 s 有固定对应关系, 因此可通过求取图像的光斑直径 s 来计算物体的移动距离 ∃d. 光斑直径 s 通常被认为 与散焦图像的点扩展函数的扩展参数 Ρ成比例[2 ] , 直 接计算 Ρ比较费时费力, 并且需要建立准确的点扩展 函数[3 ]. 为了克服这一问题, 本文采用了一种间接计 算方法. 该方法首先用 Sobel 算子提取图像的模糊边 缘区域, 然后以图像矩保持原理为基础, 计算模糊边 缘区域面积与包含该图像的某一固定窗口面积的比 值 p e [4 ]. 模糊边缘区域面积越大, 对应的 p e 值也越 大, 因此可以认为 p e 与图像的散焦光斑直径 s 成正 比, 即 s= kp e. 求出 p e 后, 要想直接利用 (2)式计算出 d + ∃d , 还必须确定比例系数 k. 为了避免求 k , 本文 采取了如下方法来计算 ∃d. 设特征点图像在物距为 d 1 处具有散焦光斑直径 s1, 计算得模糊边缘区域面积与固定窗口面积比值为 p e1; 在物距为 d 2 处具有散焦光斑直径 s2, 计算得 p e2, 且 d 2- d 1= ∃d. 设特征点图像为半径为 r 的圆, 由于 窗口面积固定, 则 p e2与 p e1之比为Α= p e2p e1 = 2Πr2s22Πr1s1 (3) 其中 r1 和 r2 分别为相同特征点在不同物距所成图像 的半径, 且 r2ör1= d 1öd 2. 由式 (2)和式 (3)可得Α( 1f - 1d 1 - 1v ) d 22 + ( 1 v - 1 f ) d 1d 2 + d 1 = 0 (4) 　　显然, 当 d 1、Α以及摄像机各参数已知的情况下, 可由 (4) 式计算得出 d 2 (方程 (4) 可解出两个 d 2 值, 其中一个不符合实际情况应忽略) , 知道 d 2 后, 即可 确定物体沿摄像机光轴的移动距离 ∃d 为∃d = d 2 - d 1 (5) 3　姿态测量及特征点图像的获取与跟踪 ( A ttitude m ea surem en t capture and track ing of markers) 为了在求出物体沿摄像机光轴移动距离的同时 还可计算出其倾斜的姿态角, 可在物体 x 及 y 轴方 向设置 4 个特征点 (如图 2 所示). 设物体移动前无倾 斜, 而当 t 时刻 4 个特征点距离起始位置沿光轴方向 的移动距离分别为 ∃d t1, ∃d t2, ∃d t3, ∃d t4时, 则物体绕 x 和 y 轴的倾斜角分别为Χx = sin - 1 (∃d t2 - ∃d t4)l (6)Χy = sin - 1 (∃d t1 - ∃d t3)l (7) 物体沿摄像机光轴的平均移动距离为∃d = ∃d t1 + ∃d t2 + ∃d t3 + d t44 (8) 　　除了沿光轴方向上的运动外, 物体在 x , y 平面 上的运动以及绕光轴发生的转动会导致物体前后两 幅图像中特征点的位置发生改变, 在用散焦图像方 法测距前, 快速准确地寻找出四个特征点在图像中 的位置非常重要. 为此, 本文在物体四个特征点的中 心位置以及其周围较小邻域内又另外设置了四个小 的特征点, 除中心点外的其它三个小特征点分别在 762第 23 卷第 3 期 肖永利等: 　运动物体位移及姿态参数的一种图像测量方法 x , y , 轴上. 具体的特征点获取与跟踪过程如下: (1) 物体移动前, 将物体置于摄像机视场的中心 位置. 即物体中心点 o 近似在摄像机光轴上, 这样在 图像的中心位置取一小窗口即可将物体中心点 o 处 的小特征点包含, 需要指出的是该小窗口应足够大 使其完全包含中心点 o 处的特征点, 但不应包含另外 3 个小特征点. 利用图像一阶矩可确定出点在图像中 的坐标[5 ]. (2) 点坐标确定后, 以 o 点为中心, 再取一小窗 口将另外 3 个小特征点包含, 并通过阈值方法和一 阶矩确定这三个小特征点的坐标. 当中心点 o 以及这 3 个小特征点位置确定后, 可很容易在小特征与中心 o 的连线方向上找出四个大特征点的位置. 这里我们 之所以取 3 个小特征点是考虑到算法的方便和准 确. 如果只取一个小特征点, 则只能准确确定一对大 特征点的位置; 如果取两个, 即 x , y 轴上各一个, 则 较难对应和区分特征点的不同. 为此取 3 个可使算 法方便而简洁. 当位置确定后, 即可分别在每个特征 点邻域取固定小窗口用于图像处理, 并最终用前面 提到的散焦测距方法计算出该特征点沿光轴方向的 移动距离. (3) 当第二幅图像采集进来后, 如果图像处理时 间足够快, 物体的在 x , y , 平面的移动距离不使中心 点 o 逃离过程 1 中的小窗口, 则可用过程 1 方法确定 第二幅图像中物体的中心点 o, 依次类推重复运行该 过程, 即可对运动物体实现在线实时跟踪和测量. 图 2　物体特征点设置 F ig. 2　Sett ing of m arkers 　　前面的特征点获取与跟踪方法仅处理了两个较 小的窗口就可将四个大特征点在图像中的位置准确 确定, 避免了在整幅图像中寻找特征点的复杂过程, 从而可节省大量时间. 此外, 用三个小特征点除了可 找出大特征点的位置外, 还可将四个相同的大特征 点在前后图像中的对应关系确定下来, 并确定出物 体的运动方向和沿光轴转过的角度. 这样, 如果将物 体在, 平面内的运动位移也通过相应标定方法确定 下来的话, 则物体的六自由度运动位移和角度可通 过本文介绍的方法全部确定. 4　实验情况 (Exper im en ta l results) 实验采用焦距为 16mm 的普通 CCD 摄像头获 取图像; 使用灰度级为 256 级的黑白图像采集卡, 分 辨率为 512×512; 所用程序算法在V c6. 0 环境下编 写, 运行于奔腾Ë 2450M 计算机. 运动物体为一圆柱 体, 其中一面设置了特征点. 限于实验条件, 物体为 手动, 可沿摄像机光轴运动和 x, y, 平面滚动, 并可改 变特征点 x, y 平面角度. 实验装置如图 3 所示. 实际测量中, 测得像距为 17. 225mm 时, 摄像机 的聚焦平面在镜头前 225mm 处. 将物体起始位置置 于 210mm 处, 并向靠近摄像机方向移动物体. 采用 上述实验装置, 系统完成一次测量所需时间约 150m s, 当物体运动速度较慢时可实现连续实时在线 测量. 如从硬件及软件方面继续提高测量速度, 估计 可在线测量运动速度较快的物体. 图 3　测量实验示意图 F ig. 3　Experim ent of m easurem ent 　　物体移动一定距离后的三组静态测量数据如表 1 所示; 其中测量数据 2 对应的物体移动前后的四个 特征点的散焦模糊边缘图像如图 4 所示. 从实验情况来看, 本文给出的测量方法具有一 定测量精度, 且测量速度较快; 特征点图像的获取与 跟踪方法能快速准确地确定物体移动前后特征点的 位置, 使得实时在线测量成为可能. 但该测量方法的 缺陷是测量精度相对较低, 测量范围有限, 当物体移 动距离远离聚焦平面后, 特征点图像将逐渐变的完 全模糊, 这时测量会失效. 当物体倾斜严重后, 由于 特征点图像严重变形, 也会导致测量失效. 实测中还 发现, 测量误差受光学系统干涉、衍射以及摄像机参 数精确性, 图像噪声等因素影响也较大. 862 　　 　　机　器　人 2001 年 5 月 表 1　静态测量数据 (Tab. 1 Data of sta tic measuremen t) 测量数据 1 测量数据 2 测量数据 3 测量值 实际值 误差 测量值 实际值 误差 测量值 实际值 误差 特征点 1 ∃d t1 20. 5mm 20. 0mm 2. 5% 27. 6mm 28. 0mm 1. 4% 35. 6mm 35. 0mm 1. 7% 特征点 2 ∃d t2 19. 6mm 20. 0mm 2. 0% 29. 7mm 29. 5mm 0. 7% 34. 1mm 35. 0mm 2. 6% 特征点 3 ∃d t3 20. 1mm 20. 0mm 0. 5% 29. 9mm 31. 0mm 3. 5% 29. 2mm 30. 0mm 2. 7% 特征点 4 ∃d t4 19. 3mm 20. 0mm 3. 5% 28. 7mm 29. 5mm 2. 7% 29. 8mm 30. 0mm 0. 7% 沿光轴位移 ∃d 19. 9mm 20. 0mm 0. 5% 30. 0mm 29. 5mm 1. 7% 32. 2mm 32. 5mm 1. 0% 绕 x 轴角度 Χx 0. 57° 0° 0. 57° 1. 91° 0° 1. 91° 8. 24° - 9. 55° 1. 31° 绕 y 轴角度 Χy 0. 76° 0° 0. 76° - 4. 40° - 5. 74° 1. 34° 12. 32° - 9. 55° 2. 77° 特征点 1　　　　　　　　　　特征点 2　　　　　　　　　　特征点 3　　　　　　　　　　特征点 4 a 移动前 特征点 1　　　　　　　　　　特征点 2　　　　　　　　　　特征点 3　　　　　　　　　　特征点 4 b 移动前 图 4　物体移动前后的 4 个特征点的散焦图像 F ig. 4　D efocused im ages of four m arkers 5　结论 (Conclusion ) 本文给出了一种用散焦图像测量运动物体移动 距离和姿态的测量方法, 为实现在线实时测量, 还对 目标图像特征点的获取和跟踪方法也作了研究. 最 后通过具体实验表明该方法的优点是: 系统测量设 备要求低, 仅需一台摄像机; 测量原理简单, 计算量 小, 能满足实时性要求, 并具有一定的测量精度. 主 要缺点是测量精度相对较低, 测量范围有限. 因此, 该方法可用于对测量速度要求较高, 但对精度要求 不高的实际对象. 参考文献　 (References) 1　Pen tland A P. A N ew Sense fo r D ep th of F ield. IEEE T rans. Patt A nalM ach ine In tell, 1987, 9: 523- 531 2　Subbarao M , Gurumoo rthy N. D ep th Recovering from B lurred Edges. P roc. IEEE- CV PR , 1988, 498- 503 3　Schneider G, H eit B, Honig J , B remont J. M onocu lar D ep th Per2 cep tion by Evaluation of the B lur in D efocused Im ages. In P roc. IEEE2In ternational Conference on Im age P rocessing. A ustin, U SA , 1994, 2: 116- 119 4　D u M T , Ch in T L. A M om ent2P reserving A pp roach fo r D ep th F rom D efous. Pattern Recogn ition, 1998, 31 (5) : 551- 560 5　夏良正主编. 数字图像处理 (修订版). 东南大学出版社, 1999, 251 - 255 作者简介: 　肖永利 (19722) , 男, 博士生. 研究领域: 微电子机械系统 等. 　张　琛 (19372) , 男, 教授. 研究领域: 微电机, 微电子机械 系统等. 962第 23 卷第 3 期 肖永利等: 　运动物体位移及姿态参数的一种图像测量方法