立体视觉系统标定及成熟果实定位

2007年 11月 农 机 化 研 究 第 11期 立体视 觉系统标定及成熟果实定位 蔡健荣 ，范 军，李玉良 (江苏大学 食品与生物工程学院 ，江苏 镇江 2l20l3) 摘 要：根据颜色特征利用阈值 自动设定的方法对图像进行分割，自动、快速地识别成熟柑橘，采用圆形 Hough变换算法拟合出目标图像的形心坐标。采用现场标定技术标定系统 ，减少设备组装拆卸带来的误差。 同时，对传统双 目立体成像测距公式进行了改进 ，以增强其适应性 ，提高定位精度。实验结果表明，该方 法简单、有效、可靠。 关键词：自动控制技术；双目立体视觉；理论研究；定位；摄像机标定；Levenberg—Marquardt迭代 中图分类号 ：TP242．6 2 文献标识码 ：A 文章编 号 ：1003～ 188X(2007)11—0038— 03 O 引言 农业采摘机器人实现其 自动化技术的关键是视 觉导航，即利用计算机视觉技术实现对环境的感知 和理解。双 目立体视觉测距模仿人类用双 目感知距 离的原理，由不同位置的两台摄像机拍摄同一场景 的两幅图像，通过计算空间点在两幅图像中的视差， 获得该点的三维坐标。传统的距离测量方法 ，如超 声波测距，受温度影响大，无法识别目标物。雷达 测距、激光测距测量精度高，但无法 自动识别 目标 物，需要其它辅助手段来确定 目标物。传统双 目立 体视觉测距方法 圳可以识别 目标物 ，并进行定位， 但是要求双 目平行放置，双目是否平行对其测量结 果有很大的影响。本文所示方法对传统双 吕立体视 觉测距方法进行改进 ，采用现场标定技术 求取单 应矩阵，利用该矩阵直接进行空间测量。与传统方 法比较，该方法试验设备简单 ，对环境要求低，不 要求摄像机平行放置。实验结果表明，本文所提出 的柑橘识别与定位技术可满足实际工作需要。 1 实验材料和原始数据 1)柑橘图片来源于镇江江心洲果子园农场 ，采 集时间为 l0月份。 2) 自制标定板，有 7×7=49个圆形标定块 ，标 定块半径 20mm，标定块中心距离 60mm。 3)立体视觉系统由两个 PanasoniC WV—CP410— 1／3CCD型摄像机构成。图像有效尺寸 768×576，两 收稿日期：2007—03—05 基金项 目：国家 863项 目 (2006AA10Z263)；江苏省高校 自然科学 基金项 目 (05KJB21O019) 作者简介：蔡键荣 (1966一)，男，上海人 ，教授，博士，(E-mai1) Jrcai@u Js．edu．cn。 一 38一 摄像机基本平行 ，基线长度为 l60mm；镜头选用 AVENIR CCTV LENS 8mm镜头 。 4)摄像机标定时 ，每个摄像机拍摄 25幅图像。 5)采用 HILTI PD 30激光测距仪测量真实距离， 测量精度在 l～3m内为±1．5mmo 2 柑橘识别 彩色图像处理常用到 RGB、HSI等颜色模型，成 熟柑橘的识别如图 l所示。本文在提取成熟柑橘、 树叶、树枝的颜色信息的基础上，对不同拍摄条件 下的图像 (图 la)利用不同颜色模型进行分析比较 试验 ，发现利用 RGB系统中的色差分量 2R—G—B进行 OSTU自适应阈值分割的方法识别准确快速、受天气 光照影响小、效果最理想。将区域分割后的彩色图 像转换为二值图像 (图 lb)，经过中值滤波、形态 学运算消除噪声 ，然后进行区域标记、区域填充(图 1C)。传统的方式一般使用质心来替代柑橘中心 ， 在实际情况中柑橘往往存在遮挡，使得结果与实际 情况相差较大。这里采用圆形 Hough变换拟合出成 熟果实图像中的圆心坐标、半径等特征值(图 ld)。 其中，Hough变换可以恢复重叠或遮挡面积小于 l／3 的柑橘得到正确的柑橘圆心坐标。 (a)原始图像 (b)分割后图像 维普资讯 http://www.cqvip.com 2007年 11月 农 机 化 研 究 第 ll期 图 1 成熟柑橘的识别 3 柑橘空间定位 图像上长度单位采用的是像素，而实际距离单 位为 m，所以用摄像机对实际的距离进行测量，必 须对摄像机进行标定。同时，标定也可以减小系统 误差 ，使计算结果更加精确可靠。 3．1 标定块 质心坐标的提取 像机组装和拆卸 ，都会对其内外参数有影响， 采取现场标定技术 ，可以消除组装和拆卸像机所造 成的系统误差 ，标定板图像 ，如图 2所示。对图 1 所示图像经过分割去背景。后采用区域增长法进行 区域标记，去背景、去噪声后得到 (图 2上数字表 明不同区域的标号 )，之后统计每块面积大小，计算 质心坐标 。 图 2 标定板图像 提取后图像如图 3a所示 ，对坐标点重排得到图 3b所示 。 a重 排前 b重 排后 图 3 提取 后 图像 至此，完成了标定摄像机所用原始数据的提取 工作。 3．2 确定单应矩 阵 本实验摄像机模型为透视投影模型 ， · 。 3．2．1 透视投影模型 空间某点的世界坐标表示为 M=[x，Y，z ，其像 点的图像像素坐标 m=[“，v】 ，用齐次坐标分别表示 一 39一 为 麝=ix，Y，Z，1】 和 = ， 1】 。则 『 ]=A r2 r3 r 其中， 为缩放因子 ，A为内参，R=[ r2均】， [月f】为外参。式 (1)可以简化为 而= -o其中， R为严格的正交矩阵，H即为单应矩阵。根据 R的 正交性约束，当图像数 目大于 3幅时，可以求得内 参A及每幅图像的外参[月f】。在本次试验中选取 25 幅图像以减少误差的影响。 由于误差的影响，求出的R可能不严格具有正 交矩阵的性质 ，进行最佳正交化即可求出最接近的 正交矩阵。 3．2．2 非线性优化 该实验中透镜非广角镜头，因此采用 2阶畸变 系数即可描述其畸变 。畸变模型为 “d：“+(“一U0)[足l( +Y )+足2( +Y ) 】 vd=v+(v—vo)[足l( +Y )+足2( +Y2) 】 ∑∑lIm 一m(A帅k k2 R M l (2) 其 中 k ， k 为 一 阶 、二 阶 畸 变 系 数 ， 而(A，kl，k2，R t，M，)是在第 i幅图像 中点 M』根据式 (1)获得的投影 ，可将k 和k 初始值设为零 ，使用 Levenberg—Marquardt 优 化迭代，判别条件 为式 (2)值最小，得到内参 A与k ，k2。 3．2．3 单应矩阵求取 对 于 其 中 一 幅 图 像 的 单 应 矩 阵 可 以 由 H=Ax[R 】算出。 3．3 三维坐标测量 传统的双 目立体成像测距 t 是根据三角关系 测量距离 ，要求其两个摄像机必须平行放置，并且 对于摄像机的焦距一般是根据 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 书上的参数值进 行计算 ，这样往往跟实际情况有较大的出入。这里 采用极线几何的方法来计算三维坐标，增强了该系 统的适应性，提高了定位精度。 根据立体视觉模型 · · 可以计算 以其 中一个 标定板所在坐标系为世界坐标系的三维坐标。对于 双目摄像机，有 厩=H (3) 其中，J取值为 1，2，厩=[ v ，1】 ； l确 ，l 如 础 I H I^ ，l 2，l 3，l I。 f ．Il；1 ．Il；2 ．Il；3 ．Il；4 i ●●●． -}lii ¨：：}：；l：昌} MM聃：jl：：} 斛 觚觚 籍 ．．P 恿．_c ：薯i ：害l：兽l：誊l 维普资讯 http://www.cqvip.com 维普资讯 http://www.cqvip.com 2007年 11月 农 机 化 研 究 第 11期 信息传播、价格形成及市场结构 ，都 电子化过程中配合调整。 针对农业面对的冲击与趋势的需 良传统农产业交易模式 ，提出以快速 的农业营运与交易的快速响应模式 ， 商务运销通路，可以缩短通过传统贸 之间的通路，通过快速电子商务集市 与配送中心来进行整个交易过程 ，取 市场、供销中心与超级市场 ，在整个 缩短时间并达到良好的效率。 M odern Agriculture 将在农产运销 求 ，结 商务架 农业导 易商与 的交易 代传统 的 与改 为 主 快速 运商 仓储 批发 参考文献 ： [1] Bryniofes son，Erik，Michael D．Smith．Fric— tionless Commerce? A Compari son of Inter—net and Conventional Retailers[J]．Management Sc— ience，2000，46(4)：563—585． [2] D．纳拉 扬达 斯．B—t0一B电子 商务 (哈佛 商学 案例精 选集 )[M]．北 京 ：中国人 民 大学 出版社 ，2002：lO3一 】37． 运销过程上可 [3] 赵林度．供应链与物流管理：理论与实务[M]．北京 机械工业 出版社 ，2003：l34一l57． Constructs the Fast Commercial Response Pattern Research W ANG Zhao—hong fComputer and Communication Engineering Institute，Weifang University，Weifang 26 1 06 1，China) Abstract：With the joining to the World Trade Organization as well as the knowledge economy development，the communication application along with our country，the agriculture faced with the unprecedented challenge． Agricultural production transportation and sale organization and transaction pattern，because the electrics organization and the electronic commerce provide the fast transaction speed，reduces the management cost and the transaction cost faces the essence change， to adapt modern agricultural production and marketing environment，carries on the organization to make again with the service innovates，the application wireless motion network and the electronic commerce concept，the impact and the tendency demand which faces in view of the agriculture，is comprehensive analyzes the traditional agricultural production industry transaction pattern， after the analysis high—velocity electron agriculture transaction behavior，discussion industry transport business and the transaction fast response pattern，provides a high elasticity，exchanges the natural，the high stable high．velocity electron commerce system overhead construction，in order to promote the agricultural development provision industry reference． Key words：agricultural basic science；fast commercial response system；analysis；agriculture；electronic Cn m m erCe (上接第40页 ) Numerical Recipe s in C[C]／／The Art of Scienti— fic Computing，and Edition，New York，Cambridge University Pre s s．1992：68l一688． [10] Richard Hartley Andrew Zi s serman．Multiple view geometry in computer vi sion[M]．New York Cambridge University Pres s．200l：l58一 l89． Abstract ID：1003-188X (2007)11-0038-EA Stere0visi0n Calibration and M ature Fruit Location on Nature Scene CAI Jian—rong，FAN Jun，LI Yu—liang fSchool of Food＆Biological Engineering，Jiangsu University，Zhenjiang 212013，China) Abstract：During the Mature citrus collection process by robot，the crucial element to ensure the citrus’position． Most traditional approaches of stereo camera calibration often require expensive calibration apparatuses and elaborate setups，which limits their practicability in many out—door applications．The paper proposes a more flexible met~?d to overcome this drawback；we get the raw data from picture of calibration，and use Zhengyou Zhang’s camera calibration technique to get the matrix of homograph．At last calculate the 3_D Coordinate． Experimental results show that the method is feasible． Key words：auto．control technology；stereovision；theoretical research；camera calibration；Levenberg’Mar’ quardt iteration ． ． 43．． 合 构 入 贩 维普资讯 http://www.cqvip.com