基于双目立体视觉的番茄识别与定位技术

第30卷 Vo1．30 第22期 № 22 计 算 机 工 程 Computer Engineering 2004年11B November 2004 · 人工智能及识别技术 · 文章缩号：1000~3428(2004)22 I5s__o2 文蜊景识码：A 中圈分类号t TP391．41 基于双 目立体视觉的番茄识别与定位技术 郑小东，赵杰文，刘木华 (江苏大学生物与环境 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院，镇江2l20l 3) 攮 蔓：根据颜色特征利用阈值自动设定的方法对图像进行分割，自动、快速识别红色番茄；采用形心匹配取代常规的特征点选择和匹配方 法，对双目立体成像测距公式进行了修正，经过验证，当：亡作距离小于500mm时，距离误差可以控制在±lOmm以内。 关t词：计锋机视觉；定位；双目立体视觉 Tomatoes Recognition and Location fr0m Nature Bacl round Based Binocular Stereo Visionased On inocular tereo V IS10n B ZHENG XJaodong．ZHAO Jiewen．LIU Muhua (School ofBiological&Environmental Engineering"Jiangsu University．Zhenjiang 2l 20l 3l [Abstract l In this paper,a new method is presented to locate tomatoes from natu re background．Color intbnnation is used to segment image and the threshold used is selected bascd on the current inlage．According to the results ofthe discriminating and by use ofbinocular stereo vision technique．the 3一 D position of the fruit could be got．In the progress of position locating,centroid·mathing is recommended to displace the common object-mathing．At the same time，tl1e formula baScd on binocular stereo vision to me~ure distance is revised．The result shows that when the WOrk distance is less than 500mm， almost allthe errors arelessthan l0nlm． IKey words]Computer vision；Location；Binocular stereo vision 利用机器人采摘果实，首先要识别果实，然后确定果实 的空间位置，这样才能实现下一步的采摘工作。基于计算机 视觉寻找树上果实的方法大致可以分为两类：一类是根据颜 色或者灰度特征分割图像、寻找果实；另一类是在图像采集 时使用滤波片或者其它设备获取较为简单的图像，然后根据 形状特征寻找果 。这些方法目前基本上都停留在理论研 究阶段，与实际生产的需要差距很大。本文所提出的番茄识 别与定位技术可满足实际工作需要，力求快速、准确。 l识别 1．1图像分翻 在图像上成熟番茄呈现红色 ，背景大部分是绿色的枝 叶，还有少部分是呈现介于黄色和红色之间颜色的枯萎枝 叶。当图像上的像素呈现红色时，其R值(像素红色颜色分 量)大于G值(像素绿色颜色分量)；当像素呈现绿色时，其G 值大干R值；当像素呈现介于黄色和红色之间的颜色时，虽 然R值也大于G值，但是二者的差值远小于红色像素的R值与 G值的差值。根据这个特征，可以实现对图像的两次分割。 令T=R--G。 第一次分割：如果T≤0，认为是背景像素，令该像素 的R值、G值、B值都为0；如果T>0，认为该像素可能属于 番茄，令该像素的R值、G值、B值都为T。 经过第一次分割后，图像转变为灰度图像。属于番茄部 分的像素的灰度值大部分集中在高灰度区域，非番茄部分的 像素的灰度值大部分集中在低灰度区域，选择合适的阈值进 行第二次分割。阈值确定后，把灰度值小于阈值的像素变为 白色像素(灰度值为255)，灰度值大于阈值的像素变为黑色 像素(灰度值为0)，这样图像就转化成二值图像，可进行下 一 步处理。为适用于在不同光照条件下拍摄到的图像，阈值 需要根据具体图像自动设定，阈值确定采用迭代{去I 。 为了显示第一次分割和第二二次分割的效果，特对第一次 分割后的图像作如下处理：令T<0的像素的颜色值为(255， 255，255)，即变为白色像素，令T>0的像素保持原来原始图 像中的颜色。图l(a)为原始图像，图l(b)为第一次分割后的 效果图，图l(c)为第二次分割后的图像。 {a漏e始图像 {b)第一次分割后的效果图 (cl第二次分割后的图像 (d)识gⅡ结果 圈I番茄识鬟 1．2噪声消除 经过第二次分割后的图像中仍有许多非番茄部分的像 素。对于较小的在视觉上表现为散点的噪声，可以用形态学 开运算和中值滤波相结合的方法去掉。对于较大的噪声区 域，其面积和周长同番茄的面积和周长相比是比较小的，可 以根据面积或周长特征去掉。图l(d)是经过轮廓提取、曲线 标记，基于周长特征的识别结果。 2定位 番茄位置的确定采用双目立体视觉技术。双目立体视觉 技术是用两个摄像头模拟人的双眼，同时从两个不同位置对 基金项目：江苏省教育重点项目 “自然光下番茄的识别与定位技 术”(01 KJB550001 1 作者筒介：郑小东(1974--)，男，硕士生，主要研究计算机视觉应 用；赵杰文，教授、博导；刘木华，博士后 收稿日期：2003—09-25 E-mail：dong20013@163．com — l55— 维普资讯 http://www.cqvip.com 同一日标扪擞 像，然后通过FI标 配根据三们关系计算目 标的空间佗 。 2 I摄像头到番茄之间距离的计算 如图2所示，L、R表示 两个摄像头，,4io表示番茄 上的特征点，摄像头焦距为f'摄像头之问距离为b，Lo为左 摄像头L拍摄到的图像(简称左边图像)的中心，Lx为点O在 左边图像上的成像，Ro为右摄像头R拍摄到的图像(简称右 边图像)的中心，Rx为点O在右边图像上的成像。根据三角 关系，可以计算'Jlo点剑LR连线的乖直距离为 ㈩ 其【}J xI为点Lx在左边图像l{J的横坐标，x 为点Rx在右边图像 中的横坐标。 图2双目立体成像 距原理示意图 利用双目立体视觉技术测量距离的关键是特征点(I~llo 点)的选取和匹配。常用的方法是选择一幅图像中目标的形 心为特征点，根据灰度值在另一幅图像中进行匹配，所用的 匹配算法通常比较复杂，计算量大，而且对采集到的图像质 量要求很高，否则造成错误匹配的概率很大。 针对上述问题和本研究的具体对象，本文捉f“以’F采用 形心匹配取代常规特征点选择和匹配的方法。 如图3所示，圆O1表示番茄， Lo为左左边图像的中 心，Lx为左边图像上番茄的形心，Ro为右边图像的中心， Rx右边图像上番茄的形心。我们认为Lx和Rx是番茄上同一 点在两幅图像上的成像。很明显，如果存在这样一点，它一 定是圆 Ool。 图3形心匹配原理示意图 根据前而图像识别的结果，很容易求得两幅图像中番茄 的形心坐标。这样利JI】式(1)就呵以求得 bol到LR连线的 距离d。但是真正需要得到的是番茄J2C点到LR连线的距离 dl，所以测距公式应该变成 ． 6，’ ) 一 1 56一 当研究对象是 想球体时，c就是球体的半径。实际工 作时，礴脯是不 规则 编码规则下载淘宝规则下载天猫规则下载麻将竞赛规则pdf麻将竞赛规则pdf 的半球体，)p-EL大小有差别，在工作 前，必须列’C进行标定 根据对实验火棚和}1{问番茄生长情 况观察，在同一时期，在 一个大棚或者同一块田地里，大 部分成熟祷茄的半径差异基本上都在10ram以内，这样的误 差应该可以满足采摘的需要。这样只要选取有代表性的番 茄，将其摆放在距离摄像头不同的位置，通过处理、计算， 即可标定c值。 图4足对3个番茄在不f_二J位置的试验结果，c用另外一个 西红柿进行标定，标定值为22ram。表I中横坐标是测量距 离，纵坐标足根据式(2)计算得到的距离与测量距离之间的 偏差，单位都是11"1Ill。 蠢 萋 曩 喜 罩善 羞 量 童 姜 圈4试验结果效据 从图4可以看出，当工作距离小于500mm时，除了个别 奇异点，误差基本上都在±10mm以内。这是因为摄像机有 一 定的取景范围，距离较远时，图像上番茄的像比较小，微 小的偏差就会造成较大误差。 2．2番茄空间坐标换算 如果取两摄像头镜头中心连线向右为x轴正方向，连线 中点为宅问坐标系原点，垂直于x车I¨所在水平面向下为Y轴正 方向，根据右手规则，z~IlliE方向为垂直于X、yN在平面离 _J下摄像头指向番茄的方向。根据三角关系可求得番茄特征点 空问坐标为 ： ± 2 x 一 x y ： (3) ￡ 一 z ： I 一 I 其中b、Xl 、X 1 意义同式(1)，y．．和Y 是两幅图像中番茄 形心的纵坐标。 3结论 本文提出的识别与定位技术在Visual C++6．0编译环境 一I-编程实现，运行效果良好。综上所述可以得出以下结论： (1)对不同光照条件下采集到的图像进行处理，红色成 熟番茄掷可以识别； (2)蒲茄的空间位置可以基本确定，当工作距离在小于 500mmll~，距离误差可以控制在±IOmm以内； (3)由于不需要根据像素的颜色值或者灰度值进行特征 点匹配，本文提出的识别和定位技术对图像质量要求不高， 只要人限可以从图像一12根据颜色识别出红色番茄，该技术就 以识别并确定番茄的位置； (4)该识别与定位技术稍加修改，也可用于其它与背景 有明显颜色差别的球形果实的识别与定位。 (下转第l7l页) 维普资讯 http://www.cqvip.com 件集成在一个环境下。网络采用服务器／客户机(Server／ Clinet)模式，当设置为联网方式时，可根据设置标志分别进 入服务器联网模式和客户机联网模式。服务器模式主要侦听 来自不同客户端的网络请求并进行排队处理，包括接收来自 客户机的各种控制参数和运行命令，发送状态数据等功能。 客户机模式则将用户设定的参数和控制命令等发往指定的控 制服务器，接收其发来的状态数据并加以显示。 2控制算法及效果分析 结合硬件平台，通过软件算法，可实现常规PID、积分 分离PID、非线性PID控制、模糊控制、自渊整因子模糊控 制、Fuzzy-PID混合控制、单神经元控制等多种算法下的速 度控制以及电机的位置控制。用户还可通过动态链接库，将 自行开发的算法程序与系统主程序相链接，实现控制软件的 可扩充性。 以下通过实例说明控制算法的建立，并将实际的控制效 果与理论分析作一比较。 模糊控制无需被控对象的精确数学模型，若采用二维非 线性PD模糊控制器结构，系统可获得较好的动特性和较强 的鲁棒性。 本系统中，以偏差e和偏差变化率ee作为控制器的输入 变量，控制量u作为输出变量。e,ec，u的基本论域为【-5，5】，选 定量化后的E，EC和U的Fuzzy论域集均为【一7,-6，·5，·4，·3，·2，一I， 0，1,2，3，4，5，6，7】。另外，根据一般机电控制系统的控制策略 建立起模糊推理规则，参见文献【4】。对e和ec，通过模糊 化、模糊推理合成和反模糊化便可得到输出控制量u。 实时控制时，可综合上述步骤，由e和ec分别决定行、 列数，表中元素为u的值，构成控制查询表： inttable【l31[131=({7,6，7，6，7，7，7，4，4，2，0，0．01， i6、6、6．6，6，6、6．4、4，2，0、0，01、 {7,6，7，6．7，7，7，4、4，2，0、0．ol， {7,6，6、6、6，6，6，3，2．0，·l，-I，·l j， {4，4，4，5，4，4，4，l，0,0，-l，一l，一l}， {4，4，4，5．4，4，l，0,0，0、·3．·2，·l}， {4，4．4．5，l，l，0．·l，-1．-l，-4,-4，-4：， {2，2，2，2，0．0，一l，-4，-4．·3，-4，-4．．4}， {l，2，l、2,0，-3．一4，-4，-4．一3，-4．-4．-．4；， {O，0．0，0，-3．-3，-6．一6，-6，-6．-6，-6，-6}． ：O、0、0，·2，-4，-4，-7，-7，-7，-6、-7、·6、-7：， {O，0．0，-2．-4，-4．-6，·6、-6，-6．·6、·6．-6；， fO，0，0，-2，-．4、·4，·7，-7、·7．-6、-7，·6、·7： j： 运行时，将e和ec值经换算便得该表的行数i和列数j，经 查表得相应的u值，该值乘以比例因子kul~p得到控制量u。 i=int(ke L叶O．5)+6： j=int(kc ec+O，5)+6： u=·ku table[i][i]； ☆☆☆☆☆☆☆☆☆☆☆ 其中，ke和kc为量化因子。取Ke=3，kc=3，ku=I．2，当速 度给定为2 000rpm时，实测的系统输出响应曲线如图5(a)所 示。可见，系统的动态特性较好，但存在稳态误差。为此， 可改为Fuzzy-PID开关切换型混合控制方式，偏差绝对值较 大时，采用模糊控制，以获得较好的动特性，偏差绝对值较 小时，自动切换成PID控制，利用积分作用消除稳态误差。 当切换阈值为0．8(给定值)时，系统响应曲线见图5(b)。可 见，此时，系统得到了满意的动、静态特性。 200rpnv格 200rpm／格 (aI常规FIIzzy控制 (b)Fuzzy·PlD控制 圈5系统响应曲线 00ms／格 因为性能分析是基于实际的物理系统进行的，且分析所 得的结果直观明了，救具有与一般仿真分析不同的客观真实 性，这对于实时控制系统的教学以及新的控制策略和算法的 研究都有非常现实的意义。 3结束语 本文结合计算机控制、智能控制和网络通信等高新技 术，构建了可实现联网控制的计算机实时控制系统。该系统 硬、软件有所创新，对于促进理论研究与实际应用的结合有 现实的意义。该项目已通过江苏省科技厅组织的鉴定。 参考文献 l Ko C C．Chert B M．Development of a Web-based Laboratory for Contol Experiments 011 a Coupled Tank Apparatus．IEEE Trans．Edue．， 2001．44(2)：76·86 2王耀南，智能控制系统[MI．长沙：湖南大学出版社，l996 3庞文尧．基于高速局域网络的实时控制程序开发⋯，上海：电气自 动化，200l，(6) 4易继锴．智能控制技术[MI，北京：北京工业大学出版社，l999 (上接第1 56页) 参考文献 l Jimenez A R．Ceres R．Pons J LlA Survey of Computer Vision Methods f0r Locating Fruit on Trees．Transaction of the ASAE，2000，43(6)：l 9 ll· l920 2应义斌．章文英，蒋亦元等．机器视觉技术在农产品收获和加工自 ☆☆☆☆☆☆☆☆☆ 动化中的应用，农业机械学报，2000，5(3)：ll2．1l5 3何 斌，马天予，王运坚等，Visual C++数字图像处理(第二版)，北京： 人民邮电出版社．2002 4高 文，陈熙霖，计算机视觉：算法与系统原理，北京：清华大学出版 社 1998 5吴立德．计算机视觉．上海：复旦大学出版社．1993 一 l7l一 维普资讯 http://www.cqvip.com