基于虚拟仪器的机器人视觉处理

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 基金项目 :国家自然科学基金资助项目 (编号 :60175026 ,60204013) ; 深圳大学科研项目. 收稿日期 :2005 - 07 - 18 作者简介 :吴玉斌(1971 - ) ,男 ,广东深圳人 ,硕士研究生 , 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 师 ,研究方向为机器人控制、工业监控、自动检测技术与虚拟仪器技术. 文章编号 :1673 - 1255 (2005) 05 - 0056 - 04 基于虚拟仪器的机器人视觉处理 吴玉斌 ,徐 　刚 (深圳大学工程技术学院 ,广东 深圳 518060) 　　摘 　要 :研究了一种基于虚拟仪器技术的机器人视觉处理方法. 在推导了视觉伺服机器人系统的图像雅克比矩 阵的基础上 ,运用 N I 公司 (美国国家仪器公司) 的 IMAQ Vision ,编写了视觉伺服机器人系统的视觉处理软件模块 , 通过优化算法有效提高了视觉处理系统的稳定性和抗干扰性 ,并给出了对比实验结果. 关键词 :视觉伺服 ;特征提取 ;虚拟仪器 中图分类号 :TP391. 41 　　　　文献标识码 :A Study of Robot Vision Processing in LabVIEW WU Yu2bin ,XU Gang ( S henz hen U nivesity , Colledge of Engineering Science , S henz hen 518060 , China) Abstract :It is presented a method for the robot vision processing. The Image Jacobin Matrix ( IJ M) of the Visual Servo Robot is established. The vision processing software is programmed by IMA G Vision , and the result of feature extraction is given. Key words :visual servo ;feature extraction ;national inst rument 　　世界上约有超过 8 ×105 台各种类型的工业 机器人应用在工业领域[1 ] ,其数目还在不断增 加 ;大部分机器人无法适应较复杂的环境 ,这极 大的限制了机器人的发展和应用范围的进一步 扩大[2 ] . 视觉伺服的引入使机器人适应多种复 杂环境成为可能 ,随着计算机技术的飞速发展和 数字图像处理技术的日益成熟 ,视觉伺服成了机 器人的发展新热点 ,运用 IMAQ Vision 技术实 现视觉处理模块 ,为机器人视觉伺服研究、开发、 实用性、应用范围等带来好处. 1 　系统描述 本系统在硬件层面用以太网连接 GRB - 400 - G 4 自由度机器人和 CORERO 实时图像采集系统 , 并把实时图像采集系统的 CCD 传感器安装在机器 人执行器末端形成 Hand - in - eye 结构[3] ,在软件 层面运用虚拟仪器编程技术有机结合两系统 ,实现 视觉闭环控制 ,其组成如图 1 所示. 图 1 　视觉伺服机器人系统 　　根据 GRB - 400 - G机器人的机械结构、D - H 方法[4 ]及摄像机成像原理[5 ] ,针对平面跟 踪问题 (实际过程中cZ 不变) ,建立了系统的图 像雅克比矩阵 : 　J & = - v + dy c . Z·λ- a1sinθ2 c . Z ·λ　- v + dy c . Z·λ u + a2 + d x c . Z ·λ+ a1cosθ2 c . Z 　u + a2 + d x c . Z ·λ · θ&1 θ&2 (1) 第 20 卷第 5 期 2005 年 10 月 　 　　　　　　 光 电 技 术 应 用 EL ECTRO - OPTIC TECHNOLO GY APPL ICA TION 　　　　　　 　 Vol. 20 ,No. 5 October. 2005 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 式中 : θ1 、θ2 ———机器人一轴和二轴的转角 ; a1 、a1 , d x 、d y ———机器人的结构参数 ; λ———摄像机透镜的焦距 ; u、v 为成像坐标. 令 B 0 = ( a2 + d x ) ·λ/ cZ , B 1 = a1·λ/ cZ , B 2 = d y·λ/ cZ ;则式 (1) 简化为 : J v = - v + B 2 - B 1sinθ2 　- v + B 2 u + B 0 + B 1cosθ2 　　u + B 0 (2) 雅可比矩阵的行列式为 : | J v| = B1 (v - B2) cosθ2 - B 1 ( B 0 + u) sinθ2 雅可比矩阵的逆为 : J - 1v = 1 | Jv| [ B0 + u - ( B0 + u + B1cosθ2) 　 v - B2 B2 - v - B1sinθ2 ] (3) 　　本文采用基于图像的运动控制构造了 eye - in - hand 视觉伺服系统 ,选用的运动控制器为 θ&1 θ&2 =η·J - 1v u & v & ,其中η为控制算法. 在机 器人视觉处理中进行了自动阈值的二值化处理 和数字滤波处理等算法研究 ,图 2 是本机器人的 控制系统结构图. 图 2 　机器人视觉闭环控制系统结构 　　实验使用了高科技的四自由度 GRB - 400 - G工业机器人系统 ,有 1 个 UN IQ U P - 1830 摄像头、OC - V IDO - DIGOO 图像采集卡、OC - COB - APPOO 图像处理卡及 P4 (CPU :2. 0 G - DDRRAM : 256M) 计算机等组成的图像采集 系统. 视觉处理对于视觉伺服是重点和难点 ,本文 利用虚拟仪器公司的 IMAQ Vision for Lab2 V IEW 进行编程 ,实现图像的二值化、模式识别、 特种提取等功能 ,图 3 是其图形化程序. Lab2 V IEW 是基于图形化的软件编程平台 ,是数据流 图式的语言 ,程序代码也是图形化的代码 ,其具 有强大的外部接口能力 ,可以实现与外部的应用 软件 (如 Word , Excel 等 ) 、C 语言、Windows API、MA TLAB 等编程语言之间的通讯 ,可用的 外部接口有 :DLLs、CIN、DDE、MA TLAB、Active X等 ,用 LabV IEW 编写模块程序可轻松实现与 现有系统的无缝连接. 2 　实验结果 本文处理的是单色灰度图像 ,视觉处理由图 像采集、二值化、特征提取三部分组成. 图像采集 系统硬件可支持 30 帧/ s 的采集速率 ,这要求系 统在 33 ms 内完成二值化和特征提取等处理. 常 用的二值化方法是固定阈值法 ,但实际环境的亮 度变化会引起图像整体灰度值的偏移 ,采用这一 算法将会在环境的亮度变化时给系统带来不可 接受的系统误差和随机误差 ,图 4 和图 5 是在环 境的亮度变化不大 ,摄像头光圈调整合适时分别 采用固定阈值法和自动阈值法得到被跟踪物体 的特征参数在 X 和 Y 方向的对比. 图 6 和图 7 是在曝光不足的情况下得到的 ,在曝光过度时得 到了图 8 和图 9 . 这三组对比实验均是在机器人 图 3 　基于 IMAQ Vision for LabVIEW 的视觉处理程序图 75第 3 期 　　　　　　　　　　　　　吴玉斌等 :基于虚拟仪器的机器人视觉处理 　　　　　　　　　　　　　　　 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 图 4 　适度曝光时 X方向比较图 图 5 　适度曝光时 Y方向比较 图 6 　曝光不足时 X方向比较图 图 7 　曝光不足时 Y方向比较图 图 8 　曝光过度时 X方向比较图 图 9 　曝光过度时 Y方向比较图 伺服系统关闭的同一条件下进行的 ,排出了由于 机器人控制系统本身的振动、零漂等引入的误 差 ,也完全避免了机器人系统的电干扰. 据图 4、 图 5 分析得 ,在曝光合适时 ,两种二值化处理较 接近 ,但固定阈值法还是出现了较多的随机误 差 ,这是由于此算法对环境亮度变化的抗干扰性 差导致的 ;图 6、图 7 则说明在曝光不足时的情 况与曝光合适时相似 ;较严重的情况在曝光过度 时出现 ,由图 8、图 9 可知 ,采用固定阈值法时 , 无论在 X 方向或 Y 方向均会给系统造成严重偏 移. 总之 ,采用自动阈值法比固定阈值法有较好 的鲁棒性 ,但需要占用更多的系统资源 ,耗时更 长. 对于特征提取 ,其重点在于特征的选取 ,几 乎没有解析方法能够指导特征的选取. 很多情况 下凭直觉可引导出一些可能有用的特征表 ,然后 用特征排序方法计算不同的特征的相对效率. 本 文跟踪的是简单形状物体 ,故选用形心或中心作 85　　　　　　　　　　　　　　　　　　　光 　电 　技 　术 　应 　用 　　　　　　　　　　　　　　　第 20 卷 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 图 10 　干扰严重时 X方向比较图 图 11 　干扰严重时 Y方向比较图 特征. 但实际使用时 ,存在着机器人系统的电磁 干扰、两子系统的共地、电源串扰以及周边电气 系统的干扰等噪声干扰源 ,在情况严重时会给系 统造成很多随机误差. 图 10、图 11 是在环境的 亮度变化不大 ,曝光合适 ,采用自动阈值的二值 化处理 ,干扰较严重时所做的对比实验. 结果表 明 ,在采用了数字滤波处理后 ,可有效抑制噪声 , 提高系统的抗干扰性. 本文以 PC 机执行单任务 时 ,实现自动阈值的二值化处理和数字滤波处理 的视觉处理周期为 11 ms ,完全满足视觉伺服的 时间要求. 3 　结 束 语 本文在 4 自由度机器人和实时图像采集系统 的基础上 ,首先建立视觉伺服系统的运动学模型 , 然后利用虚拟仪器似的编程实现了物理系统及进 行相关算法的研究 ,最终构造了分布式闭环视觉伺 服系统.利用 IMAG Vision 编程了机器人视觉处理 软件模块 ,采用自动阈值的二值化和数字滤波等方 法进行视觉处理. 实验结果表明 ,该方法在满足系 统时间要求的同时提高了视觉处理的稳定性和抗 干扰性 ,具有灵活、方便、成本低等特点. 参 　考 　文 　献 1 　薛定宇 ,项龙江 ,司秉玉 ,等. 视觉伺服分类及其动态 过程[J ] . 东北大学学报 (自然科学版) ,2003 , 24 (6) : 543 - 547 2 　吴玉斌 ,徐刚 ,张海波. 基于 TCP/ IP 的分布式机器人 视觉伺服系统[J ] . 工控智能化 ,2004. (4) :29 - 33 3 　Tito G. Amaral ,Manuel Crisóstomo. V ,Fernāo Pires ,et al. Visual Motion Detection with Hand2Eye Manipulator Using Statistic Moments Classifiers and Fuzzy Logic Approach2Study[ A ] . In :Application and Comparation. IECON’01 : The 27th Annual Conference of the IEEE Industrial Electronics Society[ C] . 1926 - 1931 4 　蔡自兴. 机器人学[ M ] . 北京 :清华大学出版社 ,2000. 46 - 82 5 　Seth Hutchinson , Gregory D. Hager , Peter I. Corke. A Tutorial on Visual Servo Control[J ] . IEEE Transactions on Robotics and Automation ,1996 ,12 (5) :651 - 670 6 　张爱平. LabV IEW 入门与虚拟仪器 [ M ] . 北京 :电子 工业出版社 ,2004. 5 - 185 7 　林靖 ,陈辉堂 ,王月娟 ,等. 机器人视觉伺服系统的研 究[J ] . 控制理论与应用 ,2000 ,17 (4) :476 - 481 8 　吴玉斌 ,钱清泉 ,徐刚. 分布式视觉伺服机器人研究 [D ] . 西安 :西安交通大学 ,2004. 26 - 33 简讯 　　　　　　　　　美国陆军为直升机装备干扰弹投放器 　　为防止导弹袭击 ,美国陆军为其直升机装备新的 AL E - 47 干扰弹投放器 ,用来取代现用的 M - 130 干扰弹投放器. AL E - 47 投放的干扰弹数量为 M - 130 的 4 倍 ,既可投放 闪光弹 ,用来对付红外制导导弹 ,也可投放箔条 ,用来对付雷达 制导导弹. 11 月 2 日 ,一架 CH - 47“切奴克”(Chinook)直升机 , 在伊拉克被红外制导的肩射地空导弹击落 ,导致机上 16 名士兵 丧身. 该机装有 ALQ - 156 导弹告警系统 ,可利用其主动雷达对 高速运动的导弹进行探测和跟踪 ,然后为该机装的 M - 130 干 扰弹投放器发出信号 ,对来袭导弹投放闪光弹或箔条. 同样 , ALQ - 156 导弹告警系统也可自动地起动 AL E - 47 干扰弹投 放器. 现在还不清楚的是 ,这架“切奴克”直升机上装的告警系 统为何没有能防止导弹的袭击 ,有传说称是因为该系统维护不 好而未进入工作状态. 这是电子战设备存在的问题 ,和平时期不 用 ,战时就会生疏. M - 130 和 AL E - 47 干扰弹投放器以及 ALQ - 156 导弹告警系统 ,都是由英国 BAE 系统公司研制的. 信息来源 :中国航空信息网 95第 3 期 　　　　　　　　　　　　　吴玉斌等 :基于虚拟仪器的机器人视觉处理