平行照明多目视觉检测技术

收稿日期：2009-06-10； 修订日期：2009-08-05 基金项目：国家自然科学基金资助项目 (50875185) 作者简介：赵阳（1982-），男 ，辽宁葫芦岛人，博士生 ，主要从事机器视觉 、光电测控技术等方面的研究 。 Email：magicsolar@gmail.com 导师简介：曲兴华 （1956-），男，山东莱州人，教授，博士生导师，主要从事几何量测量 、机电一体化技术方面的研究 。 Email：quxinghua@tju.edu.cn 第 39 卷第 2 期 红外与激光工程 2010 年 4 月 Vol.39 No.2 Infrared and Laser Engineering Apr.2010 平行照明多目视觉检测技术 赵 阳，曲兴华 （天津大学 精密仪器与光电子工程学院， 天津 300072） 摘 要： 多目视觉检测技术是通过多个不同位置的视觉传感器， 从不同角度获取同一目标的图 像，并对所得图像进行目标匹配、差分相减等，最终清晰提取出目标信息的一种视觉测量技术。相比单 目视觉方法， 利用多个传感器能搜集更多的目标物信息， 且在检测系统中又融入了平行光照明方式 下， 对称式多角度的图像采集方法， 可以使不同显现力的被测物平面信息通过极高的对比度显现出 来，再结合多幅图像匹配、差分规则，最终可以得到效果更佳的缺陷或轮廓信息。描述了遵照该检测方 法设计的实验装置，并通过成组实验证明了其可行性。基于平行光照明的多目视觉检测方法提高了系 统的抗干扰能力，使系统从根本上提高了图像处理结果的精度，相比以往软件除噪、滤波等方法更加 便捷、快速、稳定，适用范围也更广。 提出了利用大功率 LED 芯片构造平行光源的思路，该平行光源设 计准直度更好，非平行杂光干扰更小。 关键词： 多目视觉检测； 平行光； 差分 中图分类号： TB92 文献标识码： A 文章编号： 1007-2276(2010)02-0339-07 Multi蛳vision detection method based on parallel lighting ZHAO Yang， QU Xing蛳hua (College of Precision Instrument and Opto 蛳electronics Engineering, Tianjin University, Tianjin 300072, China) Abstract: Multi 蛳vision detection was an image processing technology which captured images of the same object from different angles with several CCD sensors, and obtained the information of the object after image matching, segmentation and subtraction. In contrast with the method of monocular vision, the multi蛳vision sensors can obtained more information of the object, moreover, the detecting system used the method of capturing images from multi 蛳angle with symmetry in the condition of parallel lighting. Finally, the defect and profile information of the object formed perfectly with the help of the method of image matching and the rules of the image subtraction. According to the technology of the image detection above, an experimental device was introduced in the paper. The groups of experiments prove that the method is quite feasible. The method of multi 蛳vision detection based on parallel lighting greatly improves the anti蛳interference ability of the system, and fundamentally raises the precision of the image processing. This method is much more convenient, quick, stable and applicable to different situations compared with the traditional method of eliminating noise and filtering. Key word word文档格式规范word作业纸小票打印word模板word简历模板免费word简历 s: Multi蛳vision detection; Parallel lighting; Subtraction 红外与激光工程 第 39 卷 0 引 言 多目视觉检测技术有着广阔应用前景 ， 随着光 学 、电子学以及计算机技术的发展 ，将不断进步 ，逐 渐实用化。 不仅将成为工业检测、生物医学 、虚拟现 实等领域的关键技术，还应用于航天遥测、军事侦察 等领域。 该检测技术是通过多个 CCD 传感器， 从不 同的角度获取同一被测目标图像 ， 并对多幅不同工 位的图像作基于图形轮廓特征的图像匹配 [1]、图像差 分和阈值分割 [2]等处理，可以有效提取目标轮廓或缺 陷信息 [3]的一种图像处理技术。 与单目视觉检测技术 相比 ，多目视觉从不同角度获取不同显现力 [4]的图 像。 文中结合了平行扩束光源照明的方式，使位于被 测目标表面法线两侧并关于法线成角度对称的两工 位相机可以得到两种互补式显现力的图像 。 再经过 基于灰度值的图像和 、 差运算 ， 得到的图像轮廓分 明，缺陷突出，前、后背景对比度高，在很大程度上提 高了系统的容噪能力。 文中提出了一种三目视觉检测和测量方法，获得 被测目标的垂直方向和两个对称角度方向的三幅图 像， 再运用 Radon 算法调整三幅图像间的位置关系， 实现差分处理，获取目标信息。 1 实验原理 多目视觉检测装置主要由光源系统和三工位相 机组成(如图 1 所示)。 该系统的测量原理是：LED 发 图 1 系统工作原理图 Fig.1 System principle diagram 出的光经过平行扩束光学系统成为平行光，并照射在 被检测物体表面，经过反射分别进入 3 个相机。 由于 角度和位置的约束，3 个相机所得图像截然不同。 相 机 3 光轴与光源的光束轴心一致， 因光源倾斜放置， 光束多数经由被测物光滑表面到达其法线另一侧的 相机 2，而少量经过表面的凹陷或者缺陷 (都非平面 ) 部分的漫反射后，经由光源半透射半反射镜子返还至 相机 3，主要显现被测物缺陷和凹陷部分信息。相机 2 则吸收了光源的大部分光束，突显了被测物平面光滑 部分的信息。则称位于相机 2 活动区域内得到的图像 为明域图像；而称位于相机 3 活动区域内得到的图像 为暗域图像。 相机 1 主要作用是得到工件图像的原 型，提取原型中的几何特征和几何尺寸 ，以利于相机 2、3 的图像匹配、差分处理。 实验过程中，为便于后续的算法实现 ，应保证相 机 2、3 相对被测物法线对称放置，即入射角等于出射 角。 保证此前提下，考虑了实验必要性及相机尺寸的 限制，出射角和入射角在 15°～75°范围内可以调节。 由于相机2、3 是倾斜取景，所得到的图像信息与 工件实际形状有偏差。 举例说明，如果被测工件的轮 廓是圆形(如图 2 所示)，则相机 2、3 得到的图像由圆 图 2 相机成像解析图 Fig.2 Camera imaging analysis diagram 形变为椭圆形。 设被检测工件的直径为 D，平行光轴 线与水平方向夹角为 θ，则相机 2、3 采集到的图像为 椭圆形，其长轴为 D，短轴为 Dsinθ。 而相机 1 位于被 检测物体的正上方，得到的图像信息与被检测物体的 实际信息吻合。 2 多目视觉检测装置 文中为研究平行光照明下多目视觉检测方法，设 计并制造了基于上述检测方法的实验装置。该实验装 置具有性能可靠、检测过程自动化程度高、抗共模干 扰能力较强、精度高等特点，可用于在线生产检测，实 物三维形貌测量以及航空航天领域提供稳定可靠的 340 第 2 期 检测与测量。 文中提出的基于平行光照明的多目视觉检测装 置包括多自由度调整定位机构、平行扩束白光光学系 统、图像采集处理系统。 2.1 多自由度调整定位机构 多自由度调整定位机构如图 3 所示，该机构采取 龙门式升降形式，通过悬臂梁上滑块及左右螺柱螺母 的调节， 可以使视觉系统在垂直平面内分别沿 x 和 y 方向移动。 调节滑块下悬挂装置的微调旋钮及螺母， 亦可以完成平面内旋转和升降调节。结合承载被测物 的升降台的运动，最终使该机构实现多自由度 、多方 向的运动能力。 图 3 多自由度调整定位机构 Fig.3 Multi蛳degree of freedom positioning adjustment mechanism 图中 ，1、2、3 分别为多目视觉中的相机 1、2、3。 定位机构是 4、5。 4 实现垂直平面内 x 和 y 方向的移 动 ，5 实现平面内的旋转和升降 ，6 为被测工件的放 置位置。 2.2 平行扩束白光光学系统 平行扩束白光光学系统主要包括高亮度 LED 芯片 及驱动电路、平行光光路系统及光学机械架构等部分。 (1) 该设计使用 5 W 大功率 LED 作为点光源，其 特点是发光亮度高，在 1 A 电流供电时，光通量可达 110 lm，且体积小、发光效率高。 因自带小型散热片， 故可以保持 LED 高亮度长时间稳定工作。 LED 驱动 电路选择 HV9910 作为主芯片 ， 此芯片基于 buck 蛳 boost 恒流控制原理，结合 PWM 脉宽调制精确控制方 法，可实现对 LED 电流在 0～1 A 范围内的连续调节， 保证光源光强连续稳定地变化。 (2) 以小孔成像原理为基础，结合光束扩束理论 设计的平行准直调节光路系统及光学机械架构 ，如 图 4 所示。 该光学系统光轴方向长度应小于 300 mm，光斑 图 4 平行光系统原理图 Fig.4 Schematic diagram of parallel optical system 直径应大于 40 mm。 根据设计要求，选定前透镜 L1焦 距 f1为 12 mm，镜头口径 D1为 12 mm。根据光学原理 及其设计要求计算后透镜 L2参数， 包括 L2焦距 f2和 口径 D2 。 过程如下： 2f1 /f2 =D1 /D2 (1) 因出瞳孔径大于等于 40 mm， 所以计算得到的 D2 应 该大于等于 40 mm，这样得到 f2 =84 mm，D2 =42 mm。 根据透镜实际型号，选取 f2 =100 mm，D2 =54 mm。 2.3 图像采集控制系统 图像采集控制系统主要包括光强自动调节模块、多 幅图像采集模块、获取匹配参数模块、差分图像模块 [5]、 边缘轮廓提取模块[6]、缺陷几何量计算模块等部分。 系统硬件结构如图 5 所示。 系统工作步骤如下： (1) 由电脑为核心的控制系统， 接收由三工位相 机抓取的工件图像，首先做灰度值均值判断，判定光 强度是否达到最佳拍摄范围，此范围的确定要综合考 虑图1 中第一工位和第三工位相机的成像质量，既不 要使第一工位曝光不足 (称此临界点的 LED 电流值 图 5 图像采集控制系统结构图 Fig.5 Structure diagram of image acquisition control system 赵 阳等：平行照明多目视觉检测技术 341 红外与激光工程 第 39 卷 为 Imin )，也不要使第三工位曝光过度 （称此临界点的 LED 电流值为 Imax ）。 如此便可以得到 LED 光强上下 极限对应的电流值。 (2) 设置好 LED 驱动电流参数， 并通过 PC 机将 参数指令传递给 PWM 调光器， 改变 PWM 调光器输 出脉冲的占空比，进一步控制 LED 恒流直流，最终改 变光源光强。 (3) 在指定的 LED 驱动电流下，通过图像采集卡 依次采集 3 个工位相机的视野图像。通过软件中集成 的匹配参数解析模块 [7]，利用 Radon 算法获得 3 幅图 像的基于特征的匹配参数，包括形心平移参数、缩放 比例参数、图形旋转参数。 (4) 将图像匹配的结果经由带权系数的差分运算 模块处理， 差分运算即是基于图像灰度的图像和、差 运算。 (5) 将边缘及缺陷轮廓突出显现的差分运算结果 经轮廓提取后，得到轮廓的二值化图像，此时可由附 加的图形几何量计量模块得到所需的特征几何量。 3 实验数据 在实验中选择研究的对象为圆片形钕铁硼工件， 其规格直径为 5～30 mm。 根据样品情况，研究系统需 要检测和识别 [8]的常见工件表面缺陷类型及其轮廓， 如：掉角、麻坑、砂眼、裂纹、刀痕及划痕。 在众多缺陷 类型的工件中， 选取带条形裂纹的工件作为实验对 象，得到的图像如图 6 所示。 实验装置： 多自由度调整定位机构、平行扩束光 源、LED 驱动电路、工业黑白相机、图像采集卡、PWM 脉冲控制卡、PC 机、图像处理软件。 实验目的： 在 100～750 mALED 驱动电流的光照 下，采集三工位被测工件图像。 实验条件： 夜晚实验室内，无其他杂光条件下。 实验对象： 有缺陷的光滑圆环形钕铁硼工件。 图 6 是系统分别在 112 mA 和 750 mA 的 LED 驱 动电流下得到的三工位图像。 其中图(a)～(c)是 112 mA LED 驱动电流下的图像；图(d)～(f)是 750 mA LED 驱 动电流下的图像。 图(a)、(d)是相机 3 拍摄得到的暗域 图像 ；图 (b)、 (e)是相机 1 位于工件正上方拍摄的图 像；图(c)、(f)是相机 2 拍摄得到的明域图像。 图 6 112 mA和 750 mA 电流照明下三工位相机成像 Fig.6 3蛳position camera imaging with 112 mA and 750 mA current illumination 4 差分处理技术 在该视觉检测系统中，左侧相机和右侧相机位于 左右对称位置，由于摄像角度相同，它们采集到的图 像信息都为椭圆，形状一致。 可以利用在明域下采集 到的图像信息进行二值化处理后 ， 建立一个 MASK 模板 个人简介word模板免费下载关于员工迟到处罚通告模板康奈尔office模板下载康奈尔 笔记本 模板 下载软件方案模板免费下载 ，然后利用该模板提取暗域信息 ，最后再进行差 分处理，得到目标信息。 利用右侧相机在 750 mA 电流下采集到的图像 信息，建立一个 MASK 区域。 首先将原始图像转化为 二值化图像，白色像素代表前景信息，黑色像素代表 背景信息 ， 采用 Radon 算法提取椭圆中心和边缘信 息，然后对图像的大小和位置进行调整。 最终建立模 板(如图 7 所示)。 图 7 Mask 模板 Fig.7 Mask template 选取 Radon 投影角度为 0～180°，应用 Radon 算法 处理后的图像如图 8 所示，图像强度的投影沿垂直投 影方向分布在-110～110 的坐标区间 ，表示前景图像 342 第 2 期 图 8 Radon 算法处理后的图像 Fig.8 Data after processing with Radon algorithm 的各角度的外轮廓尺寸最大跨度在这个区间内。由图 8 中坐标可知：该椭圆的中心几乎就是矩形图像尺寸 的中心 ，且长轴的像素分布是-106～106，共 212 个像 素，短轴的像素分布是-93～93，共 186 个像素。 在 0～ 180°区间 ，每间隔 1°就有一条投影曲线 ，比较这 181 组 Radon 投影数组，可以知道 ：在哪一个角度可以得 到长轴投影值，则这个角度即是相机偏离机构平面的 角度，也是匹配差分算法的旋转角度参数值。 通过正 上方相机圆形图像的尺寸与明暗域图像椭圆形尺寸 的比较，获得相机 2、3 位置的图像缩放比例。 由上述 缩放比例参数和旋转角度参数，缩放、旋转明、暗域图 像，达到两者匹配度最佳 [9]。 为得到不同匹配差分效果 ， 将不同亮度下相机 2、3 得到图像按照一定的准则差分运算，运算准则设 计如下： (1) Pixels (Rule1)=Pixels (Adding)-Pixels (750 mA of Camera 2); (2) Pixels(Rule2)=Pixels(Differential)-Pixels (750 mA of Camera 2)*0.15; (3) Pixels (Rule3)=Pixels (Adding)-Pixels (112 mA of Camera 2)*0.58; (4) Pixels (Rule4) =Pixels (Differential)*2.4 -Pixels (112 mA of Camera 2)*0.3; (5) Pixels (Rule5)=Pixels (750 mA of Camera 2)- Pixels(Differential); (6) Pixels (Rule6)=Pixels (750 mA of Camera 2)- Pixels(Adding)*0.5; (7) Pixels (Rule7)=Pixels (112 mA of Camera 2)- Pixels(Differential)*4.5; (8) Pixels (Rule8)=Pixels (112 mA of Camera 2)- Pixels(Adding)*1.35。 根据迭代方法完成规则中差分系数的确定。为保 证前景和背景图像的差分效果显著， 可利用公式 (2) 判断差分系数： mean(Pixelsf )-mean(Pixelsb ) max (2) 式中：Pixelsf代表图像结果的前景像素值；Pixelsb代表 背景像素值；mean()是均值算子。 以准则 1 为例， 该条准则表示将相机 2、3 图像灰 度值按照适当的匹配系数相加后再与 750 mA 下相机2 的灰度值相减。 根据以上 8 条差分规则的顺序处理匹 配后的图像，得到如图 9 所示的结果；由图 9 中可以看 图 9 匹配差分算法处理结果 Fig.9 Processing results of matching difference algorithm 清晰可见， 比单目视觉得到的图像包含的信息量更丰 出：不同准则得到的差分效果完全不同，且轮廓都非常 富，且可以消除工件纹理不均匀带来的缺陷误判。 图 9 赵 阳等：平行照明多目视觉检测技术 343 红外与激光工程 第 39 卷 中(a)、(b)除了裂纹缺陷突显之外，纹理的不平滑也给 结果带来了干扰。 但是在(c)、(d)中这种干扰被掩盖下 去，说明这两幅图较前两幅图缩小了频率范围，使高低 频信息都向频率范围中心压缩。 (e)和(g)边缘信息较明 显，高频信息突出，低频信息受到抑制。 通过以上处理得到的图像再经过阈值分割算法， 能够清晰地提取出图像的轮廓尺寸及缺陷信息， 如图 10所示。 图中(a)、(b)存在干扰噪声，(c)、(d)噪声较少且 轮廓信息保留更加完整。 说明处理前图(a)、(b)保留高 频信息比(c)、(d)多且分散，高低频信息有混杂，使轮廓 信息不完整。 从图(g)、(h)可以看到：边缘处有圆晕，说 明圆环金属片轮廓处有类似高斯曲线的灰度分布 。 为了对比基于 Radon 的匹配差分处理算法与单幅 图像处理结果 [10]的区别，选取图 6 中(e)应用最佳阈值 图 10 阈值分割算法处理结果 Fig.10 Processing results of threshold segmentation algorithm 进行处理，得到的结果如图 11 所示。 可见单幅图像处 理算法单一，且结果很不理想，为突出裂纹缺陷所选取 的阈值也恰恰增强了纹理不平所带来的干扰， 这样干 扰信息与有效缺陷信息特性过于接近，无法分离。 图 11 单幅图像阈值处理后的结果 Fig.11 Processing result of a single image threshold 通过对以上图像处理过程的分析， 可以发现基于 Radon 的多幅图像匹配差分处理技术能够实现在明 域、暗域之间，不同驱动电流下，即不同光强强度下图 像信息之间的差分处理，并且缺陷显现力强、有一定干 扰信息抑制能力， 为图像缺陷检测和尺寸测量提供了 新的研究方向。 5 结 论 文中主要完成了对多目视觉检测系统中照明系 统的分析、设计，同时搭建了实验平台，获取了实验数 据并基于 Radon 算法对多幅图像做匹配差分处理，在 很大程度上提高了系统的检测精度和抗干扰能力，为 多幅图像的应用开辟了新的研究方向。 从双目视觉和多目视觉技术的发展现状来看，要 构造出类似于人眼的通用视觉系统，还要开展如下研 究工作： (1) 如何建立更有效的视觉检测模型， 更充分地 反映视觉不确定性的本质属性，为匹配提供更多的约 束信息，降低立体匹配的难度。 (2) 探索新的适用于全面视觉的计算理论和匹配 策略，选择有效的匹配准则和算法结构 ，以解决存在 灰度失真、几何畸变（透视、旋转、缩放等）、噪声干扰、 特殊结构（平坦匹域、重复相似结构等）及遮掩景物的 匹配问题。 (3) 算法向并行化发展，提高速度，减少运算量， 增强系统的实用性。 344 第 2 期 (上接第 338 页) 图 7 全偏振遥感测量实验 Fig.7 Full蛳polarization remote sensing experiment 偏振相关图像。 4 结束语 作为一种新型的遥感手段，全 Stokes 矢量遥感测 量技术无法被目前的线偏振遥感替代，同时偏振相位 信息及相关的全偏振参数是遥感测量中能够提供更 多信息来源、更多细节的重要数据源。因此，进行全偏 振探测具有重要的意义。 参考文献： [1] LEFAUDEUX N, LECHOCINSKI N, BREU GNOT S, et al. Compact and robust linear stokes polarization camera [C]// SPIE， 2008， 6972：69720B. [2] THIL AK V, VOELZ D G, CREUSERE C D. Polarization 蛳 based index of refraction and reflection angle estimation for remote sensing applications [J]. Applied Optics，2007，46 (30): 7527-7536. [3] ZHANG Chao 蛳yang, CHENG Hai 蛳feng, CHEN Chao 蛳hui, et al. Geometrical optics solution for surface polarimetric scattering of camouflage materials [J]. Infrared and Laser Engineering (张朝阳 , 程海峰 , 陈朝辉， 等 . 伪装材料表面偏振散射的几 何光学解 . 红外与激光工程 ), 2009, 38(6): 1064-1067. [4] LIU Bi 蛳liu, SHI Jia 蛳ming, ZHAO Da 蛳peng, et al. Mechanism of infrared polarization detection [J]. Infrared and Laser Engineering (刘必鎏 ,时家明 , 赵大鹏 ,等 .红外偏振探测的机 理 . 红外与激光工程 ), 2008, 37(5): 777-781. [5] GU Dong蛳feng, WINKER B, WEN Bing, et al. Liquid crystal tunable polarization filters for polarization imaging[C]// SPIE, 2008, 7050: 70500I. [6] ANDRE Y, LAHERRERE J 蛳M, BRET 蛳DIBA T, et al. Instrumental concept and performances of the POLDER instrument[C]// SPIE, 1995, 2572: 79-90. [7] PUST N J, SHAW J A. Dual 蛳field imaging polarimeter using liquid crystal variable retarders[J]. Applied Optics , 2006, 45 (22): 5470-5478. [8] LI Yu 蛳bo, JIA Wen 蛳jian, WU Zheng 蛳jue, et al. A polarimeter based on electric 蛳optical material [C]// SPIE, 2006, 6352: 6352105. (4) 强调场景与任务的结束， 针对不同的应用目 的，建立有目的和面向任务的体视系统。 参考文献： [1] C HANG C C, HWANG S M, B UEHRE R D J. A shape recognition scheme based on relative distances of feature points from the centroid [J]. Pattern Recogn , 1991, 24: 1053-1063. [2] DUBUISSON M P, LAKSHMANAN S, JAIN A K. Vehicle segmentation and classification using deformable templates [J]. IEEE Trans Pattern Anal Mach Intell , 1996, 18: 293-308. [3] GE Wen蛳qian, ZHAO Hui蛳jie. Measure system of surface flaw and contour dimension of high curvature bitty part [J]. Infrared and Laser Engineering (葛文谦 ，赵慧洁 . 高曲率微 小零件表面缺陷及外形尺寸测量系统研究 . 红外与激光工 程), 2008, 37(2): 274-278. [4] BEYMER D, POGGIO T. Image representations for visual learning [J]. Science, 1996, 272: 1905-1909. [5] NASCIMENTO M Z, FRKRE A F. Subtraction of images for automatic determination of center of the radiation field [C]// Proceedings of the 25th Annual International Conference of the IEEE EMBS Cancun , 2003: 17-21. [6] ZHANG Hong 蛳qun, ZHANG Xue, XIAO Wang 蛳xin. Adaptive thresholds edge detection for image based on wavelet transform [J]. Infrared and Laser Engineering (张宏群 ， 张 雪 ， 肖旺新 . 小波变换的自适应阈值图像边缘检测方法 . 红 外与激光工程 ), 2003, 32(1): 32-36. [7] ANSARI N, DELP E J. Partial shape recognition, a landmark based approach [J]. IEEE Trans Pattern Anal Mach Intell , 1990, 12: 470-483. [8] LEE K M. Model蛳based detection, segmentation, and classification for image analysis using on 蛳line shape learning [J]. Machine Vision and Applications , 2003, 13: 222-233. [9] SU C L. Chinese 蛳seal蛳print recognition by color image dilating, extraction, and gray scale image geometry comparison [J]. Journal of Intelligent and Robotic Systems , 2005, 44: 349- 359. [10] SONG Li 蛳mei, ZHOU Xing 蛳lin, XU Ke 蛳xin, et al. Three 蛳 dimensional defect detection based on single measurement image[J]. Acta Optica Sinica (宋丽梅 , 周兴林 , 徐可欣 ,等 . 基于单幅测量图像的三维缺陷检测技术 . 光学学报 ), 2005, 25(9): 1195-1200. 赵 阳等：平行照明多目视觉检测技术 !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 345