机器视觉系统基础知识

null机器视觉系统 基础知识机器视觉系统 基础知识主讲人： 中国大恒（集团）有限公司北京图像视觉技术分公司 null 机器视觉系统基本原理 照明光源 镜头 工业摄像机 图像采集/处理卡 图像处理系统 机器视觉系统设计思路及技巧 null 第1章 机器视觉系统基本原理 1.1 机器视觉系统的原理 1.2 机器视觉系统与人的视觉的对比 1.3 机器视觉系统的构成 1.1 机器视觉系统的原理1.1 机器视觉系统的原理 机器视觉系统的目的就是给机器或自动生产线添加一套视觉系统，其原理是由计算机或图像处理器以及相关设备来模拟人的视觉行为，完成得到人的视觉系统所得到的信息。人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成，计算机视觉系统则是由图像采集系统、图像处理系统及信息综合分析处理系统构成。 1.1 机器视觉系统的原理1.1 机器视觉系统的原理图像处理技术 彩色图像转换技术 图像分割技术 模式识别技术 数学形态学 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 专家系统及人工智能技术 视觉神经网络技术 小波分析技术 分形学方法null 1.2 机器视觉系统与人的视觉的对比null1.3 机器视觉系统的构成1.3 机器视觉系统的构成照明光源 镜头 工业摄像机 图像采集/处理卡 图像处理系统 其它外部设备nullnullnull 第2章 照明光源 2. 照明光源2. 照明光源 在我国国家标准GB 5698－85中，颜色定义为：“色是光作用于人眼引起除形象以外的视觉特性”。既：颜色是一种光学现象，是光刺激人眼的结果，有光才有色。彩色也是一种心理感觉，它与照明光源的辐射能力分布及观看者的视觉生理结构有关。人眼可以感知的光谱范围为380nm-780nm，但人感知一个物体的颜色一般是指在日光照明的环境下所显示的色彩，对于同一物体在不同光线的照射下人会感觉到不同的色彩，可见光源对于正确认知物体的色彩是至关重要的。2. 照明光源2. 照明光源 简单视功能原理：人眼视网膜里存在着大量光敏细胞，按其形状可分为杆状和锥状两种。杆状光敏细胞的灵敏度极高，主要靠它在低照度时辨别明暗，但它对彩色是不敏感的；而锥状细胞既可辨别明暗，也可辨别彩色。白天的视觉过程主要靠锥状细胞来完成，夜晚视觉则由杆状细胞起作用。所以在较暗处无法辨别彩色。 2. 照明光源2. 照明光源 三原色学说：该学说认为在视网膜上分布有三种不同的视锥细胞，分别含有对红(700nm)、绿(546.1nm)、蓝(435.8nm)三种光敏感的视色素；当某一定波长的光线作用于视网膜时，以一定的比例使三种视锥细胞分别产生不同程度的兴奋，这样的信息传至中枢，就产生某一种颜色的感觉。 2. 照明光源2. 照明光源 所以，当我们用某光源照明时，若光源只发出三条人眼最敏感的谱线，即：蓝、绿、红。这样似乎是达到了人眼对照明的需求和防止了人眼无法察觉和有害射线对人眼视力的影响。但我们由前面提到的，物体只能反射和透射与该物体颜色相同的光线，因此上面我们假设的光源的显色性一定是很差的。 2. 照明光源－主要参数2. 照明光源－主要参数 光源的光谱分布： 对于色彩检测的应用，应选择与日光接近的光源，光谱要宽，而且连续。光源照射在物体上，物体所产生的颜色效果要客观、真实，既光源的显色性好。其它场合可使用各种单色光和特殊光源。2. 照明光源－主要参数2. 照明光源－主要参数 色温，单位是开尔文（K）：当光源所发出的光的颜色与“黑体”在某一温度下辐射的颜色相同时，“黑体的温度就称为该光源的色温。“黑体”的温度越高，光谱中蓝色的成分则越多，而红色的成分则越少。例如：白炽灯的光色是暖白色，其色温为2700K左右，而日光色荧光灯的色温则是6400K左右。白炽灯的色温一般在2700K左右、日光灯的色温在2700-6400K左右、钠灯的色温在2000K左右2. 照明光源－主要参数2. 照明光源－主要参数照度：单位被照面上接收到的光通量称为照度。如果每平方米被照面上接收到的光通量为1（lm），则照度为1(lx)。单位：勒克斯（lx或Lux）。1勒克斯（lx）相当于每平方米被照面上光通量为1流明（lm）时的照度。在高速运动条件下拍摄图像，曝光时间很短，只有高亮度的光源才能得到足够亮度的图像。null夏日阳光下 100000Lux 阴天室外 10000Lux 电视台演播室 1000Lux 距60W台灯60cm桌面 300Lux 室内日光灯 100Lux 黄昏室内 10Lux 20cm处烛光 10-15Lux 晴朗的月夜地面照度约0.2 lx2. 照明光源－主要参数2. 照明光源－主要参数寿命。光源的半衰期要长，且在半衰期内，光谱稳定，亮度衰减小。 发热特性。光源的工作温度要低，避免高温损坏被检测物。 信噪比高，抗干扰能力强。 闪烁频率，交流、直流。 外形尺寸，便于安装。2. 照明光源－分类2. 照明光源－分类按照射方式可分为四大类: 背向照明 前向照明 结构光 频闪照明。 各种照明方式：平面照明、环形光源、同轴光源、平行光源、点光源、低角度光源、线光源、光栅； 2. 照明光源－分类2. 照明光源－分类2. 照明光源－光纤照明2. 照明光源－光纤照明光纤照明系统：可弯曲的光纤束＋专用镜头 点照明 线照明 环形照明null 第3章 镜头 3. 镜头－影响图像质量的因素 3. 镜头－影响图像质量的因素 3. 镜头3. 镜头机器视觉系统的基本光学参数： 视场角 工作距离 分辨率 景深 有效像场null3. 镜头－镜头的理想模型 3. 镜头－镜头的理想模型 薄透镜模型，薄透镜是指透镜没有厚度，当然这种透镜是不存在的，而且我们一般用的镜头都是多组镜片组合在一起的。我们通常使用中会忽略厚度对透镜的影响，在去除透镜参数中的厚度后，可简化许多光学计算公式。3. 镜头－镜头的理想模型 3. 镜头－镜头的理想模型 3. 镜头－镜头的理想模型 3. 镜头－镜头的理想模型 两个重要公式： 1/f = 1/S1 + 1/S2 S1＝f *( H/h+1)3. 镜头－有关镜头的基本概念 3. 镜头－有关镜头的基本概念 3. 镜头－有关镜头的基本概念3. 镜头－有关镜头的基本概念焦距（F）： 视场角： 物距： 像距： 光圈：一般用口径系数f 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示，指镜头口径与焦距之比，f/2.8即指1:2.8 景深（DOF）：在焦点前后各有一个容许弥散圆，这两个弥散圆之间的距离就叫景深，即：在被摄主体(对焦点)前后，其影像仍然有一段清晰范围的，就是景深。 分辨力：指能分清楚物体的能力，单位LP/mm（Line pairs/Milimeter） 快门，决定曝光时间 数值孔径，Numerical Aperture (NA) 基本放大倍数(光学放大倍数），Primary Magnification (PMAG) 调制传递函数（MTF），MTF好的镜头有利于低对比度景物的再现，拍出的图像层次丰富、细节明显、质感细腻。 畸变：也叫失真 3. 镜头－有关镜头的基本概念3. 镜头－有关镜头的基本概念3. 镜头－有关镜头的基本概念3. 镜头－有关镜头的基本概念3. 镜头－常见光学镜头的种类 3. 镜头－常见光学镜头的种类 按光学放大倍率及焦距划分 显微镜： 体视显微镜、生物显微镜、金相显微镜、测量显微镜 常规镜头： 鱼眼镜头：6-16mm 超广角：17-21mm 广角：24-35mm 标头：45-75mm 长焦：150-300mm 超长焦：300mm以上 特殊镜头： 微距镜头 远距镜头 远心镜头 红外镜头 紫外镜头3. 镜头－常见光学镜头的种类3. 镜头－常见光学镜头的种类按其它性能划分 固定焦距镜头 变焦镜头 自动变焦 手动变焦 不同接口方式的镜头 C接口（后截距17.526mm） CS接口（后截距12.5mm） F接口（尼康口） M42 其它：哈苏、徕卡、AK3. 镜头－各种镜头常用配件3. 镜头－各种镜头常用配件近拍接圈 偏振镜 滤色片 UV镜 雷登镜 增温镜 各色滤镜 带通滤镜 增倍镜 分光镜 棱镜null 第4章 工业摄像机4. 工业摄像机4. 工业摄像机按不同芯片类型划分： CCD摄像机，CCD称为电荷耦合器件，CCD实际上只是一个把从图像半导体中出来的电子有组织地储存起来的方法。 CMOS摄像机，CMOS称为“互补金属氧化物半导体”，CMOS实际上只是将晶体管放在硅块上的技术，没有更多的含义。CMOS可以将光敏元件、放大器、A/D转换器、存储器、数字信号处理器和计算机接口控制电路集成在一块硅片上，具有结构简单、处理功能多、速度快、耗电低、成本低等特点。 4. 工业摄像机4. 工业摄像机 但是不论CCD或者CMOS对于图像感应都没有用，真正感应的传感器称做“图像半导体”，CCD和CMOS传感器实际使用的都是同一种传感器“图像半导体”，图像半导体是一个P N结合半导体，能够转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。 4. 工业摄像机4. 工业摄像机CMOS摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题，1989年后出现了“有源像敏单元”结构，不仅有光敏元件和像敏单元的寻址开关，而且还有信号放大和处理等电路，提高了光电灵敏度、减小了噪声，扩大了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价格方面要优于CCD，逐步得到广泛的应用。4. 工业摄像机4. 工业摄像机按输出图像信号格式划分 模拟摄像机 PAL（黑白为CCIR），中国，625行，50场 NTSC（黑白为EIA），日本，525行，60场 SECAM S-VIDEO 分量传输 数字摄像机 IEEE1394 USB2.0 DCOM3 RS-644 LVDS Channel Link Camera Link 千兆网4. 工业摄像机4. 工业摄像机按像素排列方式划分 面阵摄像机 黑白摄像机 采用BAYER转化的单片相机 3CCD彩色摄像机（分光棱镜） 线阵摄像机 黑白摄像机 3Line彩色摄像机 3CCD彩色摄像机（分光棱镜）4.工业摄像机－3CCD4.工业摄像机－3CCD4.工业摄像机－3Line CCD4.工业摄像机－3Line CCD4.工业摄像机－BAYER转换4.工业摄像机－BAYER转换4. 工业摄像机－主要参数 4. 工业摄像机－主要参数 分辨率 帧率/行频 成像灵敏度 靶面尺寸 快门速度 光谱响应特性 白平衡 外同步与外触发null第5章 图像采集/处理卡 5. 图像采集/处理卡 5. 图像采集/处理卡 5.1图像采集卡的主要功能： A/D转换 图像传输 图像采集控制 图像处理（FPGA、DSP）5. 图像采集/处理卡5. 图像采集/处理卡模拟量图像采集卡: 标准视频信号采集: PAL、NTSC 非标准视频信号采集 数字量图像采集卡 IEEE1394卡 RS-644 LVDS Channel Link LVDS Camera Link LVDS 千兆网图像传输卡/传输器null第6章 图像处理系统6. 图像处理系统6. 图像处理系统 图像处理系统或计算机的作用是执行图像处理及分析软件，调用根据检测功能所特殊设计的一系列图像处理及分析算法模块，对图像数据进行复杂的计算和处理，最终得到系统设计所需要的信息，然后通过与之相连接的外部设备以各种形式输出检测结果及响应。其外部输出设备可以包括显示器、网络、打印机、报警器及各种控制信号。6. 图像处理系统6. 图像处理系统嵌入式图像处理系统： DSP、 FPGA、Power PC、ARM、MIPS 基于PC的视觉系统：结构及功能复杂，可多路并行处理。 小型机器视觉系统：结构简单，稳定性好，开发周期长。 可二次开发的视觉系统：PPT、DVT、VC、Basler等机器视觉及图像处理常用算法： 机器视觉及图像处理常用算法： 滤波（平滑、降噪） 增强 边缘锐化 纹理分析（去骨架、连通性） 图像分割，灰度、色彩、频谱特征、纹理特征、空间特征； 变换(空域和频域、几何变换、色度变换） 几何形态分析（Blob分析），形状、边缘、长度、面积、圆形度位置、方向、数量、连通性等 搜索匹配 文字识别OCR，印刷质量OCV 色彩分析（色度、色密度、光谱、自动白平衡） 3维测量6. 图像处理系统6. 图像处理系统图像处理软件工具包： Halcon（MVTect） OpenCV eVision（Euresys ） Sapera Processing、Shelock（DALSA Coreco） VisionPro（Cognex ） 7.机器视觉系统设计思路及技巧7.机器视觉系统设计思路及技巧7.机器视觉系统设计思路及技巧7.机器视觉系统设计思路及技巧摄像机选择要点： 线阵/面阵 彩色/黑白 分辨率、像元尺寸 帧率/行频 曝光方式、快门速度 光谱响应特性 感光灵敏度 传输标准、数据位 图像质量、信噪比 其它：价格、曝光控制、大小、电源7.机器视觉系统设计思路及技巧7.机器视觉系统设计思路及技巧光源选择要点： 光谱分布（颜色、显色性、色温） 照明形式 亮度 频闪（闪烁频率、开关响应） 使用温度、发热情况 形状、外形尺寸 半衰期7.机器视觉系统设计思路及技巧7.机器视觉系统设计思路及技巧镜头选择要点： 焦距 有效像场 接口形式 光圈（数值孔径） 景深 分辨力 像差 明锐度 7.机器视觉系统设计思路及技巧7.机器视觉系统设计思路及技巧处理系统选择要点： 系统结构（多路检测、并行处理） 图像卡 处理器 网络 同步信号 图像处理软件 机械安装 抗干扰设计