cmos图像传感器一些应用参考

什么是CMOS图像传感器？ CMOS：互补性氧化金属半导体CMOS（Complementary Metal-Oxide Semiconductor）和CCD一样同为在数码相机中可记录光线变化的半导体。CMOS的制造技术和一般计算机芯片没什么差别，主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带-电） 和 P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。然而，CMOS的缺点就是太容易出现杂点, 这主要是因为早期的设计使CMOS在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现象。 CMOS图像传感器IBIS5-B-1300的驱动时序设计 1．2 工作原理 IBIS5-B-1300内部有12个寄存器，提供传感器工作所需的参数及工作方式。对寄存器写入的数据决定了传感器的工作状态。寄存器的数据写入接口有3种：并行接口、串行三线接口、串行两线接口。可通过芯片的IF_MODE和SER_MODE管脚接不同的值来选择不同的数据接口模式(如 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 1所示)。 并行接口使用16 b并行输入来载入新的寄存器值。串行3线接口(或串转并接口)使用串行接口将数据移入寄存器缓冲器，当完整的数据字移入寄存器缓冲器时，数据字才被载入当前正在编码的寄存器。串行2线是一个单向的接口，本文暂不做分析。 IBIS5-B-1300具有两种快门方式：卷帘快门和同步快门，用寄存器(0000)的bitO进行设定，“1”为卷帘快门，“0”为同步快门。时序如图1，图2所示。 在卷帘快门模式下，帧频Frame period=(Nr.Lines×(RBT+Pixel Period*Nr.Pixels))。 在同步快门模式下，帧频Frame period=”Tint”+Tread out=”Tint”+(Nr.Lines×(RBT+Pixel Period*Nr.Pixels))。其中，Tint为积分（曝光）时间；Nr.Lines为每帧读出的行数；Nr.Pixels为每行读出的像素数；TBT为行空白时间（典型值为3.5ms）；Pixel Period为1/40MHZ=“25”。 　　卷帘快门中有两个y方向的移位寄存器，一个指向正在被读出的行，另一个指向正在被复位的行，两个指针由同一时钟y_clock(行时钟)驱动，它们之间的差值代表了光积分时间。在卷帘快门模式下，像素的读出和复位同时进行，每行像素的复位和读出是顺序进行的(见图3)。像素的积分时间可以通过寄存器INT_TIME来修改。在这种模式下，像素在不同的时刻感光，因而在采集动态图像时会产生模糊。 在同步快门模式下，所有像素的光积分在同一时刻进行的。所有像素同时被复位，在经过光积分后，像素的值被存储在每个像素的存储节点上，然后逐行依次读出。像素的光积分和读出是串行的，在像素读出时，积分被禁止，因而可以避免卷帘快门所产生的动态图像模糊的问题。此外，同步快门支持多斜率积分，可获得比卷帘快门更高的动态范围。 综上分析，在使用这款成像器芯片时，对快门方式要根据应用的场合进行选择，在对快速运动的物体进行捕获或要求有高的动态范围时应选择同步快门；而在对图像的帧速率要求较高或要对图像进行连续采集时应选择卷帘快门。 2 基于FPGA的CMOS控制时序的设计 2.1 现场可编程门阵列FPGA 随着集成电路的发展，大规模可编程逻辑器件广泛用于电路设计领域，它具有功耗低，可靠性高的特点，同时大大减小了电路板的尺寸。FPGA的内部结构决定了FPGA在时序设计方面的优越性。该设计选用Xilinx公司的Spartan3系列FPGA芯片XC3$50作为硬件设计平台。Spar-tan3基于VirtexⅡFPGA架构，采用90 nm技术，8层金属工艺，内嵌硬核乘法器和数字时钟管理模块。从结构上看，它将逻辑、存储器、数字运算、数字处理器、I／O以及系统管理资源完美地结合在一起，使之具有更高层次、更广泛的应用。 2.2控制时序的设计 该设计采用VHDL硬件描述语言，根据自顶向下的设计方法，将时序控制部分分为三个模块：复位模块、寄存器配置模块和快门模块。由于寄存器有两种配置方式，快门模式也有两种，因而后两部分都可以再细分为两个小模块。三个大的模块有严格的先后关系，必须在前一模块已完成后，才可开始后一模块。 图4显示模块的划分及其关系。 复位模块是用来产生图像传感器所需的SYS_RE_SET信号，使传感器正常复位，内部寄存器清零，为寄存器的配置做好准备。 寄存器配置模块是用来配置图像传感器内部的12个寄存器，提供传感器工作所需的参数和方式。其中，参数有积分时间、积分方式(单斜率或多斜率)、X序列发生器的时钟间隔、SS序列发生器的时钟间隔、亚采样方式、开窗位置及大小等。 快门模块用于产生传感器工作所需的一些控制信号，针对快门方式的不同给出所需的时序控制信号。在同步快门的设计中，该设计采用单斜率积分，在此设计基础上多斜率积分容易实现。 该设计采用VHDL对各模块时序进行编程。其中，快门模块使用状态机来实现各状态之间的转换(图5显示了卷帘模块的状态转移图，图6显示了同步快门的状态转移图)。全局时钟和ADC时钟采用DCM即数字时钟管理单元来实现。 3 实验结果 3.1 仿真结果 时序控制电路设计完毕后，需要对各部分进行功能仿真、逻辑综合以及综合后仿真，最后对整个系统进行综合、布局布线，完成时序仿真。对各模块编程并仿真通过后，将各模块加载到主函数top中，采用并行的寄存器配置方式，对卷帘和同步两种快门方式进行仿真，在Modelsim中的仿真结果如图7，图8所示。 3.2 成像结果 将此驱动时序应用于相机系统，在全帧输出模式(1 280×1 024)下，对鉴别率靶和静物进行拍摄，实验结果如图9，图10所示。由所拍摄结果可以看出，图像清晰稳定，无明显变形，CMOS图像传感器满足了成像的需求。 4结语 图像传感器驱动时序的正确与否对其能否正常工作起着决定性的作用。本文在分析CMOS图像传感器IBIS5-B-1300工作时序的基础上，设计了两种寄存器配置 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 和两种快门方式，并用FPGA内嵌的数字时钟管理单元(DCM)完成了系统时钟和ACD时钟的设计。实验结果表明，所设计的驱动时序可以满足该图像传感器的驱动要求。 基于CMOS图像传感器IBIS52A21300的时序设计 摘要：在分析CYPRESS公司的IBIS5-A-1300 CMOS时序的基础上,设计了串行、并行两种配置寄存器的模式,完成了多斜率积分、开窗口、亚采样功能。选用复杂可编程器件(CPLD)作为硬件设计载体,使用VHDL语言对驱动时序发生器进行了硬件描述。采用QuartusⅡ5.0软件对所做的设计进行了功能仿真,针对ALTERA公司的CPLD器件MAXⅡEPM570T144C3进行适配。系统测试结果表明,所设计的驱动时序发生器满足CMOS相机驱动要求。 关键词：CMOS相机；串行；并行；复杂可编程逻辑器件CPLD；时序发生器 随着CMOS集成电路工艺的不断发展和完善,CMOS图像传感器发展非常迅速。CMOS图像传感器具有低成本、低功耗、简单的数字接口、随机访问、运行简易、高速率、体积小以及通过片上信号处理电路可以实现智能处理功能等特点而得到广泛应用。由于CMOS传感器的驱动信号绝大部分是数字信号,因此可采用CPLD通过VHDL语言编程产生驱动时序信号。VHDL语言具有广泛的逻辑综合工具支持,简洁易于理解。本文就IBIS52A-1300CMOS图像敏感器给出使用VHDL语言设计的寄存器配置电路和仿真结果。 CMOS时序发生器原理 IBIS52A21300芯片 IBIS52A21300是131万像素(1280×1024),20mm(2/3英寸)的CMOS图像传感器芯片。它可以采用SXGA/VGA格式输出,最大帧速率可达到27.5帧/s(SXGA输出)或者100帧/s(VGA输出)。该芯片将CMOS感光核心与外围辅助电路集成在一起,同时具有可编程控制功能。6.7μm×6.7μm高填充系数像元,高达66%的填充系数,光学动态范围；片载可调整增益和偏置的输出放大器,以及10bit,40MS/sADC；具有卷帘快门和同步快门；随机可编程窗口和亚采样模式；片载抑制FPN电路；片载时序和控制逻辑发生器。 内部寄存器 IBIS52A-1300内部有12个16bit的寄存器,高4位是地址位,低12位是数据位。寄存器的值决定着相机的工作状态,必须根据需要进行设定,并实时作出修改。本设计中对各个寄存器设定不同的值实现多斜率积分、开窗口、亚采样的功能。寄存器0000用于设定快门方式,在多斜率积分中,会随上载不同寄存器而改变,如表1所示。 表1　多斜率积分时的寄存器设置 随机开窗口也就是基于感兴趣区域(Region-Of-Interest,ROI)读出。通过多种接口设置传感器内部的X和Y移位寄存器起点指针,控制X方向和Y方向的起始读出位置,就可以很容易地实现ROI操作。X方向地址的最小步进距离是2(只能选择偶数列作为起始地址),Y方向为1(每一行都可以作为起始地址),所以最小可以输出2×1窗口大小的像素单元。进行ROI操作时,帧速率近似成线性增长。由寄存器0001(每行读出像元个数)、0010(每帧读出行数)、0100(X方向起始位置)、0101(左侧Y起始位置)、0110(右侧Y起始位置)设定不同的开窗口的起始位置和大小。 亚采样也叫“抽点取样”,即通过选取某一区域的某点(或某些点)代替该区域,从而将影像的分辨率缩小到指定点。IBIS5-A-1300的X方向和Y方向分别有四种亚采样模式,能够很好地满足用户直接输出压缩图像的需要。这是由寄存器0111设置的。 接口模式时序及分析 内部寄存器决定了图像传感器的工作状态,所以传感器复位后要对这些内部寄存器进行配置。配置方式有两种：并行模式和串行模式,两种模式可以通过IF_MODE管脚和SER_MODE管脚进行选择,如表2所示。 表2　串行和并行接口的选择 16-bit的配置数据中,高4位是地址位,用来选择要写入的寄存器,低12位是要写入的数据。并行模式和串行模式的时序如图1。 并行模式利用16位宽的并行端口(P_DATA〈15:0〉)给内部寄存器上载新的值,通过写脉冲P_WRITE将值写入。根据图示信号周期可以计算得出写入12个寄存器的时间是4.8μs。 图1　两种配置接口的时序图 串行模式利用串行时钟(周期为400ns)驱动串行数据。串行数据16位为一组,当S_EN为低时将值写入。写入12个寄存器的时间为76.8μs。 基于CPLD的CMOS时序的实现 复杂可编程逻辑器件CPLD 为了产生系统所需的时序,采用复杂可编程逻辑器件(CPLD),包括可编程逻辑宏单元、可编程I/O单元、可编程内部连线三种结构,其集成度远远高于PAL等传统PLD器件,并在速度上有一定的优势。本文采用ALTERA公司生产的MAXⅡEPM570T144C3CPLD器件,结合QuartusⅡ开发工具,可以实现电路设计、仿真、器件编程等全部设计,开发调试灵活。 CMOS寄存器配置时序的VHDL描述 时序部分的主要功能是驱动CMOS图像传感器的正常工作,驱动时序的要求使得驱动电路的设计规模较大,复杂程度高,很难用传统的方式描述,必须采用更高层次的描述方法,实现自顶向下的设计,因此可以用VHDL语言与CPLD器件结合,设计的关键就是用VHDL语言描述CMOS的驱动时序关系。根据自顶向下的设计方法,确定输入输出信号,同时根据时序分析划分功能模块,然后把所有的输入输出信号分配到各个功能模块中,每个功能模块分别进行VHDL设计输入、功能仿真、后仿真。在各个功能模块实现其各自功能后,例如到顶层设计当中,再完成顶层的VHDL设计输入、功能仿真、综合、后仿真,直至最后达到设计要求。 由时序图知,并行模式中一个数据的上载时间为400ns,CLK为25ns,则需要16个时钟,设16进制计数器count,当count在6与11之间时,使P_WRITE为1,数据开始上载,用变量i计哪个寄存器上载。当12个寄存器上载完,启动下一模块,使SHUTTER_START为1,同时注意在多斜率积分中当12个寄存器上载完后,第一个寄存器的值要随之改变,这里需要设不同的寄存器,避免转换状态时计数器值不变出现死循环,上载数据方法与前面相同,流程图如图2所示。 图2　并行模式流程图 串行模式中每个寄存器上载值都需要有S_EN和S_CLK,由时序图知数据是由高位到低位上载的,在最高位时产生S_EN信号,随后保持低电平,直至下一个数据上载。由于数据是一位位上载的,因此对每一位数据要用一变量j,每个时钟下降沿使j-1,直至16位数据上载完,开始下一数据上载,用变量i表示,当i为12时启动下一模块。流程图如图3所示。 图3　串行模式流程图 驱动时序发生器功能仿真 在进行了VHDL描述和编译之后,就可以应用EDA软件进行驱动时序发生器的功能仿真。功能仿真与器件无关,只是根据VHDL原代码生成相应的波形图,检验设计的合理性,功能仿真是在QuartusⅡ5.0下进行的。图4和图5是驱动时序发生器在并行模式和串行模式下的仿真图,都是在同步快门四斜率积分和卷帘快门下仿真的。 比较并行模式和串行模式波形,可知并行模式比串行模式上载速度要快,但两种方式都可以满足CMOS图像传感器驱动时序要求。 图4　并行模式仿真图   图5　串行模式仿真图 结论 在分析CYPRESS IBIS5-A-1300CMOS驱动时序关系的基础上,提出了CMOS寄存器配置时序发生器的设计方案,并且实现了多斜率积分、开窗口、亚采样的功能。CPLD器件较其他器件具有延时小、设计简便、调试灵活等优点,且由其构成的驱动时序发生器工作稳定可靠、体积小,为自行研制CMOS摄像机实用化提供了条件。 基于USB传输及CMOS图像传感器的指纹识别仪的实现 摘要： 介绍了基于CMOS图像传感器OV762M和EZ—USB AN2131QC USB数据传输的指纹识别仪硬件实现，为匹配时序使用了CPLD技术实现了高速缓冲区，并重点对USB批量快速传输和CPLD缓冲控制的实现进行了讨论。由此方法实现的指纹识别系统反应灵敏，稳定可靠。 关键词： CMOS图像传感器；指纹识别仪；OV7620；AN2131QC；CPLD 引　言 CMOS图像传感器是近年来得到快速发展的一种新型固态图像传感器。它将图像传感部分和控制电路高度集成在同一芯片里，体积明显减小、功耗也大大降低，满足了对高度小型化、低功耗成像系统的要求。与传统的CCD图像传感器相比，CMOS图像传感器还具有集成度高、控制简单、价格低廉等诸多优点。因此随着CMOS集成电路工艺的不断进步和完善，CMOS图像传感器已经广泛应用于各种通用图像采集系统中。同时作为一种PC机与外围设备间的高速通信接口，USB具有许多突出的有点： 连接简便，可热插拔，无需定位及运行安装程序，无需连接外设时关机及重启系统，实现真正的即插即用；高传输速率，USB1.1 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 支持12Mb/s；不占用系统硬件资源，能够自动检测和配置外围设备，不存在硬件冲突问题。 因此，利用CMOS数字图像传感器与USB接口数据传输来实现的指纹识别仪具有结构简单，体积小，便携化等优点。现将介绍利用OMniVision公司的CMOS彩色数字图像传感器OV762M和cypress公司的EZ—USB AN2131QC USB控制传输芯片(内部集成了增强形51内核)来实现指纹信息的采集和USB传输，同时由于指纹传感器输出数据的速率(27MB/s)与USB控制器(AN2131QC)数据传输速率(12Mb/s)的不匹配，故系统采用了SRAM和CPLD构成中间高速缓冲区。 系统结构 应用AN2131QC、CPLD和OV762M设计的指纹识别系统硬件框图如图1所示： 图1　指纹识别硬件系统简略框架图 　　 首先，AN2131QC通过I2C对指纹识别传感器(OV7620)的窗口设置等参数进行配置，光学透镜把像成在OV762M的像面上后，CMOS图像传感器(OV7620)对其进行空间采样，并按照一定的帧频连续输出8位的数字图像数据Y[7∶M](输出数字图像数据的帧同步信号为VSYNC，水平有效信号为HREF，输出时钟信号为PCLK)。为了实现指纹传感器输出数据与USB控制器(AN2131QC)读取数据速度与时序的匹配，使用了SRAM(IS61C1024)和CPLD构成高速缓冲区，利用此高速缓冲区将OV762M采集的指纹数据缓存。最后AN2131QC实现与上位机的USB通信，将高速缓冲区中数据的传输到PC机进行相应图像处理。 CMOS数字图像传感器OV7620 CMOS数字图像传感器OV762M集成了一个664×492 的感光阵列、帧(行)控制电路、视频时序产生电路、模拟信号处理电路、A/D转换电路、数字信号输出电路及寄存器I2C编程接口。感光阵列得到原始的彩色图像信号后，模拟处理电路完成诸如颜色分离与均衡、增益控制、gamMA校正、白电平调整等主要的信号处理工作，最后可根据需要输出多种标准的视频信号。视频时序产生电路用于产生行同步、场同步、混合视频同步等多种同步信号和像素时钟等多种内部时钟信号，外部控制器可通过I2C总线接口设置或读取OV762M的工作状态、工作方式以及数据的输出格式等。 AN2131QC通过I2C总线接口设定OV762M的寄存器来控制输出帧率在0.5帧/s～3M帧/s之间变化，输出窗口在4×2～664×492 之间可调(默认输出640×48M的标准VGA格式)，设置黑白平衡等。根据指纹采集的需要，窗口输出设置为： 320×288，经过设定后的OV762M输出时序如图2 所示： 图2　0V762M输出时序 　　VSYNC是垂直场同步信号(也是每帧同步信号，CMOS是按列采集图像的)，其下降沿表示一帧图像的开始，HREF 提供了一种有效的控制方式，当输出像素行列分别处于设定窗口之间时HREF 为有效高电平，此时输出有效的视频数据，PCLK是输出数据同步信号，上升沿输出一个有效的像素Y[7∶M]。 基于CPLD技术的高速数据缓冲区的实现 在由CPLD和SRAM构成的高速数据缓冲区中，CPLD充当了SRAM的控制器，其内部电路实现框图如图3所示： 图3　SRAM高速缓冲区控制器的CPLD实现 图3中ram_rd，raM_wr为输出到SRAM的读写信号线，raM_data，ram_addr为SRAM的数据地址总线；latch_f为SRAM的读写允许信号，当为高电平时允许对SRAM写操作，为低电平时允许对SRAM读操作；两个8路三态门用于隔离总线，当对SRAM写时，输出cpu_datA为高阻态，当对SRAM读时，将采集数据信号Y [7∶M]隔离；cpu_rds，vsync为开始读写信号，单个正脉冲将SRAM地址置0；cpu_rD作为SRAM快速读脉冲，pclk为SRAM写脉冲；irq为写满标志，用于向上提供中断标志；地址发生器用于产生SRAM地址(IS61C1024有17根地址线)。 图4　CPLD实现的仿真波形 由图3中逻辑知道，当允许对SRAM写(latch_f=1)且采集的数据有效(href=1)时，pclk脉冲通过地址发生器产生地址(sync单个正脉冲将SRAM地址复位到0)，将采集的数据Y[7∶M]写入SRAM中，当写满(写完一帧的32M像素×288像素)时，irq信号有效，通过中断将latch_f置低允许将SRAM数据读出(cpu_rds单个正脉冲将SRAM地址复位到0)，此后cpu_rD通过地址发生器产生地址将SRAM中数据读出到USB缓冲区。上述逻辑仿真波形如图4 所示(由于数据线和地址线较多，故只取其中部分信号时序，cpu_datA为X 表示其值根据SRAM数据总线上具体值而定)，由图4 可知，CPLD实现了对SRAM的控制，与SRAM一起组成了高速数据缓冲区。 USB快速批量传输的实现 USB控制接口芯片AN2131QC特性简介 AN2131QC是基于USB1.1协议设计的，支持高速12Mb/s的传输速率，内嵌有增强型8051微控制器、8kB的RAM和一个智能USB内核的收发器，它包含一个I2C总线控制器和3个8位多功能I/O口，有8位数据总线和16位地址总线用于外部RAM扩展。其结构如图5所示。 图5　AN2131QC结构简图 AN2131QC内部的USB差分收发器连接到USB总线的D+和D-上。串行接口引擎(SIE)对USB总线上串行数据进行编码和译码(即实现USB协议的打包和解包工作)，同时执行错误纠正、位填充及其它USB需要的信号标准，这种机制大大减轻了8051的工作，简化了固件的编程。内核微处理器是一个增强型8051，其指令周期为4 个时钟周期并具有双DPTR指针，同时指令与标准8051兼容。它使用内部RAM存储固件程序和数据，上电后，主机通过USB总线将固件程序和外设特性描述符下载到内部RAM(也可以直接从板上E2PROM上读取)，然后重连接，按照下载的特性描速符进行重枚举，这种设计可以实现软件 的随时在线升级。 USB快速批量传输的实现 当采集的指纹数据导入了由SRAM和CPLD构成的高速数据缓冲缓冲区后，要通过USB接口将数据发送到上位PC机，AN2131QC必须先将数据读入到内部USB缓冲区，因此，AN2131QC将数据传到内部USB缓冲的速度将是整个USB数据传输速度快慢的关键。为了使USB数据传输(从外部读入数据并将之传到PC机)达到最快，需要采用很多措施，下面就设计指纹识别仪固件(AN2131QC程序)中采用的USB批量传输进行探讨。 正常情况下，AN2131QC内核结构从外部读入数据到USB的端点缓冲区，要使用的汇编程序为： 　　movx a，@dptr；读外部数据到acc寄存器incdptr；外部地址加1 　　incdps；切换DPTR指针(内核有双DPTR指针，用dps进行切换) 　　movx @dptr，a；将acc内容放入USB缓冲区 　　incdptr；USB缓冲区地址加1 incdps；切换DPTR指针 由上述程序可知，数据在寄存器中完成操作后，都必须有一个“incdptr”和“incdps”指令来完成16位地址的增加和缓冲区指针切换。为了消除这种内部消耗，使用AN2131QC提供的一种特殊的硬件指针即自动指针(只用于内部缓冲区)，8051装载USB缓冲区地址到两个AUTOPTRH (高字节地址)和AUTOPTRL(低字节地址)寄存器中，向AUTODATA写入的数据就直接存入由AUTOPTR/H2L指向的地址缓冲区中，并且内核自动增加AUTOPTR/H2L中16位地址的值。这样USB缓冲区可以像FIFO一样来顺序写入数据，节省了每次写内部USB缓冲区时的“incdptr”指令。同时内核还提供一种快速模式(只用于对外部数据操作)，此模式从外部读数据“movx a，@dptr”时，直接将外部数据总线和内部缓冲区连在一起，由于使用CPLD和SRAM构成的指纹高速缓冲区具有FIFO的性质，所以使用快速模式读外部指纹数据时也节省了“incdptr”指令。将上述两种方式结合起来，读外部数据到内部缓冲区程序就只需要一条指令：movx @dptr，A(dptR存放AUTODATA寄存器地址)，此指令需要两个8051机器周期(8个24MHz时钟周期)。这样，一个字节可以在333ns内读入到USB端点缓冲区。 在USB接口数据传输一侧，当PC机要对一特定端点进行读数据并发送IN令牌，如果一个IN令牌到达时8051还没有完成向USB端点缓冲区的数据装载(读外部数据)，AN2131QC就发送一个NAK握手信号来响应IN令牌，表明PC机应该在稍后再发送一个IN令牌。为了解决这种等待从而达到最快的传输速度，可以使用双缓冲技术(端点配对)，使8051在前一个数据包在USB总线上传输的时候，装载块数据的下一个数据包。 结　论 利用CMOS数字图像传感器OV762M和USB控制器AN2131QC实现的指纹仪结构简单，体积小，使用方便。指纹识别系统中使用CPLD技术实现了高速缓冲，解决了速度时序匹配问题；使用了快速批量USB传输技术实现了数据的快速传输，使指纹数据的传输达到最高速(每帧传输只用80Ms)。使用现论述的方法实现的指纹仪采集的指纹数据经PC机重现后效果如图6所示(左图是未经任何处理的重现，右图是经过平滑、细化等算法处理后的重现)。 图6　采集指纹重现效果(处理前后) 嵌入式系统中CMOS图像传感器接口技术 摘　要：提出了CMOS(互补金属氧化物半导体)图像传感器在嵌入式系统中的接口技术，通过设计软件驱动使嵌入式处理器能够控制CMOS图像传感器图像数据自动采集。并对CMOS图像传感器采集的数据进行插值和自动白平衡处理。此接口模块已经成功地应用于二维条码识读器的图像采集模块中，取得了良好的效果。 关键词：CMOS图像传感器；嵌入式Linux；总线；嵌入式系统 背　景 目前数字摄像技术，主要采用两种方式：一种是使用CCD(电容耦合器件)图像传感器，另一种是使用CMOS(互补金属氧化物半导体)图像传感器。 CCD图像传感器具有读取噪声低、动态范围大、响应灵敏度高等优点。但CCD技术难以与主流的CMOS技术集成于同一芯片之中。因而CCD图像传感器具有体积大、功耗高等缺点。 CMOS图像传感器是近些年发展较快的新型图像传感器，由于采用了CMOS技术，可以将像素阵列与外围支持电路(如图像传感器核心、单一时钟、所有的时序逻辑、可编程功能和模数转换器)集成在同一块芯片上。因此与CCD相比，CMOS图像传感器将整个图像系统集成在一块芯片上，具有体积小、重量轻、功耗低、编程方便、易于控制等优点。对于手持式设备来说，体积和功耗是进行软硬件设计时重点考虑的问题，因此CMOS图像传感器应用在手持式设备当中将会有广阔的前景。 文中将就嵌入式系统中设计CMOS图像传感器的图像采集设备硬件接口技术和软件驱动进行研究。 系统硬件设计 嵌入式系统硬件平台选择 摩托罗拉MC9328MX1处理器基于ARM920T嵌入式处理器内核，能工作于高达200MHz的主频。它集成了许多模块，支持接口模块、GPIO(General Purpose I/O)接口模块、时钟产生模块(CGM，Clock Generation Module)等，为各种外设提供了灵活的接口控制功能。摩托罗拉MC9328MX1处理器内置的CSI(CMOSSensor Interface)模块提供了时序控制模块，可以适应不同CMOS图像传感器的要求。 COMS图像传感器的选择 ICM105C是IC Media公司生产的一种单芯片数字彩色图像器件，使用1/4英寸的光学系统。它内置了一个640×480(650×490物理像素)传感器阵列、数模转换器和相关双采样电路。它的控制部分使用I2C总线，只需要一个I2C总线的从设备地址就可以对其内部的控制和状态寄存器进行设置和读取。ICM105C输出的是贝叶尔格式的图像数据，其中的RGB颜色分量可以被数字增益所调整，可以反馈给嵌入式处理器进行色彩处理或压缩。 接口电路的设计 接口电路设计主要应考虑图像传感器的电源驱动控制电路的接口以及数据输出电路的接口。ICM105C使用3V的电源驱动、24MHz的时钟频率，输出8位的数据，控制部分主要使用总线，要保证ICM105C正常工作必须提供这些条件。 (1)电源驱动电路的设计。由于CMOS图像传感器是电源敏感元件，如果电源不稳会给成像效果造成很大影响。ICM105C对于供电电压的要求为3V，最小2.8V，最大3.1V，并且分开了数字电源和模拟电源。但是主处理板只提供了单3V的电源，而且这个电源同时提供给主处理板芯片使用，所以必须采取相应的机制保证电源的稳定和数字电源和模拟电源的隔离，同时本系统的另一个设计目标是小型化和简单化。为了兼顾这两者的要求，电源设计舍弃了使用复杂的稳压芯片的方案，仅使用电容和电感来稳定电压和消除数字电源和模拟电源之间的干扰，其电路图如图1 所示。 图1 　电源驱动原理图 VDD 3V是主板提供的电源，VCCD和VCCA分别是提供给ICM105C 的数字电源和模拟电源，其中L1，L4，C1，C3起到隔离数字电源和模拟电源及滤波的作用。数字地和模拟地也用电感消除干扰。 (2)数据输出接口电路设计。摩托罗拉MC9328MX1处理器内置的CSI 模块提供了时序控制模块，这样可以简化电路的设计，只需要将8位数据线和输出时钟还有场频、行频和像素时钟与CSI 模块连接即可保证处理器的正确采集数据。具体的逻辑连接关系如图2 所示。 图2 　ICM105C和主处理板的逻辑连接图 其中时钟线是从MC9328MX1输入24MHz的时钟信号，PCLK是CMOS输出的像素时钟，VSYNC是场频，HSYNC是行频，DOUT[0-7]为输出的数据。其时序关系如图3所示。DOUT[7：0]在PCLK时钟上升沿有效，HSYNC和VSYNC处于低电平时有效。为了达到这种时序效果需要对芯片的某些引脚进行正确地初始化设置。ICM105C的引脚37控制数据的同步模式，用上拉电阻接高电平，这样可以使传感器输出HSYNC 和VSYNC 同步信号。 图3 　ICM105C的数据输出时序图 HSYNC和VSYNC的极性也可以进行配置，将引脚46和47接地，这样HSYNC和VSYNC在有效时为低电平。引脚14为时钟选择信号，将其接地表示使用外部时钟，这样内部晶振输入引脚12、13就可以悬空。 (3)控制电路设计。要使传感器正常工作，必须对芯片内部的寄存器进行初始化。初始化的工作必须通过传感器的I2C接口进行。ICM105C提供了一种硬件初始化的方式，如果引脚33在芯片启动时为高电平，那么传感器的I2C接口将首先工作在主设备模式下，并且试图从外部的串行EEPROM中读取初始化数据。然后，传感器又回到正常的从设备工作模式下。为了使接口电路简单化，直接用主处理板的I2C 接口来控制传感器，将此引脚接地，使其工作在从模式，这样EEPROM 部分的电路就可以舍弃。 软件驱动 CMOS图像传感器需要嵌入式系统的软件驱动才能正常工作，并输出正确的图像数据。由于处理端的嵌入式系统采用的是嵌入式Linux 操作系统，I2C接口的驱动程序已经集成在操作系统内部，中断资源可以作为资源来申请，操作系统还提供了调用其它资源的接口函数，这极大地方便了驱动程序的编写。在本次设计中采用了Linux系统下模块形式的字符设备驱动程序的编写方法。整个软件驱动需要完成两个功能模块：接口的初始化模块和接收输出的数据。 初始化 (1) CSI模块的初始化。根据ICM105C芯片的数据手册，CSI 的重置信号需要保持有效直至输入电压保持恒定大于两个时钟周期，图4是时序图。 图4 软重置信号时序图 由于主处理板是一上电就开始工作，而ICM105C的驱动程序必须在处理板上的操作系统启动后才开始工作。尤其是时钟信号只有在驱动加载后才开始提供给ICM105C ，要造成重置信号的时序效果，必须使用一个软件控制的重置信号，在时钟输出到传感器后至少两个时钟周期保持有效，然后拉高电平使之无效。在设计中，采用了摩托罗拉MC9328MX1处理器一个GPIO端口来实现软重置信号。 (2)设置时钟，初始化I2C接口。ICM105C需要24MHz的时钟，摩托罗拉的MC9328MX1处理板的外频是96MHz ，因此需要四分之一的主频。只需要设置相应的时钟产生模块寄存器的值即可保证输出24MHz。I2C总线的两个信号线SDA，SCL 需要设置相应GPIO的两个引脚，使其用来进行I2C传输。还需要挂载Linux操作系统的I2C驱动，编写I2C读和写的功能函数。需要注意的是ICM105C的I2C地址值为21H。 (3)初始化CMOS传感器。ICM105C内部控制和状态寄存器通过I2C 总线来初始化CMOS，初始化序列(寄存器的地址、值序列)由IC Media公司提供，初始化完成后，就可以接收到数据和时序信号了。 接收数据 接收数据是驱动程序中最重要的一个部分，它需要协调好中断和DMA 传输，保证数据的正确接收，并且在出错时能够正确地恢复。这一部分的软件流程如图5所示。 图5 　接收数据软件流程图 其中在开始阶段申请中断和DMA资源并申请内存空间存放接收的数据。中断的主要任务是在每一帧开始时，开始DMA传输。DMA传输主要将从FIFO中读出数据保存在内存中，并处理可能出现的错误。本例中一旦出现DMA传输错误就丢弃该帧。 数据处理 下面就是数据的处理模块。由于接收到的数据还是原始数据，需要处理才能形成最终的图像数据。 具体的处理过程如下： (1)线性插值。由于制作工艺的问题，CMOS图像传感器中的感光点只能放置一种滤色片，也就是说它的每个物理像素点只能感应R 或G或B一种颜色，这就是贝叶尔格式的数据(如图6所示)。它必须经过插值运算才能得到每个像素的RGB值。 图6 　贝叶尔格式(Bayer pattern) 由上图可以看出，每个像素点都有8个相邻的像素点，而且这8个像素点的颜色分量与此像素点不同。插值算法就是依据相邻的像素点的颜色值的空间相关性原理进行的。其处理方法如下：  a. 只有R颜色分量的像素点，其G颜色分量由周围4个G的平均值计算得出。B颜色分量由周围4个B的平均值计算得出。 b. 只有B颜色分量的像素点，其R颜色分量由周围4个R的平均值计算得出，G颜色分量由周围4个G平均值计算得出。 c. 只有G颜色分量的像素点，其R颜色分量由上下2个R的平均值计算得出，B颜色分量由左右2个B平均值计算得出。经过插值运算，每个像素点的RGB都得出了，这就形成了完整的图像数据。 (2)白平衡。任何物体在不同的光线下具有不同的色温。所谓色温，简而言之，就是定量地以开尔文温度表示色彩。色温越高，物体的蓝色分量就越多；色温越低，物体的红色分量就越多。由于人眼具有自调节性，所以即使物体色温不同，也能正确识别出颜色。但是CMOS图像传感器没有自调节性，所以当在户外日光下拍摄物体时，物体的颜色就会因为色温高而偏蓝。而在室内的荧光灯下拍摄物体时，物体的颜色就会因为色温低而偏红。要得到正确的颜色，必须进行白平衡。白平衡的基本原理是调整颜色的色温，使其保持在一个特定的范围内。在此接口的应用中采用了一个较简单的白平衡方法，其处理过程如下： a. 首先求出一幅图像的数据每个颜色分量的平均值： b. 求出最大的平均值： c. 求出每个颜色数据的白平衡后的校正值： 经过这样的运算就得到了白平衡后的数据。目前白平衡还没有很好的算法来处理一切情况，这只是一个简单的算法。 结　论 文中提出的ICM105C图像传感器的接口技术已经成功应用在二维条码识读器当中，为了实际应用的需要，ICM105C的电路模块被设计成只有35mm×35mm大小，通过一个20芯的排线与主处理板连接。正常工作时功耗低于50mW，采集的图像数据良好，而且可以通过软件来控制图像传感器的工作方式，非常适用于手持式设备的应用。 选择性复位CMOS图像传感器电路结构 摘　要：采用数字处理和重构的方法，实现了一种新型选择性复位像素结构及其像素阵列的设计，扩展了CMOS图像传感器(CIS)的动态范围。该方法在像素积分过程中，通过在3个不同的设定时刻比较光电二极管电压值与阈值电压，进行有选择性的复位，得到最终的电压值后，再将其与阈值电压进行重构，从而输出最终的像素值。整个系统的动态范围扩展至107.4dB，提高了成像质量。重构电路由数字电路实现，在保证速度的前提下，减少了处理单元的存储器需要。 关键词：电子技术； CMOS图像传感器；动态范围；选择性复位；阈值比较；数字重构 引　言 CMOS图像传感器与传统的CCD 图像传感器相比具有工艺成熟、集成度高、读出速度快、功耗低和电压低的特点，近年来发展十分迅速，并在汽车安全、生产线监控等许多领域得到应用。目前， CMOS图像传感器普遍采用光电二极管作为感光器件的线性有源像素，这种结构存在的明显缺陷就是动态范围较小，即探测光强的范围不能满足要求。这将从两方面限制图像传感器的应用： ①图像传感器只能应用在光强范围变化较小的场合。 ②同一幅图像中过亮和过暗的部分不能同时探测到。国内外针对CMOS图像传感器动态范围不足的问题所采取的解决方案主要有：利用非线性压缩光电响应曲线扩展动态范围的对数像素结构；多次曝光技术；通过增加阱容扩展动态范围的横向溢出栅像素结构以及选择性复位方法等。第一种方法由于受温度和噪声影响较大，生成的图像质量差；多次曝光技术存在增加电路处理时间的问题，从而导致速度的下降；横向溢出栅像素结构在扩展动态范围的同时，带来的是信噪比(SNR)的下降；选择性复位结构也称作自适应积分时间结构，采用该种方法的图像传感器在图像质量、处理速度和信噪比等方面的性能与其他几种方法相比具有明显的优势，但也存在着需要增加存储器和重构电路的问题。 作者在选择性复位结构的基础上，针对该结构的自身固有缺点，提出了一种具有数字重构功能和低存储器要求的自适应积分时间CMOS图像传感器结构。在保证传感器性能的同时，简化了电路的设计，增强了电路的抗干扰能力，提高了重构计算的精度，降低了电路对存储器的需求。 选择性复位的基本原理 积分时间与像素电压值的关系 对于传统意义上的图像传感器来说， 同一像素在帧与帧之间存在一个固定的处理时间间隔T。如果T作为最大积分时间， 那么帧频就确定为1/T。在积分过程中的某一时刻( T/k) ，将光电二极管PD的电压值与一个阈值th进行比较，当PD的电压值超过阈值的时候， 有选择性地重置PD的值(复位光电二极管) 。用这种办法缩短较亮像素的积分时间，但由于积分时间各不相同，因此像素值需要进行重构。 从图1中可以看出，通过这种方法可以成比例地降低较亮像素(光强较高)所对应的光电转换的电压值，从而达到将原处于饱和区范围的光强转换到线性区内。图中A 和B 的积分结果差值b被压缩为A ′和B ′的差值a。 图1　选择性复位积分时间与像素值之间的关系 光强与像素电压值的关系 图2中表示出了普通输出值以及重构前后的电压值与光强的关系。以第一个阈值( k = 5， th =20)控制为例，在普通输出的情况下， 像素值超过255就称为饱和。而利用自适应积分时间控制，当像素值超过100 (20×5)时则降低像素值，然后将曲线加上阈值th完成重构。实际上，这种方法是通过降低输入光强较高像素的灵敏度来完成对传统传感器的动态范围的扩展。这里可以通过改变k (比较时间)和th (阈值)来灵活地调整光强与像素输出值之间的关系。直线B 的斜率是由1-1/k决定的，直线A 和B 之间的拐点也依赖于k和th。 图2　三次阈值比较后的重构曲线 当把这种比较复位操作重复多次时， 就可以进一步加宽动态范围，如图2所示。这里以三次阈值比较为例( k1 = 5， th1 = 20； k2 = 2， th2 = 60； k 3= 50 /49， th3=160) ， 在积分过程中， 光电二极管值在不同的时间分别与3个阈值进行比较。每当像素值超过阈值则将电压复位， 并且将一个标志位信号写入存储器。在积分结束之后，重构电路将标志位高的信号对应的所有阈值加到最终得到的像素值上，从而完成输出值的计算。 图2中，直线A、B、C和D为不同阈值的重构曲线，其斜率分别是1， 1-1/k1 ， 1-1/k2 ， 1-1/k3 ，而两直线之间的拐点应满足公式： 阈值比较所需参数的选择条件 如果假设阈值比较的次数为n， 为了保证光强和像素值之间特性曲线的连续性， 需要满足以下2个条件： (1)如果比较的时刻为T/ki ( i = 1， 2， 3， .， n) ，阈值为thi ( i = 1， 2， 3， .， n) ，那么各时刻的关系为： 其中T为最长的积分时间； Vs 为最大光强条件下进行最长的T时间积分所作用的像素值变化。 (2)各阈值之间的关系为： 传感器的设计与实现 像素处理单元的基本结构设计 如图3所示，处理电路主要包括阈值比较单元、比较时钟产生单元、阈值选择单元、存储器单元、复位单元和重构单元。 阈值比较时间由k1、k2 和k3 决定，比较时钟产生单元在相应的时刻产生脉冲信号， 启动阈值比较单元对比较结果进行采样。当VPD值超过阈值时则值被复位， 并且一位标志位信号“1”被送入存储器。如果VPD值没有超过阈值， 则继续积分，并将一位标志位信号“0”送入存储器。与此同时，控制阈值选择单元改变阈值电压，等待下一次比较。在一次积分过程中共比较3次，阈值分别为Vth1 ， Vth2和Vth3。当积分完成后，重构单元将对应阈值加到经过AD转换的PD值上。像素处理的整体流程如图4所示。 图3　像素处理电路基本结构 图4　像素处理流程 每个VPD值在积分结束和超过阈值时复位，因此各个像素的积分情况都不相同。这里可以灵活地对阈值电压和比较时间进行控制。 存储器单元的优化 对每个像素来说， 在一个积分过程中(即一帧中)共需要进行3次比较，同时会得到3个标志位信号。在重构单元中，由于是根据对应的标志位将阈值加到PD值上的(计算标志位为“1”的阈值，忽略为“0”的阈值) ， 因此需要将每个像素的标志位信息保存在3位寄存器中， 这将增加电路对存储器的需求。 经过对阈值比较原理的分析发现， 为了保证最终重构曲线的正确，在设定阈值和时间的时候，应该满足如果一个像素在某次比较时没有超过阈值，那么它也不会在以后的比较中超过阈值，即可得到公式： 由此可以推算出， 实际的标志位信息只可能有以下4种情况，即0 0 0， 1 0 0， 1 1 0和1 1 1 (从左到右依次为无复位和有一、二、三次复位的采样结果) 。也就是说，对于每一个像素， 只需要2位的存储器就可以保存其标志位信息用于最后的重构计算。从总体上将系统所需的存储器减少了1/3，减少了电路面积，降低了电路的功耗。  数字重构单元 当一个像素的曝光过程完成时， 将会得到最终的积分电压值VPD。此时可以采用像素电路级的模拟加法电路，但会增加电路的复杂程度，而且精度不高。这里采用的是数字重构的方法，电路整体采用列并行结构， 数字重构单元采用列共用结构。在一帧中每个像素的VPD都要经过放大与AD转换，并得到一个8位的PD值。将3个阈值电压也分别转化成8位字节， 然后调用相应的标志位信息， 将PD值与对应阈值相加，最终结果得到一个10位像素值。这种方法提高了最终结果的精度， 并且可以根据需要提取其中的高8位，以适应通用电路的要求。与同类设计相比，采用模拟重构电路的方法简化了电路设计， 增强了电路的抗干扰能力， 提高了计算精度，增加了图像传感器的动态范围。 像素阵列设计 对于采用上述像素结构的图像传感器阵列来说，采用的是列并行滚筒式曝光处理结构，如图5所示。这种结构可以有效减少像素处理电路的面积，同时保证处理速度和帧频。列并行结构中同一列的像素分享同一个处理电路，即以每一行为一个单位，在时钟的控制下逐行操作，而同一行中的像素并行进行积分、阈值比较和AD转换，在积分完成时对每一行的各个像素进行数字重构处理，串行输出最终结果。 图5　图像传感器阵列结构 图6显示了像素处理结构的时序关系，基于滚筒式流水线的思想，利用行积分时间进行AD转换的处理。从图中可以看出，第1行积分结束之后，下一步将进行AD转换，由于AD转换器为列共用，因此第2行的AD转换必须等待第1行转换结束之后才开始，与此同时第1行开始下一帧的积分，其他各行同上所述。由于积分时间具有可调性，因此与AD 转换需要的总时间比较会有以下2种情况： ①积分时间长于AD转换时间，这时只需要在相应的时刻进行行复位操作就可以满足时序要求。②积分时间短于AD转换时间，因为各行处理共用AD 转换器会出现争用现象，导致冲突，此时应根据二者的时间差值，在每一行的总积分复位信号前，插入一段等待时段(或者说延长复位信号) ，如图中的白色部分，从而保证第1行的AD转换开始于最后一行之后，避免冲突。 图6　列并行滚筒式曝光流水线时序  模拟和仿真结果 根据上述原理，对自适应积分时间的选择性复位的像素结构进行模拟，采用XILINX公司的ISE配合Modelsim软件，通过Verilog-HDL描述数字处理电路功能，然后结合前端的光电二极管模型，使用Nanosim进行模数混合信号仿真，并将最终的结果导入Matlab中，得到固定积分时间下光强与输出像素值的对应关系曲线。所选参数值如表1所示。 表1　参数k和Vth 图7中曲线A 和B 分别为传统像素和选择性复位像素的结果。传统像素结构中的像素电压值随着光强增加，接近直线上升至饱和，动态范围约为80 dB；改进型选择性复位的上升曲线更接近于理想的指数曲线C，动态范围为107. 4 dB，达到现阶段国外同类设计指标。 图7　像素输出曲线比较 结束语 作者利用数字处理和重构的方法实现了一种选择性复位像素结构。这种结构在整个积分过程中，通过在不同的设定时刻ki 比较光电二极管电压值VPD与阈值电压Vth ，进行有选择性的复位，得到最终的电压值后，再与阈值电压进行重构，从而输出最终的像素PD值结果。 与传统像素结构相比，使用该结构的像素阵列显著提高了动态范围，实现了像素单元对光强的自适应调节。与国内外同类设计进行比较，本设计达到了目前高动态范围的图像水平要求， 同时这种结构只需要较少的存储器，而且完全由数字电路实现，在保证速度的前提下，改进了该设计思路自身固有的缺陷，提高了成像质量，具有更高的可靠性和兼容性。 基于CMOS图像传感器的USB接口图像采集系统设计 摘要：介绍以CPLD控制为核心的CMOS图像采集系统，系统选用彩色图像传感器OV7620，并通过USB接口以类似DMA方式进行快速的图像传输。最后给出了单片机固件程序和设备驱动程序的实现方法。 关键词：CMOS图像传感器；图像采集；CPLD；USB 系统设计 图1 为图像采集系统的原理框图。系统选用OminiVision公司生产的CMOS芯片OV7620，它是一款集成了一个640×480 (30万像素)图像矩阵的彩色摄像芯片，在隔行扫描模式下工作频率可达60Hz，逐行扫描时为30帧/s。其像面大小为1/3英寸，支持8位或16位数字信号从单通道或双通道输出，输出信号的类型可在YCrCb和RGB 之间选择，图像矩阵支持VGA或CIF 规定， 数字输出格式遵循CCIR601， ZVPorts， CCIR656等标准。OV7620有很强的摄像和控制功能，如暴光控制，γ校正，增益，色彩矩阵，窗口选择等，所有这些功能都可以通过I2C接口进行编程控制。 图1　系统原理框图 CPLD选用ALTERA公司的芯片EPM7128S，它在系统中处于核心地位，既要负责将OV7620输出的视频数据存入SRAM，又要与MCU配合完成视频数据的USB 传输。MCU 是Cygnal 公司的高性能单片机C8051F020，它通过I2C总线控制CMOS芯片的工作方式和状态， C8051F020自带SMBUS总线接口，可以把I2C的时钟线SCL和数据线SDA通过交叉开关分配到端口引脚，MCU作为I2C总线通讯的主机，OV7620用42H (Write) 、43H (Read)作为从机地址与MCU进行通信。另外MCU还控制USB 通信，负责USB芯片的初始化和与PC的通信连接，其64KB 的flash程序存储空间足以存放USB 通信固件。SRAM芯片采用IS61LV5128AL芯片，该芯片为高速静态RAM，存储时间在10ns左右， 可以满足OV7620 的速度要求， 其512KB的存储空间足以用来存储30万像素的视频数据(Bayer2pattern: 每一像素包含一个字节的RGB 信息) 。USB 接口芯片采用PHILIPS的PDIUSBD12 芯片，该芯片支持USB 1.1标准协议和DMA传输模式。 图像采集部分 OV7620的输出特性 OV7620工作方式和输出格式非常多，可以适应不同的应用场合，针对我们的较小系统，采用了单通道Y输出，以及逐行扫描的工作方式。