基于NIOSII的运动目标检测跟踪系统

第30卷第3期 2008年6月 探测与控制学报 JournalofDetection＆ControI VoL30No．3 jun．2008 基于NIOSII的运动目标检测跟踪系统 邵 玮 (西北工业大学航天学院，陕西西安710072) 摘 要：提出采用高性能芯片EP2S90为核心，结合NIOSII软核处理器的高处理性能，实现视频信号采集与 处理的运动目标检测跟踪，提高了系统的实时性，减小了系统的结构，拓展了系统的使用范围。最后，结合目标 检测算法对图像序列进行了仿真实验，实验测试结果说明利用该系统能够获得比较理想的目标检测跟踪结果。 关键词：NIOSII软核处理器；实时性；运动目标检测和跟踪 中图分类号：TP391文献标志码：A文章编号：1008—1194{2008)03-0055-04 MovingTargetRecognitionandTrackingBasedonNIOSIISoft-coreProcessor SHAOWei 。一 (CollegeofAstronautics，NorthwesternPolytechniealUniversity．Xi'an710072，China) Abstract：Thetaskofmovingtargetrecognitionandtrackingisdetectingthemovingobjectivefromtheimage sequences．Inallaspects。thevalidityandreal-timeareveryimportantindexes．Thetraditionalwayofimplemen— tingmovingtargetrecognitionandtrackingisbasedonpcandcorrespondingalgorithm，ithasproblemssuchas badreal—timeperformance，hugesystemstructureandinconvenientlytobring．Basedonthehighperformance chipEP2S90，combinedwithNIOSIIsoftcore，anewvideosignalgatheringandprocessingsystemusingmoving targetrecognitionandtrackingalgorithmwasproposed，whichincreasesthereal—timeperformance，decreasesthe structureofsystemandextendestheapplicationfiled．Theimagesequencessimulationexperimentwasconducted andthedesiredresultwasgained． Keywords：NIOSIIsoft-core；real—timeperformance；movingtargetdetectionandtracking 0引言 运动目标检测跟踪的任务是从视频图像中检测 出运动目标，并对运动目标进行跟踪捕捉。在系统 实际应用中，实时场景的多样性和目标运动的快速 性等约束条件，对系统的实时性提出了很高的要求。 另外，不同的复杂应用环境，对系统的体积和升级等 各个方面都提出了很高的要求，迫切要求开发出便 于软件升级和可在各领域环境拓展应用的系统。传 统基于PC平台的目标检测跟踪系统由于实时性不 强，系统庞大，且数据传输易受干扰等因素，使得该 系统的应用受到很大的约束和限制。近年来，随着 可编程逻辑阵列的快速发展，使得利用NIOSII软核 处理器完成运动目标检测跟踪成为可能。利用NI— OSII软核处理器的高处理性能，结合实际应用环 境，可以集成开发出适应各种环境的目标检测跟踪 系统便携结构设备。NIOSII软核处理器支持将PC 环境开发的程序的移植，避免软件的重复开发，减小 了系统的体积，提高了开发效率，解决了应用领域和 环境受限制的约束问题[13。事实上，采用NIOSII处 理器的自定义指令，并用硬件来实现部分算法，可以 使系统数据处理速度得到显著提高，具有较好的实 时性[2]。另外，在外围电路不变的情况下，通过改变 FPGA内部的电路设计，还能使系统功能得到升级 和增强。本文基于ALTERA公司的NIOSII嵌入 式软核处理器技术，提出了基于软核处理器的运动 目标实时检测跟踪系统实现方法。 *收稿日期：2007—11-02修回日期：2008—01—18 基金项目：航空科学基金项目资助(20070153005) 作者简介：邵玮(1982一)。女，陕西西安人，硕十研究生，研究方向：系统辨识，图像识别与目标跟踪。 万方数据 56 探测与控制学报 1 系统组成及工作原理 本文提出的目标检测跟踪系统的硬件部分主要 包括三个模块：图像采集模块、目标检测跟踪模块和 数据通信模块。 1．1图像采集模块 为便于实时处理采集图像序列的处理，提高系 统的集成度，系统中的设置主要包括图像传感器和 SRAM图像采集模块。本系统采用的图像传感器 是VC0702摄像机信号处理器。VC0702是新一代 的电视摄像头DSP芯片。由于集成了强大的数字 图像处理器单元，使得图像具有更逼真的色彩还原 度、高灵敏度、快速自动曝光和自动白平衡。同时还 有独一无二的运动检测／触发功能，能够使电视监控 装置从被动变为主动的自动跟踪监控，并且可以在 无状态的情况下节省录像带资源和磁盘存储空间。 它还为用户提供了灵活方便的可编程控制电视摄像 头功能及设置参数[3。4]。 1．2运动目标检测跟踪模块 此模块采用的FPGA选择Ahera公司Stratix 系列的EP2S90。该芯片有36348个自适应逻辑模 块，90960个等效逻辑单元，4520448b的RAM， 48个DSP模块(每个DSP包含4个18*18乘法 器)，12个锁相环，最大可用I／O管脚数为886。我 们在EP2S90中嵌入NIOS软核，控制连接在外部总 线上的SRAM和Flash。在整个模块中，FPGA是 综合了NIOS处理器、SRAM控制器、Flash控制 器、摄像头等许多模块的最主要的部分[5]。 1．3数据通信模块 该模块将检测跟踪结果输出显示在LCD上。 也可以通过以太网或GPRS将运动目标检测的结果 发送到主机，或是通过USB端口连接到主机进行通 信。 图1基于FPGA的运动目标检测跟踪系统结构图 2运动目标检测跟踪算法验证 2．1背景提取[63 在视频监视中，当摄像头保持不动，假设光线变 化等因素可以忽略，则可认为背景不随时间渐变。此 时我们可以考虑通过做“像素处理”来建立背景模 型。即对参考帧的每一个像素利用岛斯模型建模，认 为像素点均服从均值∥和方差盯：的分布，且各点的 高斯分布独立。这样。在任意nCf．Jt，像素点(i，J)的 值是以时间为轴的像素点集合中的一个， 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示如下： J={Xl，⋯，X，}={J(i，歹，南)} 1≤k≤f；i=1，2，⋯，M；j=1，2，⋯，N 式中，J表示图像序列。k表示第k帧，(i。歹)表示该 像素点的坐标。 当新的帧到来时，先用已建立的模型去拟合，符 合的点将被认为是背景。 2．2 目标检测与特征提取 目标检测的主要目的就是当场景中有新目标进 入或者目标移动时，通过相应算法检测出运动目标， 再利用目标分割的方法把运动目标从背景中分离出 万方数据 邵玮：基于NIOSII的运动目标检测跟踪系统 57 来。本系统采用最常用的背景差值法来检测运动目 标[1。]。将每一帧图像的灰度值减去背景的灰度值 可以得到一个差值图像： kd(i，歹，走)一厂(i，歹，足)一6(i，歹) 式中，b(i，J)表示图像背景，f(i，歹，志)为图像序列，i 则为图像帧数。 通过设置一个阈值T可得到一个二值化差值 图像： bkd(i,j㈨={城蓁僦kd(i,mj,k巢； 取值为1和0的像素分别对应于前景(运动目标区 域)和背景(非运动区域)，阈值T的选择方法可以 采用静态图像中阈值分割所使用的方法。阈值T选 择得准确与否直接影响到二值图像的质量。如果阈 值T选得太高，二值图像中判定为运动目标的区域 会产生碎化现象；相反，如果选得太低，又会引入大 量的噪声。 将运动目标的图像从背景中分离出来后，为了 克服背景相减算法噪声较大的不足，我们首先应对 图像进行平滑滤波，去除噪声，再进行边缘增强，最 后利用边缘检测算子对目标进行特征提取。 2．3 目标跟踪 完成上述运动目标检测及目标特征提取后，选 用卡尔曼滤波器进行目标运动估计[8|。将第k帧图 像中的运动目标的特征值作为卡尔曼滤波的输人参 数，得到目标运动位置预测值。在对预测后运动目 标和前景目标进行匹配时，利用图像块匹配来精确 定位目标的位置。在判定时，只有当某运动目标连 续出现足够多次，才会被认为是可靠的，反之可靠的 运动目标也要连续消失多次才会被认为确实消失 了[9]。这种处理可以减弱目标误检测和漏检测的影 响，使运动目标跟踪过程更加稳定。 3实验结果 图2 目标检测算法实验验证原理图 测试图像序列是通过图像传感器 记录 混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载 的一段公 路视频流，由NIOSII软核组成的图像跟踪处理模 块实现文中给出的图像检测跟踪算法，如图3所示， 给出了利用算法提取出来的背景图像，可以看出通 过背景提取，将运动的对象和静止的背景完全分离 出来了。 【冬J 3提取f}{的背景蚓像效果图 万方数据 58 探测与控制学报 图4从视频流中提取的跟踪图像效果图 图4分别给出了1秒视频中的第2帧、第11 帧、第17帧、第20帧的图像跟踪结果，测试跟踪结 果说明：文中提出的算法可以完全将背景图像和运 动图像分离，从而提取出背景图像，并能稳定地检测 出并跟踪上运动目标，系统处理速度小于帧间图像 时差，完全符合实时目标图像检测跟踪处理的要求。 4结论 本文提出了基于NIOSII软核处理器的运动目 标检测跟踪系统，结合目标检测算法的算法验证实 验结果表明：相对于传统的系统，该系统具有数据 处理速度快，实时性好的特点，并且由FPGA搭建 的系统可以将系统封装的很小，在体积上具有很大 的优势，便于携带，从很大程度上拓展了系统的应用 环境和领域。另外，在PC上开发的程序可以很方 便的下载移植到NIOSII处理器上，可以节省不必 要的重复开发，便于系统的维护升级。综上所述，基 于NIOSII软核处理器的运动目标检测跟踪系统具 有实际的应用价值，具有很广泛的应用前景。 参考文献： EllMilanS，VaclavH，RogerBImageprocessinganalysis andmachinevision(2版)EM]．北京：人民邮电出版社， 2002． ['2]StringaE，RegazzoniCSReal—timevideo-shotdetection forscenesurveillanceapplications[J-]．IEEETranslation onImageProcessing，2000，9(1)：67-69． [-3]BatlleJ，MartiJ，RidaoP．AnewFPGA／DSP-basedpar— allelarchitectureforReal-timeImageprocessing[J]．Re— abTimeImaging，2002，8(5)：345—356． E4]ShinichiHirai，MasakazuZakouji，TatsuhikoTsuboi．Im— plementingImageprocessingalgorithmsonFPGA-based Real-timevisionsystem[J3．IEEEIntConfonRobotics andAutomation，NewOrleans，2004，10(2)：256—278． E53周博，邱卫东，陈燕，等．挑战S()C_基于NISO的 SOPC设计与实践EM]．北京：清华大学出版社，2004． F6]贾云得．机器视觉[M]．北京：科学出版社，2002． [7]姚敏．数字图像处理[M]．北京：机械工业出版社，2006． [83付晓薇，方康玲．一种运动目标自适应检测与跟踪算法 [J]．武汉科技大学学报(自然科学版)，2007，33(2)：189— 191． [9]韩彦平，吕梅柏，李言俊．基于视频图像的运动目标识别 与跟踪方法研究[J]．弹箭与制导学报，2006，26(2)：383— 386． 网站开通 为适应当前网络化发展趋势，提高办刊效率和质量，提升影响力，我编辑部采编自动化管理网站，现已开 通。作者投稿、专家审稿、编辑部日常工作及稿件状态查询等事项均可登录我学报网站进行。我们还将实时 发布学会学报的动态、新闻及通知等，并提供本学报开放式阅读。欢迎广大作者、读者、科技人员届时注册登 录。《探测与控制学报》网址：www．tcykz．tom。 《探测与控制学报》编辑部 万方数据