基于DSP的嵌入式图像识别系统设计与实现

2006年第2期(总第284期) 文章编号:1002-8692(2006)02-0082-03 基于DSP的嵌入式图像识别系统设计与实现 * 王孝国,张雄伟 (中国人民解放军理工大学 通信 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院,江苏 南京 210007) 【摘 要】设计实现了一种基于 DSP的嵌入式图像识别系统。该系统采用专用视频输入处理芯片 SAA7111和 DSP实现了数字图 像的采集、预处理、特征提取及识别,且对系统中的图像采集、图像处理、USB通信模块以及系统的升级维护方法进行了介绍,给出 了基于该系统的人脸识别 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 及测试结果。 【关键词】图像处理;通用串行总线;软件优化;人脸识别 【中图分类号】TP391.41 【文献标识码】A DesignandImplementationofEmbeddedImageRecognitionBasedonDSP WANGXiao-guo,ZHANGXiong-wei (DepartmentofElectronicInformationEngineeringICE,PLAUST,Nanjing210007,China) 【Abstract】Inthispaper,wedesignandimplementanimagerecognitionsystem,inwhichthePhilips′sSAA7111andTI′sC5509 areusedtorealizetheimagecollection,preprocessing,featureextractionandrecognition.Imageacquisition,imageprocessing,and USBcommunicationmodelareemphasizedinthispaper.Finally,theapplicationoffacerecognitionbasedonthesystemandthe experimentresultsarepresented. 【Keywords】imageprocessing;universalserialbus;softwareoptimization;facerecognition ·论文· 1 引言 图像识别技术在国家安全、军事安全、公安、司法、 交通、金融和芯片检测制造等领域具有极广阔的应用前 景。由于图像识别难度高,技术复杂,准确率较低,故尚未 得到广泛应用,而现有的一些图像识别系统多数面对计 算机应用,其方案采用PCI图像采集卡进行图像采集和 PC机软件进行图像处理,致使该方案体积较大,成本较 高,不便于携带。因此,笔者设计了一种基于DSP的嵌入 式图像识别系统。该系统包括图像采集、特征提取和识别 以及USB通信等模块,其体积小,功耗低,速度快,适应 性好,易于携带,易于升级维护,既可作为手持识别设备, 也可安装在门禁系统中。 2 系统的软硬件设计 系统硬件结构如图 1所示,主要包括图像采集模 块、图像处理模块、USB通信模块。 其中:图像采集模块又进一步分为摄像头、图像解 码、CPLD控制以及DSP的DMA通道数据采集等几个 部分;图像处理模块是系统的核心,它由 TI公司的 TMS320C-5509[1,2]来实现。 识别系统的工作 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 :系统上电后,SAA7111[3]对摄 像头送过来的模拟图像信号进行解码后输出数字图像信 号和控制信号,经过CPLD逻辑转换后直接由C5509的 DMA通道采集存储到C5509的外部扩展存储器SDRAM 中,当一幅图像采集完毕后,C5509调用图像校准及归一 化算法完成图像的预处理,然后调用特征提取算法提取 图像特征,最后将提取的特征送入分类器进行分类识别, 即将提取的特征与存储在 FLASH上的特征库中的特征 进行匹配,并将识别结果显示在LCD屏上。特征库以及 分类器参数是通过 PC机进行预先提取及训练后通过 USB接口下载到FLASH中的。 2.1 图像采集模块 图 像 采 集 前 端 处 理 器 采 用 PHILIPS公 司 的 SAA7111,利用其同步参考信号 vref、行同步参考信号 href、奇偶场标志信号 rtso、像素时钟信号 llc2就可以实 现图像数据采集。图像采集模块的控制逻辑主要完成图 像信号的抽取、数据线复用以及中断逻辑的产生。 SAA7111解码输出的是 720×576分辨率的图像,通过 CPLD逻辑控制,可以分别采样720×576,360×288,180× 144等格式图像,从而满足不同信道和应用需求。同时, 通过对 SAA7111的输出信号进行逻辑综合产生 DSP的 DMA触发事件,保证图像数据的实时不丢失采集存储。 *江苏省“图像处理与图像通信”高校重点实验室资助(KJS03036) 图1 硬件系统框图 摄像头 I2C USB C5509 EMIF ESAM PC机中断逻辑 图像提取 CPLD SAA7111 存储器 视频技术应用与工程 82 VIDEOENGINEERINGNo.22006(SumNo.284) 图2给出了采集图像大小为360×288时的控制逻辑 时序仿真图。其主要设计思路如下。 1)总线共享设计 系统硬件实现时,将CPLD作为C5509的一个外设, SAA7111的输出数据线经 CPLD逻辑转换后直接与 C5509的EMIF接口上数据线相连,为避免数据线上的 访问冲突,将C5509的ce0作为三态门的使能信号,只有 在该信号为低电平时,CPLD才将有效数据放在D[15∶0] 上,否则为高阻态。 2)图像数据的有效采集 当DSP接收到采集按键的采集指令时,不是立刻进 行数据采集,而是将输出信号(CPLD输入信号)dspctl置 “1”,cpld中的控制逻辑在 dspctl为“1”时检测奇偶场标 识信号rts0的上升沿,此后才在llc2,href和vref逻辑的 配合下向C5509发送DMA中断触发信号intdspl。如果控 制逻辑不检测rts0的上升沿,则采集到的图像起始点可 能不在图像的左上角,使得采集到的图像由前后两幅图 像的拼接而成。 3)DMA通道数据传输 由于系统设计中没有采用专门的帧存储器,故保证 图像数据的不丢失采集存储是一个关键问题。若采用中 断方式进行数据采集,即DSP收到外部中断后来访问外 部存储器(本系统中为 CPLD),则会丢失大量的图像样 点数据,这是因为DSP收到中断信号后需要执行大量的 保护指令,会耗费大量的 CPU时钟周期,当这些指令执 行完毕后再去读取数据时,样本点数据早已发生了变化, 从而导致数据丢失。故系统设计中采用 DMA通道进行 数据采集,其触发信号由 CPLD的 intdspl产生,一旦 C5509的DMA控制器收到 intdspl中断触发信号,它就 启动一次DMA传输操作。在DMA通道采集数据时,需 要对C5509的EMIF的读时序进行正确配置,否则不能 正确采集图像数据。 2.2 图像处理模块 硬 件 系 统 的 核 心 处 理 器 采 用 TI公 司 的 TMS320C5509,它是 TI推出的新一代低功耗高性能 16 位定点数字信号处理器 (DSP),其工作主频可到 200 MHz,周期效率达到了C54x的2倍,且功耗只有C54x的 1/6,具有强大的图像分析和处理功能。图像处理模块的 主要工作是实现图像数据的特征提取并完成分类工作, 同时利用 DMA通道配合图像采集模块实现图像数据的 无丢失采集。 在图像进行分析处理时应尽可能地使用 DSPLIB和 IMALIB库中的函数,如对图像数据进行离散余弦变换、 二维小波变换时,可采用 IMALIB提供的 IMG_sw_fd- ct_8x8,IMG_wave_decom_two_dim等函数,这些函数均用汇 编语言编写,优化程度很高。另外,在C程序中尽可能地 采用内联(inline)函数,以便提高代码的集成度。由于采 用混合编程方法,故在程序设计上要严格遵循函数调用 规则和寄存器的使用约定。 2.3 USB通信模块 图像识别系统需要通过USB接口与主机进行通信, 便于进行特征及分类器参数的更新,同时,通过该接口可 以将识别系统采集的训练样本上传给 PC机,实现特征 提取以及分类器算法的设计。 TMS320C5509提供了 USB2.0接口控制器,该控制 器集成了 USB2.0收发器(物理层)和串行接口引擎 SIE (链路层,实现底层通信协议),利用该 USB接口就可方 便地将DSP与PC机进行互联。 USB程序主要包括 DSP端 USB驱动程序、PC机端 的驱动程序以及应用程序。C5509的 USB模块有 16个 端点(两个控制端点和14个通用端点),通用端点支持批 量、中断和同步传输。TI提供了USB模块的芯片支持库 函数,利用这些函数就可非常方便地实现对USB模块的 编程。为提高传输效率,当DSP收到读写控制命令后应 尽可能多地传输数据,不要局限于每个端点最大只传输 64B的数据,因为USB_postTransaction函数内部实现了 数据的拆包操作,已减少了控制命令传输及处理的耗时。 2.4 系统升级维护 通常,DSP系统的开发都基于DSP仿真器,在研发 时通过仿真器将程序装载到 RAM中进行程序的调试, D[15..0] intdsp1 ce0 dspctl href rts0 llc2 vpo[15..0] Name: Value: vref 0 1 HZZZZ 1 0 0 ZZZZ 0002 0004ZZZZ 800.0ns700.0ns600.0ns500.0ns400.0ns300.0ns200.0ns100.0ns 900.0ns 1.1!s1.0!s 1.2!s 00000000000000000000 0000H0000 0 0 图2 图像采集时序仿真图 Application& projectofvideotechnologies 83 2006年第2期(总第284期) 当程序版本定型后由仿真器及 FLASH烧写程序将 DSP 程序代码烧写到片外FLASH中。因此,DSP产品的后续 升级维护就很麻烦,一旦系统出了故障或程序版本进行 了升级,需要重新烧写 FLASH,对普通用户来说是不可 能用仿真器进行FLASH中代码更新的。针对这一情况, 本系统设计了一种非常方便的升级维护方法。 系统硬件采用二次引导的方式从片外 FLASH中把 程序加载到RAM中,其中一次引导程序由DSP自带的 引导程序加载,该程序首先完成USB接口检测、FLASH 烧写、特征库更新。引导程序首先检测设备是否挂接在 PC机的USB接口上,如果没有连接在USB口上,则该程 序将识别主程序从FLASH中引导进来,并跳转到识别主 程序的入口地址开始执行。如果发现设备挂接在 PC机 的USB接口上,则等待PC机发送“软件升级”或“特征库 更新”命令,一次引导程序分别把从 USB端口上接收的 新的识别程序或特征库数据烧写到 FLASH指定的位置 中。烧写完毕后,PC机可以发送“运行”命令,控制一次引 导程序将识别程序加载到RAM中并运行,识别程序可 以根据PC机端的命令将采集到的原始图像数据上传到 PC机构成训练样本集。 3 人脸识别系统设计及仿真 基于该硬件系统,笔者设计了一个基于离散小波变 换和线性辨别分析特征提取的人脸识别系统,该系统采 用最近邻分类器进行分类识别[4,5]。 首先,采用Mmatlab语言对识别算法进行设计仿真。 在PC机上对采集得到的人脸图像数据进行预处理后构 成人脸图像库,图像大小为112×92像素,从中选取部分 图像组成训练样本,余下的作为测试样本。首先对训练样 本集X中的每个训练样本 xi进行三级离散小波变换并 提取大小为 14×12像素低频子图像按列构成小波特征 xiw(168维列向量),然后对所有的训练样本的小波特征 进行线性辨别分析求取变换矩阵 !168×m(m是需要确定的 特征的维数)。这样,每一副训练图像都可通过小波变换 和线性辨别分析提取一组有用的识别特征 。对于测试样 本y,首先对其做小波变换提取低频子图像yw,然后通过 yf=!tyw就求得一组人脸特征,求取yw与xif距离,y的类别 就是与yw距离最近的xif的类别。图 3给出了针对 ORL 人脸库[5]的PC机仿真结果图。从图中可看出,当特征维 数等于36时,识别率达到最高,因此,识别系统采用的特 征维数为36。通过USB接口把训练样本的36维特征向 量以及变换矩阵!168×36下载到识别系统的FLASH中。 完成PC机上的算法仿真及特征提取后,需要设计 DSP上的人脸识别程序。根据算法流程,采用DSPLIB和 IMALIB就可较快地设计出识别算法。对采集得到的人脸 图像进行归一化后调用 IMG_wave_dcom_two_ dim函数对该人脸图像 进行3级小波分解,并通 过 !168×36得到最终的 36 维特征,最后计算该特征 到特征库中每个样本的 距离从而确定待识别样 本的类别。 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 1给出了关 键步骤DSP代码的运行时间(单位为时钟周期)。 由于C5509的系统时钟可达到200MHz,识别一幅 人脸图像的时间约为30!s,能够满足实时处理的要求。 为测试系统的识别性能,采集了笔者实验室成员的 人脸正面像来构成训练样本,设计了一个具有20人的小 型人脸识别系统,识别率达到 93%。目前提取的特征辨 别能力还不强,分类器算法较简单。 4 结论 本文提出了一种基于 DSP的嵌入式图像识别系统 的总体设计方案,给出了系统硬件及软件关键部分的设 计,并在该硬件平台上实现了基于DWT和LDA特征提 取的人脸识别系统。下一步需要对识别系统的前端预处 理程序作进一步改进,同时需要设计简单有效的特征提 取和分类算法,并考虑将人脸识别与说话人识别相结合 构成多特征融和的鲁棒的生物识别系统。 参考文献 [1] TI公司. TMS320VC5509Fixed-pointdigitalsignalpr-ocessor datasheet[Z].2002. [2]汪春梅,孙洪波,任治刚.TMS320C5000系列 DSP系统设计与开发 实例[M].北京:电子工业出版社,2004. [3]Philips公司.EnhancedvideoinputprocessorSAA7111ADatasheet [Z].1998. [4]CHIENJT,WUCC.Dsicriminantwaveletfacesandnearestfea- tureclassifiersforfacerecognition[J].IEEETrans.onPAMI,2002,24 (12):1644-1649. [5]刘小军,王东峰,张丽飞,等.一种基于奇异值分解和隐马尔可夫模 型的人脸识别方法[J].计算机学报,2003,26(3):340-343. ! 作者简介: 王孝国(1977-),博士生,主研图像处理与模式识别; 张雄伟(1963-),教授,主研智能信息处理。 责任编辑:刘伯义 收稿日期:2005-10-12 605040302010 0.96 0.95 0.94 特征数目 识 别 率 图3 针对 ORL人脸库的 PC机仿真结果图 表1 识别程序关键代码执行时间 识别程序 三级小波变换 特征提取 距离计算 总时间 执行时间/ 时钟周期 128729 1859943 3302828 5291500 视频技术应用与工程 84