基于数据融合的多生物特征身份识别

　第 5 卷第 1 期2006 年 2 月 　 　　 江 南 大 学 学 报 (自 然 科 学 版) Journal of Southern Yangtze University( Natural Science Edition) 　　 　 Vol. 5 　No. 1 Feb. 　2006 　文章编号 :1671 - 7147 (2006) 01 - 0038 - 04 　　收稿日期 :2004 - 10 - 21 ; 　修订日期 :2004 - 11 - 18. 　　作者简介 : 陈倩 (1978 - ) ,女 ,浙江富阳人 ,计算机应用专业博士研究生. 　　3 通讯联系人 : 杨建刚 (1959 - ) ,男 ,浙江杭州人 ,教授 ,博士生导师. 主要从事神经网络、模式识别的研究. 　　　 Email :yangjg @zju. edu. cn 基于数据融合的多生物特征身份识别 陈　倩 , 　杨建刚 3 (浙江大学 计算机科学与技术学院 , 浙江 杭州 310027) 摘 　要 : 针对传统的单一生物特征身份识别由于传感器的噪音以及特征的破损、匹配等缺陷 ,往往 不能正确识别的情况 ,提出了一种基于语音和人脸的多生物特征身份识别方法. 分别提取语音特 征和人脸特征作为识别的依据 ,并用神经网络在特征层上进行融合识别. 实验证明 ,这种方法可以 充分挖掘特征之间的关系 ,在同等条件下 ,具有更高的识别率. 关键词 : 多生物特征 ;身份识别 ;数据融合 ;神经网络 中图分类号 : TP 301. 6 文献标识码 : A Biometrics Personal Identif ication Based on Dada Fusion CH EN Qian , 　 YAN G JianΟgang 3 (College of Computer Science , Zhejiang University , Hangzhou 310027 , China) Abstract :Personal identification is one of the most important fields on pat tern recognition. Duo to sensor noise , missing of characters or t he bugs of matching algorit hm , conventional recognition systems based on singleΟcharacter can not give a t rue result . The paper p resent s an intelligent recognition system of multiΟcharacter f usion , which is acoustic and face based on artificial neural network. The experiment is shown to be superior to t hat of acoustic and visual subsystems. Key words : biomet rics ; personal identification ; data f usion ; neural network 　　身份识别是模式识别的一个重要方面 ,许多身 份识别系统已成功应用于金融、证券、公安、军事等 领域. 传统的身份识别以单一生物特征为识别依据 (语音识别 ,指纹识别 ,人脸识别[1～3 ] ) ,这些身份识 别系统也已在不同领域发挥着巨大的作用. 但由于 传感器存在噪声 ,每种生物特征又都存在自身的局 限性 ,并且特征提取和匹配算法也存在诸多缺陷 , 这就使得识别系统正确率很低. 为了解决这一困 难 ,基于数据融合的多生物特征识别技术引起了研 究者们的广泛关注. 研究者在决策层通过融和各种 不同的生物特征进行身份识别 ,并取得了良好的效 果[4～7 ] .然而决策层融合方法的思路虽简单易行 ,却 容易忽略由特征之间的关联所带来的影响. 因此 , 文中提出了一种在特征层上进行不同特征数据融 合的身份识别方法 ,其思路是先把语音信号和人脸 图像进行特征提取 ,经简单处理后 ,再输入融合系 统 ,最后通过神经网络的融合分类识别得到结果. 其方法可充分挖掘各个生物特征之间的关联 ,识别 率较单一生物特征识别高得多. 1 　特征提取 在传统的语音识别系统中 ,人们常采用的语音 特征有基音周期、线形预测参数 (L PC) 、倒谱系数 等. 其中 ,倒谱系数最能有效地反映说话人特征 ,因 此 ,作者选取倒谱系数作为语音特征输入. 传统的 人脸识别方法包括基于几何特征、局部特征以及神 经网络等 ,为了方便 ,文中选取人脸图像中各器官 的几何参数作为人脸特征输入. 1. 1 　语音倒谱参数的提取 语音信号的处理有一个基本的假定 ,即认为语 音信号随时间的变化是缓慢的. 基于这种假定 ,语 音信号常常被分割为一些短帧再加以处理 ,认为短 帧内的信号具有固定的特性 ,于是可根据下列 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 计算短时语音段的倒谱系数. 对于一帧短时语音 段 ,要得到它的倒谱系数 ,首先要计算其离散傅立 叶变换 X ( k) = F[ x ( n) ] = ∑ + ∞ n = - ∞ x ( n) exp ( - j 2π N nk) = ∑ N2 n = N1 x ( n) exp ( - j 2π N nk) (1) 式中 : X ( k) 为语言信号序列的离散傅立叶变换 ; x ( n) 为语言信号序列 ; N 为窗大小. 然后对离散傅立叶变换的模取对数 C( k) = ln[ X ( k) ] (2) 最后再做傅立叶反变换 c( n) = F- 1 [ C( k) ] = 1 N ∑ N - 1 k = 0 C( k) exp ( j 2π N nk) (3) 这样得到的 c( n) 即为所要提取的语音倒谱系数. 表 1 是实验得到的部分 16 阶语音倒谱系数. 1. 2 　人脸图像特征提取 采用几何特征法 ,对人脸进行简单的几何归一 化和灰度归一化后 ,计算如图 1 所示的人脸图像中 a , b , c + d , e , f 处大小 ,得到人脸的几何特征. 图 1 　几何方法提取的人脸特征 Fig. 1 　The characters of face based on geometry method 使用投影图和特征描述匹配[8 ] 的方法得到部分实 验者的人脸几何数据见表 2. 表 1 　实验中得到的部分语音倒谱系数 Tab. 1 　LPCC16 retrieved in experiment 被试 1 被试 2 被试 3 被试 4 0. 841 7 0. 099 2 0. 817 9 0. 140 0 1. 138 3 0. 182 0 1. 035 4 0. 193 6 0. 438 7 0. 081 2 0. 531 2 0. 128 5 0. 672 2 0. 172 1 0. 578 6 0. 188 2 0. 365 4 0. 071 1 0. 371 2 0. 122 2 0. 403 8 0. 165 9 0. 400 3 0. 170 3 0. 224 0 0. 064 3 0. 275 6 0. 115 3 0. 342 2 0. 160 1 0. 311 7 0. 162 2 0. 172 3 0. 052 1 0. 231 0 0. 108 3 0. 262 0 0. 155 3 0. 271 2 0. 160 6 0. 139 9 0. 049 1 0. 205 5 0. 099 2 0. 234 4 0. 152 2 0. 247 8 0. 165 4 0. 123 4 0. 042 2 0. 184 2 0. 091 1 0. 201 8 0. 150 1 0. 227 0 0. 152 1 0. 105 0 0. 035 8 0. 093 3 0. 094 7 0. 192 8 0. 148 2 0. 200 9 0. 140 7 表 2 　部分人脸的特征参数 Tab. 2 　The parameters of face retrieved in experiment 被试对象 d c + d a b f e 被试 1 1. 975 3 2. 812 1 0. 571 4 0. 521 0 1. 142 9 2. 135 1 被试 2 1. 558 4 2. 597 4 0. 798 1 0. 939 0 1. 079 8 2. 206 6 被试 3 1. 344 8 2. 250 0 0. 662 0 0. 453 0 1. 184 7 2. 160 3 被试 4 1. 494 3 2. 471 3 0. 944 0 1. 002 9 1. 150 4 1. 592 9 被试 5 1. 221 1 2. 273 3 0. 690 0 1. 104 1 1. 147 0 1. 904 4 2 　径向基函数网络数据融合 数据融合是多生物特征身份识别最重要的一 步. 神经网络由于其自身的特点 ,已成功应用于不 同的数据融合领域. 特征层融合的身份识别技术要 求对从不同传感器中提取的特征向量进行关联. 由 93　第 1 期 陈倩等 :基于数据融合的多生物特征身份识别 于传感器输出数据类型往往相差甚大 ,因此对不同 类型的数据进行非线性关联并形成一个融合矢量 比较困难. 神经网络则具有这一特殊功能 ,它能实现 一种特殊的非线性变换 ,把输入空间变换到隐含层所 张成的空间 ,可使在此空间中其后的分类问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 变得比 较容易.这种变换是把一种特殊的特征提取准则最大 化 ,可以将其看作是一种特殊的特征提取器. 因此 ,作 者使用神经网络作为多生物特征的融合器. 在所有的神经网络模型中 ,径向基函数 ( RBF) 网络模型以其结构简单、分类性好等优点得到了广 泛应用. RBF 网络结构如图 2 所示. 这是一个两层 网络 ,其中隐层单元的作用相当于对输入模式进行 一次变换 ,将低维的模式输入数据变换到高维空间 内 ,以利于输出层进行分类识别 ,它的变换作用实 际上可视为对输入数据进行特征提取. 图 2 　RBF网络结构 Fig. 2 　RBF construction 　　RBF 隐单元使用的是非线性传输函数. 这里 , 假设 RBF 隐单元的变换函数为常用的高斯函数 ,则 其第 i 个单元对应的输出为 Zi ( t) = K(| xj ( t) - Si | ) = exp - ∑ N j = 1 ( xj ( t) - S i ) 2 2αi 2 (4) 式中 : Zi ( t) 为 第 i 个隐单元的输出 (即径向基函 数) ; xj ( t) 表示第 j 个输入模式矢量 ; Si表示隐层中 第 i 个单元的变换中心矢量 , ai对应第 i 个中心矢量 的控制参数. RBF 网络中所用的非线性函数的形式对网络 性能的影响不是至关重要的 ,关键因素是基函数中 心的选取. 中心选取不当构造出来的 RBF 网络的性 能一般不能令人满意. 文中使用最近邻聚类[ 9 ] 学习 算法选取 RBF 的基函数中心 ,这种方法可以同时对 中心进行参数和结构的自适应调整. 3 　仿真实验 本实验的语音数据使用声卡采集 ,采样频率为 11 k Hz ,采用 16 bit 量化 ,在实验室中 10 名同学对 一段录音材料进行两次朗读录音 ;同时 ,用数码相 机进行人脸图像的采集 ,每人两张 ,大小为 512 × 512 象素 (8 bit ) ;然后提取了语音倒谱系数和人脸 的几何参数作为 RBF 神经网络融合系统的输入. 10 组语音和人脸数据进行交叉配对 ,可以得到 10 ×10 组样本 ,每组样本又可进行交叉配对. 把一 部分作为训练样本 ,一部分作为测试样本. 网络的 输出层可以采用“0 - 1”编码方式 ,即对每一个参试 者样本都赋予惟一的标识号 ,将此标识号经过编码 后作为教师信号. 以训练样本对网络训练并确定 RBF 的中心 ,当 网络训练完毕后 ,输入测试样本数据进行测试. 当 实验中对应的期望输出和实际输出结果分别以 X 和 T 表示 ,取域值为 0. 6 时 ,得到如下结果 : X = [ X1 X2 X3 X4 ] = 0 0 0 0 0 0 0 1 0 1 1 0 1 0 1 0 (5) T = [ T1 T2 T3 T4 ] = - 0. 105 1 0. 059 7 - 0. 251 0 0. 124 5 0. 258 7 0. 200 1 0. 241 3 0. 842 5 0. 102 0 0. 815 4 0. 514 1 0. 210 5 0. 769 5 0. 210 5 0. 851 0 0. 100 4 (6) 　　由期望输出和实际输出的比较可以看出 ,测试 样本中的 1 ,2 ,4 得到了正确的辨别 ,而测试样本 3 在辨别时发生了错误. 这时可以通过改变阈值γ或 者继续增加训练样本来提高网络的适应能力. 继续增加训练样本数 ,当网络训练完毕后 ,输 入测试样本进行测试 ,实际输出为 T = [ T1 T2 T3 T4 ] = - 0. 121 0 - 0. 120 3 - 0. 159 6 0. 105 6 0. 210 5 0. 397 0 0. 108 9 0. 984 7 0. 089 4 0. 815 9 0. 700 1 0. 205 0 0. 928 7 0. 108 9 1. 201 5 - 0. 156 8 (7) 效果增加非常明显 ,所测试的样本都被正确识别. 作为比较 ,分别尝试了两种单一特征参数的识 别方法. 结果表明 , 16 阶线性预测倒谱系数 (L PCC16)结合 RBF 网络的识别率只有 75 % ,人脸 图像结合 BP 网络的识别率只有 87 % ,而同样条件 下的融合识别系统对样本的正确识别率高达 96. 2 %. 仿真实验证明 ,在同样的仿真实验环境下 ,融 合语音特征和人脸特征的识别方法优于传统的单 一识别方法. 4 　结　论 　　高性能的身份识别系统的实用价值高. 使用单 04 　　　江 南 大 学 学 报 (自 然 科 学 版) 　　　　　　　　　　　第 5 卷 　 一生物特征的身份识别方法 ,对特征提取和匹配算 法要求高 ;使用多生物特征融合的身份识别方法 , 则可以在同等识别率的条件下 ,降低各个特征提取 子模块的要求. 实验中 ,在特征层 ,使用神经网络融 合识别方法具有良好的效果. 参考文献 : [1 ] 拉宾纳 L R , 谢佛 R W. 语音信号数字处理[ M ] . 朱雪龙译. 北京 :科学出版社 ,1995. [2 ] Hrechak , Andrew K , Mu Hugh , et al. Automated fingerprint recognition using st ructural matching [ J ] . Pattern Recognition ,1990 ,23 (8) :893 - 904. [ 3 ] Samal A , Iyengar P A. Automatic recognition and analysis of human faces and facial expressions[J ] . Pattern Recognitioin , 1992 ,25 :65 - 77. [4 ] Dieckmann U , Plankensteiner P , Wagner T. A biometric person identification system using sensor fusion [J ] . Pattern Recognition Letters ,1997 ,18 (9) :827 - 833. [5 ] Brunelli R , Falavigna D. Personal identification using multiple cues[J ] . IEEE Trans ,1995 ,17 (10) :955 - 966. [6 ] Duc B Bigun ,Mait re G ,Fischer S. Fusion of audio and video information for multiΟmodal person authentication[J ] . Pattern Recognition Letter ,1997 ,18 :835 - 834. [ 7 ] Gutkowski P. Algorithm for ret rieval and verification of personal identity using bimodal biometrics[J ] . Information Fusion , 2004 ,5 (1) :65 - 71. [8 ] 林福严 , 刘巧静 , 李兴森. 人脸特征的定位和提取[J ] . 微计算机应用 ,2000 ,21 (4) :207 - 210. [9 ] 朱明星 , 张德龙. RBF 网络基函数中心选取算法的研究[J ] . 安徽大学学报 :自然科学版 , 2000 ,24 (1) :72 - 78. (责任编辑 :邢宝妹) (上接第 13 页) 冲突时 ,系统给出警报 ,项目经理可以利用项目计 划分析工具对项目计划进行调整. 3 　结　语 文中给出了基于 ASP 平台的项目协同管理系 统的体系结构 ,在分析 ASP 项目管理特点的基础 上 ,提出了项目协同管理的一些关键技术 ,包括基 于 ASP 平台的项目协同机制、项目协同决策技术、 基于 ASP 的项目计划与控制技术 ;并采用了 VB. N ET ,ASP. N ET , SQL Server 等技术开发了基于 WU XIASP 的项目协同管理系统. 目前 ,该系统已 经在无锡锡山、滨湖区的 WU XIASP 的企业会员用 户中投入使用. 参考文献 : [ 1 ] 严隽薇. 面向网络化制造 ASP 平台工具构件与集成技术[J ] .制造业自动化 ,2004 , 26 (1) :48 - 49. [ 2 ] 王忠明 ,何卫平 ,秦忠宝 ,等.面向虚拟企业的协作项目管理系统分析与建模[J ] . 制造业自动化 , 2003 ,25 (12) :5. [ 3 ] Malone T ,Crowston K. What is coordination theory and how can it help design cooperative work system : Proceeding of the Conference on Computer Supported Cooperative Work , ACM[ C] . New York : [ s. n. ] ,1990. [ 4 ] 史美林 ,向勇 ,杨光信 .计算机支持的协同工作理论与应用[ M ] .北京 :电子工业出版社 ,2000. [ 5 ] 郑庆华 ,李人厚. 计算机支持的协同工作的一种建模方法[J ] . 软件学报 ,1997 ,6 (增刊) :171 - 172. [ 6 ] 赵玮 ,岳德权. A HP 算法及比较分析[J ] . 数学的实践与认识 ,1995 (1) :33 - 34. [ 7 ] 杜纲. 管理数学基础 - 理论与应用[ M ] . 天津 :天津大学出版社 ,2003 :33 - 34. [ 8 ] 林世勇 ,齐建军 , 闫光荣 ,等. 基于 ASP 的分布式项目管理系统的研究与实现[J ] . 现代制造 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 ,2003 (5) :18 - 20. [ 9 ] 黄斐. MS Project2002 项目管理与应用[ M ] . 北京 :科学出版社 ,2004 :110 - 124. (责任编辑 :杨 勇 ,彭守敏) 14　第 1 期 陈倩等 :基于数据融合的多生物特征身份识别