下载

3下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 人脸面部混合表情识别系统

人脸面部混合表情识别系统.pdf

人脸面部混合表情识别系统

硕鼠
2009-09-08 0人阅读 举报 0 0 暂无简介

简介:本文档为《人脸面部混合表情识别系统pdf》,可适用于人文社科领域

第卷 第期年月计  算  机  学  报CHINESEJCOMPUTERSVolNoJune人脸面部混合表情识别系统金 辉)  高 文))(哈尔滨工业大学计算机科学与工程系 哈尔滨))(中国科学院计算技术研究所 北京)收稿日期:修改稿收到日期:本课题得到国家自然科学基金()、国家“八六三”高技术研究发展计划(ZT)及中国科学院“百人计划”的资助金 辉,女,年生,获博士学位,主要研究领域为模式识别、图像处理高 文,教授,博士生导师,主要研究领域为多媒体数据压缩、图像处理、计算机视觉、多模式接口、人工智能、虚拟现实等摘 要 根据心理学家对表情的研究和前人的工作成果,在对动态表情图像序列的时序分析的基础上,提出了对混合表情的识别系统把脸部分成各个表情特征区域,分别提取其运动特征,按时序组成特征序列,通过分析不同特征区域所包含的不同表情信息的含义和表情的含量,识别任意时序长度的、复杂的混合表情图像序列关键词 混合表情,特征序列,表情特征区域,特征流中图法分类号:TPTheHumanFacialCombinedExpressionRecognitionSystemJINHui) GAOWen))(DepartmentofComputerScienceandEngineering,HarbinInstituteofTechnology,Harbin))(InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing)Abstract Thehumanbeingshavenotonlyrationalthinkingandlogicreasoningability,butalsoperceptualthinkingandemotionsIntheaimofthenaturalandintelligenthumanmachinecommunication,itisessentialtomakeitpossiblethatthecomputercanunderstandandexpresstheemotionsThispapersummarizesthestudyinthepsychologyfieldandtheformerworkandproposesthecombinedexpressionrecognitionsystembasedontheanalysisofthedynamicexpressionimagesequencesThefaceistakenasbeingcomposedofseveralprimaryexpressionregions,inwhichthemotionfeaturescanbeextractedandconstitutedtoeigensequencesTheanalysisofthearbitrarylengthofimagesequencesoffacialexpressionsandcombinedexpressionrecognitionareproposedandimplementedbyanalyzingtherespectiveexpressionmeaningandtheexpressioncontentsofdifferentprimaryregionsandusingthemultifeaturefusionKeywords combinedexpressions,eigensequences,primaryexpressionregions,eigenflow 引 言 意 义在日常生活中,人类的智能不仅表现在正常的理性思维和逻辑推理能力上,也表现在正常的情感能力上在自然化的人机交互的目标中,计算机不能没有理解和表达情感的能力计算机科学中,这种能力对促进计算机视觉系统建模和数据库的发展都有直接的作用在语言学中,可辅助唇读在行为学中能帮助人们研究和建立交流中的可信度在商业应用方面、可视电话和电视会议方面以及国际间商业政治的交流方面都有着重要的应用价值 心理学领域的研究生物学家达尔文所做的心理学实验表明,面部表情的含义不随地区和国家的不同而不同,这一结果具有普遍的意义对表情的分析可从维量分析和分类这两种角度来研究Ekman等人提出的表情六种最基本的分类,即高兴、惊奇、恐惧、悲伤、厌恶和愤怒,具有里程碑的作用人类所有的情绪表情都是由这几种表情经过复杂的融合而产生的面部表情、声调表情或身体姿态三方面构成了情绪表现,而情绪表现、情绪体验和情绪生理这三种因素又组成了情绪的心理,所以现实生活中的表情是千变万化的 识别的难点用计算机来分析、识别面部表情是一个非常复杂的问题,它关键在于建立一个人类的情绪(humanemotions)模型并把它们同人脸面部特征及表情的变化联系起来但人脸是个柔性体,不是刚体,很难用模型来精确描绘而且,表情的识别还依赖于其它方面的因素,如:①对人脸的熟悉程度②对各种表情的体验表情的表现有缓和的和激动的、细微的和强烈的、轻松的和紧张的等诸多形式,它的生理因素也是细微多变的,所以非常复杂③对脸部的注意程度④非视觉的因素也给计算机的识别带来一定的困难⑤数据来源方面:在严格的实验中所引起的情绪表情状态带有突出的人为性质,这难以为实际的科学研究提供十分精确的依据而在现实现场中观察的数据,它的笼统性和复杂性又使人难以进行数量分析,这不能不说是人们感到棘手从而触及它较少的原因之一⑥计算机本身没有知识和经验光照的因素对图像的影响大,这些也都是它的难点所在 计算机领域的研究在计算机领域中,关于面部表情识别的研究是在最近几年才逐渐发展起来的文献曾把人脸识别方面特征脸(eigenface)的思想应用到了表情识别中,用静止的单帧表情图像来识别,把表情投影到“表情空间”这反映不出表情动作的变化,没有包含时间信息和运动信息扩展性不够好,对混合表情难以识别文献实现的表情识别系统是用基于规则的方法来识别较为夸张的单一表情在国际上,Mase使用了光流来跟踪面部的运动单元LiHaibo,RoivainenPertti等人描述了一种基于模型的方法,把计算机图形学和计算机视觉处理之间的反馈控制用于脸部图像编码系统Yacoob和Davis基于FACS(FacialActionCodingSystem)编码,在八方向上检测运动,在一张脸上有六个预定义、手工初始化的矩形区域,使用简化的FACS规则识别六种表情RosenblumMark和YacoobYaser等人用RBFN结构学习脸部特征与人类情绪之间的相关性,在最高一级识别情绪,在中间一级决定脸部特征运动,在低一级恢复运动方向该系统也能实现识别六种基本表情PengAntai和Hayes研究了人脸表情的建模和合成,用基于模型的图像编码方法,使用遗传算法来编码、合成各种不同表情Essa等用图像序列作为输入的计算机视觉系统来观察脸部的运动单元视觉观察与感知是通过优化估计光流方法与描绘脸部结构的几何、物理肌肉模型相结合得到的这种建模方法产生了一个随时间变化的脸部形状的空间模板和一个独立的肌肉运动群的参数化表征该系统只能分析固定帧数帧的图像序列,而且不能分析混合表情WangMei识别了六种基本面部表情的程度本文是把脸部分成多个表情特征区域,分别提取其运动特征,按时序组成特征序列,通过分析不同特征区域所包含的不同表情信息和表情含量,识别任意时序长度的、复杂的混合表情 表情的分类由于表情产生的原因、表情表现的程度以及人们对表情的控制能力和表情的倾向等诸多方面的原因,使表情的变化细微而复杂,对表情特点的概括也显得复杂依据心理学的研究,对表情分析分类的方法很多,本文采用Ekman的最基本表情的六种分类方法对六种最基本表情的主要特点概括如表所示,表中所归纳的特点是单一情绪的面部表情表 面部表情的主要特点表情额头、眉毛眼睛脸的下半部惊奇①眉毛被抬起来,以致于变高变弯②眉毛下的皮肤被拉伸③皱纹可能横跨额头①眼睛睁大了,上眼皮被抬高,下眼皮下落②眼白可能在瞳孔的上边露出来,下边的也可能露出来下颌下落,嘴张开,以致于唇和齿分开,但嘴部并不紧张,也不拉伸期金 辉等:人脸面部混合表情识别系统续 表表情额头、眉毛眼睛脸的下半部恐惧①眉毛抬起来并皱在一起②额头的皱纹只集中在中部,而不横跨整个额头上眼睑抬起来,下眼皮非常紧张,并且被拉上来嘴张开了,嘴唇或者轻微紧张,向后拉或拉长,同时向后拉厌恶眉毛压低了,并压低了上眼睑在下眼皮下部出现了横纹,脸颊推动其向上,并不紧张①上唇被抬起来②下唇与上唇紧闭,推动上唇向上,嘴角下拉,唇轻微凸起③鼻子皱起来④脸颊被抬起愤怒①眉毛皱在一起,并且被压低了②在眉宇间出现了竖直皱纹①下眼皮非常紧张,可能被或可能不被抬起②上眼皮是紧张的,在眉的动作下可能被压低③眼睛愤怒地瞪着,可能鼓起①唇有两种基本位置:紧闭,唇角拉直或向下张开,仿佛要喊②鼻孔可能是张大的,这并不是必要的高兴眉毛销微下弯①下眼睑下边可能有皱纹,可能鼓起,但并不紧张②鱼尾纹从外眼角向外扩张①唇角向后拉并抬高②嘴可能被张大,牙齿可能露出来③一道皱纹从鼻子一直沿伸到嘴角外部④脸颊被抬起悲伤眉毛内角皱在一起,抬高,带动眉毛下的皮肤眼内角的上眼皮被抬高①嘴角下拉②嘴角可能在颤抖 表情的模型与编码Ekman和Friesen提出的目前最广泛被采用的人脸运动编码系统FACS是人脸上所有导致脸部运动的运动单元的枚举但FACS有两个主要弱点:①运动单元是纯粹的局部化的空间模板②没有时间描述信息,只是一个启发式信息其中FACS不包含情绪信息,数据的分析只是单纯的描绘运动单元AU,或者把FACS通过字典规则转化成情绪本文在此基础上提出了FACS’,即FACS转换的表情编码,把运动单元的运动转化成基于物理和肌肉模型的运动特征流向量序列来对表情编码,相应的运动解释基于FACS的规则,同时克服了单纯FACS的弱点表情识别的一个难点,就是建立表情模型人脸是一个柔性体而不是一个刚体,很难把脸部的运动与表情联系起来我们根据表情序列图像的特点,建立了动态的表情模型:Onset→Application→Apex→Release→Offset 特征区域的定位人脸面部的感知系统,包括唇读、人脸识别、表情识别等的前提条件是已知人脸图像人脸图像定位以后,根据脸部的结构信息和面部的物理肌肉模型,提取表情的特征区域,它们是由表情变化比较显著的特征部件的相关肌肉定义的:眼睛、眉毛区域和嘴部区域虽然最终提取的特征,不是基于结构的几何特征,不必精确描绘其形状信息,但各特征区域必须分别在大小上归一化,在特征部件的位置与比例上标准化对同一组图像序列,特征区域的定位只在第一帧计算得到,其余帧都与第一帧相同,为了防止头部的刚体运动对测量表情运动的影响,在标准化时使用了旋转与平移操作对不同组图像序列,对特征区域中部件的位置与比例进行标准化:在眼睛区域中,最具明显特征的是虹膜,在边缘图像中,虹膜的边缘很强,并呈圆状因此很容易检测得到从而可得到眉毛特征,根据眼睛及眉毛的比例可以重新校正眼睛特征区域嘴部区域也是先从大致确定的粗定位区域中,根据灰度积分信息找到嘴部,然后重新校正嘴部特征区域:如图 面部运动的分析关于被观察目标的运动向量即光流的估计,主要有三种方法:基于时空梯度的方法,基于相关的方法以及频率域的方法,此外基于立体视的方法也逐渐受到重视传统的Horn与Schunck提出的计  算  机  学  报 年基于梯度的方法,比较适合于皮肤的变形计算,而且计算量比较简单,只是逐点的估计位置的瞬时速度场,我们采用这种方法在基于梯度的方法中,时空梯度之间的关系是极其重要的,这个关系被称之为基本等式,它构成了对光流计算的一个重要约束设在时间t和tdt时有两幅连续的投影,在图t上有灰度为f(x,y)的像素点,这里x,y为该点的坐标,该点在tdt上移至f(xdx,ydy),f(x,y,t)=f(xdx,ydy,tdt)当变化是连续的,而且两帧间的时间间隔dt→,由泰勒级数展开可得到:fxdxdtfydydtft=,u=dxdt,v=dydt特征部件的光流场如图用光流特征作为特征向量,对光照均匀程度的鲁棒性较强,只要光照在同一组序列中强度不变,提取的特征就是稳定的,克服了图像处理比较敏感的问题 基于KL变换的特征选择对各个表情区域的运动向量,我们要采用较少数量的特征对样本进行描述以降低特征空间维数,并去掉各特征分量间的相关性这种方法的基础是KarhunenLoève展开式:x(t)=∑∞n=rnxn<n(t),aΦtΦb我们用各种表情图像序列组的所有帧(不包括中性表情的数据组,因为其它表情序列中都含有中性表情流数据)作为训练数据,共帧,求其协方差矩阵的特征值和特征向量,用前n个最大特征值对应的特征向量做基底,对于每个特征区域速度场的u分量和v分量分别求其基底对同一特征区域来说,u分量和v分量维数的确定是取两者中较大的维数作为它们的基底维数对于眼部特征区域的运动场,经降维后,按所有最大特征值平方和占所有特征值平方和的计算,u分量为维,v分量为维,因而维被确定为眼部的基底维数同理可得嘴部的基底维数为维在求特征序列时,把一组图像序列中的每一帧的各个特征区域的运动向量场向其对应的基底做投影,把u分量和v分量系数串行合并作为一个特征流向量然后把一组序列的特征流向量组成一个特征序列如图PCA代表特征部件分析,A,B,C代表各特征部件 表情序列分析隐马尔柯夫模型既可描述瞬态的随机过程又可描述动态的随机过程的转移特性,是解决时序信号很有效的方法,已在语音识别和手势识别中得到较好应用,本文把HMM引入到动态表情图像序列的识别系统中,识别混合表情期金 辉等:人脸面部混合表情识别系统 HMM参数设一个离散的系统可被描述为在任意时刻处于N个独立状态中的一种状态(s,s,⋯,sN),每隔一定的时间,系统会根据与状态相连的概率转换到下一个状态,也可能回到原状态一个HMM可以通过以下参数来描绘:·N:模型的状态数定义各状态为S={s,s,⋯,sN},在时间t的状态为qt·M:每个状态的可观察符号数,定义单个的符号是V={v,v,⋯,vM}·A={aij}:状态转移概率分布,这里,aij=Pqt=sjûqt=si,Φi,jΦN·B={bj(k)}:在状态j,观察符号的概率分布这里,bj=Pvkattûqt=sj,ΦjΦN,ΦkΦM·Π=(Πi):初始状态概率分布,Πi=Pq=si,ΦiΦN当给定N,M,A,B和Π,对应一个观察序列O=O,O,⋯,OT这里每个观察结果Ot是来自V的一个符号,T是一个序列中的观察数目 HMM在表情识别中的计算本系统中用半连续的HMM来估计其模型参数,这样计算的速度较快,精度较高模型中的状态数和混合项数是由实验确定的,本系统取状态数为N=,混合项数为M=观察符号的概率密度函数的参数以半连续的方式重估,最普通的表达为bj(O)=∑Mm=cjm#O,Λjm,Ujm,ΦjΦN这里O是被建模的向量cjm是在状态j的第m个混合项的系数#通常为高斯混合密度,其均值向量为Λjm第m个混合项在状态j的协方差矩阵Ujm(半连续的情况下,各状态中的均值向量和协方差矩阵是相同的)混合增益cjm满足随机限制:∑Mm=cjm=,ΦjΦN,cjmΕ,ΦmΦM这样概率密度函数被标准化为∫∞∞bj(x)dx=,ΦjΦN在计算过程中为防止溢出,需要一个比例因子对每一时刻t,取比例过程应用到A,Π和B并且在计算的结束,比例因子完全被抵消在计算P(OûΚ)时,只能计算对数P,而不是P,否则会超出机器的动态范围原始数据若较大也会造成溢出,本实验把原始光流数据缩小到原来的ö由HMM所描绘的时间序列的过程是一个状态转移模型,因为表情图像序列与语音序列一样是有时间顺序的、不可逆过程,这里所采用的结构类型是无跨越从左向右模型在此模型中限定起始状态,每个状态只能向右侧编号高一位的状态或本状态转移,因此在这一模型的矩阵A中只有主对角元素Aii和右副对角元素Aii允许非零这一模型符合人的语音和表情序列的特点,而且A比较稀疏,大大减少了模型参数估值的计算量为了得到可靠的模型估计必须有充足的数据,多观察序列设有k组观察序列:O=O()O()⋯O(k),这里O(k)=O(k)O(k)⋯O(k)Tk是第k个观察序列,各个序列间是互相独立的校正模型Κ的参数,使P(OûΚ)=∏Kk=P(O(k)ûΚ)=∏Kk=Pk最大化这样修改后的重估规则加入比例因子表示为下式aλij=∑Kk=Pk∑Tkt=Αδkt(i)aijbj(O(k)t)Β^kt(j)∑Kk=Pk∑Tkt=Αδkt(i)Β^kt(i)其中a为状态转移概率,Α,Β分别是Forwardbackward过程中forward和backward变量同样,bλj(l)也可以计算得到 实验结果我们用七种最基本的表情做实验,即中性、高兴、惊奇、愤怒、悲伤、厌恶和恐惧实验中的某些表情的部分序列如图对每种表情采了组图像序列,共组,每组内的帧数不固定,大约有多帧,大小为×像素,采样频率为帧ös用人脸面部结构特征的先验信息和灰度积分特征,确定表情特征区域然后对每组序列的每帧图像进行时间空间上的平滑,把特征区域中的特征部件按位置与比例信息标准化,并把区域分别归一化到固定的大小,得到眼部区域大小为×,嘴部区域为×用基于梯度的光流方法提取特征部件区域的运动场,得到水平方向u和垂直方向v运动图像在对运动特征进行降维时,把所有表情的所有帧的图像作为训练基底,分别对u和v方向以及分别对各特征部件进行降维,各部件的特征向量的长度的确定是分别取u和v中较大维数作为长度的一半,各部件的特征向量是u和v分量上分别投影后串行连接起来的眼睛部件向量长度为×=,嘴部特征向量的长度为×=计  算  机  学  报 年人脸面部表情是由面部肌肉的运动而产生的,因此对表情分析的核心是判断识别面部的某种运动,用静止的图像识别显然是损失了大量的关键信息同时由于表情是情绪的外在表现,它的速度、激烈程度等会千差万别,所以用时序分析的方法而不是用固定的帧数来识别表情序列是重要而有意义的在对HMM进行训练时,分为七种表情的眼部和嘴部共个HMM把各种表情的眼部与嘴部分开训练,是因为在实际生活中人的面部表情并不是单一的某种表情,随心情和情绪一样是混合复杂的表现在面部表情上,不同的特征部件可能所包含的表情信息是不同的对不同特征区域进行分析,进而分析混合表情的含义,如图是系统流程图本文对混合表情的识别是分析不同特征区域中表情的含义及表情的含量,最后通过融合来理解、识别的首先给出基于后验概率的表情含量的定义:表情的含量在第m个特征区域中第i种表情的含量为Om(i)=P(iûAm), m=,,i=,⋯,,其中,P(iûAm)表示第i个模式类在第Am个特征区域中的概率P(iûAm)=P(Amûi)P(i)∑k=P(Amûk)P(k),其中,每种表情出现的先验概率P(i)为等可能的:P(i)=ö那么,基于加性规则,在所有N个特征期金 辉等:人脸面部混合表情识别系统区域中,第i种表情的含量为O(i)=N∑Nm=Om(i)在目前所掌握的文献中没有出现过类似于本文所设计实现的实验系统并且经实验证明,系统在时序分析过程中,识别速度和识别结果都非常理想的,各种表情的总体识别率达到混合表情识别系统的结果和判断更符合人的需求和心理,更切合和接近实际参考文献ZhaoLiZhuangHumanfacicalexpressionanalysisandrecognitionMSdissertationHarbinInstituteofTechnology,Harbin,(inChinese)(赵力庄面部表情的分析与识别硕士学位论文哈尔滨工业大学,哈尔滨,)GaoWen,JinHuiAnalysisandrecognitionofthefacicalemotionalexpressionsChineseJournalofComputers,,():(inChinese)(高 文,金 辉面部表情的分析与识别计算机学报,,():)MaseKRecognitionoffacialexpressionsforopticalflowIEICETransactions,SpecialIssueonComputerVisionanditsApplications,E,,():LiHPerttiroivainenandrobertforchheimerDmotionestimationinmodelbasedfacialimagecodingIEEETransactionsonPatternAnalysisandMachineIntelligence,,():YacoobY,DavisLComputingspatiotemporalrepresentationsofhumanfacesInProceedingsoftheComputerVisionandPatternRecognitionConference,IEEEComputerSociety,RosenblumM,YacoobY,DavisLHumanemotionrecognitionfrommotionusingaradialbasisfunctionnetworkarchitectureIn:ProceedingsoftheIEEEWorkshoponMotionofNonrigidandArticulatedObjects,Austin,TX,PengA,HayesMHIterativehumanfacialexpressionmodelingSchoolofElectricalandComputerEngineeringGeorgiaTech,Atlanta,GA:TechnicalReport,,EssaIA,PentlandAPCoding,analysis,interpretation,andrecognitionoffacialexpressionsMITMediaLaboratory:PerceptualComputingSectionTechnicalReport,WangMei,IwaiY,YachidaMExpressionrecognitionfromtimesequentialfacialimagesbyuseofexpressionchangemodelIn:ProceedingsoftherdInternationalConferenceonAutomaticFaceandGestureRecognition,OSAKA,Japan,StormonthKTZhangYanYuntranslatedThePsychologyofEmotionShenyang:LiaoningPeoplePress,(inChinese)(斯托曼KT著,张燕云译情绪心理学沈阳:辽宁人民出版社,)GaoWen,ChenXiLinComputerVisionBeijing:TsinghuaUniversityPress,(inChinese)(高 文,陈熙霖计算机视觉北京:清华大学出版社,)BianZhaoQiPatternRecognitionBeijing:TsinghuaUniversityPress,(inChinese)(边肇祺模式识别北京:清华大学出版社,)RabinerLRAtutorialonhiddenMarkovmodelsandselectedapplicationsinspeechrecognitionProceedingsoftheIEEE,():计  算  机  学  报 年

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/7

人脸面部混合表情识别系统

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利