关闭

关闭

关闭

封号提示

内容

首页 基于嵌入式HMM的脸部表情识别

基于嵌入式HMM的脸部表情识别.doc

基于嵌入式HMM的脸部表情识别

天天彩虹相见 2018-08-10 评分 0 浏览量 0 0 0 0 暂无简介 简介 举报

简介:本文档为《基于嵌入式HMM的脸部表情识别doc》,可适用于战略管理领域,主题内容包含基于嵌入式HMM的脸部表情识别基于嵌入式HMM的脸部表情识别陈倩倩赵杰煜(宁波大学计算机科学技术研究所,浙江宁波)Email:chenqianqia符等。

基于嵌入式HMM的脸部表情识别基于嵌入式HMM的脸部表情识别陈倩倩赵杰煜(宁波大学计算机科学技术研究所,浙江宁波)Email:chenqianqian一yahoocon摘要提出了一种基于嵌入式EHMM的表情识别方法通过分析人脸表情的变化情况,利用DCT提取脸部表情特征构成特征向量构建嵌入式HMM来识别静态图像中的人脸表情,并在单层嵌入式HMM的基础上提出了更利于区分易混淆表情的双层嵌入式HMM结构实验表明该方法能有效地识别种基本表情关键词脸部表情识别嵌入式隐马尔可夫模型DCT文章编号一()文献标识码A中图分类号TPFacialExpressionRecognitionUsingEmbeddedHMMCHENQianqianZHAOJieyu(InstituteofComputerScienceandTechnology,NingboUniversity,Ningbo,Zhejiang)Abstract:Withtheanalysisofthemovementoffacialexpressions,thispaperdescribesanembeddedHMMapproachforfacialexpressionrecognitionthatusesanefficientsetofobservationvectorsbasedonDCTcoefficients,thenproposesadoublelayerembeddedHMMstructurebasedonthesingleembeddedHMM,whichcanclassifyconfusingexpressionsmoreeffectivelyTheexperimentshowsthattheembeddedHMMbasedmethodcanrecognizethesixbasicexpressionseffectivelyKeywords:facialexpressionrecognition,EmbeddedHMM,DCT引言随着计算机技术的不断发展人们期望更加友好的人机交互方式其中之一就是让计算机通过识别人脸表情进而理解人们的情感状态脸部表情分析就提供了这样一种计算机理解和表达情感的能力使得计算机能读懂人们的情感信息除了在人机交互方面的应用外脸部表情分析还可应用于诸如图像理解,心理学研究,医学上的面部神经分析,面部图像压缩和面部动画合成,视频索引,机器人学以及虚拟现实等领域年Ekman和Fdesen【l】提出了种基本情绪:高兴,悲伤,恐惧,厌恶,惊奇和生气,每一种情绪都表现为与之相对应的典型的面部表情这些典型的情绪表现不随人类种群和文化的不同而变化具有一定的普遍性人类所有的情绪表情都是由这几种表情经过复杂的融合而产生的人脸表情识别的关键在于有效地提取人脸表情特征并将其与人类的情绪模型相结合但是人脸是一个柔性体很难用模型进行精确描述:人脸的表情复杂多变虽然表情具有一定的普遍性但是不同人在表情的表现方式上千差万别,加上图像获取,光照,环境影响等因素这些都给表情识别带来了非常大的困难国际上Cohn和Lien等人】利用整体图像流分析,特征点跟踪和梯度部件分析方法与体现时序特征的HMM识别方法相结合构建了一个表情识别系统Essa和Pentlandl通过将优化估计光流方法与描绘脸部结构的几何物理肌肉模型相结合产生了一个随时间变化的脸部形状的空间模板和一个独立的肌肉运动群的参数化表征从而实现了一个比较完整的用于观察面部运动的计算机视觉系统Yacoob和Davisl基于FACS(FacialActionCodingSystem),在个方向上检测面部运动,在人脸上有个预定义的,手T初始化的矩形区域,使用简化的FACS规则来识别种基本表情国内高文等人把脸部分成多个表情特征区域采用基于梯度的光流法分别提取其运动特征利用PCA对特征向量进行降维按时序组成特征序列通过HMM分析不同特征区域所包含的不同表情信息和表情含量通过融合来理解和识别任意时序长度的,复杂的混合表情嵌入式HMM最初由Ku等人同提出并应用于字符识别NefianESl将其用于人脸识别取得了很好的识别效果本文采用基于嵌入式HMM的方法进行表情识别通过对不同表情进行建模来识别静态图像中人脸的种基本表情文章首先介绍了嵌入式HMM的基本定义和训练算法然后给出了基于嵌入式HMM的脸部表情识别系统的基本结构并在单层嵌入式HMM的基础上引入了增强型的双层嵌入式HMM结构最后给出了相应的实验结果和分析EHMM(EmbeddedHiddenMarkOVMode)一维的HMM是一个包含若干个隐状态的马尔可夫链尽管隐状态不能被直接观测但是每一个状态都以一定的概率分布与一组可能的观测值相关联所以当HMM处于状态i时可以根据一定的条件概率密度函数(通常是高斯或高斯混合函数)计算得到输出值(即观测值)用于描述一个HMM的必需参数为:状态转移概率矩阵,状态的初始概率分布以及用于描基金项目:国家重大基础研究前期研究专项(编号:CCA)作者简介:陈倩倩(一),女,硕士研究生,主要研究方向:计算智能,模式识别赵杰煜(一),男,教授,博士,主要研究方向:机器学习,计算智能,随机神经网络计算机T程与应用o述每一状态和观测值相互关系的一组概率密度函数我们将一维HMM中的每一个状态扩展为一个一维的HMM从而构成一个特殊的二维HMM即嵌入式HMM(EmbeddedHiddenMarkovModel,以下简称EHMM)其中,包含一个HMM的状态称为超态(superstate),包含于超态内的HMM的状态称为嵌入态(embeddedstate)一个EHMM由一个超态集和若干个嵌入态集所组成超态可以用于对一个方向上的二维数据进行建模而嵌入态则可用于对另一方向上的数据进行建模EHMM不同于一般意义上的二维HMM,因为不同超态内的嵌入态之间不存在状态转移EHMM的相关参数及其定义:()超态个数n和超态集So,S{S,lNo()超态的初始分布兀={rlll,lNo,其中rl是初始时刻超态i的概率()超态的状态转移概率矩阵A={l,lNo,其中ao为从超态i到超态的转移概率()每个超态内所含的HMM包含以下参数:第k个超态内的嵌入态个数Nj和相应的嵌入态集Sj={Sl,li,v初始状态分布兀={r::l,l,v,其中r是初始时刻超态k中状态i的概率:状态转移概率矩阵A=:l,ln,l,m,v,其中n表示超态k中从状态『至状态m的转移概率()状态概率矩阵曰'){(Dcnl)l,其中表示位于第t行t列的观察序列我们选择高斯混合模型来描述连续HMM中的状态:Mb(kl(D):c:N(O,),lf,vm=l其中c:为超态k中状态i的第m个混合系数,,v(,k,U(k)是一个均值向量为,协方差矩阵为U(k的高斯分布令A:f兀:",A:",曰表示第个超态的参数集,则一个EHMM可以由一个三元组来表示:A=(I,A,A),其中A=l…,A',…,A'用于表示人脸模型的EHMM结构如图所示整体是一个从上到下的HMM而其中每一个超态是一个从左到右的HMM由于正面人脸具有类似的结构特点从上至下符图表示人脸模型的EHMMO计算机T程与应用额头眼睛鼻子嘴部F巴合超态的结构而从左到右也符合嵌入态的结构所以这个模型适合于描述人脸图像EHMM模型的训练每一个待识别的表情都有与之相对应的一个EHMM模型一组代表同一表情的不同人脸图像作为模型的训练样本,利用从每一个图像块中抽取出的观察序列对模型进行训练,步骤如下:()根据EHMM的结构对图像数据进行整体分割首先根据从上至下的超态个数将观察向量分为n个部分,然后再根据每个超态中所含的状态数将每个部分再细分为,v:个部分()对模型参数进行初始化然后利用双重嵌入式Viterbi算法分割状态序列对于观察向量的每一行利用Viterbi算法计算概率:(f)【f)(P(Ol…cnl,qlqllIA)lNo其中g,lfTj(为观察向量的列数)表示给定观察向量D时第t个超态所处的状态在确定超态模型后,我们可以根据Viterbi算法得到每一行的状态概率和观察概率这些概率组成超态概率根据超态概率和超态转移概率A以及初始超态概率兀将图像数据从上到下进行Viterbi分割,以得到概率P(Oll】……,qqo,roIA)其中ql(为观察向量的行数)表示与第t行观察向量相对应的超态()模型参数的估计采用SegmentalKMeans算法该算法与BaumWelch算法的估值结果相当但是运算速度更快且模型参数的初始值可以取任意值由此得到的模型参数如以下公式所示:)从状态s:到状态s:的转移次数"从状态s:发的总转移次数五=观察向量被分类为超类k中状态i的样本均值=观察向量被分类为超类k中状态i的样本协方差矩阵一从超态S到超态S,的转移次数爵盯薅雨沃()当Viterbi分割得到的似然函数小于某个阈值时,迭代结束,EHMM初始化完成,即训练完成基于EHMM的脸部表情识别本文对静态人脸图像进行表情识别系统流程图如图所示输入图像图系统流程图EHMM表情识别首先对输入图像进行人脸检测分割出人脸区域本文采用RainerLienhart『提出的物体检测算法该算法根据Haarlike特征利用层叠式的Boost分类器可以快速有效地检测图像中的人脸区域与手动标定脸部表情特征点相比利用人脸检测算法得到的人脸图像作为特征提取的输人数据更易于实现自动表情识别分割后得到的人脸区域数据量较大且具有较大的数据冗一墨余性不能很好地体现脸部特征信息对图像噪声也较敏感所以本文采用DCT来提取人脸图像的特征数据设定合适的观察窗口大小和移动步长对分割出的人脸区域进行分块操作每一个图像块提取二维的DCT系数作为EHMM的观察向量由于DCT的压缩性其低频部分系数代表了图像的大部分信息能有效地提取图像特征并且在一定程度上降低数据量,所以本文以低频部分的DCT系数作为EHMM的观察向量为每一种表情建立一个EHMM模型并根据前文所述的训练算法利用一系列测试图像对每一个EHMM进行训练对于每一幅测试人脸图像提取相应的观察向量计算与之相对应的每一个EHMM的概率选择概率最高的模型以此来判断测试图像中人脸所呈现的表情由于实际表情图像中高兴和惊奇的脸部变化明显比较容易区分而其它表情存在较大的易混淆性因而考虑在单层EHMM基础上构建双层EHMM结构具体如图所示第一层用于识别易混淆表情或高兴和惊奇这两种表情第二层则将易混淆表情细分为愤怒,悲伤,厌恶或恐惧中的一种,这样的分层结构能从一定程度上提高对易混淆表情的识别能力输入观察向量图双层EHMM结构实验结果和分析本文采用JAEFF表情数据库…】作为实验数据库选取其中个日本女性的表情图像每个人的每种表情都由幅大小为x像素的图像组成实验中的部分表情图像示例如图所示识别的表情类别为种基本表情:高兴,惊奇,愤怒,悲伤,厌恶和恐惧本实验中采用图所示的EHMM结构人脸检测分割的人脸图像归一化为xl观察窗El大小为x步长大小为x每个图像块提取的DCT系数取低频部分x系数作为EHMM的观察向量(a)高兴(b)悲伤(c)惊奇(d)生气(e)厌恶(f)恐惧图部分表情图像示例同一实验对象的表情识别结果考察本文提出的EHMM模型对于同一个实验对象的表情识别效果对于每一个实验对象选取每个表情的若干图像作为训练样本,剩余图像作为测试样本,重复若干次实验结果见表l表同一实验对象的表情识别结果从实验结果来看本文提出的EHMM结构能够有效地识别同一实验对象的表情单层EHMM的总体识别率为双层EHMM的总体识别率为比较单层EHMM中各个不同实验对象的识别结果,KM,MK和TM的识别效果最高,而KR的识别率最低通过观察相应的人脸图像可以发现实验对象KR的表情变化不明显各个不同表情问脸部运动变化较KM,NM和TM的变化细微相同结构的系统不能很好地提取其特征从而造成识别率的下降在双层EHMM中也有类似的实验结果从理论上来说双层EHMM的总体识别率应该比单层EHMM高然后实验结果却恰好相反造成这种现象的原因是因为双层EHMM采用双层分类结构较之单层EHMM引入了多一层的分类结构从而也引入了多一层的分类误差在训练完全的情况下这个误差可以忽略不计然而在本实验中由于每个实验对象的训练样本有限不能充分有效地训练模型从而造成了识别率的下降同时也从一个侧面说明:对于同一个实验对象单层EHMM已经能较好地识别类基本表情虽然双层EHMM总体识别率较单层EHMM有所下降但是由于其对易混淆表情的细分处理,使得对于表情变化不大的个体识别能力提高如KR的识别率从单层的提高到此外,从各种不同表情的识别结果来看(见表)单层EHMM中高兴和惊奇的识别效果明显高于其它几种表情说明这两种表情较其它表情容易区分而双层EHMM中各种表情的识别效果较为平均说明引入双层结构确实有助于提高对易混淆表情的识别能力不同实验对象的表情识别结果通过分析不同实验对象间表情依赖关系考察本文提出的EHMM模型对于表情识别的泛化能力随机选取数据库中个实验对象的不同人脸图像作为训练样本剩余个实验对象的人脸图像作为测试样本重复所有可能的组合总共次实验结果见表单层EHMM的识别率为双层EHMM的识别率为由于双层EHMM中引入对易混淆表情的多层处理结构有利于更好地区分易混淆表情增强了系统对易混淆表情的识别能力从而提高了系统的总体识别率与同一实验对象的识别结果相比不同实验对象的识别率有明显下降造成这种现象的主要原因是不同实验对象的表情差异较大容易造成表情的相互混淆而且本实验中用到的数据库样本数据不够丰富计算机T程与应用O表不同表情的识别结果利用它进行模型训练不足以有效提取脸部表情的普遍特征MILvons等人【】J通过手工标定特征点构成人脸网格,利用Gabor小波提取特征向量并采用PCA进行数据降维最后使用LDA进行表情分类其泛化识别率为本文提出的EHMM结构泛化识别率与之相当由于采用自动人脸检测算法和DCT进行特征提取较之更适用于自动表情识别系统综合以上两个实验结果来看对于同一个实验对象单层EHMM能较好地识别类基本表情:对于不同实验对象双层EHMM提高了系统对易混淆表情的识别率并且比单层EHMM具有略优的泛化性能在实际应用中可以根据具体需要选择相应的模型结论本文提出了一种基于EHMM的表情识别方法利用DCT提取脸部特征数据得到一组有效的观察向量构造合适的EHMM对静态人脸图像进行表情识别并在单层EHMM的基础上提出了双层EHMM结构用于加强对易混淆表情的识别能力实验表明本文提出的基于EHMM的表情识别方法能较好地识别种基本表情而双层EHMM结构能从一定程度上提高系统对易混淆表情的识别能力本文提出的双层EHMM是在单层EHMM基础上的一个简单扩展基于EHMM的更加有效的表情识别模型还有待于进一步的研究探索下一步的T作是将本方法与时序信息相结合以分析动态表情序列同时要寻求更加有效的脸部表情特征提取和描述方法(收稿日期:年月)参考文献PEkmanWVFriesenConstantsacrossculturesinthefaceandemotionJJournalofPersonalityandSocialPsychology,():,JCohnAZlochower,JJLienetaAutomatedFaceCoding:AComputerVisionbasedMethodofFacialExpressionAnalysisqIn:thEuropeanConferenceonFacialExpressionMeasurementandMeaning,:,JJLienTKanadeJFCohnetaAutomatedFacialExpressionRecognitionBasedonFACSActionUnitsCIn:ThirdIEEEIntemationalConferenceonAutomaticFaceandGestureRecognition,:,IEssa,APentlandCoding,analysis,interpretation,andrecognitionoffacialexpressionJEEETransactionsonPattemAnalysisandMachineIntelligence,():YYacoobLSDavisComputingSpatioTemporalRepresentationsofHumanFacesCIn:IEEEConferenceonComputerVisionandPattemRecognition,:金辉,高文人脸面部混合表情识别系统J计算机,():,SSKuoOEAgazziKeywordspottinginpoorlyprinteddocumentsusingpseudodhiddenmarkovmodelsJIEEETransonPAMI,():,ANefian,MHayesFacerecognitionusinganembeddedHMMCIIn:IEEEConfonAudioandVideobasedBiometricPersonAuthentication,:RabinerLRAtutorialonhiddenMarkovmodelsanditsapplicationtospeechrecognitionJIEEEProc,():RainerLienhartJochenMaydtAnExtendedSetofHaarlikeFeaturesforRapidObjectDetectionCIn:IEEEICIP,:MLyons,SAkamatsu,MKamachietaCodingfacialexpressionswithGaborwaveletsCIn:rdIntemationalConferenceonAutomaticFaceandGestureRecognition,:MJLyons,JBudynek,SAkamatsuAutomaticClassificationofSingleFacialImagesJIEEETransPattemAnalysisandMachineIntelligence,():,(上接页)结论本文将类距离可分离性判据应用于冷轧带钢典型表面缺陷图像混合特征提取针对边缘锯齿,焊缝,夹杂,抬头纹四类表面缺陷图像进行实验研究,实验结果表明:采用的基于类距离可分离性判据能更好反映类别可分离性提出的基于类距离可分离性判据的混合特征提取方法在带钢表面缺陷图像模式识别中可以提取m具有较大可分离性的特征向量大大提高了特征的分类有效性使缺陷识别取得了较高的正确识别率为带钢表面缺陷的在线检测提供了有力基础(收稿日期:年月)参考文献ArivazhaganS,GanesanLTextureclassificationusingwavelettrans计算机T程与应用formJPattemRecognitionLetters,:WangXCPaliwalKKFeatureextractionanddimensionalityreductionalgorithmsandtheirapplicationsinvowelrecognitionJPatternRecognition,:ZhangH,CartwrightCM,DingMSetaImagefeatureextractionwithvariouswaveletfunctionsinaphotorefractiveiointtransforiTlcorrelatorJOpticsCommunications,:吴平川,路同浚,王炎带钢表面自动检测系统研究现状与展望『J】钢铁,():,徐科徐金梧班晓娟冷轧带钢表面质量自动监测系统的模式识别方法研究钢铁,():,lWuYDuRFeatureextractionandassessmentusingwaveletpacketsformonitoringofmachiningprocessesJMechanicalSystemsandSignalProcessing():

用户评论(0)

0/200

精彩专题

上传我的资料

每篇奖励 +1积分

资料评分:

/13
0下载券 下载 加入VIP, 送下载券

意见
反馈

立即扫码关注

爱问共享资料微信公众号

返回
顶部

举报
资料