下载

3下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 人脸表情识别方法

人脸表情识别方法.pdf

人脸表情识别方法

硕鼠
2009-09-08 0人阅读 举报 0 0 0 暂无简介

简介:本文档为《人脸表情识别方法pdf》,可适用于人文社科领域

电子科技年第期总第期人脸表情识别方法李文,,陕西师范大学计算机科学学院,陕西西安《拓西安工业大学计算机科学学院,陕西西安摘要介绍了表情识别特点及研究现状重点阐述了不同的人脸表情特征提取方法和基于分类器的表情识别方法,并时各种方法进行了简单的分析比较最后针对普捧性的禽求,给出了人脸表情识别未来要研究的重点内容。关健词表情识别特征提取表情分类中圈分类号内砚洛脚,,,,‘,‘《拓,’,,讯,卿,,如,心理学家提出,在人们日常的交流中,只有的信息是通过语言来传递的,而的信息则是通过面部表情来传递的川,由此可见表情信息在人与人之间交流中的重要性。随着人工智能和模式识别的不断发展,人机智能交互中的一项重要技术人脸表情识别也越来越受到人们的重视。人脸表情识别就是计算机对人脸的表情信息进行特征提取并归类的过程,它使计算机能获知人的表情信息,进而推断人的心理状态,从而实现人机之间的高级智能交互。表情识别技术是情感计算机研究的内容之一,是生理学、心理学、图像处理、模式识别和机器视觉等领域的一个极富挑战性的交叉课题。它的应用领域包括安全领域、智能机器人研制、电脑游戏、收藕日期刀一作者简介李丈一,女,硕士研究生,助教。研究方向图形图像技术与模式识别。医疗领域等。目前,人们研究表情识别的主要目的在于建立和谐而友好的人机交互环境。使得计算机能够看人的脸色行事,从而营造真正和谐的人机环境。人脸表情识别研究现状及特点国际上关于面部表情的分析与识别的研究工作可分为基于心理学和计算机两类。早在年,著名生物学家达尔文〔’〕就对人脸表情的相似性和延续性进行了研究,他指出面部表情不随种族,国家,性别等的不同而不同,并且表情行为可以继承。年美国心理学家和定义了种基本表情生气、厌恶、害怕、伤心、高兴和吃惊,并于年开发了面部动作编码系统来检测面部表情的细微变化。系统将人脸划分为若干个运动单元来描述面部人脸表情识别方法动作,这些运动单元显示了人脸运动与表情的对应关系。种基本表情和的提出具有里程碑的意义,后来的研究者建立的人脸表情模型大都基于系统,绝大多数表情识别系统也都是针对种表情的识别而设计的。和心’〕后来提出的系统将每种表情与肌肉的运动对应起来,只需观察肌肉的运动即可判断出表情类别。计算机方面,年。和,根据一段脸部视频动画抽取表情特征与典型模式比较进行表情识别同年叩和运用了简化了的一模型,用计算机产生人脸动画,对人脸视频序列做了表情分析。年和利用个方向上跟踪光流特征的变化来检测中的运动单元。由于中没有时间描述信息,年提出基于视频的动态表情描述方式,充分考虑了时间和空间变化特性,可用于动态建模和运动估计,克服了对动态表情特性描述的不足,在进行表情分析时通过光流法来分析视频中的脸部数据。年我国的高文、金辉〔’〕提出’转换它把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量序列对眼部和嘴部分别进行表情编码,相应的运动基于规则,同时又克服了它的弱点。鉴于表情识别领域绝大多数是基于二维图像的,年中国科技大学的研究者提出了一种基于三维数据的人脸表情识别方法〔〕,给出了基于三维特征的眼角和嘴角新的提取算法。除了理论方法,一些实用性技术也被开发出来,荷兰一座高科技监狱使用表情识别软件监视着罪犯的情绪变化,那些表现良好的囚犯会享受一些特殊优惠待遇我国东南大学也研制出表情识别系统,它由多个摄像头和处理相关数据的计算机组成,计算机中已存有六种基本表情的相关数据和图片,对同一个人的不同表情识别率可高达。人脸表情识别经过近几十年的发展目前正逐渐成为一个研究热点。国内外很多机构都在进行这方面的研究,美国的麻省理工、卡耐基梅隆大学机器人研究所、马里兰大学视觉实验室、日本的国际电信技术研究所跟、东京大学等的贡献尤为突出,我国的清华大学、哈尔滨工业大学、中国科技大学、中科院自动化研究所等均有相应的研究机构。表情识别研究的一个重要前提是建立表情数据库,因为它为测试和比较算法提供了依据。最早的人脸表情图像库是和建立的数千幅不同人脸表情图像库。目前最为常用的人脸表情数据库是日本女性表情数据库和的一人脸表情数据库,前者由日本建立的个人的幅图像组成,每人包含种基本表情和一个中性表情灰度图像。后者是机器人研究所和心理系于年共同建立的人脸表情数据库,它包含了个成年人近张不同表情灰度图像,并且包含了时间信息,每个表情及强度都以序列的形式给出。我国的吴丹、林学闻建立了一个大型人脸表情视频数据库,该数据库从个不同的视角记录图像数据,包括了个人的段脸部表情视频,它是目前我国人脸表情研究较全面的基础资源库。年月在我国召开的首届国际情感计算及智能交互会议,推动了我国表情识别研究的深人研究。从表情识别过程来看,表情识别可分为三部分人脸图像的获取与预处理、表情特征提取和表情分类。由于表情识别与人脸识别〔’〕在人脸图像的获取和预处理这些环节上是基本一致的,但在提取特征方面有区别,人脸识别提取的特征是不同人脸的个体差异,而表情识别提取的特征是同一人脸在不同表情下的差异。因此,本文只以不同的特征提取方法和分类器的设计方法对表情识别技术进行综述。表情特征提取方法表情特征的提取根据图像性质的不同可分为静态图像特征提取和序列图像特征提取。静态图像中提取的是表情的形变特征,即表情的暂态特征。而对于序列图像不仅要提取每一帧的表情形变特征还要提取连续序列的运动特征。形变特征提取必须依赖中性表情或模型,把产生的表情与中性表情做比较从而提取特征,而运动特征的提“如,人脸表情识别方法取则直接依赖于表情产生的面部变化〕。特征选择的依据是①尽可能多的携带人脸面部表情的特征,即信息量丰富②尽可能容易提取③信息相对稳定,受光照变化等外界的影响小。,常用的静态圈像特征提取形变特征提取的常用方法有主成份分析法而习。’〕、曲小波法”一”〕、基于模型的方法’,‘,等。主成份分析基于一正交变换,是一种无监督的线性特征提取方法。其基本原理是假设人脸处于低维线性空间,且不同表情具有可分性,将一组高维训练图像一正交变换,生成一组新的正交基,以消除原有向量间的相关性。然后提取出该正交基中对应较大特征值的部分特征向量,从而生成低维的表情特征空间,同时保留原高维空间的主要成份分量,它的优点是最大化的保留了原始数据的差异,缺点是当样本类间离散度增大的同时,样本类内离散度也在增大。、’“〕等详细的介绍了在面部表情识别方面的应用。主成份分析现已成功用于人脸识别和表情识别。但是由于主成份分析只考虑到图像数据当中的两阶统计信息,并未利用高阶统计信息,于年提出了基于独立分量分析,算法’。方法是基于信号的高阶统计特性的分析方法,经分解出的各个信号分量是相互独立的。其基本思想是用一些基函数来表示一系列随机变量,而假设它的各个成分之间是统计独立的或者尽可能独立。徐正光仁”〕介绍了在表情识别中的应用,并与进行了对比。除了,在方法基础上改进的算法还有基于模板的法’〕将人脸图像分割为小的子图像,对每一个子图像做,识别效果比传统的好。程剑〔’,提出的二维主分量分析的表情特征提取方法,不仅识别率比较高,而且运算速度也有很大的提高。〔侧也是在基础上的一种改进,它试图建立一个更小维数、只包含最基本元素的空间,其目标是最大化类间离散度,同时最小化类内离散度,对表情识别而言,在功提取得到的特征空间,同一类的人脸图像移得更近,而不同类的人脸图像移得更远,更有利于表情的识别分类。小波滤波器是一个由二维高斯函数衍生出的复数域正旋曲线函数,相当于一组带通滤波器,其方向、基频带宽及中心频率均可以调节,不同参数的滤波器能够捕捉图像中对应于不同的空间频率、空间位置以及方向信息,这些使得其对于亮度和人脸姿态的变化不敏感。叶敬福川提出了基于。小波的弹性图匹配识别,有效地提取了与表情变化有关的特征向量且能屏蔽光照变化及个人特征差异的影响,做到与人无关的表情特征提取,其效果明显优于基于方法。文献【”〕以小波变换后的低频信息作为研究对象,只提取低频信息,不仅减小了计算量、在一定程度上驱除了噪声的影响,而且抓住了表情变化的主要特征。文献〔”〕采用了包含有个尺度、个方向的滤波器组来进行特征提取,将各尺度的特征结合起来得到更好的识别效果。曹宇佳等川提出了基于多尺度多方向差值模板特征的特征提取方法,利用简单的灰度值加权求和运算模拟出。变换的特征提取性能,有效的降低了运算量,并达到与变换特征提取基本相似的识别性能。和小波都起着给数据降维的作用。是通过将分散在一组变量上的信息集中到某几个综合指标上来降维,而小波则是通过把原始图像经过变换,减少子图像的尺寸来降维。基于模型的方法有点分布模型和活动外观模型等。是一种参数化的形状描述模型,它用一组离散的控制点来描述对象的形状,并用方法建立起各个控制点的运动模型,对控制点的基准位置和移动模式作了约束,从而保证模型的整体形变始终在可接受的范围之内。此方法在模型中引人了与目标特征有关的信息,从而降低了对噪声和形变的影响,不过运算量较大。等〔’‘〕采用和嘴巴模板来提取人脸的表情特征,是利用六种表情训练图像中手工提取的个特征点得到的。也是一种基于模型的方法,它建立了一种对目标对象变化程度的参数化描述。这种方法首先从训练集中通电子科技仪年肠月巧日“人脸表情识别方法过手工标定一组点构成形状信息,然后通过灰度插值法得到灰度信息,综合这两种信息并用主成份分析法去除冗余信息得到从基向量应用时,对实际图像进行形状定位与灰度信息获取,然后计算这些信息在各个从基向量上的投影,调整模型参数使得通过从模型合成图像与真实图像间的差异达到最小,并以满足这个条件时的模型参数构建表情特征向量,〕。〔”〕提出的活动外观模板,在图像中手动标定个点用来描述人脸特征信息。左坤隆选取幅图像作为训练集,在每幅图像标记了个特征点,实验得到的识别率为。常用的动态圈像特征提取运动特征提取的常用方法有光流法侧、特征点跟踪法仁洲和差分图像法,”。光流是运动特征提取法中的一种,所谓光流是指亮度模式引起的表观运动,理想的情况是这种表观运动反映了实际的运动,基于光流的算法包括基于梯度的光流计算法,基于区域匹配的光流计算方法,基于频率域的方法。光流场在运动估计、运动分割、物体结构的恢复等领域得到了广泛的应用,也是人脸表情特征提取的一种非常有效的算法。和〔训最早提出来基于梯度的光流场计算法,等利用和提出的基于梯度的光流场提取人脸归一化图像中个大小的图像块的光流特征,这些光流特征是根据中性表情图像和待检表情图像来计算得到的,并且被量化为垂直方向的三个级别。由于这种方法没有考虑表情特征的水平方向移动,因此无法检测包含水平特征移动的表情【划。和川利用光流检测到系统中的个运动单元中的个。和使用光流跟踪眉毛、眼睛、嘴巴等区域的运动同时使用方法和光流模型识别人脸表情和对眼睛和嘴部等局部区域估计面部运动,将表情图像进行傅立叶变换,其系数作为光流场,并结合识别人脸表情此外,提出基准光流算法从复杂的背景和多姿态表情序列中有效的获得运动场信息〔”余棉水〔”〕等利用光流技术对人脸表情图像序列中的特征点进行跟踪,并提取特征向量。用光流特征作为特征向量,对光照均匀程度的鲁棒性较强,只要光照在同一组序列中强度不变,提取的特征就是稳定的,解决了图像处理比较敏感的问题”〕。光流法的缺点是受光照不均匀和脸部非刚体运动等因素,影响特征提取结果,且计算量比较大,不太适合实时处理。特征点跟踪法是选择脸部的显著特征点来进行运动估计,为了防止在跟踪过程中丢失特征点,特征点一般都选取在脸部的永久特征上。这种方法只考虑感兴趣的特征点来分析表情,而不必理会背景等无关信息,减少了运算量,但由于只提取了部分特征点,而忽略了其他的一些脸部活动,可能会丢失有用信息。此外,自动标记特征点很难,基本都是人工标记。等人】提出了一种不同的元素模型,其中嘴巴、眼睛、眉毛和颧骨被用作特征点跟踪,以根据隐藏的面部特征的变形而获得模型的轮廓。和〔川提出了一种特征点跟踪法,其特征点不是由专家手工标记的,而是在给定的序列图像中的第一帧自动标记的,这是通过从光照分布的局部极值点中获取潜在面部特征点来实现的。差分图像法的基本思想是将视频序列中相邻的两帧作差分运算,即将对应像素相减,等于零的点代表“不变”区域,而非零点代表“变化”区域。当用于表情分析时,通常对被测帧含有表情的人脸图像与标准帧相同背景下中性表情的人脸图像进行差分运算,来检测图像序列中处于极大状态时表情对应的关键帧,因为此时的表情信息最为丰富。在后继的表情识别研究中只需要对检测出的关键帧进行分析,而不必分析其他所有帧,节约了大量的计算时间。等人〔侧将含表情的脸和中性表情的脸相减,然后对差值图像进行离散余弦变换,最后以低阶离散余弦变换系数构建特征向量。对四类表情高兴、愤怒、悲伤、惊奇的识别率为。基于静态图像的特征提取主要提取面部表情图像的空域信息,简单快捷,但通常要求所处理“忱,人脸表情识别方法的图像包含的表情特征比较夸张、明显,因此此方法普棒性较差,识别率偏低基于视频图像通过提取面部表情变化的时间和空间信息,能揭示更多的表情运动变化信息,因此从图像序列提取表情运动信息可获得更好的表情识别效果,但是这种方法模型复杂,计算量大,实现实时性要求较难。目前的表情特征提取法的趋势是融合各种方法特征,最大限度地有机利用信息来进行特征提取。刘松,将局部特征和整体特征结合起来进行面部表情识别。文献〔划中用线性判别提取脸部表情的整体特片,然后通过局部特征和整体特征的融合来提高识别率。表情识别方法分类表情识别方法分类大致分为种情况基于模板的匹配方法。为每一个要识别的表情建立一个模板,将待测表情与每种表情模板进行匹配,匹配度越高,则待测表情与某种表情越相似。对种典型的基本人脸表情可以建立相应的模板,但对于识别非典型脸部表情比如混合表情时较困难,很难用有限的模板来代表无限多的人脸表情的情况。基于神经网络的方法。神经网络方法的研究具有悠久的历史,它很适合于解决非线性问题。网络的输出节点对应于种基本表情和中性表情。等使用反向传播算法训练人工神经网络在人脸表情库上能够达到的识别率。和叮采用一个的反向传播神经网络,输人层的神经元对应从输人脸部图像中提取的亮度分布数据,输出神经元对应种基本表情类别。但是,如果对自然表情类型而不是中基本表情分类,那么神经网络方法的训练过程的工作量会非常大。另外,神经网络除了可以当作分类器外还可以作为特征提取器。基于概率模型的方法。估计表情图像的参数分布模型,分别计算被测表情属于每个类的概率,取最大概率的类别为识别结果。如。决策,等。隐马尔可夫模型是一个统计模型,具有十分健壮的数学结构,适用于动态过程时间序列建模并具有强大的时序模式分类能力,理论上可以处理任意长度的时序。年首先将应用到图像序列,实现人脸表情的识别。尹新云等〔”用隐马尔可夫模型设计人脸表情识别系统。基于支持向量机的方法。支持向量机卯是一种两类分类器,其基本思想是将训练样本经非线性变换映射到另一高维空间中,在变换后的高维空间内寻找一最优的分界面,在类间空隙最大的情况下将样本无错误或接近无错误分开。由于表情识别一般是多类别的分类问题,因此需要将方法扩展到多类别的情形。主要有两种策略,一种是将多类别问题分解成一系列二类别问题来求解另外一种是将包含一类不同样本的多类别问题分解成一个二类别问题,每次任选类样本作为二类别问题的一类,剩下的一类样本作为另一类。未来的研究,点人脸表情识别是一个具有挑战性的课题,尽管已经取得了很多重大成果,但目前还处于研究探索阶段,依然存在很多间题,这些问题都是表情识别技术觅待解决的问题。细微表情提取的研究。人脸表情变化细微并且复杂,细节是区分人脸表情的关键。如何精确提取表情的细微变化,是表情特征提取的关键,也是今后的一个研究重点。三维表情识别研究。提取面部表情时要尽量分离头部的刚性运动和脸部的柔性运动,为了解决这个问题可引人三维表情信息,三维图像能提供较二维图像更能提供完整而真实的内容,且减少了光照和姿态的变化影响,如何有效利用三维信息进行表情识别将是一个具有挑战性的研究课题。综合各学科的研究。人类从生理,心理,计算机等方面来研究人脸面部表情,对其进行识别时,应该结合各类相关学科,充分发挥计算机的强大功能和人类的智慧。表情识别的鲁棒性。目前的研究多是在特定条件下进行的识别,表情识别可能会因为发型,装饰等外在条件变的困难,因此如何改善识别算电子科技年肠月日‘人脸表情识别方法法,使之能应用于任意条件下的图像中也是当前要解决的问题。表情数据库的建立。人脸表情识别技术的进步离不开表情库的建立,它可以为各种算法的测试提供方便。但各种文献中提出的算法并不都是在同一个表情数据库当中测试的,因此无法比较各种算法之间的优劣,故建立一个通用的表情数据库成为以后要解决的问题之一。结束语本文概括了人脸表情识别技术发展状况,重点从表情特征提取以及表情分类两个方面,归类和总结了所采用的方法技术,并指出各自的优缺点,最后展望了人脸表情识别的研究趋势。人脸表情识别的研究在合成人脸动画、智能机器人、虚拟现实等方面有着广泛的应用前景,对于增强计算机的智能化和人性化、以及推动生理学心理学等学科的发展,有着重要的现实意义。而在自然环境下要达到人脸的完全鲁棒性识别,还有很长一段路需要我们研究者去探索。参考文献,互剐犷阴即,《洲,一如。习,州场卿,,叹川”飞,珑卿万瓦反印化咬政“习〔少么巧一为曲加,〔〕刀一一〕王志良,陈锋军,薛为民人脸表情识别方法综述〔〕计算机应用与软件,,一·金辉,高文人脸面部混合表情识别系统【计算机学报,】,印一文沁,汪增福基于三维数据的人脸表情识别【计算机仿真,,一·吴丹,林学间人脸表情视频数据库的设计与实现【〕计算机工程与应用,抖一肖冰,王映辉人脸识别研究综述〔计算机应用研究,一,坦甲刀【川翎咧,么刃,一,目,,,问创娜别陀,加,一叶敬福,詹永照基于扣小波变换的人脸表情特征提取〔计算机工程,一徐正光,沈晓冬,张利欣基于小波变换和神经网络集成的人脸表情识别【微电子学与计算机,哪,科一朱健翔,苏光大,李迎春结合公犯特征与址协的人脸表情识别【〕光电子·激光,以拓,一,一””币〔帅目丽罗比刚,,一心,,加飞伴,,既〕,,一,助,钾即刚脚【,一徐正光,同恒川,张利欣独立成分分析在表情识别中的应用」微计算机信息,以拓,一七以,几叫记【,玩,拼,一程剑,应自炉基于二维主分量分析的面部表情识别【计算机工程与应用,以巧一唐京海,张有为基于特征提取的人脸表情识别方法【〕计算机工程与应用,以拓曹宇佳,郑文明,等基于差值模板特征的表情识别方法【北京第十二届全国图形图像学学术会议,一章品正,王征,赵宏玉面部表情特征抽取的研究进展【·计算机工程与应用,以拓一左坤隆,刘文粗基于活动外观模型的人脸表情分析与识别〕光电子激光,以”,一,几司【〕币石】,,一一,氏田记,斑叫加石试司公种绷溯伽司眯【〕、朋,卯,努科一少铭下转第页砧仪基于凡乃的以,启动分析及其移植的体系结构和芯片包,其他硬件支持包如网卡等在移植正常后再添加。修改以下平台的内存布局文件。每种启动类型均对应三种配置文件。按照目标平台的内存布局同步修改和油文件,文件只能通过配置工具中的内存编辑器产生。编辑曲佣龟文件。这是不同启动类型的配置导出文件。选择开始的启动类型,重命名相关选项名字及删除一些不应用的项。为减少第一次移植的复杂度,可在浦中先注释掉一些暂时不用的包。在平台宏定义文件中完成目标平台的宏、系统寄存器的宏定义。实现一个简单的串口驱动程序。其在一中实现,确保串口的初始化函数连接到了虚拟向量通道表中。通过此调用串口驱动程序。根据具体平台修改初始化程序。可以在文件、和一中找到。完成平台抽象层的修改后,导人配置文件编译映像。通过等工具把映像下载到目标板并运行,可在代码中加人一些点比程序进行辅助测试。如果目标板中有其他监视器,可编译为启动模式,在内存中调试,提高开发的速度和效率。结束语是嵌人式系统开发的第一步,只有正常初始化硬件,进人操作系统后,才能高效的开发复杂应用。本文详尽的分析了基于为的实现过程及其移植步骤,有利于对和为的开发应用。参考文献詹荣开嵌人式山翅技术内幕〔〕一一【拓一一叨口王京起,等嵌人式可配置实时操作系统技术及其实现机制【〕北京电子工业出版社,杜春雷体系结构与编程【〕北京清华大学出版社,似伴’】李善平,刘文峰,王焕龙,等以与嵌人式系统【北京清华大学出版社,上接第页,,班儿,肠凡朋护五公笠吧儿司〔正耐枯罗,万刀,叨一巧·,犯。场,即似呼花刊运舰,一艾海舟,王栓,何克忠基于差分图像的人脸检测【中国图像图形学报,,一卯,画、翻肠川田心司七胃,,,抖,一孙俊人脸图像分析与识别方法研究【北京清华大学,叶敬福基于视频图像的人脸表情识别技术的研究【镇江江苏大学,余棉水,黎绍发基于光流的动态人脸表情识别【微电子学与计算机,,一巧金辉,高文人脸面部混合表情识别系统【计算机学报,以,一印刘松,应自炉基于局部特征和整体特征融合的面部表情识别【电子技术应用,一刘松,陈茜基于信息融合的面部表情识别【,计算机工程与应用,仪巧一,,,,姗娜加门幻即,,一尹星云,王询,董兰芳用隐马尔可夫模型设计人脸表情识别系统【电子科技大学学报,,犯一张学工关于统计学习理论与支持向量机【自动化学报,仪旧,一刀,

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

评分:

/7

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利