下载

5下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 面部表情图像的分析与识别

面部表情图像的分析与识别.pdf

面部表情图像的分析与识别

硕鼠
2009-09-08 0人阅读 举报 0 0 暂无简介

简介:本文档为《面部表情图像的分析与识别pdf》,可适用于人文社科领域

第卷第期年月计算机学报面部表情图像的分析与识别高文金辉哈尔滨工业大学计算机科学与工程系哈尔滨摘要本文通过对若干类面部表情图像的分析,建立了基于部件分解组合的人脸图像模型根据对部件形状和相对位置的分析,提出了表情的分类树,建立了表情模型的向量表示根据能量优化原理,利用模板匹配方法提取目标特征,得到人脸表情的表征向量,由模式分类方法实现表情的识别关键词模式识别,表情分析,表情识别,多模式接口分类号刀‘户雌,,,月‘”了码止己月侧刀,月‘从月,,,,,己自」‘‘二人类语言分为自然语言和人体语言或形体语言两类,面部表情是人体语言的一部分人体语言的认知与理解应该包括手势、表情、头部运动、身体动作和会话过程中的肯定、否定以及其它人体语气、语言等的识别过程面部表情不是孤立的,它与情绪之间存在着密切的联系情绪表现是由面部表情、声调表情或身体姿态三方面来体现的,因而表情与语言一起组成人们进行交流的重要的多模式信息本文一。一收到,修改文一一。收到本课题得到国家高科技基金、国家自然科学基金、霍英东基金、国家教委博士点基金、国家教委优秀青年教师基金和国家教委跨世纪人才计划的资助离文,获博士学位,教授,博士生导师,主要研究方向为计算机视觉、多媒体技术、智能人机接口技术、虚拟现实、人工智能应用盘辉,博士研究生,主要研究方向为模式识别与人机交互技术期高文等面部表情图像的分析与识别通道利用计算机进行面部图像理解时要解决的问题主要有模型化、人脸检测、人脸跟踪与识别、面部表情的识别、各不同通道语音、图像等信息的同步与融合本文将主要讨论面部表情的分析与识别问题解决该问题的关键在于建立表情模型和情绪分类,并把它们同面部特征与表情的变化联系起来图注意到人脸是非刚体,因而模型的精确建立是困难的另外,现有的经典图像处理技术在特征提取方面还不足以胜任复杂背景和可变光照条件下的三维人脸图像特征的提取,这也给识别造成了一定的困难到目前为止国际上关于表情分析与识别的研究工作可以分为基于心理学的和基于计算机识别的两类在心理学方面,提出表情的维量分析,和提出表情的分类〔〕在计算机自动识别方面,曾对选定的连续录像画面中脸部固定的个点进行跟踪识别,并与典型模式进行比较以实现识别本文根据对面部表情的特点与分类,提出了面部表情表征方法和分类树结构,提出了基于部件组合模型和可变形模板匹配的特征提取方法,并建立了人脸模型与表情功能模型之间的对应关系利用这些模型和算法,我们完成了对特定条件下的面部表情识别实验本文按如下方式组织第二部分讨论面部表情的特点与分类第三部分介绍面部表情的表征与分类树第四部分讨论基于组合部件模型的特征描述与提取方法第五部分是系统的实验结果最后是结论和进一步的工作面部表情的特点与分类到目前为止对面部表情的分类有两个不同的体系,一类是对情绪的维量分析,另一类是对情绪的分类多数的维量分析通常把情绪用三维坐标来描述许多研究者曾对情绪进行过分类汤姆金列出八种基本情绪兴趣、快乐、惊奇、痛苦、恐惧、愤怒、羞怯、轻蔑伊扎德在此基础上又增加了厌恶和内疚两种情绪定义了六种最基本的表情惊奇、恐惧、厌恶、愤怒、高兴、悲伤,以及三十三种不同的表情倾向本文依据的六种最基本情绪进行分类和识别六种基本情绪和中性表情的例子见图面部表情的特点表情及其变化相当复杂例如,恐惧的情绪可能同时伴随着悲伤、生气、厌恶等等混和情绪可能包括恐惧和高兴,从而产生出混和表情最为经常的是恐惧和惊奇的混和表现,即惊恐的表情不失一般性,我们先从单一表情开始讨论表给出了单一表情的表现与结构特点表表情的结构特点表表情情额头、眉毛毛眼睛睛脸的下半部部惊惊奇奇①眉毛抬起,变高变弯①眼睛睁大,上眼皮抬高,下眼皮下落下领下落,嘴张开,唇和齿分开,但但②②②眉毛下的皮肤被拉伸②眼白可能在瞳孔的上边和或下边露露嘴部不紧张,也不拉伸③③③皱纹可能横跨额头出来恐恐惧惧①眉毛抬起并皱在一起上眼睑抬起,下眼皮拉紧嘴张,嘴唇或轻微紧张,向后拉或或②②②额头的皱纹只集中在中部,,,拉长,同时向后拉而而而不横跨整个额头厌厌恶恶眉毛压低,并压低上眼睑在下眼皮下部出现横纹,脸颊推动其向向①上唇抬起上上上上,但并不紧张②下唇与上唇紧闭,推动上唇向向上上上上上,嘴角下拉,唇轻微凸起③③③③③鼻子皱起④④④④④脸颊抬起计算机学报年续表表表情情额头、眉毛毛眼睛睛脸的下半部部愤愤怒怒①眉毛皱在一起,压低①下眼皮拉紧,抬起或不抬起①唇有两种基本位置紧闭,唇角角②②②在眉宇间出现竖直皱纹②上眼皮拉紧,眉毛压低拉直或向下张开,仿佛要喊③③③③眼睛瞪大,可能鼓起②鼻孔可能张大高高兴兴眉毛稍微下弯①下眼睑下边可能有皱纹,可能鼓起,,①唇角向后拉并抬高但但但但并不紧张②嘴可能被张大,牙齿可能露出②②②②鱼尾纹从外眼角向外扩张③一道皱纹从鼻子一直沿伸到嘴嘴角角角角角外部④④④④④脸颊被抬起悲悲伤伤眉毛内角皱在一起,抬高,带带眼内角的上眼皮抬高①嘴角下拉动动动眉毛下的皮肤②嘴角可能颇抖面部表情的表征与分类判别树为了对面部表情进行表征,必须选择特征和构造模型设面部各部件间的距离以及部件本身的变化可以由欧氏距离度量对于图所示的面部部件图,我们定义六元组,,二,,,。,,,,,。其中,表示两眉间的距离表示眉眼间的距离表示眼上下边界的距离‘表示嘴高表示嘴宽表示嘴角到上唇最高位的距离图面部表情的参数说明表情的参数表征在利用有序六元组一,,,,,表征表情的前题下,一个表情‘实际上是六维空间上的一个点,因而表情识别的求解问题就等价于在六维域上的欧氏距离判别问题分类判别树图给出了基于以上参数所设计的二叉树分类器惊惊奇、高兴、恐惧、悲伤伤愤愤怒、厌恶、中性性惊惊奇、恐惧、悲伤伤伤高兴、悲伤、恐惧、中性性恐恐惧惧惧悲伤伤伤悲伤、中性性性高兴、恐俱俱恐恐惧惧惧惊奇奇奇悲伤伤伤悲伤、中性性性恐惧惧厌厌恶、愤怒怒愤愤怒怒怒厌恶恶图表情识别的分类判别树该分类树也可以被简单的用规则定量的描述为惊奇抬眉、眼瞪大、张口期高文等面部表情图像的分析与识别恐惧皱眉、张口、咧嘴、眼瞪大高兴张口、嘴变宽愤怒压眉、皱眉、张口、咧嘴张口时的愤怒态悲伤皱眉、闭口、嘴变宽嘴角后拉厌恶压眉、皱眉、眼变小、闭口、口变宽即咧嘴上面的六条规则可以用二维串进行描述,因此,如果能够由原始图像获得六元组,就可以利用二维串的空间推理实现表情的识别,具体作法详见文献子部件模型模板由于人脸虽无固定的形状却有固定结构的特殊性,利用人脸结构的先验知识和人脸识别的心理特点,可以对人脸面部特征的描述与提取找到基于模型的方法在现阶段,为了简化对图像预处理的要求,我们限定输入的图像应该是免冠的、标准正面人脸面部器官、无外形缺陷、不戴眼镜、无胡须、不过于倾斜另外,要求有一幅中性的表情用来做比较本方法中的特征提取是基于组成部件的,提取的结果是确定组成部件的位置和大小信息虽然关于脸部的特征检测间题已经提出过许多方法,但在人脸图像中脸部特征的自动定位几乎没有相当成功的例证很多研究者认为处理区域应该局限到一个相对小的范围内,在其上讨论定位和识别间题一’〕我们采用的是先系统级后特征级的自动特征提取操作器它包括三个模型①部件组合模型②眼模型,③嘴部模型部件组合模型与部件特征提取与等和等提出的基于臆测和验证概念的方法相类似,部件组合方法主要是利用一个生物形态过滤器来进行分割经过对人脸面部图像的统计分析,可以得到一个在绝大多数场合下都被满足的模型臆测是从整体上考虑的宏观定位的系统级操作,它的数据流信息向下进入具体特征级的验证返回信息是认证的结果,回到臆测模型这种具有反馈信息的模型的提取,保证了粗分类子目标提取的正确性和精度在提取部件特征时,为了尽量减少光照对图像质量带来的影响,用自动取阑值的大津阑值的方法分块对灰度图像进行二值化区域分割操作,根据眉、眼、发的相对形状、位置关系,对系统级的结果进行特征级的验证眼睛模型对眼睛形状的分析结果,我们建立了如图所示的眼睛模型由图可见,眼睛的边缘是两条抛物线,眼睛中心的圆是虹膜以下讨论虹膜和眼睛边缘的提取虹膜所在圆的求取我们利用圆的变换求取虹膜的所在圆设圆方程为一’一’一尸,其中,是圆心,是半径给定一个有效的边缘点坐标,刃和边缘方向角夕,则所有可能圆心的位置在一段弧上既然对每一个边缘点的边缘梯度方向在开始都是已知的,那么这组可能的圆心就可以被确定‘参数空间的产生参数空间是一个带有三条轴的,,的三维立体空间,表示了虹膜的中心,它的计算机学报年范围是整个眼的部件模型区域·圆的选择由于边缘提取本身就存在误差,所以提出的圆可能稍微偏离真正的圆骤为①去掉边界点数少的圆②求圆的标准方差和均值方差占表示为一川’,其中产学期望当随机变量为离散型时,边界点及圆内的方差记为一艺、一,,·户‘,一妒圆的筛选规则与步一为的数③被生成圆的评价分数由流,一‘边界点的个数来计算,其中“是组成圆的④两个圆的匹配程度表示为,‘幼‘、,、一’护,是两个圆心的连线的偏转角经过匹配分析之后得出的圆是最终要确定的眼的虹膜所在的圆的边界可变形的模板匹配眼睛边缘模型的定义如图所示图眼睛的可变形模板图眼睛边缘坐标系眼的上边界、下边界是用两条抛物线来逼近的若用变换的方法来确定其参数,时间和空间的花费很大用能量函数优化的方法来求得能量局部最优时对应的参数就是抛物线的参数如图所对应的坐标系中的参数方程为上边界下边界夕,先,夕,一夕,一夕,陇夕,夕一夕,夕,一等采用了梯度下降法来优化逼近,该算法的时间开销很大叫等采用了模拟退火算法进行优化该算法是针对随机空间的,与大的参数空间相联系,因而时间开销也很大应用单纯形替换法,当能量函数都是连续的且符合单纯形优化条件时,尽管用局部最优的算法,但只要我们把初值取得合理,也能够取到比较理想的结果,而且收敛速度很快算法的能量函数为图抛物线坐标系期高文等面部表情图像的分析与识别‘,人,,,其中几,,是到的长度,尸‘,,是到的抛物线段肠力,“‘句、,一习‘艺‘‘‘,‘,,脚,,,殊在‘,的定义中,前十个参数控制了每个眼睛的形状,后四个参数控制了两眼之间的相似度这四个值都可用双弹性系数的方程来表示一“,‘,,,一一一,三三这里,,定义了下边界、上边界的理想状态,和是两边的弹性常数如果,不存在时,就退化为简化弹性系数方程,,,一一,嘴部模型与眼的模型相类似,嘴部的模型也是用抛物线来拟合的不同的是,嘴部的变化很大所以要采用两个模型来模拟闭合嘴的模型和张开嘴的模型对中性图像的嘴部模拟用闭合嘴的模型对有表情图像的嘴的提取用张开的嘴的模型,这种模型也可以用来检测闭合的嘴闭合嘴特征的提取与眼睛的提取方法相似,我们用直线的变换提取闭合嘴特征紧闭的两唇,在其交界处必有一条颜色比较深的直线,通过这条直线就可以确定嘴的中心的大致位置通常用直线的变换来选择直线参数空间的产生直线变换的参数空间是二维的口的变化范围是左右,即。一的变化范围是。到一力不石丽耳不仄历平,即【,二〕边界点的产生与检测采用同眼一样的方法在直线的选择中,利用先验知识求参数空间中的最大值所对应的直线,记录跟踪它的起点和终点,得出嘴部的参考中心可变形的模板的匹配与眼的优化采用相同的办法,单纯形替换法对能量函数优化如下列公式分别是总能量函数、上唇曲线和下唇曲线的能量函数、形状函数形状函数控制着参数间的比例大小形状函数中的参数有与眼一样的表达式、弹性系数二二户沁‘、加一工吞人,,南扣张开嘴的模板匹配张开嘴的模型〕如图十口所示,其边缘由两组抛物线所组成,由以下方程组定义,一,,户,、芯少一一奋下一一火,,一计算机学报年户,一一,一、、了夕、、了月,户一少户,·一,·业于鱼」’·一书鱼矛、、月、,,。一·,,·「一沉了图是张开嘴的可变形的模板,模板由营,。,占,,占,、,,,,人,人。,了,夕和它的能量方程构成·、一。营。。二。‘户之户边缘的估计值‘一了孕下,一舟尸川气、一令厂丛图‘张开嘴的可变形模板牙齿的估计值谷值的估计值凡一俞火一俞凡丸了久人了人亨一各人,‘,二一髻,。一鲁。一,,一鲁‘一从内部约束方程户一钒粼气」’,一一上式中的参数值目前一部分使用常数值,一部分由方程为,,为,为,为和为。决定。所使用的常数包括又一·,,”,‘,‘,“·,”,幻,七根据上述模型和算法,就可以求得一个给定面部表情图像的六元组的数值面部表情的识别实验利用上述模型和方法我们实现了一个表情识别系统我们利用此系统进行了识别实验图是七个最典型的单纯面部表情的例子,识别过程中系统所提取的六元组分别为中性表情,,,,,高兴,,,,,恐惧,,,,,惊奇,,,,,厌恶,,,,,结论与进一步工作本文从几何结构学的角度对表情建模与识别进行了研究,提出了基于部件组合模型和可变形模板匹配的特征提取方法,并建立了人脸模型与表情功能模型之间的对应关系实验表明本文所提出的方法在限定条件下是有效的然而本文的工作还是初步的,目前可识别的仅是单纯表情,而且要求使用正面图像

用户评价(1)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/8

面部表情图像的分析与识别

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利