下载

3下载券

加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 面部表情识别#

面部表情识别#.ppt

面部表情识别#

一路书香
2009-12-06 0人阅读 举报 0 0 暂无简介

简介:本文档为《面部表情识别#ppt》,可适用于文学艺术领域

基于信息融合的面部表情分析与识别研究生:刘松指导老师:应自炉学科专业:信号与信息处理论文选题来源广东自然科学基金项目:()研究现状国际上对人脸面部表情识别的研究现在逐渐成为科研热点。国内外很多机构都在进行这方面的研究,尤其美国、日本。进入年代,对人脸表情识别的研究变得非常活跃,吸引了大量的研究人员和基金支持,EI可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。国内国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有人员从事人脸表情识别的研究目前面部表情识别的主要方法:目前面部表情识别的主要方法:基于模板匹配的面部表情识别方法基于神经网络的面部表情识别方法基于规则的人脸面部表情识别方法基于随机序列模型的面部表情识别方法其他方法比如支持向量机小波分析等论文主要工作介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上提出基于RBF网络的多特征融合的面部表情识别面部表情识别:一般可描述为给定一个静止人脸图像或者动态的人脸图像序列利用已有的人脸表情数据库确定图像中的一个人或者多个人的面部表情研究内容包括以下三方面:人脸检测:即从各种不同的场景中检测出人脸的存在并确定其位置面部表情特征提取:即确定表示检测出的人脸表情和数据库中的已有的人脸面部表情的描述方式。通常的表示方式包括几何特征、代数特征、固定特征模板、云纹图、D网格等。面部表情识别:就是将待识别的人脸面部表情和数据库中的已知人脸面部表情比较得出相关信息。这一过程是选择适当的人脸面部表情表示方式与匹配策略论文主要工作介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上提出基于RBF网络的多特征融合的面部表情识别信息融合与面部表情分析信息融合与面部表情分析信息融合就是把来自多个信息源的目标信息合并归纳为一个具有同意表示形式输出的推理过程,其基本的出发点是通过对这些信息源所提供的信息的合理支配和使用,利用多个信源在时间或空间上的冗余性和互补性对这些信息进行综合处理,以获得对被测对象具有一致性的解释和描述,使得该信息系统获得比它得各个组成部分更优越的性能。人脸面部表情识别包含大量的变量,反映待识别目标各要素的非度量形式允许许多类型的表示技术,每一种技术又可以采用不同的方法进行计算。基于信息融合面部表情识别的三个模型基于像素层融合的面部表情识别基于特征层融合的面部表情识别基于决策层融合的面部表情识别基于像素层融合的面部表情识别基于像素层融合的面部表情识别这种方法对每幅图像预处理之前进行像素层融合后,得到一个融合的人脸图像数据,并在此基础上再进行特征提取和面部表情识别。基于特征层融合的面部表情识别基于特征层融合的面部表情识别这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量,然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。基于决策层融合的面部表情识别基于决策层融合的面部表情识别这种方法对每个传感器都执行面部表情特征提取和面部表情识别然后对多个识别结果进行信息融合从而得出一个面部表情判决结果,再融合来自每个传感器的面部表情判决。论文主要工作介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上提出基于RBF网络的多特征融合的面部表情识别基于单特征单分类器的面部表情识别基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于神经网络级联的面部表情识别基于神经网络级联的面部表情识别网络级联的面部表情识别结构BP网络的算法流程网络级联的面部表情识别的实验结果网络级联的面部表情识别结构网络级联的面部表情识别结构网络级联的面部表情识别流程网络级联的面部表情识别流程网络级联的面部表情识别的实验结果网络级联的面部表情识别的实验结果在两个数据库上进行实验从耶鲁大学的YaleFace数据库中选取幅人脸图像共个人幅人其中训练样本幅个人幅人测试样本为剩下的幅图像个人人通过随机变换训练样本和测试样本我们重复次这样的实验。从日本女性表情数据库中(JAFFE)选取幅图像共个人幅人其中幅图像作为训练样本个人幅人测试样本为幅图像个人幅人。通过随机变换训练样本和测试样本我们重复次这样的实验。日本女性表情数据库上的实验日本女性表情数据库上的实验SOFM权值向量图BP网络性能图YaleFace数据库上的实验SOFM权值向量图BP网络性能图基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于几何特征的面包表情识别基于几何特征的面包表情识别面部特征点几何特征向量的形成识别流程实验结果面部特征点面部特征点几何特征的形成几何特征的形成基于几何特征的面部表情识别流程基于几何特征的面部表情识别流程在人脸图像上标记个面部特征点按照上表得到个测量距离,对测量距离按上面的公式进行归一化处理得到维局部特征读入人脸库。读入每一个人脸图像几何特征数据并转化为一维的向量对于一个表情的人脸图像选择一定数量的图像构成训练集其余的构成测试集。把所有测试图像和训练图像进行比较确定待识别的样本的所属类别。本文采用最近距离分类器进行识别两个数据库上的实验结果两个数据库上的实验结果YaleFace数据库日本女性表情数据库基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于均值主元分析的面部表情识别基于均值主元分析的面部表情识别主元分析主元分析的改进:均值主元分析面部表情识别流程实验结果主元分析主元分析考虑维图像空间的个人脸图像,每个样本属于类中的一类,考虑将维特征空间投影到维特征空间的线性变换。用表示列向量正交的矩阵。变换后的新的向量,由下式线性变换定义:总离散度矩阵:其中是所有样本的平均值经过线性变换得到的新的特征向量的离散度是。PCA选择最优的投影变换:是按照降序排列的前个特征值对应的特征向量这种变换变化就称为主元分析。由所组成的空间就是面部表情特征空间。主元分析的改进:均值主元分析主元分析的改进:均值主元分析传统的主元分析的产生矩阵是协方差矩阵,也叫总体离散布矩阵,总体离散布矩阵是有两部分组成:类间离散布矩阵和类内离散布矩阵而改进算法只考虑类间离散度矩阵。设训练样本集共有N个训练样本,分为c类,为第i样本的数目,其中是表示第个人脸图像的列向量。每一类的均值为:总均值为:类间离散度矩阵:相对于传统的主元分析,其基本区别是以每一类的平均值代替类内的具体图像,我们称为MPCA。由于每一类平均值是类内图像的一个线性叠加,因此每一类的平均值必然保留了相当的各具体图像的变化特征,换句话说,对各图像的变化特征进行了一定程度的压缩处理而且保留的特征更有利于表情模式的识别。关于这一点我们将在后面的实验中加以说明用每一类的平均值代替类内的具体图像的另一个明显的好处就是训练时间明显降低。面部表情识别流程面部表情识别流程人脸图像预处理。主要包括几何归一化和灰度归一化。读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量对于一个表情的人脸图像选择一定数量的图像构成训练集其余的构成测试集假定图像的大小是w*h(w和h分别维图像的宽度和高度)用于训练的人脸个数是n测试的图像个数是n令m=w*h则训练集m*n是一个的矩阵测试集是m*n的矩阵。第幅人脸可以表示为:计算每一类的均值、总均值和类间离散度矩阵。取类间离散度矩阵为KL变换生成矩阵进行KL变换。计算生成矩阵的特征值和特征向量构造特征子空间。首先把特征值从大到小进行排序同时其对应的特征向量的顺序也作相应的调整。然后选取其中一部分构造特征子空间。特征向量具体选取多少本文采取实验的方法进行确定。把训练图像和测试图像投影到上一步骤构造的特征子空间中。每一幅人脸图像投影到特征子空间以后就对应于子空间中的一个点。同样子空间中的任一点也对应于一幅图像。把投影到子空间中的所有测试图像和训练图像进行比较确定待识别的样本的所属类别。本文采用最近邻距离分类器进行识别。实验结果实验结果YaleFace数据库MPCA和PCA比较日本女性表情数据库基于单特征单分类器的面部表情识别基于神经网络级联的面部表情识别基于几何特征的面部表情识别基于均值主元分析的面部表情识别基于Fisher线性判别的面部表情识别基于Fisher线性判别的面部表情识别基于Fisher线性判别的面部表情识别Fisher线性判别Fisher线性判别的改进:T+PCAFLD基于Fisher线性判别的面部表情识别流程实验结果Fisher线性判别Fisher线性判别Fisher线性判别(Fisher’sLinearDiscriminant:FLD)是基于样本的类别进行整体特征提取的有效方法,FLD则在PCA基础上的改进目标在于试图建立一个更小的维数的、只包含最基本元素的空间它试图最大化类间分布,而最小化类内分布,换句话说,对于人脸面部表情识别FLD移动同一类的人脸图像更近,而不同类的人脸图像移的越远。设训练样本集共有N个训练样本,分为c类,每一类的均值为:总均值为:第i类样本的离散度矩阵为:总类内离散度矩阵:类间离散度矩阵:离散度矩阵:求下列两两正交的矩阵:是SB与SW的广义特征值相对应的广义特征向量即:由于最多只有c个非零广义特征值因此m的最大值为cFisher线性判别的改进:T+PCAFLDFisher线性判别的改进:T+PCAFLDT:指的是离散度矩阵的替换。利用矩阵分块技术,令在矩阵是对称矩阵的条件下,分别用和来代替和后并不影响Fisher准则函数的取值然而和均为分块对角矩阵,这样替换后,计算量将大幅度下降。PCAFLD策略将训练样本的人脸图像向量投影到一个较低维的空间以至于类内分布矩阵为非奇异的。可以通过PCA将特征空间降为Nc维,然后通过标准的FLD将维数降为c。通过PCA将人脸图像投影到Nc维特征空间:通过标准的FLD将维数降为c:基于Fisher线性判别的面部表情识别流程基于Fisher线性判别的面部表情识别流程人脸图像预处理。主要包括几何归一化和灰度归一化。 读入人脸库。读入每一个二维的人脸图像数据并转化为一维的向量对于一个表情的人脸图像选择一定数量的图像构成训练集其余的构成测试集假定图像的大小是w*h(w和h分别维图像的宽度和高度)用于训练的人脸个数是n测试的图像个数是n令m=w*h则训练集是一个m*n的矩阵测试集是m*n的矩阵。第i幅人脸可以表示为:计算每一类的均值、总均值和类间离散度矩阵同时求类内离散度矩阵和总离散度矩阵。利用矩阵分块技术,得到和的替换矩阵和。取类间离散度矩阵为KL变换生成矩阵进行KL变换。计算生成矩阵的特征值和特征向量构造特征子空间。首先把特征值从大到小进行排序同时其对应的特征向量的顺序也作相应的调整。然后选取其中一部分构造特征子空间。在耶鲁大学Yaleface数据库上我们用m=Nc=维特征向量构造特征子空间。在JAFFE上我们用mNc=维特征向量构造特征子空间其中N为训练样本数目c为类别数。把训练图像和测试图像投影到上一步骤构造的特征子空间中。每一幅人脸图像投影到特征子空间以后就对应于子空间中的一个点。同样子空间中的任一点也对应于一幅图像。用替换矩阵和替换和进行FLD。得到表征面部表情的特征向量。对于新的测试图像用最大相关分类器进行分类实验结果实验结果YaleFace数据库日本女性表情数据库论文主要工作介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上提出基于RBF网络的多特征融合的面部表情识别基于基于SVM的多特征多分类器融合的面部表情识别基于基于SVM的多特征多分类器融合的面部表情识别基于SVM信息融合的面部表情识别结构支持向量机和最优超平面SVM融合原理SVM融合函数以及融合模型几种常用的核函数基于SVM信息融合的面部表情识别流程实验结果基于SVM信息融合的面部表情识别结构基于SVM信息融合的面部表情识别结构本文结合整体特征建模、局部特征建模和多分类器信息融合的优势提出一种基于支持向量机(SVM)的信息融合方法进行人脸表情识别。为了提高识别系统的识别率和识别系统的鲁棒性充分的利用人脸的图像的各种信息我们对预前处理后的人脸图像提取局部表情特征和整体表情特征然后对不同的类型的特征采用不同的分类器对人脸表情进行初步的分类最后构造一个阶多项式的支持向量机来对多个分类器的输出进行信息融合以便到达人脸表情识别的目的。识别结构如下:基于基于SVM的多特征多分类器融合的面部表情识别基于SVM信息融合的面部表情识别结构支持向量机和最优超平面SVM融合原理SVM融合函数以及融合模型几种常用的核函数基于SVM信息融合的面部表情识别流程实验结果支持向量机和最优超平面支持向量机和最优超平面支持向量机(SVM)是一种基于结构风险最小化原则的学习方法,它可以用来解决三大问题:模式识别、函数的回归估计及分布密度函数的估计。本课题应用支持向量机来探索多特征多分类器融合的面情识别问题,即从有限的训练样本中提取融合规则,使得该规则对于独立的测试样本具有较小的误差。假定训练数据可以被一个超平面分开,该平面的方程为:如果训练集没有被错误地划分,而且离超平面最近的向量与超平面之间的距离最大,则称该超平面为最优超平面,如下图所示。先对参数和施加约束条件:对于全体训练样本,则下列不等式成立最优超平面使得下式取得最小的超平面通过对上式的优化问题求解可得一组解,并且该解满足下列各式:只有支持向量的系数才可能为非零值所以可以表示为:并且对于任意的支持向量都有:基于基于SVM的多特征多分类器融合的面部表情识别基于SVM信息融合的面部表情识别结构支持向量机和最优超平面SVM融合原理SVM融合函数以及融合模型几种常用的核函数基于SVM信息融合的面部表情识别流程实验结果SVM融合原理SVM融合原理假设有个分类器若已经取得个决策样本值以及实际的决策值:其中表示对于第i个输入样本图像这n个分类器作出的决策矢量,是对应第输入样本图像的标签要求能根据这组样本值找到一个适当的融合函数使得对于确定的损失函数具有最小的期望风险,从信息变换的角度来看多分类器起到把输入的人脸图像映射到决策空间的作用。为了很好的识别人脸表情基于支持向量机的决策融合应作如下处理:首先将多种分类器的决策通过非线性映射映射到一个高维空间中去,然后在高维空间中进行线性回归。综合上述两个过程得到融合后的决策为:其中为普通的向量内积运算。SVM融合函数以及融合模型SVM融合函数以及融合模型融合函数可表示为 其中是属性空间向量内积形式:几种常用的核函数几种常用的核函数线性函数      P多项式核函数      高斯径向基函数(RBF)核函数多层感知器(MLP)核函数基于SVM信息融合的面部表情识别流程基于SVM信息融合的面部表情识别流程在人脸图像上标记个面部特征点按照页表得到个测量距离,对测量距离按页的公式进行归一化处理得到维局部特征对人脸图像进行纯脸切割,缩放,形状归一化和灰度归一化基于神经网络级联的面部表情识别结果为分类器的结果基于几何的特征的面部表情识别结果为分类器的结果基于均值主元分析的面部表情识别结果为分类器四的结果基于TPCAFLD的面部表情识别结构为分类器四的结果构造一个三阶多项式支持向量机,即用式作为核函数,其中取利用一对多原则进行表情识别,支持向量机的输入对应分类器,,,的输出。结果对于四种表情的二进制编码即Happy,Normal,Sad,Surprised。实验结果实验结果在两个数据库上进行实验从耶鲁大学的YaleFace数据库中选取幅人脸图像共个人幅人其中训练样本幅个人幅人测试样本为剩下的幅图像个人人通过随机变换训练样本和测试样本我们重复次这样的实验。从日本女性表情数据库中(JAFFE)选取幅图像共个人幅人其中幅图像作为训练样本个人幅人测试样本为幅图像个人幅人。通过随机变换训练样本和测试样本我们重复次这样的实验。YaleFace数据库上的实验结果YaleFace数据库上的实验结果日本女性表情数据库上的实验结果日本女性表情数据库上的实验结果论文主要工作介绍了信息融合在面部表情识别应用的三个层次模型探索了基于单特征单分类器的面部表情识别将支持向量机理论和信息融合理论结合在一起提出基于基于SVM的多特征多分类器融合的面部表情识别将径向基函数神经网络用于面部表情特征的融合上提出基于RBF网络的多特征融合的面部表情识别基于径向基函数网络多特征融合的面部表情识别基于径向基函数网络多特征融合的面部表情识别基于RBF网络的多特征融合的面部表情识别结构径向基神经网络基于RBF网络融合的面部表情识别流程实验基于RBF网络的多特征融合的面部表情识别结构基于RBF网络的多特征融合的面部表情识别结构径向基函数神经网络(RBF)径向基函数神经网络(RBF)径向基函数网络是一种两层前向网络,如图所示。其输出是由隐节点基函数的线性组合计算得到。隐节点的基函数只对输入空间中的一个很小区域产生非零响应。隐层神经元将输入空间映射到一个新的空间,输出层在该空间中实现线性组合。径向基函数常采用高斯函数作为非线性映射函数,不失一般性,对于单个网络输出的RBF网络来说,其第个单元对应的输出为其中:欧几里德范数第个输入向量第个隐层节点的中心第个隐层节点的宽度整个网络的输出方程为:其中输出空间与第个隐层节点的连接权隐层节点的总个数基于RBF网络融合的面部表情识别流程基于RBF网络融合的面部表情识别流程在人脸图像上标记个面部特征点按照页表得到个测量距离,对测量距离按页的公式进行归一化处理得到维局部特征对人脸图像做预处理,首先对图像做纯脸部分的切割,形成的纯脸图像然后对纯脸图像进行直方图均衡化,标准化和归一化处理对纯脸图像做均值主元分析,提取均值主元成分,根据实验本文选=,即形成维的表情特征用Fisher线性判别来提取面部表情特征为了解决小样本问题本文采取TPCAFLD策略。在Yaleface数据库上用=维特征向量构造特征子空间。在JAFFE上用=维特征向量构造特征子空间其中c为类别数。用T替换函数替换散布矩阵后用FLD变换到c=维特征空间作为表示面部表情特征的一部分特征构造一个的RBF神经网络,个输入单元对应三种特征提取技术提取的特征。X个隐层神经元由径向基函数网络自适应算法确定,这些隐层神经元负责特征融合决策,个输出神经元对应四种表情的二进制编码,即代表Happy,代表Normal,代表Sad,代表Surprised。Yaleface数据库上的实验结果Yaleface数据库上的实验结果日本女性表情数据库上的实验结果展望人脸的自动分割。人脸表情识别技术应该包括复杂背景下的人脸定位和纯脸分割,以及人脸表情识别两个方面的工作。要想使面部表情识别技术得到广泛的发展和应用,首先必须要解决人脸自动分割问题。而人脸的自动分割是一个很有挑战性的研究课题。基于代数特征的面部表情识别方法。它的有点在于应用简单,算法稳健随着新的分类算法的出现,基于代数特征的面部表情的识别方法仍然有很大的发展空间。基于多特征信息融合的方法。人脸面部的细节信息非常重要,对表情的识别起着极其重要的作用,如何充分利用人脸本身的丰富信息将是面部表情识别研究一个值得探索的方向基于多分类器融合的表情识别方法由于不同的分类器想对于不同的特征和环境有着不同的性能,研究一个良好的融合策略将是提高面部表情识别系统的一个很好的研究方向。攻读硕士期间发表论文、《基于局部特征和整体特征融合的面部表情识别》电子技术应用年第期、《基于SVM信息融合的面部表情识别》五邑大学学报(自然科学版)已录用谢谢!

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/68

面部表情识别#

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利