面部表情图像的分析与识别

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 第 卷 第 期 年 月 计 算 机 学 报 面部表情图像的分析与识别 高 文 金 辉 哈尔滨工业大学计算机科学与工程系 哈尔滨 摘 要 本文通过对若干类面部表情图像的分析 , 建立了基于部件分解组合的人脸图像模型 根 据对部件形状和相对位置的分析 , 提出了表情的分类树 , 建立了表情模型的向量表示 根据能量优 化原理 , 利用模板匹配方法提取 目标特征 , 得到人脸表情的表征向量 , 由模式分类方法实现表情的 识别 关键词 模式识别 , 表情分析 , 表情识别 , 多模式接 口 分类号 刀‘户 雌 , , , 月 ‘ ” 了码止 己 月 侧刀 , 月‘ 从月 , , , , , 己 自」‘ ‘二 人类语言分为 自然语言和人体语言 或形体语言 两类 , 面部表情是人体语言的一部分 人体语言的认知与理解应该包括手势 、表情 、 头部运动 、身体动作和会话过程中的肯定 、 否定以 及其它人体语气 、语言等的识别过程 面部表情不是孤立的 , 它与情绪之间存在着密切的联系 情绪表现是由面部表情 、声调表 情或身体姿态三方面来体现的 , 因而表情与语言一起组成人们进行交流的重要的多模式信息 本文 一 。 一 收到 , 修改文 一 一 。 收到 本课题得到国家 高科技基金 、 国家 自然科学基金 、 霍英东基金 、 国 家教委博士点基金 、 国家教委优秀青年教师基金和国家教委跨世纪人才 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 的资助 离 文 , 获博士学位 , 教授 , 博士 生导师 , 主要研究方向为计算机视觉 、 多媒体技术 、 智能人机接 口技术 、 虚拟现实 、 人工智能应用 盘 辉 , 博士研究生 , 主要研究方向为模式识别与人机交互技术 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 期 高 文等 面部表情图像的分析与识别 通道 利用计算机进行面部图像理解时要解决的问题主要有 模型化 、 人脸检测 、 人脸跟踪与识 别 、 面部表情的识别 、各不同通道 语音 、 图像等 信息的同步与融合 本文将主要讨论面部表情 的分析与识别问题 解决该问题的关键在于建立表情模型和情绪分类 , 并把它们同面部特征 与表情的变化联系起来图 注意到人脸是非刚体 , 因而模型的精确建立是困难的 另外 , 现有的 经典图像处理技术在特征提取方面还不足以胜任复杂背景和可变光照条件下的三维人脸图像 特征的提取 , 这也给识别造成了一定的困难 到 目前为止国际上关于表情分析与识别的研究工作可以分为基于心理学的和基于计算机 识别的两类 在心理学方面 , 提出表情的维量分析 , 和 提出表情的分 类 〔 〕 在计算机 自动识别方面 , 曾对选定的连续录像画面中脸部固定的 个点进行跟 踪识别 , 并与典型模式 进行 比较以实现识别 本文根据对面部表情的特 点与分类 , 提出了面部表情表征方法和分类树结构 , 提出了基于部件组合模型和可变形模板匹 配的特征提取方法 , 并建立了人脸模型与表情功能模型之间的对应关系 利用这些模型和算 法 , 我们完成了对特定条件下的面部表情识别实验 本文按如下方式组织 第二部分讨论面部表情的特点与分类 第三部分介绍面部表情的表 征与分类树 第四部分讨论基于组合部件模型的特征描述与提取方法 第五部分是系统的实验 结果 最后是结论和进一步的工作 面部表情的特点与分类 到 目前为止对面部表情的分类有两个不同的体系 , 一类是对情绪的维量分析 , 另一类是对 情绪的分类 多数的维量分析通常把情绪用三维坐标来描述 许多研究者曾对情绪进行过分类 汤姆金列出八种基本情绪 兴趣 、 快乐 、惊奇 、 痛苦 、 恐 惧 、愤怒 、羞怯 、 轻蔑 伊扎德在此基础上又增加了厌恶和 内疚两种情绪 定义了六种最 基本的表情 惊奇 、恐惧 、厌恶 、愤怒 、高兴 、悲伤 , 以及三十三种不同的表情倾向 本文依据 的六种最基本情绪进行分类和识别 六种基本情绪和中性表情的例子见图 面部表情的特点 表情及其变化相 当复杂 例如 , 恐惧的情绪可能同时伴随着悲伤 、 生气 、厌恶等等 混和情 绪可能包括恐惧和高兴 , 从而产生出混和表情 最为经常的是恐惧和惊奇的混和表现 , 即惊恐 的表情 不失一般性 , 我们先从单一表情开始讨论 表 给出了单一表情的表现与结构特点 表 表情的结构特点 表表情情 额头 、 眉毛毛 眼睛睛 脸的下半部部 惊惊奇奇 ①眉毛抬起 , 变高变弯 ①眼睛睁大 , 上眼皮抬高 , 下眼皮下落 下领下落 , 嘴张开 , 唇和齿分开 , 但但 ②②②眉毛下的皮肤被拉伸 ②眼白可能在瞳孔的上边和 或下边露露 嘴部不紧张 , 也不拉伸 ③③③皱纹可能横跨额头 出来 恐恐惧惧 ①眉 毛抬起并皱在一起 上眼睑抬起 , 下眼皮拉紧 嘴张 , 嘴唇或轻微紧张 , 向后拉 或或 ②②②额头的皱纹只集中在中部 ,,, 拉长 , 同时向后拉 而而而不横跨整个额头 厌厌恶恶 眉毛压低 , 并压低上眼睑 在下眼皮下部出现横纹 , 脸颊推动其向向 ①上唇抬起 上上上上 , 但并不紧张 ②下唇 与上 唇 紧 闭 , 推动 上唇 向向 上上上上上 , 嘴角下拉 , 唇轻微凸起 ③③③③③鼻子皱起 ④④④④④脸颊抬起 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 计 算 机 学 报 年 续 表 表表情情 额头 、 眉毛毛 眼睛睛 脸的下半部部 愤愤怒怒 ①眉毛皱在一起 , 压低 ①下眼皮拉紧 , 抬起或不抬起 ①唇有两种基本位置 紧闭 , 唇角角 ②②②在眉宇间出现竖直皱纹 ②上眼皮拉紧 , 眉 毛压低 拉直或向下 张开 , 仿佛要喊 ③③③③眼睛瞪大 , 可能鼓起 ②鼻孔可能张大 高高兴兴 眉毛稍微下弯 ①下眼 睑下边可能有皱纹 , 可能鼓起 ,, ①唇角向后拉并抬高 但但但但并不紧张 ②嘴可能被张大 , 牙齿可能露出 ②②②②鱼尾纹从外眼角向外扩张 ③一道皱纹从鼻子一直沿伸到嘴嘴 角角角角角外部 ④④④④④脸颊被抬起 悲悲伤伤 眉 毛 内角皱在一起 , 抬高 , 带带 眼内角的上眼皮抬高 ①嘴角下拉 动动动眉毛下的皮肤 ②嘴角可能颇抖 面部表情的表征与分类判别树 为了对面部表情进行表征 , 必须选择特征和构造模型 设面部各部件间的距离以及部件本身的变化可以 由欧 氏距离度量 对于图 所示的面部部件图 , 我们定义六元组 , , 二 , , , 。 , , , , , 。 其中 , 表示两眉间的距离 表示眉眼间的距离 表示眼上下边 界的距离 ‘ 表示嘴高 表示嘴宽 表示嘴角到上唇最 高位的距离 图 面部表情的参数说明 表情的参数表征 在利用有序六元组 一 , , , , , 表征表情的前题下 , 一个表情 ‘实际上是六 维空间上的一个点 , 因而表情识别的求解问题就等价于在六维 域上的欧氏距离判别 问题 分类判别树 图 给出了基于以上参数所设计的二叉树分类器 惊惊奇 、高兴 、恐惧 、 悲伤伤 愤愤怒 、厌恶 、 中性性 惊惊奇 、恐惧 、 悲伤伤伤 高兴 、 悲伤 、恐惧 、 中性性 恐恐 惧惧惧 悲伤伤伤 悲伤 、 中性性性 高兴 、恐俱俱 恐恐惧惧惧 惊奇奇奇 悲伤伤伤 悲伤 、 中性性性 恐惧惧 厌厌恶 、愤怒怒 愤愤 怒怒怒 厌恶恶 图 表情识别的分类判别树 该分类树也可以被简单的用规则定量的描述为 惊奇 抬眉 、 眼瞪大 、 张 口 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 期 高 文等 面部表情图像的分析与识别 恐惧 皱眉 、张 口 、 咧嘴 、 眼瞪大 高兴 张 口 、 嘴变宽 愤怒 压眉 、皱眉 、张 口 、咧嘴 张 口时的愤怒态 悲伤 皱眉 、 闭口 、 嘴变宽 嘴角后拉 厌恶 压眉 、皱眉 、 眼变小 、 闭口 、 口变宽 即咧嘴 上面的六条规则可以用二维串进行描述 , 因此 , 如果能够由原始图像获得六元组 , 就可以利 用二维串的空间推理实现表情的识别 , 具体作法详见文献 子部件模型模板 由于人脸虽无固定的形状却有固定结构的特殊性 , 利用人脸结构的先验知识和人脸识别 的心理特点 , 可以对人脸面部特征的描述与提取找到基于模型的方法 在现阶段 , 为了简化对 图像预处理的要求 , 我们限定输入的图像应该是 免冠的 、 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 正面人脸面部器官 、 无外形缺 陷 、不戴眼镜 、无胡须 、不过于倾斜 另外 , 要求有一幅中性的表情用来做比较 本方法中的特征提取是基于组成部件的 , 提取的结果是确定组成部件的位置和大小信息 虽然关于脸部的特征检测间题已经提出过许多方法 , 但在人脸图像中脸部特征的 自动定位几 乎没有相当成功的例证 很多研究者认为处理区域应该局限到一个相对小的范围内 , 在其上 讨论定位和识别间题 一 ’〕 我们采用的是先系统级后特征级的自动特征提取操作器 它包括三个模型 ①部件组合模 型 ②眼模型 , ③嘴部模型 部件组合模型与部件特征提取 与 等和 等提出的基于臆测 和验证 概念的 方法相类似 , 部件组合方法主要是利用一个生物形态过滤器 来进行分 割 经过对人脸面部图像的统计分析 , 可以得到一个在绝大多数场合下都被满足的模型 臆测是从整体上考虑的宏观定位的系统级操作 , 它的数据流信息向下进入具体特征级的 验证 返回信息是认证的结果 , 回到臆测模型 这种具有反馈信息的模型的提取 , 保证了粗分类 子 目标提取的正确性和精度 在提取部件特征时 , 为了尽量减少光照对图像质量带来的影响 , 用 自动取阑值的大津阑值 的方法分块对灰度图像进行二值化区域分割操作 , 根据眉 、 眼 、发的相对形状 、位置关系 , 对系 统级的结果进行特征级的验证 眼睛模型 对眼睛形状的分析结果 , 我们建立了如图 所示的眼睛模型 由图可见 , 眼睛的边缘是两 条抛物线 , 眼睛中心的圆是虹膜 以下讨论虹膜和眼睛边缘的提取 虹膜所在圆的求取 我们利用圆的 变换求取虹膜的所在圆 设 圆方程为 一 ’ 一 ’一 尸 , 其中 , 是圆心 , 是半径 给定一个有效的边缘 点坐标 , 刃 和边缘方向角 夕, 则所有可能圆心的位置在一段弧上 既然对每一个边缘点的边 缘梯度方向在开始都是已知的 , 那么这组可能的圆心就可以被确定 ‘参数空间的产生 参数空间是一个带有三条轴的 , , 的三维立体空间 , 表示 了虹膜的中心 , 它的 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 计 算 机 学 报 年 范围是整个眼的部件模型区域 · 圆的选择 由于边缘提取本身就存在误差 , 所以提出的圆可能稍微偏离真正的圆 骤为 ① 去掉边界点数少的圆 ② 求圆的标准方差和均值 方差 占表示为 一 川 ’ , 其中产 学期望 当随机变量为离散型时 , 边界点及圆内的方差记为 一 艺 、 一 , , · 户‘ , 一 妒 圆的筛选规则与步 一 为 的数 ③ 被生成 圆的评价分数由 流 , 一 ‘ 边界点的个数 来计算 , 其中 “ 是组成圆的 ④两个圆的匹配程度表示为 , ‘ 幼 ‘ 、 , 、 一 ’护 , 是两 个圆心的连线的偏转角 经过匹配分析之后得出的圆是最终要确定的眼的虹膜所在的圆的边界 可变形的模板匹配 眼睛边缘模型的定义如图 所示 图 眼睛的可变形模板 图 眼睛边缘坐标系 眼的上边界 、 下边界是用两条抛物线来逼近的 若用 变换的方法来确定其参数 , 时 间和空间的花费很大 用能量函数优化的方法来求得能量局部最优时对应的参数就是抛物线 的参数 如图 所对应的坐标系中的参数方程为 上边界 下边界 夕, 先 , 夕 , 一 夕, 一 夕, 陇 夕, 夕 一 夕, 夕, 一 等采用了梯度下降法来优化逼近 , 该算法的时间开 销很大叫 等采用了模拟退火算法进行优化 该算法是针 对随机空间的 , 与大的参数空间相联系 , 因而时间开销也很大 应用单纯形替换法 , 当能量函数都是连续的且符合单纯形优化 条件时 , 尽管用局部最优的算法 , 但只要我们把初值取得合理 , 也能够取到 比较理想的结果 , 而且收敛速度很快 算法的能量 函数为 图 抛物线坐标系 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 期 高 文等 面部表情图像的分析与识别 ‘ , 人 , , , 其中几 , , 是 到 的长度 , 尸‘ , , 是 到 的抛物线段 肠力 , “‘句 、 , 一 习 ‘ 艺 ‘ ‘ ‘ , ‘ , , 脚 , , , 殊 在 ‘ , 的定义中 , 前十个参数控制了每个眼睛的形状 , 后四个参数控制了两眼之间的相 似度 这四个值都可用双弹性系数 的方程来表示 一“ , ‘ , , , 一 一 一 , 三 三 这里 , , 定义了下边界 、上边界的理想状态 , 和 是两边的弹性常数 如果 , 不存在 时 , 就退化为简化弹性系数 方程 , , , 一 一 , 嘴部模型 与眼的模型相类似 , 嘴部的模型也是用抛物线来拟合的 不同的是 , 嘴部的变化很大 所以 要采用两个模型来模拟 闭合嘴的模型和张开嘴的模型 对中性图像的嘴部模拟用闭合嘴的模 型 对有表情图像的嘴的提取用张开的嘴的模型 , 这种模型也可以用来检测闭合的嘴 闭合嘴特征的提取 与眼睛的提取方法相似 , 我们用直线的 变换提取闭合嘴特征 紧闭的两唇 , 在其交界处必有一条颜色比较深的直线 , 通过这条直线就可以确定嘴的中心 的大致位置 通常用直线的 变换来选择直线 参数空间的产生 直线 变换的参数空间是二维的 口的变化范围是 左右 , 即 。一 的变化 范 围是 。到 一 力不石丽耳不仄历平 , 即【 , 二 〕边界点的产生与检测采用同眼一样的方 法 在直线的选择中 , 利用先验知识求参数空间中的最大值所对应的直线 , 记录跟踪它的起点 和终点 , 得出嘴部的参考中心 可变形的模板的匹配 与眼的优化采用相同的办法 , 单纯形替换法对能量函数 优化 如下列公式分别是总能 量函数 、上唇曲线和下唇曲线的能量函数 、形状函数 形状函数控制着参数间的比例大小 形状 函数中的参数有与眼一样的表达式 、弹性系数 二 二户沁 ‘ 、加 一 工 吞 人 , , 南扣 张开嘴的模板匹配 张开嘴的模型 〕如图 十 口 所示 , 其边缘由两组抛物线所组成 , 由以下方程组定义 , 一 , , 户 , 、芯 少一 一 — 奋下一一 —火 , , 一 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 计 算 机 学 报 年 户 , 一 一 , 一 、、了夕、、了月, 户 一 少户 , · 一 , · 业于鱼 」 ’ · 一 书鱼 矛、、月、 , , 。 一 · , , · 「 一 沉了 — —图 是张开嘴的可变形的模板 , 模板由营 , 。 , 占, , 占 , 、 , , , , 人 , 人。 , 了 , 夕 和它的能量方程构成 · 、一 。 营 。 。 二 。 ‘ 户 之户 边缘的估计值 ‘ 一 了孕下 , 一 舟尸川 气 、 一 令厂 丛图 ‘ 张开嘴的可变形模板 牙齿的估计值 谷值的估计值 凡 一 俞火 一 俞凡 丸 了 久人 了 人 亨 一 各 人 , ‘ , 二 一 髻 , 。 一 鲁。 一 , , 一 鲁 ‘ 一 从 内部约束方程 户 一 钒粼气」 ’ , 一 一 上式中的参数值 目前一部分使用常数值 , 一部分由方程 为 , , 为 , 为 , 为 和 为 。 决定 。所使用的常数包括 又一 · , , ” , ‘ , ‘ , “ · , ” , 幻 , 七 根据上述模型和算法 , 就可以求得一个给定面部表情图像的六元组 的数值 面部表情的识别实验 利用上述模型和方法我们实现了一个表情识别系统 我们利用此系统进行了识别实验 图 是七个最典型的单纯面部表情的例子 , 识别过程 中系统所提取的六元组分别为 中性表情 , , , , , 高兴 , , , , , 恐惧 , , , , , 惊奇 , , , , , 厌恶 , , , , , 结论与进一步工作 本文从几何结构学的角度对表情建模与识别进行了研究 , 提出了基于部件组合模型和可 变形模板匹配的特征提取方法 , 并建立了人脸模型与表情功能模型之间的对应关系 实验表明 本文所提出的方法在限定条件下是有效的 然而本文的工作还是初步的 , 目前可识别的仅是单 纯表情 , 而且要求使用正面图像 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net