基于局部特征描述的HMM人脸识别算法研究（可编辑）

基于局部特征描述的HMM人脸识别算法研究（可编辑） 基于局部特征描述的HMM人脸识别算法研究 10701 1013121573 代号 学号 公开 TN911.73分 类 号 密级 题 ( 中 、 英 文 ) 目 基于局部特征描 述 的 HMM 人脸识别 算法研究Research on Face Recognition Using Local Features Under HMM Framwork 作 者 姓 名 刘洋 指 导 教 师 姓 名 、 职称 任 获荣 副教 授 学 科 门 类 测 试计 量技 术及仪 器 工学 学 科、 专业 提 交 论 文 日 期 二 ?一 三年 三 月 西 安电子 科技大学 学 位论文 独创性( 或创新 性)声明 秉 承 学 校 严 谨 的 学 风 和 优 良 的 科 学 道 德 , 本 人 声 明 所 呈 交 的 论 文 是 我 个 人在 导 师 指 导 下 进 行 的 研 究 工 作 及 取 得 的 研 究 成 果 。 尽 我 所 知 , 除 了 文 中 特 别 加 以 标 注 和 致 谢 中 所 罗 列 的 内 容 以 外 , 论 文 中 不 包 含 其 他 人 已 经 发 表 或 撰 写 过 的 研 究 成 果 ; 也 不 包 含 为 获 得 西 安 电 子 科 技 大 学 或 其 它 教 育 机 构 的 学 位 或 证 书 而 使 用 过 的 材 料 。 与 我 一 同 工 作 的 同 志 对 本 研 究 所 做 的 任 何 贡 献 均 已 在 论 文 中 做 了 明 确 的 说 明并表示了谢意。 申请学位论文与资料若有不实之处,本人承担一切的法律责任。 本人签名: 日期 西 安电子 科技大学 关 于论文 使用授权 的 说明 关于失联党员情况说明岗位说明总经理岗位说明书会计岗位说明书行政主管岗位说明书 本 人 完 全 了 解 西 安 电 子 科 技 大 学 有 关 保 留 和 使 用 学 位 论 文 的 规 定 , 即 : 研究 生 在 校 攻 读 学 位 期 间 论 文 工 作 的 知 识 产 权 单 位 属 西 安 电 子 科 技 大 学 。 学 校 有 权 保 留 送 交 论 文 的 复 印 件 , 允 许 查 阅 和 借 阅 论 文 ; 学 校 可 以 公 布 论 文 的 全 部 或 部 分 内 容 , 可 以 允 许 采 用 影 印 、 缩 印 或 其 它 复 制 手 段 保 存 论 文 。 同 时 本 人 保 证 , 毕 业 后 结合学位论文研究课题再 撰写的文章一律署名单位为西安电子科技大学。 (保密的论文在解密后遵守此规定) 本学位论文属于保密,在年解密后适用本授权书。 本人签名: 日期导师签名: 日期. 摘要 摘要 作为一种 生 物 特 征 识 别 技 术 , 人 脸 识 别 已 经 成 为 模 式 识 别 和 计 算 机 视 觉 领域 中最具 挑 战 性 的 研 究 课 题 之 一 , 它 在 信 息 安 全 、 人 机 交 互 、 身 份 认 证 等 领 域 有 着 非常广阔的应用前景。 基于 隐马尔可夫模型Hidden Markov Model, HMM 的人脸识 别方法, 不 仅 能够 考 虑 到 人 脸 各 个 器 官 的 数 值 特 征 , 而 且 还 兼 顾 了 人 脸 的 整 体 结 构 ,因而取得了比 较好的识别效果。 本文首先针对 HMM 方法在特征提取方面的不足进行研究,采用局部特征 描 述 算子从图像中提取较为鲁棒 的特征信息,并将其作为观察向量对 HMM 进行训 练和识别。 文中分别研究了 基本的局部二值模式Local Binary Pattern, LBP 算子和 三种 改进局部二值模式 算子 :多阈值 局部 二 值 模 式Epsilon Local Binary Pattern, εLBP , 增 强局部二值 模式Improved Local Binary Pattern, ILBP 和 局部差分模式 Local Derivative Pattern, LDP 。 相比主成分分 析、 离散余弦变换和奇 异值分解的 特 征 , 采用 局部 特征 信息 作 为 观 察 向 量 更 加 具 有 分 类 性 和 灵 活 性 , 且 避 免 了 因 降维 造成的局部重要信息的丢失。实验表明, 基于局部特征描述的 HMM 人脸识别方 法在表情、姿态和光照变化下均达到 比 较满意的识别率。 其次 , 本文从信息融合的角度 对 上述 HMM 做了进一步研究。 传统的 HMM 算 法 能够 利用 重 叠 采 样 得 到 的 观 察 向 量 建 立 起 高 精 度 人 脸 模 型 , 但 训 练 和 识 别 时 间 较 长 。 本 文 在 非 重 叠 采 样 的 方 式 下 , 采 用 多 阈 值 局 部 二 值 模 式 或 者 局 部 差 分 模 式 作为特征提取手段, 将不同特征子空间中的 局部特征通过典型相关 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 进行融合, 并将融合后的特征向量作为 HMM 的观察向 量。 实验证明,改进后的方法在保证 一定 识别率的同时,大大 提高了训练和识别效率 。 关键词: 隐马尔可夫模型 局部二值模式 特征融合 典型相关分析 Abstract Abstract Face recognition, a biometric identification technology, is one of the most challenging problems in the fields of pattern recognition and machine vision. It has a wide range of promising application, such as information security, man-computer interaction and identity authentication. As a statistical method, Hidden Markov Model HMM can take into account not only the characteristics of the various organs, but also the overall characteristics of the human face. Therefore, good results can be achievedIn this dissertation, some improvements are made on the shortcomings of feature extraction of HMM firstly. More robust feature vectors can be extracted from the original images using local binary pattern. Then these vectors can be utilized as the observation vectors for HMM training and recognition. The original LBP and three other kinds of local binary coding are utilized in the paper which is Epsilon Local Binary Pattern εLBP, Improved Local Binary Pattern ILBP and Local Derivative Pattern LDP. Compared with Principal Component Analysis PCA, Discrete Cosine Transformation DCT and Singular Value Decomposition SVD, extracting local binary feature as observation vectors can improve the stability of characteristics without the loss of important information for dimension reduction. The experiment results show that the presented approach can improve the recognition rate apparentlySecondly, HMM method is improved from the perspective of information fusionWith the traditional HMM approach, a highly precise face model can be built using the observation vectors generated by overlapping technique. However, it costs more time for training and identifying. On the condition of no-overlapping technique, two different vectors contained local information from different subspaces of classification are combined with Canonical Correlation Analysis, and the fused-vectors are used as the observation vectors for HMM. Experiments show that the novel approaches can keep the highly recognition rate, and reduce much time of HMM training and recognition at the same time Keywords :Hidden Markov Model Local Binary Pattern Features FusionCanonical Correlation Analysis 目录 工贸企业有限空间作业目录特种设备作业人员作业种类与目录特种设备作业人员目录1类医疗器械目录高值医用耗材参考目录 目录 第一章 绪论. 1 1.1 人脸识别的研究背景和意义1 1.1.1 人脸识别的研究背景 1 1.1.2 人脸识别的意义1 1.2 人脸识别的研究现状和发展2 1.2.1 人脸识别的研究内容 2 1.2.2 人脸识别的发展历史 3 1.2.3 人脸识别的研究难点 4 1.3 人脸识别的系统评价5 1.3.1 人脸数据库简介5 1.3.2 主要性能评价指标. 6 1.4 基于隐马尔可夫模型的人脸识别 概述. 7 1.5 本文的主要研究内容和各章安排 8 第二章 隐马尔可夫模型的基本理论及应用. 11 2.1 隐马尔可夫模型11 2.1.1 隐马尔可夫模型的定义 11 2.1.2 隐马尔可夫模型的三个基本问题12 2.2 隐马尔可夫模型三个基本问题的计算13 2.2.1 评估问题:Forward-Backward 算法 13 2.2.2 解码问题:Viterbi 算法15 2.2.3 学习问题:Baum-Welch 算法17 2.2.4 计算中需说明的问题. 19 2.3 隐马尔可夫模型在人脸识别 中的应用19 2.3.1 隐马尔可夫模型的训练过程. 20 2.3.2 隐马尔可夫模型的识别过程. 22 2.4 本章小结23 第三章 基于局部二值模式的 HMM 人脸识别方法. 25 3.1 局部二值模式的基本形式. 25 3.1.1 局部二值模式基础理论 25 3.1.2 局部二值模式的应用. 27 3.2 改进局部二值模式. 29基于局 部特 征描 述 的 HMM 人脸 识别 算法 研究 3.2.1 多阈值局部二值模式 ε L B P. 29 3.2.2 增强局部 二值模式ILBP 31 3.2.3 局部差分模式LDP 33 3.3 基于局部二值模式特征的 HMM 人脸建模 36 3.3.1 算法流程 36 3.3.2 HMM 参数的讨论. 37 3.3.3 文中算法的实验与结果分析. 38 3.4 本章小结43 第四章 基于局部特征融合的 HMM 人脸识别方法 45 4.1 融合策略分析 45 4.1.1 数据级融合46 4.1.2 特征级融合46 4.1.3 决策级融合47 4.2 典型相关分析 47 4.2.1 典型相关分析的基础理论48 4.2.2 典型相关分析的数学描述和解析48 4.3 基于典型相关分析的局部特征融合策略. 52 4.3.1 算法流程 52 4.3.2 实验及结果分析 53 4.4 本章小结55 第五章 总结和展望. 57 5.1 全文 工作总结 关于社区教育工作总结关于年中工作总结关于校园安全工作总结关于校园安全工作总结关于意识形态工作总结 57 5.2 未来工作展望 57 致谢59 参考文献61第一章 绪论 1 第 一章 绪论 1.1 人脸识别 的研究 背 景和意义 1.1.1 人脸识别的研究背景 生 物 特 征 识 别 , 是 利 用 人 体 独 一 无 二 的 生 物 特 征 ( 生 理 特征 或 行 为 特 征 )对 其 身 份 进 行 识 别 与 鉴 定 的一种技术 。 生 物 特 征 作 为 人 体 的 内 在 属 性 , 具 有 很 强 的 自 身 稳 定 性 和 个 体 差 异 性 。 所 以 与 传 统 的 身 份 识 别 技 术 相 比 , 生 物 特 征 识 别 技 术 具有 安 全 可 靠 、 特 征 唯 一 、 不 易 伪 造 的 特 点 。 当 前 的 生 物 特 征 识 别 技 术 主 要 包 括 有:指纹识别, 步态识别, 虹膜识别,语音识别,DNA 识别和人脸 识别等。 所 谓 人 脸 识 别 技 术 是 指 通 过 计 算 机 来 获 取 人 脸 的 特 征 , 并 根 据 这 些 特 征 进行 身 份 验 证 的 一 种 技 术 。 它 涉 及 图 像 处 理 、 模 式 识 别 、 计 算 机 视 觉 、 心 理 学 及 认 知 学 等 诸 多 学 科 的 内 容 , 并 与 基 于 其 他 生 物 特 征 的 身 份 鉴 别 方 法 以 及 计 算 机 感知 人 机 交 互 领 域 都 有 着 密 切 地 联 系 。 相 比 于 其 他 生 物 特 征 识 别 技 术 , 人 脸 识 别 具 有 不 [1] 可比拟的优势 ,具体 体现在以下几个方面 : 1. 隐蔽性,适于安全、监控等工作; 2. 无侵犯性 ,采用非接触式采集; 3. 实时性, 具有方便、快捷、强大的实时追踪能力; 4. 交互性强 ,符合人类识别习惯; 5. 设备成本低。 1.1.2 人脸识别的意义 随 着 社 会 的 发 展 和 科 技 的 进步 以 及 社 会 各 方 面 对 快 速 高 效 自 动 身 份 验 证 的迫 切需求, 人 脸 识 别 技 术 越 来 越 受 重 视 。 首 先 , 人 脸 识 别 作 为 一 个 典 型 的 图 像 模 式 分 析 问 题 , 它 为 模 式 识 别 、 图 像 处 理 、 计 算 机 视 觉 、 人 工 智 能 等 多 学 科 提 供 了 一 个良 好 的 研 究 平 台 , 有 利 于 新 方 法 的 尝 试 和 新 理 论 的 验 证 , 极 大 地 促 进 了 相关学 科的发展 。 其 次 ,在 安 全 领 域 、 视 频 监 控 等 方 面 都 需 要 高 效 的 身 份 验 证 方 法 用 于 监 督 、 管 理 和 控 制 。 传 统 的 身 份 验 证 虽 然 方 便 快 捷 , 但 有 安 全 性 差 、 易 丢 失 、 易 窃取 的致命缺陷。而生物特征识别技术被认为是解决 这一问题的最佳 方式。 此外 , 近 些 年 来 计 算 机 技 术 的 飞 速 发 展 和 计 算 机 性 能 的 不 断 提 高 , 使得 人 脸 识 别 技 术 逐 渐成熟 ,应用领域也更加广泛。 [2] 目前 人脸识别技术 的主要应用领域包括 以下几个方面 :2 基于局 部特 征描 述 的 HMM 人脸 识别 算法 研究1. 公安司法 识 别 系 统 : 公 安 部 门 的 档 案 系 统 里 存 储 有 大 量 犯 罪 嫌 疑 人 的 图片 信息 ,当 从 案发 现场 提 取 到 嫌疑 人 面 部 特 征 后 , 从 数 据 库 中 查找 比对 , 从而快速 地锁定嫌疑人身份,大大提高刑侦破案的 效率和准确性 。 2. 证 件 验 证 系 统 : 在 机场 , 港口 和 保 密 单 位 等地点 , 证 件 验 证 是 查 验 人 员 身 份 的 一 种 常 用 手 段 。 利用 人 脸 识 别 技 术 , 通 过 比 对 身 份 证 , 驾 驶 证 等 传统 证件上 的 照片,就可以 自动完成验证识别工作 。 3. 远程监控识别: 在 银行,公司等一些公共场所 处 设有 24 小时的视频 监控。 当有突发事件发生 时, 可以实时监控,识别和报警 。 4. 信 息 安 全 : 通 过 面 部 特 征 识 别 技 术 , 保 证 了 操 作 人 员 的 数 字 身 份 与 真 实 身 份的统一,大大提高了电子政务和电子商务的可靠性、安全性。 5. 面部 表 情 分 析 系 统 : 根 据 人 脸 图 像 中 的 面 部 特 征 的 变 化 , 分析 和识别 人的 情感状态,获得更丰富的信息 。 此 外 , 人 脸 识 别 技 术 在 档案管理 、 自 动 化 服 务 、 人脸建模 、 视 频 会 议 和 互联 网娱乐等方面也有着巨大的应用前景。 1.2 人脸识别 的研究 现 状和发展 1.2.1 人脸识别的研究内容 [3] 从广义上讲 ,人脸识别的研究内容 大致包含 以下几个方面 : 1. 人 脸 检 测 与 定 位 : 在 条 件 可 控 的 情 况 下 , 人 脸 的 定 位 是 比 较 容 易 的 , 但 是 在 很 多 情 况 下 , 场 景 是 比 较 复 杂 的 , 受 到 光 照 、 噪 声 、 面 部 转 动 角 度 以 及 遮 挡 物 等 因 素 的 干 扰 。 因 此 , 从 各 种 不 同 的 场 景 中 检 测 出 人 脸 的 存 在 并 确 定 其 位 置 已 成 为一个独立的课题被许多研究者所重视。 2. 人 脸 特 征 表 征 : 利 用 某种 数 学 工 具 将 训 练 、 测 试 人 脸 图 像 中 包 含 的 特 征 信 息描述出来。 目前最 常见的表征方法主要有几何特征 (如欧氏距离) 、 代数特征 ( 如 矩阵特征矢量) 、变换系数特征和模板特征 (特征脸) 等。 3. 人 脸 识 别 : 在 某 些 特 定 的 环 境 下 , 将 待 识 别 的 人 脸 图 像 与 数 据 库 中 已 知 的 人 脸 图 像 进 行 比 对 , 输 出 相关 判 别 信 息 。 其 核 心 研 究 内 容 是 如 何 选 择 最 佳 的 人 脸 表征方式与匹配策略。 4. 姿态 表情 识别 : 对 待 识 别 人 脸 图 像 的 面 部 姿 态 或 者 表 情 特 征 进 行 分 析 , 并 将其分类。 其 研 究 的 重 点 是 建 立 一 个 有 效 的 数 学 模 型 并 把 这 个 模 型 与 人 脸 姿 态 、 表情变化联系起来。 5. 生理分类 : 对 待 识 别 人 脸 图 像 的 生 理 特 征 进 行 分 析 , 得 到 性 别 、 年 龄 等 相 关信息, 或 是 从 若 干 幅 相 关 的 人 脸 图 像 中 重 构 得 到 新 的 人 脸 图 像 。 比 如 基 于 年 龄第一章 绪论 3 增长人脸图像估算, 利用父母的人脸图像来预测孩子的人脸图像等。 图 1.1 给出了 一个 人脸识别系统 的流程示意图。 人 脸 特征提取 库 特 征 匹 配 判 决 结 果 输入图像 人 脸检测 图 像预处理 特征提取 图 1.1 人脸 识别 系统 流程 1.2.2 人脸识别的发展历史 人脸识别研究的历史比较悠久,早在 1888 年,法国人 Galton 就在《Nature 》 上 发 表 了 一 篇 关 于 利 用 人 脸 进 行 身 份 识 别 的 文 章 , 对 人 类 自 身 识 别 人 脸 的 能力进 行了分析。 而最早的人脸识别系统 是由 Chan 和 Bledsoe 在 1965 年首 先创建的, 至 今 已 经 近 五 十 年 了 。 经 历 了 多 年 的 探 索 与 发 展 , 各 种 人 脸 识 别 的 算 法 层出不穷, 尤 其 是 近 十 年 来 , 随 着 计 算 机 技 术 的 不 断 成 熟 和 计 算 机 性 能 的 不 断 提 高 ,人脸识 别的研究得到了更多的关注。 根据 研 究 内 容 、 技 术 方 法 等 方 面 的 特 点 , 人 脸 识 别 的 研 究 历 史 大 体 可 划 分为 四个阶段,下面对 各 个阶段的研究情况作一个简单地介绍。 第一阶段:手工阶段,以 Bertillon ,Allen 和 Parke 为代表,此阶段 的识别过 [4] 程完全依赖于操作人员 。 第二阶段:人机交互阶段,上世纪的 60 年代到 80 年代。期间 主要采用的是 基于人脸几何结构特征Geometric feature based 的方法, 如基于人脸 重要特征点之 [5] 间距离的典型模式分类 方法 ;Kaya 等人采 用 统计识别的方法,用 欧氏距离来表 [6] 征人脸结构,如眼睛 之 间的距离 、嘴唇与鼻 子 之间 的距离。之后,Kanad 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 了 一 个 半 自 动 回 溯 识 别 系 统 , 首 次 利 用 积 分 投 影 从 单 幅 人 脸 图 像 中 提 取 出 一 组 面 部 特 征 参 数 , 然 后 使 用 模 式 分 类 方 法 实 现 与 标 准 人 脸 的 匹 配 。 总 之 , 这 个 阶 段 的 方 法 主要 依靠 操 作 人 员 的 先 验 知 识 , 无 法 摆 脱 人 的 干 预 , 因 此 属 于 机 器 自 动 识 别 的 初级阶段。 第三阶段:真正的自动识别阶段。从 1990 年到 1997 年,人脸识别研究达到 了高峰 时 期 , 这 期 间 出 现 了 很 多 具 有 代 表 性 的 人 脸 识 别 算 法 。 其中 麻 省 理 工 学 院 媒体实验室的 Turk 和 Pentland 提出的“Eigenface ”方法是 这一时期 颇负盛名的人 脸识别算法, 其后的很多人脸识别算法 都 是在 Eigenface 的基础上 发展起来的。 这 一时期同样具有代表性的重要成果是由 Belhumeur 等人提出的 Fisherface 方法。该 算法是在 主成分分析Principle Component Analysis, PCA 的基础上采用线性判别分. 4 基于局 部特 征描 述 的 HMM 人脸 识别 算法 研究析Linear Discriminate Analysis, LDA 以获得 降维后样本类间离散度与类内离散度 矩 阵 比 最 大 的 投 影 子 空 间 。 时 至 今 日 , 这 种 算 法 仍 然 是 人 脸 识 别 领 域 的 主 流 方 法 之 一 , 并 且 在 此 基 础 上 产 生 了 很 多 不 同 的 变 种 , 如 子 空 间 判 别 模 型 , 增 强 判 别 模 型,基于核学习的改进策略 以及二维子空间算法等等。 总 体 来 说 , 人 脸 识 别 技 术 在 这 一 阶 段 得 到 了 飞 速 发 展 , 所 提 出 的 算 法 在 较理 想 的条件 下 ( 采 集 光 照 良 好 、 中 小 规 模 正 面 人 脸 数 据 库 ) 表现出 非 常 好 的 效果, 因 此 出 现 了 若 干 商 业 化 的 人 脸 识 别 系 统 。 从 技 术 层 面 上 看 , 二维 人 脸 图 像 的 线性 子空间判别分析和统计模型识别方法是这一阶段内的主流技术。 第四阶段: 从 1998 年至今, 是人脸识别向实用化发展的阶段, 亦 可称为机器 自动识别的 高级阶段。 以支持向量机Support Vector Machine, SVM 为代表的统计 学 习 理 论 被 应 用 到 了 人 脸 识 别 中 。 支 持 向 量 机 通 过 最 小 化 结 构 风 险 来 求 取 最 佳 分 类平面, 具有良好的泛化能力和分类能力。 另外,Blanz 和 Vetter 还 提出了 基于 3D 变形3D Morphable Model 模型的 方法,该方 法 较好的解决了人脸识别中的姿态和 光照问题。 总 之 , 该 阶 段 的 研 究 重 点 是 在 不 理 想 情 况 下 如 何 设 计 并 优 化 人 脸 识 别 算法。 而非线性建模方法、 统计学习理论、 基 于 3D 模型的人脸建模与 识别方法等 逐渐成为以后发展的趋势。 1.2.3 人脸识别的研究难点 作 为 一 个 充 满 挑 战 和 活 力 的 研 究 领 域 , 人 脸 识 别 覆 盖 了 数 字 图 像 处 理 、 计算 机 视 觉 、 神 经 网 络 、 心 理 学 、 生 理 学 等 诸 多 学 科 的 内 容 。 尽 管 目前 人 脸 识 别 技 术 的 研 究 己 经 取 得 了 一 些 可 喜 的 成 果 , 但 在 实 际 应 用 中 仍 面 临 着 严 峻 的 挑 战 。 由 于 面 部 器 官 分 布 非 常 相 似 , 而 且 面 部 本 身 又 是 一 个 三维 柔 性 物 体 , 表 情 、 姿 态 、年 龄、发型 和 遮 挡 物 等 内 部 因 素 变 化 都 能 给 正 确 识 别 带 来 相 当 大 的 阻 碍 , 并 且 识 别 过 程 还 受 到 光 照 、 成 像 角 度 以 及 成 像 距 离 等 外 部 因 素 的 影 响 , 这 诸 多 因 素 无疑 使 人 脸 识 别 成 为 一 项 极 富 挑 战 性 的 研 究 课 题 。 概 括 而 言 , 目 前 人 脸 识 别 领 域 的 主 要 [10] 难点在于以下几个方面 : 1. 光照变化的影响 ; 2. 姿态和表情 变化的影响 ; 3. 年龄变化的影响; 4. 遮挡物的影响 ; 5. 图像采集设备造成的影响; 6. 大规模人脸识别问题; 7. 样本缺乏问题。 以 上 是 人 脸 识 别 中 主 要 的 难 点 问 题 , 而 在 实 际 应 用 中 上 述 问 题 往 往 不 是 单独第一章 绪论 5 出 现 的 , 很 多 情 况 下 都 是 组 合 性 的 , 如 姿 态 和 光 照 问 题 同 时 出 现 , 这 将 会 进 一 步 的增加问题 的 复 杂 度 , 因 此 解 决 并 发 问 题 具 有 重 要 的 研 究 价 值 。 另 外 , 由 于 原 始 图 像 的 维 数 相 当 高 , 直 接 在 原 始 图 像 的 基 础 上 进 行 处 理 , 将 加 大 算 法 的 复 杂 度 , 并 且 对 计 算 机 的 硬 件 性 能 也 是 一 个 挑 战 , 因 此 特 征 提 取 也 成 为 人 脸 识 别 中 最 值得 关注的问题 之一。 1.3 人脸识别 的系统 评 价 1.3.1 人脸数据库简介 人 脸 数 据 库 对 于 人 脸 识 别 算 法 的 研 究 开 发 、 算 法 测 试 、 算 法 性 能 比 较 都 是必 不可少的, 并且人脸库的人数规模、 采集条件、 成像质量甚至是采集对象的种族、 肤 色 变 化 在 很 大 程 度 上 都 能 影 响 算 法 的 准 确 性 和 鲁 棒 性 。 为 了 保 证 算 法 测 评 的 合 理 性 和 测 试 结 果 的 有 效 性 , 直 观 方 便 地 研 究 各 种 人 脸 识 别 技 术 的 优 缺 点 , 很 多 研 究 组 织 都 建 立 了 自 己 的 标 准 化 人 脸 数 据 库 。 这 些 人 脸 数据 库 基 本 包 含 了 人 脸 识 别 研 究 的 各 个 方 面 , 如 姿 态 、 表 情 、 光 照 、 遮 挡 物 、 年 龄 等 诸 多 因 素 的 变 化 。 目 前 比较常用的人脸库有: [11] 1. ORL 人脸数据库 ORLOlivetti Research Ltd. 人脸数据库 是由 剑 桥大学贝尔实验室在 1994 年制 作 的。 该数据库中包括 40 个不同年龄、 不同性别和不同种族的人在不同 时间拍摄 的 400 幅图像, 其中每个人对应 10 幅图像,每幅图像的 分辨率为112 × 92 。 该数 据库中 人 脸 的 面 部 表 情 和 细 节 均 有 很 大 的 变 化 , 例 如 笑 与 不 笑 、 睁 眼 或闭 眼、戴 眼镜 或 不 戴 眼 镜 等; 另 外 人 脸 姿 态 也 有 一 定 的 变 化 , 其 深 度 旋 转 和 平 面 旋 转 可 达 20 度,人脸的尺寸 变化最多有 10% ,背景光线也有一定的变化。 该库是目前使用 最广泛的标准数据库之一。 [12] 2. Yale 人脸数据库 Yale 人脸 数据 库是 由 美国 耶 鲁大 学计 算视 觉 与控制 中心 所创建 , 该 库包含了 11 个志愿者 165 幅人 脸图像,其中图像具备了光照和表情的变化,而人脸的姿态 角 度 并 没 有 改 变 。 该 库 人 脸 图 像 最 大 特 点 是 光 照 变 化 比 较 显 著 , 且 面 部 有 部 分 遮 挡,它也是人脸识别研究常用的数据库之一。 [13] 3. Georgia Tech 人脸数据 库 Georgia Tech 人脸数据库是由美国佐治 亚 理工学院信号和图 像 处理中心在 1994 年建立的,该库包含了 50 个人的 750 幅彩色人脸图像,其中每个人对应 15 幅 图 像 , 其 分 辨 率 为640 × 480 , 人 脸 在 图 像 中 的 大 小 约 为150 × 150 像素。该库 与 ORL 数据库相比较 , 除了背景变化较大以外, 人脸尺寸和旋转角度及姿态的变. 6 基于局 部特 征描 述 的 HMM 人脸 识别 算法 研究化更大,在人脸识别中也有着一定的应用。 [14] 4. JAFFE 人脸数据库 JAFFE 人脸数据库为 日本女性人脸表情数据库The Japanese Facial Expression , 包括了 10 位日本女性的 213 幅人脸图像, 每个人对应 7 种面部表情, 其中 有生气、 害怕、悲伤、惊讶、 厌恶和高兴 6 种面部表情和 1 种中性表情。该 数据库中每幅 图像的大小均为256 × 256 ,人脸的实际大小只占整幅图像大小的 1/2 左右。 [15] 5. FERET 人脸数据库 FERETFace Recognition Technology 人脸数据 库由美国军方研究实验室创立, 包括 14051 张多姿态、多光照的灰度人脸图像。大部分对象都对应 8 张图像,两 张正面图像,3 张不同侧面角度的图像, 部分对象还提供了更多不同视点和不同表 情 的 照 片 , 且 采 集 条 件 有 一 定 的 限 制 , 人 脸 大 小 约 束 在 规 定 范 围 内 。 与 其 他 人 脸 数据库相比, 该数据库每个对象的人脸图像不仅包括姿态、 表情和光照等的变化, 而且还包括时间间隔的变化,长的时间间隔达 3 年之久。FERET 人脸数据库是目 前最大的人脸数据库,而且还在不断的扩充。 其它常用的人脸数据库还有 美国卡耐基梅隆大学 创建的 CMU-PIE 人 脸库、 麻 省理工大学媒体实验室创立 的 MIT 人脸数据 库以及 中国科学院计算机技术研究所 创立的 CAS-PEAL 人 脸库等等。不同的人脸数据库,图像的 内容和质量也是不同 的 , 为 了 客 观 地 、 全 面 地 测 试 人 脸 识 别 算 法 的 性 能 , 考 虑 不 同 约 束 条 件 对 识 别 算 法 的影响,本文 主要应用了 ORL ,JAFFE 和 YaleB 人脸数据库对人 脸识别方法进 行测试。 1.3.2 主要性能评价指标 对 于 任 何 模 式 识 别 系 统 , 算 法 的 性 能 评 价 都 是 很 难 进 行 的 , 其 重 要 原 因 在于 选 取 性 能 评 价 标 准 是 人 们 对 人 脸 识 别 技 术 的 客 观 需 要 , 而 且 人 们 对 图 像 内 容 的 主 观 理 解 也 妨 碍 了 在 人 脸 识 别 技 术 研 究 中 定 义 一 个 完 全 客 观 的 评 价 标 准 。 因 此 如 何 [16] 来评价人脸识别算法的性能成为人脸识别领域中一个相当重要的问题 , 以 下是 最为常用的几个评价标准: 1. 识别率 在人脸识别研究中, 正确识别率和拒绝识别率是两个最基本的性能评价指标。 前 者 是 指 人 脸 识 别 系 统 能 够 正 确 识 别 出 身 份 的 图 像 数 量 与 总 的 测 试 人 脸 图 像 数 量 的 比 值 ; 后 者 是 指 人 脸 识 别 系 统 能 够 正 确 的 分 辨 出 非 人 脸 库 中 人 脸 图 像 的 数 量 与 总的测试人脸图像数量的比值, 在实际应用中拒识人脸通过设置拒识门限来完成。 上 述 两 个 概 念 均 是 正 确 识 别 , 在 通 常 的 算 法 研 究 中 , 将 拒 识 门 限 设 为 无 穷 大 , 即 从 人 脸 数 据 库 中 找 出 与 待 识 别 的 人 脸 图 像 最 相 近 的 图 像 , 而 不 是 考 虑 该 人 脸 是 否第一章 绪论 7 在人脸库中。 2. 计算时间 很 多 实 际 应 用 情 况 对 人 脸 识 别 算 法 的 实 时 性 要 求 比 较 高 , 因 此 计 算 时 间 成为 衡 量 算 法 性 能 的 另 一 个 重 要 指 标 。 计 算 时 间 一 般 由 人 脸 识 别 系 统 的 训 练 时 间 和 识 别 时 间 两 部 分 组 成 。 其 中 特 别 考 虑 的 是 识 别 时 间 , 它 直 接 影 响 到 人 脸 识 别 系 统 的 实时性,对整个系统是否能够移植到实际应用平台起着关键性的作用。 3. 数据存储量 在研究人脸识别算法的同时 , 人脸数据库的存储也是一个不得不考虑的问题。 尤 其 对 于 大 型 人 脸 数 据 库 , 如 果 算 法 中 不 考 虑 人 脸 数 据 存 储 的 优 化 , 会 给 整 个 系 统造成一定的负担,因此在研究人脸识别算法的同时,也要考虑数据的存储量。 4. 可扩展性 在 很 多 实 际 的 人 脸 识 别 系 统 中 , 我 们 需 要 经 常 对 已 知 的 人 脸 库 进 行 修 改 ,删 除 或 者 增 加 新 样 本 等 操 作 , 因 此 对 已 存 在 的 人 脸 数 据 库 的 动 态 维 护 也 是 人 脸 识 别 技术中需要考虑的一个问题。 1.4 基于隐马 尔可夫 模 型的 人脸 识别概述 作为 一种信号的统计分析模型 , 隐马尔可夫模型Hidden Markov Model, HMM 创立于 20 世纪 70 年代, 但当时并未 被多数研究人员 所熟悉和掌握。 80 年代以后, [5] 得益于面向工程界的介绍性文章 的发表 , 才 使得 HMM 得到了广泛的传播与发展, 现 已 成 为 信 号 处 理 领 域 一 个 重 要 的 研 究 方 向 。 目 前 , 隐 马 尔 可 夫 模 型 已 成功地应 用于 人脸识别、 字符识别、语音识别以及手势识别等众多领域。 隐 马 尔 可 夫 模 型 是 一 种 用 参 数 表 示 的 用 于 描 述 随 机 过 程 统 计 特 性 的 概 率 模 型 , 并 且 该 参 数 能 够 通 过 预 定 义 的 方 法 准 确 评 估 。 其 中 必 须 要 预 先 定 义 模 型 中 隐 含 状 态 的 数 量 , 同 时 样 本 被 表 示 成 观 察 序 列 , 然 后 再 从 观 察 序 列 中 学 习 典 型 概 率 ,从 而建立 HMM 。 按照 HMM 的定义, 一个观察序列是由 表征人脸的特征量构成,该 观 察 序 列 可 以 由 若 干 个 状 态 产 生 的 , 状 态 处 于 隐 层 , 是 不 可 观 测 的 。 最 早 将 隐 马 [7] 尔可夫模型应用到对人脸识别领域的是 F. Samaria ,他提出把整张 人脸作为一个 整 体 系 统 来 研 究 , 这 个 系 统 在 不 同 的 约 束 条 件 下 表 现 为 不 同 个 体 的 人 脸 图 像 。 从 空间结构上看,正面人脸 从上至下可分为前额 、眼睛、鼻子、嘴巴和下巴 5 个主 要 部分, 因此他采用一个有 5 个状态的一维隐马尔可夫模型1D-HMM 对人脸图像 进行建模, 用 一 个 矩 形 窗 从 上 至 下 对 人 脸 图 像 进 行 重 叠 采 样 , 将 窗 内 的 像 素 点 组 [8] 成列向量, 用灰度值作为观察值。 之后 Nefian 等人对 HMM 方法进 行了进一步的 研 究 , 改 进 了 观 察 值 矢 量 的 表 达 方 式 , 从而 提 高 了 训 练 和 识 别 的 时 间 。 根据 F[9] Samaria 和 Nefian 的经 验, 刘小军 等提出了 采用奇异值分解抽取观察序列的隐马. 8 基于局 部特 征描 述 的 HMM 人脸 识别 算法 研究尔 可 夫 模 型 的 人 脸 识 别 方 法 。 由 于 奇 异 值 向 量 的良好 特 性 , 使 得 该 方 法 无 论 是 在 识别率还是在识别效率 方面都优于先前的方法。 由 于 实 际 处 理 的 人 脸 图 像 是 二 维 的 , 为 了 能 够 更 好 地 对 图 像 进 行 描 述 , FSamaria 又提出了伪二 维的隐马尔可夫模型2-D Pseudo HMM , 采 用该方法后识别 率从 1D-HMM 的 84% 提高到 95% 左右 。 Nefian 等提出了基于嵌入式 HMM 人脸识 别方法,后来又集成 Coupled HMM 和 HMM ,通过对超状态和各个嵌入状态采用 不同的模型构成了一个 混合系统结构。Othman 等人则提出了一种基于独立假设的 简化结构,有效地降低了系统的复杂度。 基于 HMM 的人脸识别方法具有以下优点: 1. 关联性强,充分包含人脸各个器官的不同表象和相互关联; 2. 普适性好, 对人脸的表情变化、姿态变化有很强的鲁棒性 ; 3. 扩展 性 好 , 当 有 新 样 本 增 加 时 , 只 需 训 练 新 样 本 , 而 不 用 对 所 有 的 样 本 重 新训练; 4. 较高的识别率。 由此可见 ,基于 HMM 的人脸识别方法是一种 非常具有发展潜力和广阔实际 应用前景的人脸识别方法。 1.5 本文的主 要研究 内 容和各章 安排 本文主要研究了基于 局部特征描述的 HMM 人 脸识别问题。 针对 传统 HMM 方 法在 特 征 提 取 方面 的 不 足 进 行 研 究 , 采 用 局 部 特 征 描 述 算 子 从 原 始 图 像 中 提 取 较 为鲁棒的特征信息,并将其作为观察序列 对 HMM 进行训练和识别。文中分别研 究 了 基 本 的 局 部 二 值 模 式 算 子 和 三 种 改 进 局 部 二 值 模 式 算 子 , 并 通 过 实 验 来 验 证 局部特征算子与 HMM 结合的有效性。同时 针对 该方法训练和识别时间 比较长的 缺点,采用典型相关分析 对局部特征进行融合,将融合后的特征作为 HMM 的观 察 序 列 来 参 与 模 型 的 训 练 和 识 别 , 这 在 保 证 较高 识 别 率 的 同 时 大大缩短 了 训练和 识别时间。 以下为各章的主要安排: 第 一 章 : 绪 论 。 主 要 介 绍 人 脸 识 别 的 研 究 背 景 及 意 义 、 研 究 内 容 、 发 展 历史 和 难 点 问 题 , 以 及 人 脸 识 别 系 统 的 性 能 评 价 指 标 和 常 用 的 标 准 人 脸 数 据 库 。接 着 对 隐 马 尔 可 夫 模 型 在 人 脸 识 别 中 的 应 用 做 了 简 要 概 述 。 最 后 说 明 了 本 文 所 做 的 主 要研究工作以及文章的结构安排。 第 二 章 : 隐 马 尔 可 夫 模 型 的 基 本 理 论 及 应 用 。 在 马 尔 可 夫 链 的 基 础 上 给出了 隐 马 尔 可 夫 模 型 的 定 义 并提出 三个 相关的 基 本 问 题 , 接 着 详 细 介 绍 了 解决这 三个 问题的基本 算法 , 并 对 计 算 中 需 要 注 意 的 问 题 加 以 说 明 。 最 后 对 隐 马 尔 可 夫 模 型 在人脸识别中的应用做了 详细 介绍,给出了 HMM 训练和识别的流程。 第一章 绪论 9 第三章:基于 局部二值模式 的 HMM 人脸识 别方法 。首先介绍了 局部二值模 式LBP 的 基 础 理 论 以 及 在 人 脸 识 别 中 的 应 用 , 然 后 引 出 三 种 改 进 局 部 二 值 模 式 : 多阈值 局部 二值 模式 εLBP 、增强 局部 二值 模 式ILBP 和局 部差分 模 式LDP ,并 从 原 理 上 分 析 了 三种 改 进 算 子 的 优 点 和 不 足 。 其 次 提 出 了 基 于 局 部 二 值 模 式 特 征 和 隐 马 尔 可 夫 模 型 结合 的 人 脸 识 别 方 法 , 通 过 实 验 讨 论 了 以 上 几 种 不 同 局 部 二 值 模式与隐马尔可夫模型结合的识别效果, 并与采用主成分分析PCA 、 离散余弦变 换DCT 和奇异值分解SVD 与隐马尔可夫模型结合的方法进行比较。 第四章:基于 局部 特征融合的 HMM 人脸 识 别方法。首先介绍了信息融合的 基本概 念和常用的信息融合手段。 然后着重分析 采用 εLBP 融合特征以及 αLDP 融 合 特 征 进 行 隐 马 尔 可 夫 人 脸 建 模 的 方 法 , 并 设 计 实验 从 识 别 率 和 训 练 、 识 别 时 间 两个角度来讨论采用融合策略方法的优势 。 第五 章 : 总 结 和 展 望 。 在全文工作 总 结 的 基 础 上 , 对 自 己 未 来 在 该 领 域 的 进 一步研究和发展进行了讨论 。 10 基于局 部特 征描