基于集成局部分块线性判别分析的人脸识别

基于集成局部分块线性判别分析的人脸识别 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知,除了文中特另;以标注和致谢的地 方外,论文中不包含其他人已经发 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 或撰写过的研究成果,也不包含 为获得南昌大学或其他教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确 的说明并表示谢意。 学位论文作者签名手写:胡杰、签字日期:沙洱易月日 学位论文版权使用授权书 本学位论文作者完全了解南昌大学有关保留、使用学位论文 的规定,有权保留并向国家有关部门或机构送交论文的复和磁 盘,允许论文被查阅和借阅。本人授权南昌大学可以将学位论文的全 部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描 等复制手段保存、汇编本学位论文。同时授权中国科学技术信息研究 所和中国学术期刊光盘版电子杂志社将本学位论文收录到《中国 学位论文全文数据库》和《中国优秀博硕士学位论文全文数据库》中 全文发表,并通过网络向社会公众提供信息服务。 、 保密的学位论文在解密后适用本授权书 学位论文作者签名手瓢粕未钟签名手瓢辩劣乡 / 年 签字日期:加 签字日期:加乙年月日 月日摘要 摘 要 近几年人脸识别越来越受到人们的关注和重视,许多研究机构和个人都投 入了大量的研究,提出了一些新的识别算法,但是大量的测试和实践表明,要 实现真正实用的人脸识别系统还有大量的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 有待解决,目前人脸识别性能主 要受到表情、光照、姿态、年龄、背景、图像质量和计算复杂度等问题的影响。 本文针对光照、计算复杂度等问题的研究,主要取得了以下几个方面的创新性 成果: 运用图像均匀分块的特征提取及其集成方法。小波具有 较好的生物视觉特性,能够很好的提取人脸图像的纹理特征,被认为是最好的 人脸表示方法之一,‘但是特征维数过高,不利于后续处理,本文使用均 匀分块的方式对特征进行分组,块与块之间允许重叠,对于每一组特征 单独使用主成分分析和线性判别分析 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 分类器,这样不仅降低了特征维 数, 而且使用多分类器集成的方法能够提高算法的分类能力。针对人脸不同部位产 生的分类器的分类能力应该是有差别的,例如包含眼睛、鼻子、嘴巴等重要器 官的图像子块分类能力明显要强于其他子块,因此需要给不同的子分类器分配 不同的权重,本文使用训练样本集每个图像子块特征向量的类间差与类内差的 比值作为各个子分类器的权值加权集成多分类器: 提出使用对数转换和局部归一化相结合的光照预处理方法。大量实验 表明光照是影响人脸识别的关键因素,如何消除光照变化对人脸图像的影响也 是目前研究最多的问题之一。对数转换能够扩展图像的低灰度区域和压缩图像 的高灰度区域,使整幅图像的灰度分布更加均匀,削弱光照变化的影响;局部 归一化能够提取人脸图像与光照无关的特征,但是在实际使用中会受到局部窗 口内高低灰度值差异的影响。本文分析了两种预处理方法的优缺点,提出对数 转换结合局部归一化的预处理方法,并通过实验结果说明了该方法的有效性; 提出使用类内加权的线性判别分析改进算法。线性判别分析是一种以 分类为目的人脸特征提取方法,但是传统的线性判别分析认为所有人脸图像 对 分类的贡献都是一样的,没有考虑边缘类的影响,本文通过对类内协方差矩 阵 加权的方式,在一定程度上增强了算法对边缘类的分类能力。摘 要 关键词:人脸识别;光照预处理;局部分块特征;多分类器融合;线性 判别分析丁丁 , .,, .,,,,,, . : . ., . . ,, . , ’ ,,,, , .. . . ;. . , , ;, . , .; . ,, .,,‘ ? . : ; ; ;; , 目 录 目 录 第一章绪论?. .研究背景和意义??. .人脸识别的研究历史与现状. .人脸识别的研究内容. .人脸识别的方法??. .本文主要工作. .论文主要结构. 第二章人脸数据库? .人脸数据库介绍.本文实验数据集.本章 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 第三章主成分分析和线性判别 分析??. .主成分分析? .. .正交变换? .. 在人脸识别中的使用?. .线性判别分析 . 结合在人脸识别中的应用??. .本章小结第四章小波特征?.. .小波变换. 小波变换??. .人脸小波特征的提取 .本章小结第五章 图像分块的特征提取及其集成?. .图像几何归一化?一 . 特征的分块和集成?. 目 录 .. 特征分块 ..多分类器集成. ..相似度计算?. ..分类器权值计算??. .分块大小以及重叠部分对识别性能的影响 .本章小结第六章 图像光照预处理?. .光线对人脸图像的影响.经典光照预处理方法 ..直方图均衡化. ..对数转换??. ..局部归一化?. .. 灰度校正??. ..离散余弦变换. ..对数边缘图?. ..相对梯度??. ..自商图. .光照预处理算法的改进.实验对比和分析.与其他识别算法的性能比较 .本章小结第七章类内加权的改进算法 .类内加权的?一 .实验对比与分析.训练集对识别性能的影响? .本章小结第八章 总结与展望. 致 谢. 参考文献目 录 攻读学位期间的研究成果?.第一章绪论 第一章绪论 本课题来源于年江西省科技支撑项目“基于警务综合平台的面像识别 系统”编号:和年江西省自然科学基金“大规模高性能 人脸识别算法研究”编号:。 .研究背景和意义 生物特征作为人的内在属性,因其具有个体差异性和较强的自身稳定性, 目前在身份识别验证方面得到了快速的发展。相比于现在大多数基于符号、密 码和验证卡等身份鉴别方式,生物特征具有不易丢失、伪造、窃取和携带方便 等优点。生物特征主要包括掌纹、虹膜、视网膜、指纹等,在市场上,基于视 网膜和指纹的识别技术已经非常成熟,广泛应用于安保、门禁等领域,但是由 于具有一定的侵犯性,这种方法有些人不能接受,比如担心在扫描视网膜的时 候会不会对其造成隐性的负面影响,与基于这些特征的识别技术相比,人脸识 别以其非接触、不侵犯性更容易被人接受,此外人脸识别技术在实际使用中还 具有结果直观、操作简单、样本采集方便、采集成本低和潜在数据资源丰富等 优点【。 人脸对于人类本身来说,无论年龄、表情和外部环境发生什么变化,都能 够很好的记住和识别出千千万万张不同的人脸,但是对于计算机来说,要想实 现自动记住和准确识别不同的人脸却是一件非常困难的事情,人脸的表面是一 个复杂的三维结构,加上面部肌肉的运动使其复杂多变,同时年龄和外部环 境 的变化,发型、胡须、眼镜等的存在以及成像条件的不同,使得正确识别异常 困难。人脸识别在世纪仍然是一项非常富有挑战性的课题,涉及到计算机视 觉、计算机图形学、人工神经网络、数字图像处理、模式识别、心理学、生理 学和认知学等许多方面的知识【,并且应用前景非常广泛,过去二十年来是其 研究的活跃阶段,具体应用领域如图.所示。 目前人脸识别在实际使用中主要存在以下几个难点【】: 光照的影响。在美国国防部的测试?和的测试【】中 表明光照的变化是导致人脸识别正确率急剧下降的最主要原因,光照过亮、过第一章绪论 暗以及侧光和偏光都会使人脸的特征产生巨大差异,在实际使用中光照的变化 是无法控制的,因此光照问题是目前人脸识别领域的研究热点和重点; 图.自动人脸识别系统的应用领域【叫 成像距离和角度变化的影响以及表情、饰物、发型等变化的影响。成 像时姿态的变化会造成人脸部位的部分遮挡以及不同部位的压缩、拉伸等变形, 表情、饰物、发型的变化也会引起人脸不同部位特征值发生很大改变,从而导 致识别率下降。表情、饰物、发型和姿态通过约束可以降低影响,但是在非可 控条件下还是影响人脸识别正确率的主要原因; 年龄的影响。不同年龄段得到的人脸图像有时候也会出现很大的改变, 在实际使用中无法做到及时去更新所有人脸图像库,无法保证人脸图像都是最 近得到的; 采集人脸图像设备的多样化。数码相机、摄像机和扫描仪等得到的图 像,由于成像原理有区别和图像分辨率的不同,混合使用不同采集设备的时候, 也会造成识别率下降; 图像数量巨大。人脸识别系统在有些应用场合人脸图像库非常庞大, 一般随着图像类别的增加,识别率会出现下降,同时识别需要做到实时性,因 此还需要考虑算法的复杂度,提高识别速度。 .人脸识别的研究历史与现状 于年最早提出了利用人脸进行识别的想法,至今已有一百多年, 这个时期人脸识别只是处于一种设想阶段,真正的人脸识别研究应该出现于上 世纪六七十年代,经过几十年的研究,目前人脸识别己广泛应用于公安、刑侦、 信息安全、企业和住宅的安全管理等领域。根据研究内容和使用算法的特点,第一章绪论 大致可以将人脸识别发展过程划分成以下三个阶段: 二十世纪六十年代中期到二十世纪九十年代初期属于研究的初级阶段。大 部分都是针对人脸几何特征的研究,几何特征就是使用人脸局部器官眉毛、 眼睛、嘴巴、鼻子、下颌等的大小、位置、弧度、相互之间的距离等几何关 系表示的特征值,这一阶段曾经也有人提出过使用人工神经网络的方法。总体 来说,初级阶段没有取得什么重要的成果,识别过程依赖于人工的干预,只是 一种半自动的人脸识别,无法得到实际应用。 二十世纪九十年代初期到二十世纪九十年代末期属于研究的活跃阶段。这 一时期取得的成果比较多,例如小波特征【 、离散余弦变换 ,特征‘和特征【等经典人脸特征提取方法的出现, 将外观统计模型和线性子空间分析法用于人脸识别也是这一时期被提出来的, 这些方法由于使用了更多的人脸底层特征信息,因此具有非常好的识别效果和 鲁棒性。年和提出的“”方法更是这一时期最重 要的发现,该方法已被证实是重构图像的最佳压缩方式。年和 通过对比实验得出使用模板匹配的算法要优于使用结构特征的算法,这 一结论和“”方法很大程度上推动了统计模式识别和线性子空间分析 法在人脸识别中的发展,逐渐结束了纯粹使用结构特征的算法的研究。目前的 主流算法方法、局部特征分析技术 , 和弹性图匹配算法 ,都出现在这个时期。总体 来说,这个时期伴随着高性能计算机的出现,人脸识别技术的发展异常迅猛, 同时由美国国防部资助的项目 在这一时期更是极大的推动了人脸识别 的实用化,这个阶段产生的算法在图像采集可控的情况下达到了很好的识别性 能,因此出现了一些著名的人脸识别公司,例如的系统、 的 系统等。 二十世纪九十年代末至今属于人脸识别发展的第三阶段。这一阶段主要是 针对图像采集在不可控条件下的研究,光照、表情和姿态等问题成为研究的重 点。利用图像的分析和合成技术的基于变形模型算法【.】比较好地解决了多 姿态和光照的问题,在和多姿态人脸库上得到了证实。基于统计学 ,.】在这一时期被引入到 习理论的支持向量机 人脸识别和确认中,其思想是在通过映射将训练样本在更高维的空间中构建一 个最佳分类平面。在人脸检测方面,和提出的弱分类器综合技术第一章绪论 取得了巨大成功,比较有代表性的算法如、 等。同时还出现了许多专门针对光照问题的处理方法,比如商图像法 【引、球谐函数法【.和光照锥法【.等。总体来说,在不可控条件下和基于 大规 模人脸数据库的人脸识别技术还不是很完善,实际使用中的表情、光照、姿态 等问题还需要进一步的解决,统计学习理论、非线性建模方法和学习 技术等是现阶段的研究重点和未来发展趋势。 国内人脸识别的研究到二十世纪八十年代才开始,比国外晚了近二十年, 目前在国家和自然科学基金的支持下,有许多的研究机构和高等院校开始 投入研究,并在人脸识别的各个方面都取得了不错的成绩和积累了许多宝贵的 经验。同时在国内也出现了一些比较好的商业人脸识别系统,比如清华大学的 系统内该、中科院计算所的系统和中国科学技术大学的人脸 考勤系统等。 .人脸识别的研究内容 我们可以将人脸识别简单的定义如下:对待识别的静止或动态图像,利用 已有的一个人脸图像库达到确认图像中一个人或几个人身份的目的。根据这个 定义可以将人脸识别的研究内容大致分为三大块:图像预处理、特征提取、人 脸身份识别,如图.所示。 一、图像预处理 由于在实际使用中图像一般都会受到外在环境因素的影响,比较典型的就 是光照影响,有时候同一个人在不同光照下得到的特征值比不同人在同一光照 条件下得到的特征值差别还要大,从而导致识别效果较差,为了消除这些不利 因素的影响,通常在图像特征提取之前会进行图像预处理。图像预处理可以分 为基于模型和基于图像处理技术两大类: 基于人脸模型预处理方法的理论基础是郎博凸表面理论,它将人脸近 似当作郎博表面,用光源、表面反射率和表面法向量来表示人脸图像,这样就 可以将人脸图像中光照等外在特征信息作为单独的变量进行建模,进而去除光 照等因素的影响。比较典型的算法有商图像法【、球谐函数法【’和光照锥法 】。基于模型的方法具有较完善的理论基础,但是在实际使用中受到的约束条 件比较多,因此得不到很好的应用;第一章绪论 人膝别 ;一一 图.人脸识别系统 基于图像处理技术预处理方法因其简单高效而被广泛应用,在使用中 没有任何约束条件,不需要假设和先验知识,也无需大量的训练样本。直方图 均衡化 ,是最常用的图像处理技术之一,它将图 像的直方图转换成均匀分布,扩展像素的动态取值范围,增强图像的整体对 比 度。直方图匹配 ,是将图像的直方图变换成预先 规定好的形状,属于的一种有效扩展,它比更加灵活,效果改善的更明 ,是一种非线性变换,通过扩 显。对数转换 张图像的低灰度区域和压缩图像的高灰度区域增强图像的对比度,使整幅图像 的灰度分布更加均匀。灰度校正 ,也 是一种非线性变换,通过值和图像像素值的非线性映射关系,可以对每 , 个具体的像素值进行适当纠正。离散余弦变换 主要用来消除单侧光的影响,首先将图像变换到域,然后去掉对单侧光 起主要作用的系数,最后再进行反变换到空间域,达到消除单侧光的影响。 二、特征提取 图像的特征就是可以用来表示图像的标志性属性,特征提取就是分析和处 理图像包含的各种信息,将那些不受外在因素干扰的特有属性提取出来。图像 特征按照表现形式分为点特征、线特征和面特征;按照提取区域的大小分为局 部特征和全局特征;按照提取形式可以分为视觉特征【.】图像的形状、纹理、 颜色、边缘等、变换系数特征【.郧小波变换、傅立叶变换等得到的系数、 统计特征【】图像矩的峰值、均值和灰度直方图等、代数特征【】对图像矩 阵 进行的代数变换、矩阵分解和奇异值分解等。第一章绪论 在特征提取时应该满足以下两个要求:区别性。提取的特征在特征空 间中必须具有同类聚集,异类离散的性质;独立性。提取的特征不受外在 环境因素的影响,具有较好的抗鲁棒性。 目前,国内外有大量的学者在研究良好不变性特征的提取方式,也提出了 许多好的特征描述参数,例如傅立叶变换描述参数、不变矩描述子、微分不变 描述参数等【。还有一些学者结合数学工具,提出了小波变换的多尺度特征等 方法【】。以上这些方法在模式识别和图像处理领域中都得到了非常广泛的应 用。 图像特征提取技术随着形态学、统计学、遗传算法、神经网络等方法的引 入,目前呈现以下发展趋势【: 多种特征的融合。可以利用图像灰度特征、视觉特征、代数特征和变 换系数特征等多种不同特征的结合更加全面的描述图像像素信息; 多种提取方式的融合。这样可以发挥各种方式的优势,弥补各自的不 足,例如,等人【 】提出先按照空间位置提取图像的幅值特征向量,然 后使用主成分分析 ,.】对特征向量降维, 最后通过线?分析 ,】分析得到最 终的人脸特征向量,该方法称为; 与图像分割相结合。人脸图像不同部位的特征值在实际使用中贡献度 是不一样的,睛、嘴巴等器官的特征比脸颊、额头等部位的特征在识别 中可分性更强,因此我们可以采取不同的分割方法根据实际使用的要求将特征 值按可分性强弱进行划分,对不同的块根据可分性强弱赋予不同的权值,提高 识别能力。 三、人脸身份识别 人脸身份识别就是将待识别人脸图像与己知人脸图像库中的图像进行对比 后得到识别结果的过程。可以将其分为两大类: 身份确认。确认是一个一对一的过程,它是在已知待识别人脸图像身 份的情况下,将其与已知人脸图像库中相对应的人脸图像进行对比,确定其身 份是否真实; 身份辨认。辨认是一个一对多的过程,它是在不知道待识别人脸图像 身份的情况下,将其与已知人脸图像库中的所有图像进行对比,根据相似程度 确定其身份。第一章绪论 总体来说,身份辨认比身份确认要更加复杂和困难。 .人脸识别的方法 人脸识别最开始使用的是基于特征的方法,通过一些几何方法来描述人脸 面部器官下颌、嘴巴、鼻子、眼睛等的大小、形状以及它们之间的结构关 系,这些描述结果就是人脸的几何特征,包括任意指定两点间的距离、角度、 曲率等。典型的人脸几何特征分量有眉毛的弧度和厚度、两眉之间的水平距离、 眉毛与对应眼睛中心处的垂直距离、眼睛的宽度和高度、眼睛中心处到对应耳 朵的水平距离、鼻子处脸的宽度、鼻子和嘴巴的垂直位置、高度、宽度等等??。 在实际使用中,由于这些特征点的位置比较难以精确定位,所以限制比较多。 世纪年代起,模式识别的理论越来越成熟,出现了基于图像的人脸识 别方法,即使用图像本身的灰度信息,和基于特征的方法比起来,具有信息更 加丰富和鉴别能力更强的优点。图像直接匹配就是其中最简单的一种,但是这 种方法受到计算量的限制和容易受外在因素的干扰,例如光照、噪声、表情等。 同时不少研究者开始将神经网络引入人脸识别中,比较典型的有 网络【】、卷积网络阿和决策网络【】等,由于神经网络本身具有过 学习、对初值敏感和网络结构确定等问题,所以限制了其进一步的发展。年 代初,子空间特征得到了广泛应用,.】是比较常用的子空间特征提取方法 之一,它通过计算训练集的总体离散度矩阵,然后使用.变换准则求出相应 的特征矢量,使用方法可以很大程度上减少样本特征的数量,达到很好的 降维效果;独立分量分析 ,是一种 非正交的多对多的线性坐标变换方法,和类似,也是通过训练集来获得一 个特征子空间,但是提取的特征能够更好的反应人脸的局部信息,因为 方法对特征空间的各个子分量都是独立统计的;.是一种从高维特征空 间中提取出判别能力最强的低维特征的方法,它能够使人脸样本的投影在这 个 低维子空间中具有最佳可分性,即同类样本尽可能的聚集在一起,不同类样 本 尽可能分开,这种算法属于目前主流算法之一,为了进一步增强分类识别能 力, 很多学者提出了不同的改进算法,例如直接线性判别分析法 ,.】、零空间法【】、基于核学习的改进算法盼、 二维子空间算法阻等。统计学习理论的进一步发展,推动了.】、第一章绪论 算法【.】和基于核函数的算法?,在人脸识别中的应用。年等人提 出了另一类重要的算法,弹性图匹配【,它将人脸表示成属性拓扑图,提取人 脸局部特征的同时,保留了空间拓扑信息,而且具有一定的弹性形变,在使用 中识别性能表现不错,但是计算复杂。 神经网络、子空间分析法和弹性图匹配算法是目前人脸识别中使用最多的 三类算法,各个算法都有各自的优缺点,而人脸识别是一项复杂多变的工作, 为了更好更全面的解决实际问题,经常会采取多种算法结合的方式。 .本文主要工作 本文首先学习了特征原理和提取方法,在此基础上学习使用和 生成分类器的方法,另外为了减少光照对人脸识别的影响,对目前经典的 人脸光照预处理方法进行了研究学习。在学习这些知识的基础上,分别提出 了 基于图像均匀分块的特征提取方法及其集成;提出了的类内加权改 进算法;提出使用对数转换结合局部归一化的综合光照预处理方法。本文所做 的具体的工作可以归纳为以下几点: 学习使用小波变换提取人脸特征的方法,使用图像均匀分块的 方式对特征进行降维,通过块之间的重叠进一步提高特征的分类能力; 学习各种经典的人脸识别光照预处理方法,分析各种预处理方法的优 缺点,提出使用对数转换结合局部归一化的综合光照预处理方法,有效提高了 算法对光照变化较大的人脸图像的识别效果; 对进行深入研究学习,分析和学习的各种改进型算法,例 如、零空间法、二维子空间算法等等,在此基础上,对类内协方差矩阵 进行加权处理,提高了的分类能力; 为了进一步提高多分类器的分类能力,使用训练样本集每个图像子块 特征向量的类间差与类内差的比值对各个子分类器进行加权的多分类器集成方 法。 .论文主要结构 第一章,介绍人脸识别的研究背景和意义、研究现状和研究内容,以及本 文的主要工作和论文的主体结构。第一章绪论 第二章,简单介绍了本文用到的一些公共人脸库,通过表格的形式给出本 文所有实验中用到的各个测试集和训练集,以及实验所用的硬件环境。 第三章,详细介绍和方法。介绍了.正交变换,针对算 法的一些缺陷,简单介绍一些的改进算法,详细阐述了使用结合 提取人脸特征的具体过程。 第四章,主要介绍小波变换,小波特征及其在人脸识别中的应用。 第五章,介绍了基于图像分块的特征提取方法及其集成,给出了特 征向量相似度的计算方法以及各子分类器权值的计算方法,并通过实验阐述了 分块大小以及重叠部分对识别性能的影响。 第六章,详细介绍经典的光照预处理方法,例如直方图均衡化、对数 转换、离散余弦变换、灰度校正、自商图 ,、局部归一化 ,、对数边缘图 ,等,为了进一步消除光 印,和相对梯度 照对人脸图像的影响,提出了使用对数转换结合局部归一化的综合光照预处理 方法,通过实验对比证实了改进算法的有效性。比较改进算法和目前一些主要 的人脸识别算法,说明了该算法在识别光照变化较大的人脸图像时的优异性能。 第七章,提出了类内加权的的改进算法,通过实验结果说明该算法要 优于传统算法以及.. 算 法。为了说明训练集对识别性能的影响,设计了两个不同的训练集对. 人脸库进行测试。 第八章,总结本文的工作和不足之处,对需要进一步研究和改善的地方进 行展望。第二章人脸数据库 第二章人脸数据库 目前人脸识别的性能主要受到表情、光照、姿态、年龄、背景、遮挡等因 素的影响,为了测试各种算法受这些因素影响的程度以及对比不同算法的优劣, 就需要包含这些变化因素的人脸数据库。因此人脸数据库的质量和数量对于人 脸识别的研究发展非常重要。需要指出的是目前所有的公共人脸库都是在可控 条件下采集的人脸图像,而且大部分数据库所包含的人数较少不超过个, 所以这些人脸库不能很好的用来评价实用的人脸识别系统性能的好坏,只能用 作研究性实验以及改进识别算法。下面介绍本文用到的一些公共人脸数据库。 .人脸数据库介绍 、.人脸库【 目前常用的大型人脸库大部分都是西方人,而东西方人种的脸部特征有较 大的差异,这样就会给国内人脸识别系统的应用造成不利影响,因此,中科院 实验室建立了一个多样化的大型中国人脸库.,共包含个人 的张头肩部图像,主要涵盖表情、饰物、光照、年龄、姿态等不同变化。 该人脸库还定义了标准的测试集和训练集。 、人脸库【 该人脸库由美国的项目创建,共包含张不同光照条件下的多 姿态灰度人脸图像,其中大部分为西方人,是目前人脸识别领域中使用最广 泛 的人脸库之一。人脸库定义了不同的测试集、训练集和。 、人脸库俐 该人脸库是年由西班牙的巴塞罗那计算机视觉中心所创建,共包含 个人的张图像,涵盖了表情、光照、遮挡、老化等不同变化,整个人脸库 是分两个不同时间段采集的,间隔两个星期。 、人脸库四 该人脸库由耶鲁大学计算机视觉和控制中心所创建,共包含个人的 张图像,涵盖了表情、光照、姿态等不同变化。 、 佥库【 第二章人脸数据库 该人脸库也是由耶鲁大学计算机视觉和控制中心所创建,共包含个人的 张不同光照条件下的多姿态人脸图像,其中的光照和姿态变化是在严格控 制条件下采集的,主要被用来对姿态和光照问题建模和分析。 、人脸库【】 该人脸库由剑桥大学实验室所创建,共包含个人的张人脸面 部图像,涵盖了微小姿态变化、表情变化以及%以内的尺度变化。属于早期 的一个人脸识别测试数据库。 、人脸库【】 该人脸库由德国伯尔尼大学创建,共包含个人张具有不同姿态变化 的人脸正视灰度图像和张侧视图像。 、人脸库【】 该人脸库是由英国斯特林大学创建的一个用来研究心理学的人脸图像数据 集。 、和人脸库 这两个人脸库是中科院实验室内部组建的两个用来测试人脸识别性能 的中国人正面人脸数据库,共包含个人张具有不同表情变化的人 脸正面图像,包含个人张具有表情、姿态和光照变化的人脸正 面图像。 .本文实验数据集 为了更好的体现算法在实际运用中的效果,本文实验中使用的所有测试集 和训练集完全来自不同的人脸库本文所有实验运行的硬件环境如表.所示。 测试集采用中国人人脸库.和西方人人脸库,. 人脸库 包含姿态图像库和正面人脸图像库两个子库,本文采用的是正面人 脸 图像子库,其中共包含个不同的测试集,张图像,如表.所示;】 人脸库共包含个不同的测试集,张图像,如表.所示;因为东西方人 人脸特征存在差异,所以在测试.人脸库时采用东方人人脸库作为训 练集,共包括人、张东方人人脸正面图像,如表.所示:在测试 人脸库时采用西方人人脸库作为训练集,共包括人、张西方人人脸正 面图像,如表.所示。第二章人脸数据库 表.实验的硬件环境 服务器 试验机器木。主频.,核数 内存 操作系统开发::具 表. .测试集 数据集 人数个 图像数张 变化种类 正面平视,均匀光照,无饰物,中性表情 原型集木 表情 光照 三 饰物 测试集. 背景. 距离时间 中性表情的标准正面图像没有包括在内 表. 测试集 说明 数据集 人数个 图像数张均匀光照条件 原型集 同一天采集,均匀光照,表情不同同一天采集,不同的摄像头 测试集天内不定期采集,有光照变化 .的子集,至少个月后采集 . 表. .训练集 人数个 图像数张 人脸痒 总计 第二章人脸数据库 表. 训练集 人脸库 人数个 图像数张 】 】 总计 .本章总结 本章简单介绍了本文实验中所用到的所有人脸数据库,给出了本文实验所 用的计算机硬件环境,详细介绍了本文所有实验中用到的各个训练集和测试 集 的人数、图片数以及测试集所有子集的具体情况。第三章主成分分析和线性 判别分析 第三章 主成分分析和线性判别分析 主成分分析和线性判别分析都属于基于统计的特征提取 方法,都是通过对大量训练样本数据进行分析,提取相应的统计特征。因为提 取的特征的维数一般要远小于人脸图像的原始特征维数,所以此类算法也称为 子空间分析法,是目前人脸识别中最常用的特征提取方法之一。 .主成分分析 随的基础是.正交变换,其原理就是使用较少的综合变量来代替 原始数据中较多的变量,综合变量之间互不相关,从而减少变量之间的冗余, 同时最大限度的保持原始数据的信息,使数据能在一个较低维的空间进行处理, 是一种最优的正交线性变换,广泛应用于图像压缩。 在人脸识别系统中,使用主成分分析提取人脸特征的方法也称为特征脸方 法。它将人脸看成是一组随机向量,使用主元分析从训练图像集中 获得一组特征脸图像,其他任何人脸图像都可以通过这些特征脸图像的线性组 合近似表示,组合的系数就是人脸的特征向量,将待识别人脸图像投射到特征 脸子空间进行分类识别。但是提取的特征容易受到光照、表情、尺度变换 等外在因素的影响,另外提取的只是人脸最佳的描述特征,并不是最好的 分类特征,因此单一的人脸识别方法在实际使用中识别率较低,一般都会 结合其他的算法一起提取人脸特征,本文就是采取结合算法一起进 行特征选取。 .. .正交变换 设是一个/维的随机变量,可以表示为加权基向量之和。 三生 .. ?,谚 其中谚.,?,。表示正交基向量,谚,妒,毛 ;‘,口,表示相应的系数, 将式..改写成近似的有限维基向量之和。 . 卫 .. ?口,谚第三章主成分分析和线性判别分析 我们希望和近似值之间误差最小,即均方差仃最小。 仃研?一? .. .. ?口,矽, / 因为谚,,?,是归一化正交基向量,所以将式..代入..得: 研?衫??口,谚】 .. 研??,杉谚 ?口刃 令: .. 衫杉?口,矽, , 由谚,,,?,是归一化正交基向量得: .. 口,矽 将..代入..得: 盯研?衫’肠厂力】 ,, .. ?杉 ’?, / ?杉峨 , 其中 ,称为?的自相关矩阵,利用拉格朗日乘子求解均方差仃 的最小值,构造如下函数: 哆??峭一?乒,【‖’力一 .. / 对办求偏导得: ,矽,乃矽,,,?, .. 哆就是自相关矩阵,的特征值乃对应的特征向量,均方差盯?乃,设 五?五???乃??,则提取杪的前个最大的特征值对应的特征向量作为变换 坐标系,则可使均方差仃最小。第三章主成分分析和线性判别分析 .正交变换具有以下特性: 系数口,和,之间互不相关。计算口,和口,乘积的期望值得: .. ,口,‖。矽,】‖允,?,兄,瓯 : 可知,系数方差的大小就是对应的特 其中,::;:‘,从式.. 征值,所以特征值五,越大,表示沿对应的痧轴提取的分量的方差值越 大,包含的信息量就越大; .变换后的相关矩阵是对角矩阵。设变换后的样本向量为: %,口,,?,口’,】,的维数大小为,则: 口】口】..】 ‘ % .. 人 ?? ? 乃 八表示对角矩阵,式..表明.变换消除了各分量之间的相关性。 .. 在人脸识别中的使用 的实质就是.正交变换,通过消除向量中各分量的相关性提取观测 变量的主成分,.变换中求解的正交基向量就是对观测变量提取的主成分。 在人脸识别中主要用来提取特征值或者对特征值降维,使用求解人脸 图像特征子空间的具体步骤如下: .?,?表示中第个 已知人脸图像训练集.,,.一,?,誓 人脸图像向量,?表示训练集人脸图像数,表示,的维数。求解 的总体散度矩阵..,即.变换中的自相关矩阵。.. 寺?一一‖誓一‖第三章主成分分析和线性判别分析 ‖表示训练样本集所有人脸图像的平均向量; ‖专娶.. 使用奇异值分解方法求解的特征值乃浮,,?,及其对应的特征 向量勿,,?,。乃值的大小是按降序排列,即?丑???九, 乃值越大表示对应的特征向量谚对特征子空间的贡献度越大; 选择?个特征向量组成特征子空间炸酬破,欢,?,九。大 小的确定主要是根据经验确定或者通过计算主成分的贡献率孝来确 定,取使式..成立的最小值三为: . .. \’。一。一。, 』丛一?.?? 一,?一 兄. ‘ , 将图像投影到特征子空间。 .. % 表示原图像的特征向量,表示投影到子空间后得到的人脸特征向量,即 特征脸。 .线性判别分析 】的原理就是寻找一个投影方向,所有样本在这个方向的投影能够 实现类间离散度最大化和类内离散度最小化,即能够使同类样本尽量聚集, 不 同类样本尽量分开。是以分类为目的的特征提取方法,所以在人脸识别中 要优于,图.给出了和分别在两类问题上求解投影子空间的情 况,从中可以看出,经过投影后的子空间分类能力明显好于经投影 后的子空间。因为使用的是准则函数,所以也称为线性判别分析 ,。准则函数为: 形 。矽 ‘ 呀砖捌 形表示投影方向,表示类间离散度矩阵,。表示类内离散度矩阵。氐和 ..的定义分别如式..和式..。 上 .. ??‖,一‖‖,一‖。第三章主成分分析和线性半 分析 .. ???一‖,《?一鸬 ,; ??』, 表示样本的类别数,?,汪,,?表示第类样本的数目,‖寺?誓,表 示所有样本的均值向量,表示样本总数目,表示第/个样本向量,表示 射类样本,?表示第,类的第七个样本向量’ 寿,毛.?表示第,类样本 的均值向量。 :/ ; ?“? ‘? 夕 : 。、,扩 \ 。 ’? 一?墨‘ 。’. 斗 :梦 \ ? 囊。舻 ? / 文 , / 气。? : 。 / : , , 毪 嗣 “ ’飞 / \ 图. 和对两类问题投影子空间求解的比较【】 式..可以用拉格朗日乘子求解,令‖’。亭?,构造拉格朗曰函数: .. ,旯。瓯?。。一善 五表示拉格朗日乘子,式..对形求偏导得: .. 、 ” ” ?:形一 ‖ 令其偏导数等于得: .. ’。第三章主成分分析和线性判别分析 矽’表示使..中取得最大值时的‖,在鼠.非奇异的情况下,式.. 两边同乘。。得: .. 。,‘‖’ 所以就是求解.的特征值问题,形’就是由最大的?玎个特征值对 应的特征向量组成,刀表示样本维数。 当?刀时,即样本的数量不小于样本的维数时,鼠.是非奇异的,但是在 ,时,鼠.很可能是奇异的,这样就无法对鼠,求逆,即存在小样本问题。为 了克服这种缺陷,目前有很多研究者提出了不同的改进方法,例如常用的 结合方法,先使用对原始样本集进行降维,从而保证鼠.的非奇异性; 采用直接线性判别分析.先将的零空间去除,然后再在的列空 间上求解最小化类内离散度;零空间法【】是通过只使用鼠,零空间的判别信 息来 避免对。求逆。 从类间离散度矩阵的定义式..可以看出,对于类问题,墨的秩最多为 一,从而得到的投影向量最多也只能是一个,在类别数较少的情况下,就 会存在特征数量不足的缺陷。针对这个问题,等人提出了 算法,通过迭代的方法计算判别特征, 这样避免了特征数目会受到类别数的限制;提出了 算法,这种方法最多可以得到和原始特征维数相同大小的 特征数。但是在人脸识别的实际使用中,类别数一般比较大,所以本文使用 的线性判别分析是传统的算法。 . 结合在人脸识别中的应用 本文首先采用对原始训练图像特征进行降维,然后使用算法生 成特征子空间作为最后的分类器,具体计算步骤如下: 使用算法计算出原始训练样本集?×五,‖一,?的特 征子空间%刚?×聊,?表示样本总数,誓『,,?,表示维数 大小为的图像原始特征向量,表示特征子空间的维数,得到训练 样本集在空间的投影矩阵巧洲?×。。具体过程参考 ..节; 在耳矧特征空间上分别使用式..和..计算类间协方差矩阵以第三章主成分 分析和线性判别分析 及类内协方差矩阵’然后通过求解一的特征值和对应的特征向 量来得到的特征子空间。?×,表示特征子空间的维数, 得到样本集在空间的投影矩阵删? ?耳。; 求出最后的特征子空间?×孵?形?。通过肜求解不同人脸 ,表示图像原始特征向量,最后 图像在子空间的特征向量 对不同人脸图像在特征子空间形上的特征向量求解相似度,对人脸 进行识别。 .本章小结 这一章详细介绍.正交变换的原理及其特性,在此基础上阐述了主成分 分析在人脸识别中的使用过程,介绍线性判别分析的使用原理以及存在的小 样 本和特征量不足等缺点,针对不同的缺陷简要介绍了目前一些改进算法,分 析 了使用和提取特征在分类中的区别,详细阐述了结合提 取人脸特征的具体过程。第四章小波特征 第四章小波特征 小波变换【】是一种时间和频率的局域变换,在空间域和频率域具有 多尺度多方向的细化分析能力,每一个核函数对信号的处理类似于生物 的视觉系统中视觉神经元的感受视野,能够很好的提取人脸图像的纹理特 征。 小波变换可以消除图形直流分量的影响,具有对光照变化不敏感的特性, 滤波使用的高斯函数允许人脸图像具有一定的变形或扭曲,能够提高人脸 识别的鲁棒性,因此特征是目前被认为最好的人脸表示方法之一。 .小波变换 年地质物理学家首先提出了小波变换,年和 在分解地质信号的时候引进了平移和伸缩公式,第一次提出小波 这个名词并解释了小波的概念,年著名数学家从数学上 建立了小波分析的基本理论体系,至此的二十年,小波得到了蓬勃发展。 由于傅立叶变换是时频域的全局性变化,是一种将时域和频域完全分离的 方法,只能提取信号的全局信息,无法获取局部信息,这种方法只能很好的分 析平稳信号,不能较好的分析非平稳信号,因此建立在傅立叶分析基础上的传 统信号理论,在实际使用中受到了一定的限制。小波变换属于时间和频域上的 局部变换,在时域和频域上都具有较好的局部化特性,通过时间和尺度函数能 够很好的分析非平稳信号,利用平移和伸缩运算能够实现对信号或者函数的多 尺度细化分析,克服了傅立叶变换的缺陷,被称为“数学显微镜”。目前小波 分析广泛应用于图像处理、语音识别与合成、语音与图像编码以及信号处理等 领域。 小波变换主要是利用一个母函数在时间上的平移和尺度上的伸缩来得到 一组函数,然后通过这些函数去逼近或者表示待分析的函数或者信号,这样就 能够实现对各种频变成分信号的有效分析。小波母函数定义为: 设?,为实数集,其傅立叶变换为: 甲国少. ‘.. 如果满足:第四章小波特征 .. 学? 则,就是小波母函数,也叫基本小波。,具有以下性质: 直流分量为零。由式..可知,当时,必须满足,这 样才能保证.,,为有限值。代入式..得: 甲 渺 .. 因此,,只含有交流分量,其在,轴上的取值有正有负,这样才能保证 在,轴上的积分为; 小波的可容许条件。从式..可以看出,要保证。为有限值, 必须满足连续可积和快速衰减的条件,即在一个很小的区域外函数的 值为。 ‖,通过平移和尺度伸缩可以生成如下的一组函数:口?尺,口, 三兰 .. 孙:? ‖曲就是生成的小波基函数,表示尺度参数,表示平移参数,由 于和可以连续变化,所以神,是连续小波。表示具有伸展性, 表示,具有压缩性;表示一个小波函数在轴的平移位置,基本小 波以原点为中一,而小波基函数是以点为中心。 连续小波变换就是小波基函数曲,和信号函数厂,的内积,定义为: ,/,,孙,/,,。。 .. :们衍沙坐 ,?‖ 通常称暇口,为小波变换系数。因为小波函数具有和两个参数,所以 通过小波变换后,时间函数将会被投影到时间尺度的二维平面上,这样能够 更 加方便的提取出信号的一些本质特征。由以上可知小波变换具有以下特点: 能够覆盖整个频域; 具有“变焦”特性,即多尺度分析。当逐渐由小到大变化时,时域 和频域分辨率就会发生改变。低频时可采用低时间分辨率和高频率分 辨率,即值较大的宽分析窗口;高频时可采用高时间分辨率和低频 率分辨率,即值较小的窄分析窗;第四章小波特征 通过滤波器的选取,可以尽可能的减少所提取特征中不同特征之间的 相关性。 . 小波变换 小波定义为: 和? ‰。学叫.么仃 其实质就是一个经过高斯包络函数调制过的平面波,如图.所示。 蒸?; 图. 小波核函数计算过程示意图四 卸川表示空间位置,和‖嬲表示 式中七刖 虬愧搿 小波滤波器的方向和尺度大小,。表示平面波矢量,。/”, 九掣/,。。表示最大频率,矽。表现滤波器的方向选择性,厂表示 频域内核函数空间因子,仃表示高斯窗的尺度因子,决定窗口宽度与波长的 比 例大小。 式..右边方括号内的第一项是一个复数平面波,实部和虚部分别表示余 弦和正弦平面波,第二项是一个补偿项,用来消除直流成分对变换的影 响,一监笔蛐出表示高斯包络函数,监等监是对能量谱衰减的补偿。 幻 仃 / ..式定义的核函数表示一个函数族,它可以通过对某一个基函数 进行尺度伸缩、旋转以及平移等操作得到不同的自相似函数,因此称为 小波。通过对尺度‖和方向的设置,可以得到不同的核函数,核函数的 实部和虚部形状相似,相位不同,图.表示常用的尺度方向的核 函数的实部,表示的是核函数的模。第四章小波特征 尺度方向核的实部 核的模 图. 核【】 .人脸小波特征的提取 利用小波变换提取人脸特征的过程可以分为以下几个步骤: 首先需要确定方向和尺度大小。在实际使用中一般都是使用尺度 方向的滤波器,即‖,.,,,,.,,,.,,共可 以得到个小波函数; 将得到的小波函数和输入的图像进行卷积运算。 .. 。,:木?: 由于直接卷积运算的预算量非常大,为了提高预算速度,一般使用傅 立叶求解,根据卷积定理得: .. ,?,。:』:】×/?.。: 然后再进行反傅立叶变换得: .. 。:叫,:×。: ?,:是复数形式,快速变换的流程如图.。图.给出了 第四章小波特征 人脸图像经过变换后得到的幅不同的相位图谱和幅值图谱, 从中可以看出,相位特征变化比较剧烈,幅值特征变化缓慢,相对比 较稳定,所以我们直接取其幅值。,:作为提取的人脸特征值; .. 耻:?.。:删.。:,。卵 生成人脸特征向量。经过第步生成的所有特征值构成如 下的人脸特征向量: .. .,.,?,.,.,,,?,, ?,表示在尺度‖方向的情况下得到的一个人脸图像的行向量; 特征降维。以一副×大小的人脸图像为例,得到的特征向量维 数为××,维数过高导致后续的计算非常麻烦,而且 相邻特征之间具有高度的相关性,所以可以通过均匀采样或者 窗口采样的方式对特征进行降维处理。均匀采样可以使用等间 隔的方式或者窗的方式进行,等间隔采样因子,,,?,例如 ,采样后的维数为/;窗口采样可以取×、×、 ×??,例如采用×的窗口采样后的维数为/, 从而大大降低了特征维数,而且在人脸识别中对识别效果的影 响非常小。 图.快速变换流程图】熏曩蠢震曩重曩蟹 蓬羹震糜豳羞圈? 重垂豳震六雕豳蟹 藿熏箧熏酬?震重 垂蠢雕黼融瓣缓墓 ?一一????? 冒一?????一 圈?一圈??一一 豳???薯??一 ???歪??区一第四章小波特征 域和频域具有多尺度多方向的细化分析能力,与人类的视觉系统比较相似,所 以能够很好的提取人脸图像的纹理特征,具有较强的鲁棒性;最后详细分析了 使用变换提取人脸特征的过程、快速变换以及特征降维。第五章 图像分块的特征提取及其集成 第五章 图像分块的特征提取及其集成 特征虽然能够非常有效的表示人脸,但是存在维数过高的缺陷,不利 于后续处理。使用图像分块的方式将特征进行分组,针对每一特征子集提取一 个子分类器,这样不仅可以降低特征维数,而且根据集成学习原理,多分类器 集成系统的推广性能要优于单个分类器,此外,分块的方式还能更好的在提取 的特征中体现人脸局部信息,例如眼睛、嘴巴、鼻子等,人脸是具有明显结构 的,这些空间位置关系的信息对识别非常重要,所以分块能够克服提取特征时 对人脸局部信息忽略的缺点。 .图像几何归一化 所有图像在使用前都要进行图像几何归一化处理,去除图像背景,通过给 定图像的人眼坐标,使用缩放、旋转、裁剪等操作对所有图像进行统一的对 齐 处理,几何归一化后只保留图像的人脸部分。处理前和处理后的图像分别如图 .所示。 原图像 几何归一化后的图像 图.图像几何归一化第五章 图像分块的特征提取及其集成 . 特征的分块和集成 为了克服特征的维数过高的缺陷,一般可以采取均匀下采样或者窗 口采样等方式降维,但是这种降维方式如果采样间隔或者窗口比较大的话,就 会损失大量的有用信息。文献提出了使用图像分块的方式将特征进行分组, 降低特征维数,使用结合对每一特征子集提取一个子分类器。为了 增强各个分类器的判别能力,块与块之间采取重叠的方式。 .. 特征分块 特征提取之前使用图像几何归一化将人脸图像裁剪成只包含人脸部分的 ×大小的图像,如图.所示。特征使用尺度方向的幅值特征, 本文采用均匀方块的方式对图像进行划分,各分块之间允许重叠,分块之后一 张图像可以得到船个特征向量。图.给出了图像分块的特征提取 的示意图,首先对整张人脸图像进行小波变换,选取其中的幅值作为人 脸特征,从而得到个特征图谱,如图.所示,然后再将所有的图 谱均匀划分成玎块,将所有落在同一子块内的特征值组成一个特征向量 : 彳参:誓’??‘”,’??,”,‖,,? ,,,?. .. :。表示在图像坐标,处,第‖个尺度和第个方向的特征值,,’ 和只’表示第,个块左上角的坐标值,”和‖表示第,个块右下角的坐标值。 图.图像分块的特征提取示意图