基于FRFT和LBP的笑脸识别

———————————— 基金项目：国家自然科学基金资助项目(61071211) 作者简介：张丽丽(1986－)，女，硕士研究生，主研方向：模式识别，图像处理；齐 林，教授、博士生导师；郑 宁，博士研究生 收稿日期：2011-12-13 修回日期：2012-02-03 E-mail：zhangli95yuan@163.com 基于 FRFT 和 LBP 的笑脸识别 张丽丽，齐 林，郑 宁 (郑州大学信息工程学院，郑州 450001) 摘 要：利用 FRFT 的时频双重特性和 LBP 算子能提取纹理图像微小特征的优点，提出一种将分数阶 Fourier 变换(FRFT)与局域二值模式 (LBP)算子相结合的笑脸识别算法。对训练样本进行分数阶 Fourier 变换，取其变换的幅值信息作为脸部表情特征，与 LBP 融合进行分类判 别，同时采用总体识别率和笑脸识别率统计结果，在 RML 表情数据库进行仿真验证。实验结果表明，该方法在笑脸识别中相比其他方法 的识别性能更好。 关键词：笑脸识别；分数阶 Fourier 变换；特征提取；局域二值模式算子；Gabor 滤波器 Smile Face Recognition Based on Fractional Fourier Transform and Local Binary Pattern ZHANG Li-li, QI Lin, ZHENG Ning (Information Engineering School, Zhengzhou University, Zhengzhou 450001, China) 【Abstract】For time-frequency characteristics of Fractional Fourier Transform(FRFT) and Local Binary Pattern(LBP) operator have advantages in extracting texture feature, this paper proposes to combine FRFT with LBP for recognizing smile emotion. It takes the amplitude information of transformed FRFT as facial feature, fuses LBP and discriminates smile with proper classification criterion. At the same time, the overall recognition rate and smiling face recognition rate are used to express experimental results. Compared with other methods, simulation results in RML expression database show that the method is effective for smile recognition. 【Key words】smile face recognition; Fractional Fourier Transform(FRFT); feature extraction; Local Binary Pattern(LBP) operator; Gabor filter DOI: 10.3969/j.issn.1000-3428.2012.20.043 计 算 机 工 程 Computer Engineering 第 38卷 第 20期 Vol.38 No.20 2012 年 10 月 October 2012 ·人工智能及识别技术· 文章编号：1000—3428(2012)20—0169—03 文献标识码：A 中图分类号：TP391.43 1 概述 近年来，表情识别逐渐成为计算机视觉和模式识别领 域的一个研究热点，并且在人机交互、情感机器人等方面 得到了广泛的应用。表情中极为重要的微笑识别也日益受 到关注，特别是随着笑脸 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 相机的商业化使用，提高笑 脸识别率已成为一项迫切的任务。 基于几何特征 [1-3]进行的笑脸识别虽然减少了输入的 数据量，但丢失了一些重要的分类信息。基于频域特征[4-5] 的笑脸识别特别是 Gabor 波得到广泛的应用，然而基于分 数阶 Fourier 域的笑脸识别还未得到详细研究。本文把人 脸面部的整个区域作为处理对象，采用基于分数阶域的特 征提取方法进行笑脸识别。 分 数 阶 Fourier 变 换 (Fractional Fourier Transform, FRFT)[6]是传统 Fourier 变换的一种广义形式，它具有时频 双重特性，同时包含了信号的时域信息和频域信息。如果 信号的 Fourier 变换可看成将其在时间轴上逆时针旋转 π/2 到频率轴上的表示，则分数阶 Fourier 变换是信号在时间 轴上逆时针旋转任意角度 α 到 u 轴上的表示(u 轴被称为分 数阶 Fourier 域)。随着分数阶从 0 连续增长到 1，分数阶 Fourier 变换展示出信号从时域逐步变化到频域的所有变 化特征，变换结果包含的空域和频域的特征比也不同，那 么不同阶次下的特征对表情识别的贡献率也不一样。随着 阶次的变化，有可能在某一阶次下，分数阶 Fourier 变换 提取的特征较易分类。文献[7]把分数阶 Fourier 变换后的 相位信息作为特征提取，应用于表情识别中，然而对幅度 信息并未进一步说明。 局域二值模式(Local Binary Pattern, LBP)[8]是一种有 效的纹理描述算子，可以对灰度图像中局部邻近区域的纹 理信息进行度量和提取。对表情图像利用 LBP 算子进行 编码，然后将整个人脸划分为若干个区域，对每个区域进 行直方图统计，大大降低了表情图像的特征维数。 基于此，本文提出一种结合 FRFT 与 LBP 的笑脸识别 算法。FRFT 是非保实变换，取变换后的幅值信息作为特 征向量；然后进行 LBP 变换，不仅能有效地进行特征提 取，还能达到降维的效果，最后采用合适的判别准则进行 表情分类。 170 计 算 机 工 程 2012 年 10 月 20 日 2 特征提取 特征提取是人脸表情识别系统中最重要的部分，特征 提取的目标是提取出能够较好表征表情变化的特征向量， 这些向量能够表示人脸表情的本质特征，有效的特征提取 将使识别的性能大大提高。 2.1 二维分数阶 Fourier 变换 二维 Fourier 变换的变换核定义如下： 1 2, 2 2 2 2 (1 jcot ) (1 jcot ) ( , , , ) . 2 j( ) j j( ) jexp( )exp( ) 2 tan sin 2 tan sin p pK s t u v s u su t v tv             (1) 其中， 1 / 2p   、 2 / 2p   表示信号通过二维 Fourier 变换后的旋转角度。 在变换阶数 1p 和 2p 给定的情况下，信号  ,f s t 的二 维分数阶 Fourier 变换定义为：       1 2 1 2, , , , , , , d dp p p pF u v f s t K s t u v s t       (2) 其变换核为：       1 2 1 2, , , , , ,p p p pK s t u v K s u K t v  (3) 从式(3)可以看出，变换核是可分离的。因此，二维离 散分数阶 Fourier 变换过程可转换为 2 次一维离散分数 Fourier 变换，分别对二维离散信号的行列向量进行一维 离散分数 Fourier 变换，即可得到二维离散分数阶 Fourier 变换。 2.2 图像分数阶 Fourier 变换的幅度特征 分数阶 Fourier 变换是复变换，图像经过分数阶变换 后 含 有 幅 度 信 息 FRFTA(Fractional Fourier Transform Amplitude)和相位信息 FRFTP(Fractional Fourier Transform Phase)。假设   1 2, ,p pF u v 是二维图像  ,f x y 的二维分数阶 Fourier 变换，那么把   1 2, ,p pF u v 分解成幅度部分和相位部 分，即：           1 2 1 2 1 2 1 2 1, 2 , , , , , , , , , p p p p p p p p p p F u v F u v P u v A u v P u v     (4) 其中，     1, 2 1 2, , ,p p p pA u v F u v 为幅度函数。 由于分数阶变换具有周期性和对称性 [6]，即分数阶 Fourier 变换阶次周期为 4，即在 0~ 2 之间，而在分数阶 域 0~  和  ~ 2 之间存在对称性，因此只要研究阶次 0~2 之间的分数阶变换。图 1 是在阶次为 0.1~2.0 下的幅度 信息。 图 1 图像在 0.1~2.0 阶次下的幅度信息 由图 1 可知，不同阶次下所含的幅度信息不一样，在 阶次为 1 时，分数阶 Fourier 变换就转换为传统的 Fourier 变换。在 0.1~1 和 1~2 之间的差别只在于对原来的信号进 行了时域的翻转。那么在某一阶次下，分数阶 Fourier 变 换有可能实现有效的特征提取。 3 LBP 算子 局域二值模式是一种有效的纹理描述算子，可以对灰 度图像中局部邻近区域的纹理信息进行度量和提取。LBP 算子一般采用 3×3 模板 个人简介word模板免费下载关于员工迟到处罚通告模板康奈尔office模板下载康奈尔 笔记本 模板 下载软件方案模板免费下载 ，以中心点的灰度值为阈值对模 板内其他像素进行二值化处理。定义一幅图像在 3×3 的 领域内中心像素标记为 cg ，其周围 8 个像素标记为 pg , 0,1, ,7p   ，然后以中心像素的灰度值为阈值对其余 8 个 像素进行二值化处理，得到一组二进制数。对图像进行 LBP 编码的算法如下： 1 if ( ) 0 if p c p c p c g g S g g g g     ≥ (5) 8 0 ( )2 pp c p LBP S g g    (6) 如果模式对应的二进制串 01 变换的次数少于 2 次， 或者一个二进制串可以组成一个圆形，这样的 LBP 模式 被称为 Uniform 模式即均匀模式 2,rinP RLBP ，Uniform 模式可 以描述 90%的(8, l)邻域内所有模式所描述的纹理信息。其 描述方法如下： 1 0 ,2 , ( ) if ( ) 2 1 otherwise P i i c P Rrin P R s g g U LBP LBP P      ≤ (7) 其中， 11, 1 0 1( ) ( ) ( ) ( ) ( )PiP R p c c i c i cU LBP s g g s g g s g g s g g         1 if 0 ( ) 0 if 0 x s x x    ≥ ， cg 代表邻域内中心像素的灰度值； ( 0,1, , 1)pg p P  表示半径为 R(R>0)像素内组成一个圆 形的各像素灰度值。 通过实验可知，本文采用均匀模式算子 28,1rinLBP ，把整 个面部划分成 3×3 的面部区域，达到了较好的效果。 4 实验和结果分析 4.1 样本库 采用加拿大瑞尔森大学提供的 RML 表情库[9]进行实 验仿真。表情库中有 5 人的 468 张图片，每人 6 种表情(生 气、厌恶、恐惧、高兴、悲伤和惊讶)，包括了不同姿态、 光照强度等变化。图像尺寸为 112×96，随机选用 186 个 样本，其中，120 个为非笑脸样本，包括悲伤、愤怒、惊 讶、恐惧、厌恶 5 种表情；66 个为笑脸样本。针对数据库 样本，随机地平均分为训练集和测试集。图 2 列出了 RML 表情库中部分非笑脸和笑脸图片。 图 2 RML 表情库部分非笑脸和笑脸图片 第 38 卷 第 20 期 171 张丽丽，齐 林，郑 宁：基于 FRFT 和 LBP 的笑脸识别 4.2 实验结果 本文用总体识别率(Overall Recognition Rate, ORR)和 笑脸识别率 (Smile Recognition Rate, SRR)统计实验结 果，ORR 描述的是表情图像被正确分类的概率，SRR 则 关注笑脸图片在笑脸表情库中被正确分类的概率。 (1)首先对图像进行 FRFT，以步长 0.1 取阶次并且取 行和列的变换阶次相同，同时采用 5 个尺度 8 个方向的 Gabor 特征[10]及 FRFT 变换后的复值信息、幅度信息和相 位 信 息 作 为 特 征 提 取 的 方 法 提 取 人 脸 表 情 图 像 并 以 AdaBoost[11]算法进行分类，在 RML 库上进行实验仿真比 较。表 1 列出了不同特征提取下的实验结果。 表 1 不同特征提取下的性能比较 (%) 特征提取方法 ORR SRR Gabor 95.70 90.91 FRFT 95.70 90.91 FRFTP 92.47 80.88 FRFTA 95.70 96.97 由表 1 可知，不管是采用 FRFT 的复值信息还是幅度 信息作为特征提取，识别率都大于或等于 Gabor 特征提取， 总体 识别 率 最高 达到 了 95.70%， 笑 脸识 别率 最 高为 96.97%；对于 FRFT 特征提取来说，不同部分的信息表征 表情的能力不同，FRFT 复值信息和幅度信息的识别率高 于 FRFT 的相位信息，然而幅度信息优于其他信息，这是 因为相位信息易变化，而幅值在本质上依赖于图像灰度在 空间上的分布变化，相对平滑而稳定。 (2)由于 FRFT 的幅度信息在特征提取上表现了优越 性，又因为图像是高维数，因此采用适当的降维方法可以 降低算法的复杂度。以常用的 DCT 作为比较，验证 LBP 算子的有效性。不同的特征提取方法也需要采用合适的分 类判别方法。实验结果如表 2 所示。 表 2 不同降维方法和分类器结合的实验结果 (%) AdaBoost 欧氏距离 特征提取 方法 ORR SRR ORR SRR FRFTA+DCT 95.70 93.94 93.55 90.91 FRFTA+LBP 92.47 87.88 95.70 100.00 由表 2 可知，在 FRFTA 与 DCT 结合时， AdaBoost 分类器效果最好，但 FRFTA 与 LBP 结合时，欧氏判别准 则表现出了优越性，并达到较好效果。这是因为 DCT 虽 然可以对所处理的数据去相关，提高所提取特征的有效 性，但在降维的同时也丢失了部分信息；LBP 不仅能表征 图像纹理特性，还可以达到降维的效果。 (3)LBP 和 FRFTA 都可以作为特征提取方法，分别以 LBP、FRFTA 及 FRFTA 和 LBP 结合的方法进行特征提取， 并且采用不同的分类器与其结合，进行仿真比较进而验证 FRFTA 与 LBP 结合方法的有效性，表 3 列出了 FRFTA 与 LBP 的实验结果比较。由表 3 可知，当 LBP 和 FRFTA 单 独提取特征时，LBP 与欧氏距离结合得较好，FRFTA 与 AdaBoost 结合得较好，不同的特征提取与合适的分类器结 合能达到较好的效果，FRFTA 和 LBP 结合并采用欧氏距 离时达到最好，说明了 LBP 和 FRFTA 算法结合的有效性。 表 3 FRFTA 与 LBP 的性能比较 (%) AdaBoost 欧氏距离 特征提取 方法 ORR SRR ORR SRR LBP 89.25 90.91 91.40 96.94 FRFTA 95.70 96.97 92.47 87.88 FRFTA+LBP 92.47 87.88 95.70 100.00 (4)交叉验证是一种评估统计分析机器学习算法对独 立于训练数据的数据集得泛化能力。评估所得的结果比较 可靠。本文采用 6 折交叉验证的结果如表 4 所示。 表 4 6 折交叉验证的性能比较 (%) 特征提取 ORR SRR LBP 91.94 96.97 FRFTA 94.12 93.94 FRFTA+LBP 96.23 100.00 由表 4 可知，LBP 能更好地表征笑脸识别的特征， FRFTA 则对非笑脸的特征提取有效，当两者结合时提高 了总体识别率和笑脸识别率，说明了 FRFTA 与 LBP 方法 融合的有效性。 5 结束语 本文提出将 FRFT 和 LBP 结合的笑脸识别方法。实验 说明了采用不同的特征提取，需要选择合适的分类器才能 达到较好的效果。实验结果表明，当采用 FRFTA 和 LBP 结合时，欧氏距离判别准则的总体识别率达到 96.23%， 笑脸识别率达到 100%，说明该方法具有很好的识别效 果，适合于人脸表情图像的分析。同时，LBP 能更好地表 征笑脸识别的特征，FRFTA 则在非笑脸的描述上表现了 其优越性。阶次选取的最优性是下一步研究的对象。 致谢 感谢关凌教授和 Ryerson 多媒体研究 实验室 17025实验室iso17025实验室认可实验室检查项目微生物实验室标识重点实验室计划 提 供的 RML 表情库。 参考文献 [1] Ito A, Wang Xinyue, Suzuki M, et al. Smile and Laughter Recognition Using Speech Processing and Face Recognition from Conversation Video[C]//Proc. of International Conference on Cyberworlds. Singapore: IEEE Press, 2005: 1-8. [2] Nakano M, Mitsukura Y, Fukumi M, et al. True Smile Recognition System Using Neural Networks[C]//Proc. of the 9th International Conference on Neural Information Processing. Singapore: [s. n.], 2002: 1-5. [3] Moubayed S A, Baklouti M, Chetouani M, et al. Multimodal Feedback from Robots and Agents in a Storytelling Experi- ment[EB/OL]. (2008-11-11). http://www.citeulike.org/user/nume diart/tag/database. [4] Bai Yang, Guo Lihua, Jin Lianwen, et al. A Novel Feature Extraction Method Using Pyramid Histogram Orientation Gradients for Smile Recognition[C]//Proc. of IEEE International Conference on Image Processing. Cairo, Egypt: IEEE Press, 2009. (下转第 175 页) 第 38卷 第 20期 175 卫 望，张晓烨，刘 悦：基于时间加权的综合电子商务物品关联推荐 的不同。修正的 Jaccard 系数的推荐方式更容易推荐出冷 门。考虑到用户实际的需求，推荐相对偏热的商品会好些。 (a)选择商品 (b)本文推荐系数 (c)修正的 Jaccard 系数 图 1 Top-6 推荐商品结果截图 4.3 算法推荐的在线测试 用关联度和本文推荐系数进行对比，从实际结果看出 (表 6)，无论是点击率还是售出单元(SKU，物品出现在一 个订单内则算一个售出单元)所占比例都有所提高。说明 给用户作推荐时，选择的多样性可以有效地吸引用户的注 意。SKU 所占比例有所上升，这个主要还是得益于新的推 荐系数提高了整体推荐的多样性同时也兼顾了用户的消 费喜好。 表 6 不同排序方法的推荐效果 排序方法 点击率/(%) 日均 SKU 所占比例/(%) 关联度(9 天) 0.64 0.39 本文推荐系数(26 天) 0.67 0.43 5 结束语 本文研究了综合类电子商务模式下利用物品关联进 行商品推荐，通过混合使用垂直、水平数据格式和字典散 列，快速得到物品的推荐项，同时为了克服热销商品在推 荐列表的频繁出现问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，利用关联度和 Jaccard 相似度系 数结合，引导推荐候选项的排序，既保证推荐的多样性， 同时尽量将畅销商品推荐出来。在实际应用中，一些本身 支持度很低的商品可获得的候选推荐项也会很少，因此， 仍然需要结合其他的一些推荐算法，比如利用内容过滤中 的相似物品进行推荐。同时，考虑到个性化问题，引入协 同过滤方法进行混合推荐也是今后要研究的问题。 参考文献 [1] Agrawal R, Srikant R. Fast Algorithms for Mining Association Rules[C]//Proceedings of the 20th International Conference on Very Large Data Base. Santiago, Chile: [s. n.], 1994. [2] Han Jiawei, Yin Yiwen. Mining Frequent Patterns Without Candidate Generation[C]//Proceedings of ACM SIGMOD International Conference on Management of Data. New York, USA: ACM Press, 2000. [3] Balabanovic M, Shoham Y. FAB: Content-based Collaborative Recommendation[J]. Communications of the ACM, 1997, 40(3): 66-72. [4] Linden G, Smith B, York J. Amazon.com Recommendations: Item-to-item Collaborative Filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80. [5] Zhou Tao, Ren Jie, Medo M, et al. Bipartite Network Projection and Personal Recommendation[J]. Physical Review E, 2007, 76(4): 6116-6123. [6] 杨引霞, 谢康林, 朱扬勇, 等. 电子商务网站推荐系统中关联 规则推荐模型的实现[J]. 计算机工程, 2004, 30(19): 57-59. [7] Wang Jian, Sarwar B, Sundaresan N. Utilizing Related Products for Post-purchase Recommendation in E-commerce[C]// Proceedings of the 15th ACM Conference on Recommender Systems. Chicago, USA: ACM Press, 2011. [8] Davidson J, Liebald B, Liu Junning, et al. The YouTube Video Recommendation System[C]//Proceedings of the 14th ACM Conference on Recommender Systems. New York, USA: ACM Press, 2010. 编辑 陆燕菲 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (上接第 171 页) [5] Chen Jun, Bai Yang. Classification of Smile Expression Using Hybrid PHOG and Gabor Features[C]//Proc. of IEEE International Conference on Computer Application and System Modeling. Taiyuan, China: [s. n.], 2010. [6] 陶 然 , 邓 兵 , 王 越 . 分数阶 Fourier 变换及应用[M]. 北京: 清华大学出版社, 2009. [7] Gao Lei, Qi Lin, Chen Enqing, et al. Recognizing Human Emotional State Based on the Phase Information of the Two Dimensional Fractional Fourier Transform[M]//Qiu G.. Advances in Multimedia Information Processing. Berlin: Germany: Springer, 2010. [8] 徐红侠. 基于 Gabor 和局域二值模式的人脸表情识别[D]. 南京: 南京理工大学, 2008. [9] Wang Yongjin, Guan Ling. Recognizing Human Emotional State from Audiovisual Signals[J]. IEEE Transactions on Multimedia, 2008, 10(5): 936-946. [10] 朱健翔, 苏光大, 李迎春. 结合 Gabor 特征与 AdaBoost 的人脸 表情识别[J]. 光电子·激光, 2006, 17(8): 993-998. [11] Freund Y, Schapire R E. A Decision-theoretic Generalization of On-line Learning an Application to Boosting[C]//Proc. of the 2nd European Conference on Compute Rational Learn in Theory. Berlin, Germany: Springer, 1995: 23-37. 编辑 张正兴