基于融合特征的近似图像检测方法

收稿日期:2011 － 12 － 29;修回日期:2012 － 04 － 01 基金项目:辽宁省教育重点实验室项目(LS2010079) 作者简介:曹玉东(1971 －) ，男，副教授(内聘) ，博士，研究方向为模 式识别与图像处理。 基于融合特征的近似图像 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 方法 曹玉东 (辽宁工业大学 电子与信息 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院，辽宁 锦州 131001) 摘 要:特征提取是图像检测或图像检索的关键步骤，SIFT特征能够实现平移、旋转、缩放等不变性，MSER特征实现了仿 射不变性。集成 SIFT和 MSER特征的优势，提出了一种图像的融合特征提取方法，融合特征相比单一的局部特征具有更 好的鲁棒性，还实现了图像特征的加速匹配，同时融合特征减少了存贮空间。针对这种图像的融合特征表示方法，给出了 相应的图像匹配策略，实验结果表明提出的融合特征及检测方法在 INRIA copy dataset数据集上取得了很好的效果。 关键词:融合特征;SIFT;MSER;副本图像检测 中图分类号:TP311． 13 文献标识码:A 文章编号:1673 － 629X(2012)08 － 0103 － 04 Similar Image Detection Method with Fusional Feature CAO Yu － dong (College of Electronics and Information Engineering，Liaoning University of Technology，Jinzhou 131001，China) Abstract:Extracting feature is the key of duplicate image detection． SIFT shows the invariant of shift，rotation and scale and MSER shows the invariant to affine transformation． Image fusional feature representation is presented with SIFT and MSER in this paper，which integrates SIFT and MSER． The funsional feature is robuster than a single local feature． At the same time，the speed of match is acceler- ated by using the fusional feature． The fusional feature needs lower storage space than single SIFT feature． The image match strategy is designed corresponding to fusional feature representation． The experimental results show the effective performance of the proposed meth- od on INRIA copy image dataset． Key words:fusional feature;SIFT;MSER;duplicate image detection 0 引 言 随着网络技术和数字技术的迅速发展，具有同一 内容的图像会以不同的分变率、不同的压缩格式、不同 的颜色等形式而大量存在，这类图像通常被称为近似 图像或副本图像，近似图像或副本图像应该被识别出 来，然后再被过滤掉或聚类。副本图像检测技术可以 应用到许多行业和领域，例如电子商务、数字图书馆、 医学图像处理和图像搜索引擎等。 副本图像检测能够判断输入的两幅图像是否有相 似性。基于内容的图像检索和基于内容的副本图像检 索的联系是二者都是直接根据图像的视觉表达特征， 在图像库中搜索相似或相同的图像，基于内容的副本 图像检索只能返回在视觉上相似的图像，但是基于内 容图像检索系统还可以返回具有语义相似性的图像。 图像检测涉及认知心里学、模式识别、图像分析和理解 等多个领域，从获取和表达图像数据中的信息，到对图 像数据的处理、分析和理解等。 已有的参考文献对副本图像的定义并不十分一 致，副本图像是指两幅图像比较类似，但在细微之处又 存在一些区别，这些区别可能是由人为的编辑操作或 者是拍摄时间不同等造成的。部分副本图像(partial － duplicate image)是指两幅图像中有部分内容是相似 的，可以认为是近似图像。文中提出的基于融合特征 的判断方法检测此类近似图像对十分有效。图 1(a) 是一般副本图像的例子，图 1(b)给出的是部分副本图 像的例子［1］。 近几年，出现了很多图像特征提取方法，全局特征 通常只能粗略地描述图像的相似性，不能克服遮挡、背 景混乱等变化，局部特征通常能够克服上述问题。文 献［2］提出了一种局部特征(Scale Invariant Feature Transform，SIFT) ，该特征在图像拼接、图像识别、信息 隐藏和视频跟踪等操作中得到了广泛的应用［3 ～ 6］。 SIFT 方法使用高斯差分检测算子确定极值点的位置， 用图像的梯度幅值描述该局部特征，对仿射变换、视点 变化、边缘噪音、亮度变化等具有不变性。该特征表示 方法优于其它局部特征的表示方法［7］。在很多图像 中，一些区域具有显著性(distinctiveness)、不变性(in- 第 22 卷 第 8 期 2012 年 8 月 计 算 机 技 术 与 发 展 COMPUTER TECHNOLOGY AND DEVELOPMENT Vol． 22 No． 8 Aug． 2012 variance)、稳定性(stability)。这些区域可以被称为显 著性区域(distinguished regions，DRs)［8］。具有任意 形状边界的最稳定的极值区域(MSER)［9］就是典型的 DRs。MSER是一种基于区域的局部特征，它确定稳 定局部区域的方法类似于分水岭算法(watershed algo- rithm) ，在具有仿射不变性的检测算子中，MSER 特征 具有最好的性能［10］。 (a) (b) 图 1 副本图像对 1 副本图像检测的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图 图 2 给出了检测流程［11］。首先用融合特征描述 待比较的图像，基于特征袋模型(Bag of Features mod- el，又称为 Bag of Words model)［12］完成图像对的表 示，特征袋模型首先出现在自然语义处理和文本信息 检索领域里，因为特征之间无序排列而得名，即每一篇 文档或图像就像“袋子”一样，包含了一些描述特征。 图 2 副本图像检测流程图 文中使用融合特征表示图像，相当于对原始的特 征袋模型做了改进，也就是对“袋”做了进一步划分， 这种方法的优点是利用了图像特征的部分位置信息， 详细描述见文中的第 2 节。接下来计算图像的相似 度，最后根据相似度的阈值判定是否是副本图像对，这 相当于二分类问题。 2 图像的融合特征表示与提取方法 在仔细分析了图像 SIFT 特征和 MSER 特征后， 提出了一种融合特征表示，融合特征不再是 SIFT 特征 和 MSER 特征的简单相加，而是在实际应用中彼此关 联。首先，MSER可以把图像分割为若干具有显著性 的区域，只提取在显著性区域内的若干 SIFT 特征，显 著性区域外的 SIFT 将不被考虑，如果显著性区域内不 包含 SIFT 特征关键点，该区域也不被考虑。可以看 出，SIFT 特征和 MSER 特征充分利用了对方的优点， 这也是将其称为融合特征的原因。 由这两种局部特征构成的融合特征具有比单一的 局部特征更强的显著性和鲁棒性，又减少了存贮空间， 因为仅用显著性区域内的 SIFT 特征来描述图像，可以 将 SIFT 特征的数量减少约 40%。 图 3(a)分辨率 352 × 288，图 3(b)仅提取了 SIFT 特征，共计 1695 个;图 3(c)描述了融合特征提取，其 中 SIFT 特征总计 909 个。能够算出 909 /1695 = 53． 6%，由此可以看出节省了将近 1 /2 的存贮空间。融合 特征比单一的 SIFT 特征相比，可以节省存储空间，增 加正确匹配的概率，提高特征匹配的速度，详细的介绍 请参考第 3 节。 图 3 SIFT 特征和融合特征的提取 3 图像匹配策略 在第一幅图像的某个显著性区域内随机选择 4% 的 SIFT 特征描述算子，然后去匹配第二幅图像中显著 性区域内的 SIFT 特征，再匹配了所有的显著性区域 后，匹配 SIFT 特征点最多的显著性区域即为对应的匹 配区域，然后再匹配对应区域内其它的 SIFT 特征，这 样会减少匹配的次数，提高了匹配的准确性和速度。 文中对 SIFT 特征描述算子的匹配采用距离比率 法: dist(Q，R1)/dist(Q，R2)＜ r (1) 公式中 dist函数采用余弦距离测度，位于第二幅 图像中的关键点 R1和 R2是位于第一幅图像中的查询 关键点 Q的第一近邻和第二近邻。如果阈值 r 的取值 较低，得到的匹配结果会更可靠，具体的解释请参阅文 献［11］。 ·401· 计算机技术与发展 第 22 卷 Jaccard coefficient相似度经常在信息检索中用于 度量集合之间的相似性，它被定义为元素之间的交集 和并集的比率，公式描述如下: Sim(A1，A2)= | A1 ∩ A2 A1 ∪ A2 | (2) 受此启发，在副本图像检测中定义了如下的相似 度函数: Sim(i1，i2)= m mi1 + mi2 (3) 公式中 i1 和 i2 表示两幅待比较的图像，m是两幅 图像中 SIFT特征点的匹配对数目，mi1 和 mi2 是两幅图 像中提取的 SIFT特征数量。如果 Sim(i1，i2)大于阈值 h，则断定是副本图像对。阈值 h的确定方法如下: h ^ = arg min h ［FPR(h)+ FNR(h) ］ (4) 公式(4)中的 FNR 和 FPR 可以用 下述公式计算: FNR(h) = #FN#FN + #TP (5) FPR(h) = #FP#FP + #TN (6) 上式中 TP 是被正确标定的正样 例;FN是被错误标定为负样例的样例; FP是被错误标定为正样例的样例;TN 是被正确标定的负样例。 4 实 验 4． 1 实验数据集和评价测度 为了评估文中的工作，在 INRIA copy dataset［13］数 据集上做了相关实验。INRIA copy dataset 包括旋转、 视点变化、亮度变化、模糊等变换的图片，可以用于测 试算法是否对上述变化具有不变性。该数据库包含自 然场景、人工场景等各类图片。该图像库共有 1491 幅 图像。因为部分相似图像间的变化大，所以如果用全 局特征表示图像库中的图片，系统的检索性能通常不 理想［14］。同时又搜集了 2000 张网络图像，做为“迷惑 集”混合到评价数据集中。 查准率(Precision)和查全率(Recall)已经被广泛 地使用在图像检索中［2］。查准率和查全率的定义是: Precison = #TP#TP + #FP，Recall = #TP #TP + #FN (7) 4． 2 阈值参数 (1)特征匹配阈值 r。 阈值 r取值较高可能会包含更多的错误匹配，r取 值低一些得到的匹配数量会减少，但是增加了匹配的 可靠性。为了得到正确的的阈值 r，令 r取一系列从 0． 1 变化到 0． 9 的值，如果 r取较大的值，得到了更多的错 误匹配;如果 r 取较低的值，错误匹配减少，但是同时 也有部分真实的匹配被删除了。综合考虑设定 r 的值 为 0． 60。 (2)相似度函数阈值 h。 在 INRIA copy dataset中均匀抽出 30 组图片，包括 10 组不相似图像对和 20 组相似图像对，根据(4)、 (5)、(6)可以确定 h为 0． 05。 4． 3 实验结果 在数据集中随机抽取了 400 对图片，依据文中提 出的匹配策略，得到的正确识别率结果为 91． 2%。图 4 给出了部分测试图像对。表 1 给出了对应的检测结 果，其中(g)和(h)的检测结果是错误的，仔细观察， 可以发现这两个图像对具有尺度和视角变化较大和透 视缩短的特点，从而导致图像的相似度低于阈值。 图 4 被检测的图像对 图 5 雕像做为查询图像的检索结果 对于具有 n幅图像的数据库，寻找查询图像的相 似图像或副本图像需要进行O(n)次比较。图5给出了 雕像做为查询图像的检索结果，图片上方标注的是变 化类型，CROP80和 STRONG是变化比较剧烈的图像。 如果该图像与查询图像相关，且满足 Sim(q，r) ＞ h， 则样本类型被标注为“TP”;如果该图片与查询图像相 关，却满足 Sim(q，r) ＜ h，则样本类型被标注为 “FN”;如果该图像与查询图像不相关，且满足 Sim(q， r)＜ h，则样本类型被标注为“TN”;如果该图像与查 询图像不相关，却满足 Sim(q，r)＞ h，则样本类型被 ·501·第 8 期 曹玉东:基于融合特征的近似图像检测方法 标记为“FP”。由公式(7) ，可计算出 Recall = 0． 83， Precision = 1． 0。 表 1 图像对(图 4)的检测结果 图像对 (a) (b) (c) (d) (e) (f) (g) (h) 相似度 0． 31 0． 15 0． 11 0 0 0 0． 03 0 检测结果 是 是 是 否 否 否 否 否 5 结束语 文中介绍了基于融合特征的近似图像检测方法， 该方法准确度较高，需要的存贮量较小，具有良好的检 测性能。文中提出的图像融合特征表示方法和图像匹 配策略提高了两幅图像的匹配速度和准确性。 参考文献: ［1］ Wu Zhong，Ke Q，Isard M，et al． Bundling Features for Large Scale Partial － duplicate Web Image Search［C］/ / IEEE Con- ference on Computer Vision and Pattern Recogniton．［s． l．］: ［s． n．］，2009． ［2］ Lowe D G． Distinctive image features from scale invariant key- points［J］． International Journal of Computer Vision，2004，60 (2) :91 － 110． ［3］ 李云霞，曾 毅，钟瑞艳． 基于 SIFT 特征匹配的图像拼接 算法［J］．计算机技术与发展，2009，19(1) :43 － 49． ［4］ 张 斌，王嘉祯，文家福． 基于 SIFT 的抗几何攻击水印研 究与实现［J］．计算机技术与发展，2011，21(3) :174 － 177． ［5］ 高 健，黄心汉，彭 刚． SIFT 图像特征点提取算法［J］． 计算机应用研究，2008，25(7) :2213 － 2222． ［6］ 肖若秀．利用旋转模板匹配方法对 SIFT算法的改进［J］． 计算机技术与发展，2009，19(5) :127 － 133． ［7］ Mikolajczyk K，Schmid C． A performance evaluation of local descriptors［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10) :1615 － 1630． ［8］ 孙 晶，邢英杰． 基于目标区域内仿射不变性特征的图像 检索［J］．光电子激光，2009，20(7) :959 － 963． ［9］ Matas J，Chum O，Urban M，et al． Robust wide baseline stereo from maximally stable extremal regions［C］/ /BMVC．［s． l．］: ［s． n．］，2002． ［10］ Mikolajczyk K，Tuytelaars T，Schmid C，et al． A Comparison of Affine Region Detectors［J］． International Journal of Computer Vision，2005，65(1) :43 － 72． ［11］曹玉东．图像检索中的特征表示和索引方法的研究［D］． 北京:北京邮电大学，2011． ［12］ Li Feifei，Fergus R，Torralba A． Recognizing and Learning Ob- ject Categories［C］/ / ICCV．［s． l．］:［s． n．］，2009． ［13］ INRIA copy dataset can be available［EB /OL］． 2011 － 03 － 25． http:/ / lear． inrialpes． fr /people / jegou /data． php． ［14］ Douze M，Jegou H，Sandhawalia H． Evaluation of GIST de- scriptors for web － scale image search［C］/ /CIVR．［s． l．］: ［s． n．］， 檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪 2009． (上接第 102 页) (5)用户统一登录认证。通过 Portal 后台设置自 带的登录认证 Portlet，可以实现各级信息门户之间的 统一登录。 4 结束语 Portal信息门户是针对于信息资源分散、不同系统 之间难以交换数据、应用系统跟不上需求变化等问题， 而产生的一种新的技术解决 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 。华南师范大学采用 Portal开发技术已成功构建了数字校园信息门户系统， 并得到很好的运转和应用。文中针对 Portal 及 Portlet 的技术原理，结合 Portlet 的开发部署及实例，对 Portal 开发技术进行了较深入的探讨学习，为高校信息门户 的开发建设提供了一定的参考。 参考文献: ［1］ 王 猛．关于高校信息门户建设的技术与方案探析［J］．上 海融学院学报，2005(6) :64 － 67． ［2］ 徐碧云，王志坚，张少柏．企业信息门户关键技术研究［J］． 计算机应用研究，2005(6) :142 － 144． ［3］ 邹承明，钟 珞，童琪薇．基于 Jetspeed的 Portlet开发探讨 ［J］．武汉理工大学学报，2004(6) :70 － 73． ［4］ 马 将，聂瑞华，罗辉琼，等． 基于 JetSpeed 的多 portlet 流 程协作机制研究与实现［J］．计算机系统应用，2009(4) :70 － 73． ［5］ 李建伟，汪成亮，周亚鑫． Portal技术在重庆城市一卡通系 统的应用［J］．计算机技术与发展，2008，18(8) :232 － 236． ［6］ 网管之家 bitsCN． com ． Portal 技术原理浅谈［EB /OL］． 2008 － 06 － 14． http:/ /www． bitscn． com /pdb / java /200806 / 143982． html． ［7］ Hepper S，Hesmer S． Introducing the Portlet Specification ［M］．［s． l．］:JavaWorld，2003． ［8］ OASIS web services for remote portlets specification version 2． 0［EB /OL］． 2008． http:/ /docs． oasis － open． org /wsrp /v2 / wsrp － 2． 0 － spec． pdf． ［9］ Hesmer S，Fischer P，Buckner T，et al． Portlet Development Guide［EB /OL］． 2003 － 08 － 20． http:/ /www． 106． ibm． com / develperworks /websphere / zones /portal /portlet dev elopment guide． html． ［10］ Chen Hui． Portlet 开发指南［EB /OL］． 2010 － 12 － 13． ht- tp:/ /www． cnblogs． com/seaairland /archive /2010 /12 /13 / 1904051． html． ［11］侯 迪，赵仲孟． WebSphere Portal管理与开发［M］．北京: 世界图书出版公司北京公司，2002:53 － 87． ［12］严墨洁，田 斌．基于 Oracle AS Portal下的 Java Portlet开 发［J］．计算机技术与发展，2007，17(3) :128 － 131． ·601· 计算机技术与发展 第 22 卷