低重叠度图像的拼接方法

低重叠度图像的拼接方法 罗如为 陈孝威 贵州大学计算机科学与技术学院，贵州贵阳，550025 摘 要：提出基于亮度扩散的低重叠度图像融合方法。该方法的主要特点是，在融合低重叠度 图像时先进行亮度扩散，使重叠区域附近的亮度平缓变化，然后融合以消除亮度差异引起的拼 接缝。实验结果表明，该种方法对于重叠度低、亮度差异大的图像，可以很好地消除拼接缝。 关键字：亮度扩散；低重叠度；全景拼接；融合 1．引言 虚拟现实中全景图技术，尤其是柱面全景图技术，近年来在国内一直是研究的热点。 主要是因为全景技术有很多优势，比如绘制快，真实性强，数据量小，对硬件设备要求低。 柱面全景图技术，是指把一组相互有重叠的照片无缝地拼接成一幅全景图像。当图像的重 叠度较低且亮度差异较大时，采用常用的拼接融合法得到的全景图，在视觉上仍然存在明 显的拼接缝，为了消除这种拼接缝，本文以拼接低重叠度图像为基础，提出亮度扩散融合 的全景拼接方法。该方法的主要特点是，在处理低重叠度图像融合时，图像重叠区域的亮 度从较亮的区域向较暗的区域逐渐变化。 2．颜色模型 亮度扩散法需要在HSV颜色模型中进行亮度的比较处理，所以要把图像从RGB颜色 模型转换到HSV模型中。 RGB颜色模型(见图1(a))用三维空间中的一个点来表示一种颜色，每个点有三个分 量，分别代表该点颜色的R、G、B亮度值，亮度值限定在【0，1]。如(0,0，0)代表黑色， (1，l，1)代表白色。 HSV颜色模型(见图1(c))中色调H为一角度，表示色彩信息，红、绿、蓝分别相 隔120度。饱和度S为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最 大的纯度之间的比率。V表示色彩的明亮程度，范围从0到l，HSV圆锥模型的顶面中 心处S=0，V=I，H无定义，代表白色，从该点到原点代表亮度渐暗的白色，即不同灰度 的白色。 从RGB立方体的白色顶点出发，沿着主对角线向原点方向投影，可以得到一个正六 边形(见图1(b))，该六边形是HSV圆锥顶面的一个真子集。RGB空间的主对角线，对应 于HSV空间的V轴。通过这种联系，可以用MATCH_ word word文档格式规范word作业纸小票打印word模板word简历模板免费word简历 _1713568080647_1(1)～(3)将RGB模型转换到HSV模型。 基金项目：国家教育部春晖 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 基金(200403) 联系作者：罗如为，1rw_1245@yahoo．com．cn；陈孝威，gzu@vip．sina．com．cn V多媒体应用 187 (a)RGB颜色模型 (b)RGB正六边形 (c)HSV颜色模型 图1颜色模型 ～os—l{一S=1一i丢x[mm：R，GJ酬尺+G+B “ 矿=三(尺+G+B) 亮度扩散法融合图像 (2) (3) 低重叠度图像经过配准后，对相邻图像进行融合拼接，才能形成全景图。在进行融合 时，如果图像重叠度小而且亮度差异大，采用常用的融合法，仍然存在一些拼接缝的不足。 本文提出亮度扩散法解决这种不足现象。 亮度扩散法是指在重叠区域图像亮度从较亮的区域向较暗的区域渐变。亮度扩散原理 如图2所示。 具体方法是在重叠区域中提取两块对应的小图像L和R，将其颜色模型从RGB转换 到HSV中，然后求出这两块小图像的亮度比sLR=VL～R，根据比值sLR判断重叠区域的 亮暗。假定sLR>I，说明左图的重叠区域比右图的重叠区域亮，则以左图重叠区域的亮度 为基准，对右图进行亮度扩散，即以左图重叠区域的亮度为起始亮度，通过加权因子使亮 度值从重叠区向图像中间逐渐变小，也就是由亮到暗平缓过渡。通过这种方法处理后，较 暗的重叠区域附近呈现出由亮逐渐变暗，平滑过渡的宽度较大。这种方法对于低重叠度的 相邻两图在亮度上存在较大的差异时，起到很好的消除拼接缝效果。 4．实验结果及分析 本文实验使用的平台：WindowsXPProSP2，P42．93GHz，512MB，Matlab7．0。 188 第一部分第16届全国多媒体技术学术会议 卜兰急一i·坚一．-{卜型掣墨函i．⋯．．．．。．．⋯．．．i!：!：：：!!：：：：!：：：刊 图2亮度扩散原理图 Imag踉． 4．1实验图像 图3是手持数码相机在杭州西湖岛上拍摄的一组图像序列，没有使用三脚架，每张图 片的原始大小是2048x1536像素。 图3原始图像 V 多媒体应用 189 X8．JPG 图3(续) 表l中列出的是相邻图像的重叠宽度、重叠度以及亮度差异的大小。从表中可以看出， 图像X1jpg与X2jpg、图像X3dpg与X4．jpg、图像X8．jpg与X9jpg之间的亮度差异很大； 图像X2dpg与X3jpg、图像X3jpg与X4jpg之间的重叠度很小。 表1相邻图像之间的重叠度和亮度差异 相邻图像 (图片大小是1536X X1．JPGX2．JPGX3．JPGX4．JPGX5．JPGX6．JPGX7．JPGX8．JPG X2．JPGX3．JPGX4．JPGX5．JPGX6．JPGX7．JPGX8．JPGX9．JPG 2048) 实际重叠宽度(像素) 203 77 59 77 269 260 233 380 重叠度=实际重叠宽度， 图像宽度 9．91％ 3．76％ 2．88％ 3．76％ 13．13％ 12．7％ 11．38％18．55％ 亮度差异 大 小 大 小 小 小 小 大 4．2拼接效果比较 实验中对图3中所示的图像序列，采用不同的工具进行拼接全景图，并与本文方法进 行比较。图4(a)是采用佳能全景制作软件photostitehv3．1得到的全景图，从图4(a)中 红框标记部分可以看出，当重叠度低于9．91％时出现错误匹配。而采用哥伦比亚大学 MatthewBrownanddavidLowe设计的Autostitchv2．187一DEMO软件进行拼接时，对于重叠 度低于9．91％的前五幅图像，不能找到其匹配特征点，从而不能对其进行拼接，只能对重 叠度高于9．91％的后五幅图像进行全景拼接(见图4(b))。 图4(c)是未用亮度扩散融合拼接的全景图，由于相邻图像重叠度且光照差异大，图 中出现明显的拼接痕，图4(d)是采用文中亮度扩散融合拼接的全景图，上图中出现的拼接 痕已经消除，如红色方框所标记上下图对应部分。从实验结果可以看出，亮度扩散融合方法 190 第一部分第16届全国多媒体技术学术会议 可以有效地在低重叠度边缘上使亮度渐变，从而使拼接后的图像在拼接处亮度平缓过渡。 (a)采用佳能全景制作软件photostithcv31拼接的全景图(未剪裁) (b)采用Autostithcv2．187一DEMO拼接的全景图 (c)采用亮度扩散进行融合拼接的全景图 (d)采用亮度扩散进行融合拼接的全景图 图4全景拼接效果比较 图5(a)是两幅亮度差异较大的图像，其重叠度低于2．88％。采用本文方法对其进行 拼接融合，仍可以得到很好的拼接融合效果如图5(b)所示。 (a)图像X3．JPG和X4．JPG (b)(a)中图像拼接效果图 图5低重叠度亮度差异大的图像拼接效果图 V多媒体应用 191 实验表明，对于重叠度低、亮度差异大的图像序列，本文方法能很好地消除拼接缝， 得到理想的拼接融合效果。 参考文献 【1】石教英．虚拟现实基础及实用方法【M】．北京：科学出版社，2002，187～215 [2】罗如为，陈孝威．360。图像序列的柱面全景拼接方法．第15届全国多媒体学术会议(NCMT’06)论 文集[el，中国杭州，2006 [3】[美]LindaGShapiro，GeorgeC．Stockman著．赵清杰，钱芳，蔡得栋译．计算机视觉【M】．北京：机械工 业出版社，2005：220～221 [4】聂炬，赵荣椿，康宝生．基于边缘几何特征的图像精确匹配方法[J】．计算机辅助设计与图形学学报， 2004，16(12)：1668～1673 ． 【5]张静，胡志萍，刘志泰，欧宗瑛．基于边缘相位相关的图像自动拼接阴．大连理工大学学报，2005， 45(1)：68～74 [6】6 陈明伟．全景拼图算法研究【D】．云南大学硕士学位论文，2004 TheMethodofMosaicingtheLowOverlappingImages LuoRuwei+，ChertXiaowei ColleageofComputerScienceandTechnology,GuizhouUniversity,550025，China +Correspondingauthor：lrw_1245@yahoo．com．cn Keywords：brightness-diffusing，lowoverlap，panoramamosaicing,blending Abstract：Onthebasisofthebrightness—diffusing,themethodforblendingthelowoverlapping imagesisproposed．Themainfeatureofthemethodisthatperformingthebrightness—diffusing beforeblendingthelowoverlappingimages，SOthatthebrightnessoftheoverlappingarea changesslowly,andsmoothsawaytheseam，whichcausedbythebrightnessdifferenceofthe adjacentlowoverlappingimages． Intheprocessofpanoramamosaicing，blendingtheadjacentimagesisneededafterimages registered．Iftheoverlapoftheadjacentimagesislowandthebrightnessdifferenceofthemis great，thebrightnessseamisstillvisualobviouslyiftheimageshavebeenprocessedwiththe traditionalblendingmethod．Inthispaper,onthebaseofthemosaicingthelowoverlapping images，theblendingbybrightnessdiffusingforpanoramamosaicingisputforwardtosolvethe defect．Themethodofthebrightness-diffusingisthatchanginggraduallythebrightnessfromthe brighterareatothedarkerareaoftheimage，SOastorealizethetransitionofbrightness smoothly． Specially,themeasureofrealizingthebrightness·diffusingisasfollows：firstly,pickingup twomatchedsmallpatchesfromtheoverlappingareaoftheadjacentimages。Secondly, 192 第一部分第16届全国多媒体技术学术会议 conveningthecolormodelofthetwopatchesfromRGBtoHSVrespectively．Thirdly,findthe ratioofthetwopatches’Sbrightnessvalue，thenjudgingthebrightnessoftheoverlappingarea accordingtotheratio．Finally,iftheoverlappingareaintheleftimageisbrighterthantheright one，onthebasisofthebrightnessoftheoverlappingareaoftheleftimage，performthe brightness-diffusingontherightimage，thismeansthatthebrightnessoftheoverlappingareain theleftimageistookastheinitialbrightness，thebrightnessvalueisbecomelessgraduallyfrom theoverlappingareatothecenteroftheimage，bymultiplyingtheweightedfactor,inother words，thebrightnesschangessmoothlyfrombrightnesstodark，iftheoverlappingareaofthe rightimageisbrighter,thesolutionissimilar． Afterprocessingbythemethod，thebrightnessbecomesgraduallydarknessnearthedarker overlappingarea，thewidthofbrightnesssmoothedisgreater．Theexperimentsshowsthatthe method，forthemosaicsofthelowoverlappingimageswiththegreaterbrightnessdifference， achievethegoodeffectontheeliminationofthebrightnessseam．