下载
加入VIP
  • 专属下载特权
  • 现金文档折扣购买
  • VIP免费专区
  • 千万文档免费下载

上传资料

关闭

关闭

关闭

封号提示

内容

首页 MAP序列多帧图像超分辨率复原

MAP序列多帧图像超分辨率复原.doc

MAP序列多帧图像超分辨率复原

朱徐爱
2018-04-24 0人阅读 举报 0 0 暂无简介

简介:本文档为《MAP序列多帧图像超分辨率复原doc》,可适用于综合领域

MAP序列多帧图像超分辨率复原第卷增刊VolSuppl光学技术年月AugustOPTICALTECHNIQUE()文章编号:SΞMAP序列多帧图像超分辨率复原孙余顺,苏秉华,牛丽红()北京理工大学信息科学技术学院光电工程系,北京深圳大学光电子研究所,广东深圳摘要:序列多帧图像的超分辨率复原是由一序列低分辨率图像来估计一幅高分辨率图像的技术。介绍了序列图像的成像观测模型,给出了一种随机微扫描亚像素运动估计的方法,采用最大后验概率法进行了图像的超分辨率复原,对仿真结果进行了分析和比较。关键词:超分辨率序列图像随机微扫描运动估计MAP复原中图分类号:TN文献标识码:AMAPsuperresolutionrestorationfromimagesequencesSUNYushun,SUBinghua,NIULihong()DepartmentofPhotoelectronicEngineering,BeijingInstituteofTechnology,Beijing,China()InstituteofOptoelectronics,ShenzhenUniversity,Shenzhen,ChinaAbstract:SuperresolutionimagerestorationcanreconstructspatialfrequenciesinformationabovethelimitfrequencytogetmoredetailsofimageMultiframesuperresolutionrestorationisatechniqueforestimatinganunaliasedhighresolutionimagefromanaliasedvideosequenceandcombatingadditivenoiseandblurringduetothefinitedetectorsizeandopticsItneedstoknowsubpixelmotionbetweenimagesequencesMicroscantechnologycanbeusedtoobtainsuppixelmotionbetweenimagesequencesAnimprovedBayesianMAPestimatorregularizationforsuperresolutionrestorationisproposedKeywords:superresolutionimagesequencescontrolledmicroscanuncontrolledmicroscanmotionestimationimagerestoration图像之间的运动估计和复原算法。RYTsai和TS引言Huang发表了题为“多帧图像复原及正则化”的论文,为多帧图像超分辨率复原的研究做出了开创性提高图像分辨率和获得高质量的图像是人们不断追求的目标。对于成像系统来说,影响其成像质的工作。此后人们在这方面作了很多的工作,相继量的因素主要来自两个方面:一个是光学系统的衍提出了多种复原方法。AMTekalp提出了最小均方差复原方法SPKim提出了正则化的递归复原射、像差等因素,这些可总结为光学系统的点扩散函方法TKomatsu提出了非均匀空间采样插值复数另一是图像的记录过程,主要为探测器的采样率原方法RCHardie提出了基于Bayes分析的随机即像元数和噪声。在许多实际成像过程中,探测器统计复原方法MElad提出了MLMLPPOCS或图像的采样率不足,即没有足够的像元数,这往往综合复原方法AJPatti提出了优化自适应滤波成为影响图像分辨率的主要因素,此时被称为欠采复原方法。上述方法大多认为运动估计为已知,侧样成像。重于复原算法的研究。本文提出了一种将随机微扫人们已经证明,利用一组相互之间存在亚像素描运动估计与MAP超分辨率复原算法相结合的新位移的低分辨率欠采样图像之间的不同而又相关的,方法,对序列低分辨率图像进行了高分辨率复原重信息可以重构出一幅无混频的高分辨率图像。构处理。若各低分辨率图像之间的亚像素位移受控并事先已知,则称之为受控微扫描技术。反之,若位移量未序列图像的成像模型知,则称为之为随机微扫描技术。近年来,人们对随假设低分辨率图像序列包含M帧大小为N×机微扫描方法进行了深入的研究,其关键技术包括Ξmail:sunyscomE收稿日期:()基金项目:广东省自然科学基金资助项目()作者简介:孙余顺,男,江苏省人,北京理工大学信息科学技术学院光电工程系硕士研究生,主要从事图像处理方面的研究。高分辨率复原效果的一个关键因素。N的图像,计为:是最新的视频编码标准,与以前的编HMM(l){y}l=k,,k,k,码标准相比,主要加强了运动估计方面的内容,帧间()的运动估计精度可以达到像素。它通过多分辨式中M为一奇数,代表图像序列的总帧数k表示()率分层块匹配方法估计运动位移,并通过循环种l图像序列的中间帧。与图像序列中间帧y对应的(k)(k)不同大小的块来提高运动估计的精度。本文将该技高分辨率图像为z。z的大小为qN×qN,q为一整数代表分辨率提高的系数。视频序列的成像术用于序列多帧图像的超分辨率复原中。模型用NN×qNN维的运动补偿欠采样矩阵通常多分辨率图像是通过对图像序列中的低分()Al,k表示,这个矩阵涉及运动场矢量、空间模糊辨率图像采用平方或立方插值得到,这里采用四阶点扩散函数、欠采样等,噪声设为加性噪声。这样,拉格朗日插值得到。每帧低分辨率图像和理想高分辨率图像之间的关系在块匹配中,块的位移与块的中心或块中任何可以用下式表示:一点的位移是等价的。因此,块的位移可以理解为中心点的位移。在三步算法中,搜索范围为,即在()()()()ll,kkl,ky=Azn参考帧中以当前子块为原点,将当前子块在其上下()()()()()()()lklllkl,k()=EISOMzn左右距离为的范围内按一定规则移动,每移动到()()ll式中:E表示离散抽样矩阵I表示帧内模糊矩一个位置,取出同样大小的子块与当前子块进行匹(l)(l)阵S表示传感器模糊矩阵O表示光学模糊矩配计算。具体分为以下四步:(l)阵M表示运动位移矩阵。()以当前子块为中心,以为步幅,将图中表示为矩阵形式为标出的个位置为中心的子块与当前子块进行匹配,求出最佳匹配的子块中心位置。()()以中求出的最佳子块为中心,例如,x()==,y=,以为步幅,将图中的个位置为中心的子块与当前子块进行匹配,求出最佳匹配的子()()l,kl,k式中的A为运动补偿欠采样矩阵。A中的块中心位置。每一行将理想高分辨率图像中的一个q×q的图像()()以中求出的最佳子块为中心,例如,x()l,k块匹配到低分辨率图像中一个像素上。A不仅=,y=,以为步幅,将图中的个位置为中有欠采样的信息,同时还包含图像帧间运动以及模心的子块与当前子块进行匹配,求出最佳匹配的子()l,k糊的信息。要想构建出运动补偿欠采样矩阵A,块中心位置,它与当前子块中心的位置偏移量即为必须得到理想的高分辨率图像间的整像素级的运动估计的位移量。估计,返回到低分辨率图像就要拥有q像素精确()将图像插值放度的亚像素运动估计。亚像素运动估计的准确程度()大一倍,以中求出将直接影响到高分辨率图像的复原质量。(的最佳子块为中心插)值后,以为步幅,与亚像素位移运动估算方法插值后图像中相应的()随机微扫描是由于相机的运动抖动或者景物个位置为中心的子的运动产生的图像间的运动位移。随机微扫描所得块进行匹配,求出最佳的低分辨率序列图像间的运动位移是不能预先知道匹配的子块中心位置,的,需要通过运动估计的方法计算得到。计算序列图像间运动估计有多种方法,如光流法、基于像素的它与当前子块中心的运动估计法、块匹配法、基于网格的运动估计法和基图子块匹配位置偏移量即为估计于区域的运动估计法等。所有这些方法要想实现亚的半个像素位移量。像素的运动位移估计须借用运动估计中的多分辨率依此继续可得到更小亚像素的位移量。法,为了能够构建运动补偿欠采样矩阵,亚像素的运动估计只能从各个低分辨率图像间获得,这是制约MAP超分辨率复原图像复原有多种不同的方法,实践证明Bayes^方法有很强的超分辨率复原能力,是实现图像超分,y,A为其中,MM辨率复原最好的方法之一。因此本文采用基k,kk,kk,kλλΛλI,,=diagI,I于Bayes分析的随机统计复原方法,对欠采样序列()图像的超分辨率复原进行研究。这里最大后验概率M()()kky=y,,y,()MAP的含义就是在已知低分辨率视频序列的前M()()ktk()y,,y提下,使出现高分辨率图像的后验概率达到最大。M^^^()k,k()k,k高分辨率图像复原重构过程可描述为:首先建立高A=A,A,,分辨率图像映射到低分辨序列图像的模型,对序列M^^()k,k()k,kt()A,,A图像间的运动参数进行估算,构造运动补偿欠采样目标函数为(l,k)()矩阵A,最后通过最大后验概率法MAP复原()()ktk(αΛ,fz,=<dz)αc出高分辨率图像。m,n,r=^多帧图像的超分辨率复原的MAP模型为()()()ll,kk(Λ)z‖‖yAM^()()()kkkz=argmaxlogPrz|y,,实验与分析M()()kk()y,,y低分辨率图像序列是由一幅高分辨率图像经平根据Bayes条件概率理论可得M()移运动模拟摄像机水平,垂直和对角线运动、光学^()()k()kkz=argmaxlogPrzlogPry,,()()模糊用高斯卷积函数来模拟和欠采样q=产M()()kk生的,共帧,取未经运动直接模糊欠采样得到得图()y,,y像为参考帧。()k和条件概率()式中的图像先验模型Prz在复原过程中,不能保证超过截止频率之上非()()lk()Pr{y}|z都需要定义,这就可以加入很多的零频率成分是有意义的,即复原得到的不一定是原先验知识。图像中的高频成分,有可能是因噪声或复原过程中Markov随机场有很强的噪声抑制作用,为了有产生的振荡条纹而引起。真正的超分辨率复原频谱效的抑制图像的噪声,设图像先验模型服从Markov应与目标频谱高度相关,因此采用频谱相关系数作随机场分布同时,假设运动估计误差以及噪声因素()即退化图像综合服从高斯分布iid。()()ktk()()()Prz=exp<dzαcβZcC()()kl)z(Pry|=NNl,kNN(π)σ^()()()ll,k‖yAz‖exp()l,kσ图原始高分辨图原图高分l,kσ式中的方差正比于|lk|。()率图×辨率图频谱最大后验概率法给出的高分辨率图像估计为^()()ktk()z=argmin<dzαc()k=m,n,rzZMk^()()()()l,kll,kkλ()‖yz‖AM()l=k图有亚像素位移的低分辨率图像序列×lk从左至右依次为位移,水平位移,其中垂直位移和对角线位移各半个像素β为评价标准。进行评价时,为了直观表示将频谱相()l,kλ()=()l,kσ关系数矩阵以二维图像的形式显示出来,并对其进(行二值化处理,只显示两个频谱的高度相关区域以()式可简化为^()()ktk()argmin=<dzαzc)白色区域表示,二值化阈值设置大于等于。m,n,r=频谱相关图中白色区域的面积越大,表示复原出的^()()()ll,kkΛ()‖yAz‖高频信息越多,与原图像频谱的相似度越好。在运动估计时,匹配块的大小的选择是一个非,首先使用×的块得到整体的位移,再使小的块常关键的因素。当采用比较大的匹配块时,运动估用×的块做局部修正。块匹配的领域要根据图计的可靠性比较高,但运动估计的精度较低而采用像的运动特征具体给出,如果领域选择的太大,不仅较小的匹配块时,运动估计的精度较高,但运动估计增加了运算量,而且还降低了运动估计的可靠度选的可靠性较低。本文在运动估计时循环使用各种大择的太小则不能得到正确的运动估计。图双线性插值图双线性插值频谱图受控微扫描合成图图受控微扫描合成图频谱图随机微图随机微图受控微扫描图双线性插值图扫描图像扫描图像频谱图与原图频谱相关与原图的频谱相关图TekalpAMHighresolutionimagereconstructionfromlowerreso结论lutionimagesequencesandspacevaryingimagerestorationJProceedingsofIEEE,,,PIII:本文给出了一个较好KimSP,SuWYRecursivehighresolutionreconstructionofblurredmultiframeimagesJIEEETransIP,,:的由高分辨率图像映射到低分辨率图像的观测成像KomatsuT,etalVeryhighresolutionimagingschemewithmulti模型,将块匹配亚像素运动pledifferentaperturecamerasJSignalProcessingImagecommu估计理论用于图像帧之间nication,,:图本文所用方的运动估计,用最大后验概HardieRC,etalJointMAPregistrationandhighresolutionim法复原图像和原率方法引入图像的先验信ageestimationusingasequenceofundersampledimagesJIEEE图频谱相关图()TransactionsonImageProcessing,,:息,由此获得稳定而唯一的EladM,FeuerARestorationofasinglesuperresolutionimage最优解。实验结果和分析表明,该方法取得了较好fromblurred,noisy,andundersampledmeasuredimagesJIEEE的复原效果,具有较强的超分辨率复原能力。通过()TransIP,,:比较可知,控制微扫描由于精确知道图像帧之间的PattiAJ,etalAnewmotioncompensatedreducedordermodel亚像素位移,其复原结果优于随机微扫描。kalmanfilterforspacevaryingrestorationofprogressiveandinter()lacedvideoJIEEETransIP,,:参考文献:()HISOIEC,ITUTRecAdvanceVideo北京:北京理工大学,苏秉华超分辨率图像复原方法研究DCodingSBormanS,StevensonRLSuperResolutionfromimagese苏秉华,金伟其,牛丽红基于Markov约束的PoissonMAP超()分辨率图像复原法J光子学报,,,苏gsofIEEE,,areviewJProceedinquences秉华,金伟其基于PoissonMarkov场的超分辨力图像复原算:()法J电子学报,,,TsaiRY,HuangTSMultiframeImagerestorationandregistrationinadvancesincomputervisionandimageprocessing,GreenwichMCT:JaiPress,

用户评价(0)

关闭

新课改视野下建构高中语文教学实验成果报告(32KB)

抱歉,积分不足下载失败,请稍后再试!

提示

试读已结束,如需要继续阅读或者下载,敬请购买!

文档小程序码

使用微信“扫一扫”扫码寻找文档

1

打开微信

2

扫描小程序码

3

发布寻找信息

4

等待寻找结果

我知道了
评分:

/10

MAP序列多帧图像超分辨率复原

VIP

在线
客服

免费
邮箱

爱问共享资料服务号

扫描关注领取更多福利