监控视频序列超分辨率重建技术的研究

监控视频序列超分辨率重建技术的研究 西南交通大学 :文 硕士学位论论 监;空视频序列超分辨率] 重建技术的呀:究 姓名:熊1 ‘___. 申请学位级别:硕士 专业:通信与信息系统 指导教师:弗 i家树 20100501 Abstract Super-resolution restoration refers to restoring a high-quality and high-resolution image from multiple low-resolution degraded images by the comprehensive utilization of wealthy complementary information between the multiple frames. Under the conditions of the existing hardware to make up for the lack of spatial resolution of the original image, break through restraint of resolution of image acquisition to improve the spatial resolution and image acuity. Super-resolution restoration can fully develop the potential of the existing image data ,which illustrate a good prospect of application and extension in pattern recognition,video processing,remote sensing and medical imaging. In the application of video surveillance, imaging equipment can attain repeat images of the same region of the video image, but due to limitation of imaging system and a variety of external environmental factors, these images at a given resolution level, affecting the image visual quality and postprocessing. Compared with other application areas,super-resolution reconstruction of surveillance video is extremely critical because of unique imaging system and extensive prospect. The article focuses on the researche of surveillance video sequence super-resolution reconstruction. Analyze several key elements of super-resolution reconstruction on the basis of the traditional model, in line with these factors to improve super-resolution reconstruction on the algorithm framework of maximum a posteriori super-resolution reconstruction. 西南交通大学硕士研究生学位论文 第47页 According to the sampling features of surveillance video images in the data preprocessing stage of super-resolution reconstruction, a high-qualified frame extract method is proposed. Based on an overall consideration of variance of low-resolution images and mean square error between reference image and the low-resolution images, extracting high-quality frames which contribute to super-resolution restoration and excluding those exsisting serious degradation and loss of the critical information frames, against the initial external effects of reconstruction, increased stability of the algorithm and improve the quality of reconstruction. In order to eliminate the influence of image degradation,we improved blind super-resolution reconstruction algorithm based adaptive edge. Image degradation process can be described as motion compensation matrix and the fuzzy coefficient matrix. Motion compensation matrix reflects the geometric deformation, fuzzy coefficient matrix reflects the fuzzy, noise and other factors such as the impact of sub-sampling. To use the blind super-resolution reconstruction algorithm can eliminate images degraded factor to achieve high-resolution reconstruction. According to the movement model features of surveillance video sequence, a super-resolution reconstruction based ground separation is proposed.Algorithm introduced a geometry movement mapping matrix in the observation model, separating the background area and moving object area of video sequence, eliminating the influence of background pixels which close to moving object area in the motion parameter estimation estimation.Thus attain more accurate motion parameters and save time of reconstruction algorithm to keep the edge of the image reconstruction results Key Words: super-resolution restoration; video surveillance; data preprocessing; ground segregation;blind supre resolution restoration; 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的 规定 关于下班后关闭电源的规定党章中关于入党时间的规定公务员考核规定下载规定办法文件下载宁波关于闷顶的规定 ,同意学校保留并向国 家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权西南交 通大学可以将本论文的全部或部分 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 编入有关数据库进行检索,可以采用影印、缩印或 扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1. 保密?,在年解密后适用本授权书; 2. 不保密,^,使用本授权书。 (请在以上方框内打“V?: 学位论文作者签名:\ fieJ^ 指导老师签名: 曰期: 西南交通大学硕士学位论文主要工作:贡献:声明 本人在学位论文中所做的主要工作或贡献如下: 1. 在超分辨率重建的数据预处理阶段,提出一种合格倾提取方法。综合考 虑待参与重建的低分辨率图像的方差以及与参考图像配准后的均方误差指标, 提取能对超分辨率重建做出贡献的合格倾,剔除那些发生严重退化且失去关键 信息的不良巾贞,抵御重建初期就可能造成的外部影响,增加算法的稳定性,提 高重建的质量。 2. 针对监控视频特点的运动模型,提出一种基于背景分离的超分辨率重 建方法。 区及运动物体算法在观测模型中引入一个几何运动映射矩阵,将视频序列中的背景 区分离出来,消除了运动区域附近的背景像素对运动参数估计带 来不利的影响,从而得到更为精确的运动参数。不仅缩短了重建算法的时间, 重建的图像的边缘保持效果也得到明显的改善。 本人郑重声明:所呈交的学位论文,是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体 己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在 文中作了明确说明。本人完全了解违反上述声明所引起的一切法律责任将由本 人承担。 学位论文作者签名:丨 日期:^/^/ia 第1章绪论 1.1课题研究的背景及意义 在数字图像处理领域,分辨率简单来说就是从图像上所能分辨出细节的能 力,表征了图像中目标景物与图像信息的细微程度,它取决于成像设备固有的 分辨率及外部环境因素对成像过程的影响。在很多应用领域中,对于图像的分 辨率都具有较高的 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 ,因为高分辨率意味着图像像素密度高,含有更多有用 的关键信息。虽然现在CCD(Charge Coupled Device)和CMOS图像传感器被广 泛的用于数字图像的提取,使得成像的分辨率已经基本可以满足大多数应用需 求,但是考虑到硬件实现条件以及未来的发展,目前的分辨率水平还远远不够。 而且在成像过程中,受外部一些不可避免的环境因素影响,如大气干扰、聚焦 不准、运动模糊、非理想采样以及系统噪声等,势必将引起图像空间分辨率的 下降,清晰度不够。 西南交通大学硕士研究生学位 论文 第47页 提高成像分辨率,很自然的考虑是提高工艺水平,改进成像传感器本身, 增加传感器阵列采样密度,从而获取分辨率更高、质量更好的图像,但是受传 感器物理条件以及实际应用中高昂费用的限制,有时根本无法实现。另外对于 已经获得的影像,受当时的设备条件限制,它对目标物的空间分辨率可能远不 能满足实际的需求,因此需要这样一种技术:在一定的成像系统的条件下,突 破其成像极限以获取更高分辨率的观测图像。对于大多数光学相机来说,在成 像过程中CDD的空间采样频率达不到Nyquist采样频率 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 而形成欠采样, 这将直接导致图像分辨率损失。在图像序列的采集过程中受传感器因素影响或 景物的运动使得临近的采样顿之间存在微小的差异,而这些差异中往往蕴藏着 非常丰富的可利用信息。图像超分辨率重建技术就是综合利用多倾图像数据之 间丰富的互补信息,从一系列质量较差、低分辨率(LR,Low Resolution)的图像 来重建出一幅质量更好的高分辨率(HR,High Resolution)图像。在现有的硬件条 件下弥补了原有图像空间分辨率的不足,突破现有图像获取手段的分辨率极限 的限制,提高图像的空间分解力和清晰度。超分辨率重建技术的研究和应用, 可以充分的挖掘现有影像数据(如角度、多时相、序列影像)的潜力,更好地为 遥感侦察、目标识别与定位、视频增强与复原、医学图像处理等应用服务,在 众 []多应用领域具有非常重要的应用前景1。具体的应用领域可以归纳为下面几 个方面- (1)卫星遥感应用领域:地区资源卫星可以获取同一地区多次重复的遥感图 像,通过对遥感图像进行处理可以获取不同领域的很多信息,如植被的分布、 水资源的分布面积、区域地质构造以及土地利用现状等信息。但是由于成像技 术的限制以及受大气等外部环境的干扰,影响了遥感图像的空间分辨率以及辨 识程度,应用图像序列的超分辨率重建技术可以提高遥感图像的空间分辨率以 及识别精度。 (2) 医学计算机层析成像:医学诊断中经常利用层析成像技术识别病灶(如 肿瘤)的占位大小、阴影边缘及精确位置等详细情况。但受设备所限,要获取 满足需求的高清晰医学影响存在一定的困难,利用超分辨率重建技术可以提高 识别和定位的精度。 (3) 军事侦察领域:超分辨率重建技术对图像分辨率的改善和提高,有利于 在军事侦察领域发现识别目标,提高现有影像的应用价值,增强其在军事目标 定位与识别、军事遥感侦察、打击效果评估以及战场环境检测等军事领域中的 应用效果。 除了上述的应用领域外,在视频监控领域,成像设备能够获得同一区域多 次重复的视频影像,但由于受成像系统所限以及各种外部环境因素干扰,这些 图像的分辨率往往局限在一定的水平上,影响了图像的视觉质量以及后续的处 理。超分辨率重建技术可以对普通的监控录像资料进行高分辨率重建,提高影 像中关键信息的识别能力。对于早期一些珍贵的录像资料,由于目标太小,导 致细节不能分辨,或者 西南交通大学硕士研究生学位 论文 第47页 保存年代久远,质量发生退化,也可以用超分辨率重建 技术进行处理,提高视频图像的质量。此外,超分辨率重建技术还可以用于道 路、桥梁、險道、图书馆、宾馆、收费站、政府要害部门等场合的监控视频资 料的高分辨率重建,在车牌的识别和人员的辨认,突发事件的处理、责任认定 等方面发挥重要的作用。而与其他应用领域的超分辨率重建相比,监控视频由 于其自身成像系统的一些独特性以及广泛的应用前景,使得针对监控视频图像 的超分辨率重建技术的研究显得尤为关键。 1.2图像降质模型 超分辨率重建技术简而言之就是在已知低分辨率图像序列的前提下,重建 出更高分辨率的图像。在介绍超分辨率重建算法之前,需要分析影响图像空间 分辨率的因素并对图像降质过程建立数学模型。为了有一个更直观的印象,在 介绍图像降质模型之前首先给出一个具体的超分辨率重建的例子。 如图1-1中,上面四幅低分辨率图像(64像素x64像素)在成像过程中受成 像设备以及外部环境因素影响发生了图像降质,使得图像关键信息很难识别, 限制了图像在实际中的应用。下面为重建的高分辨率图像,分辨率提高因子为 2,图像大小为128像素X128像素。由这个超分辨率重建的卖例以及薛分辨率 西南交通大学硕士研究生学位 论文 第47页 重建理论可以知道下面三点: (1) 低分辨率图像序列之间存在微小的几何形变,这样才能满足图像之间 存在冗余互补信息这个基本前提。 (2) 受成像系统及成像环境所限,以及目标景物与成像设备间存在的相对 运动情况,观测的图像势必受模糊、噪声等因素影响。 (3) 为了增强分辨图像细节信息的能力,重建出来的高分辨率图像尺寸一 般都比观测的图像大。 低分辨率图像 ___ ‘ S -a PK 0 ______ 高分辨率图像 图超分辨率重建的例子 从上述几点可以知道一般图像降质过程包含几何形变、光学模糊、亚果样 以及产生噪声等,如图1-2所示为对光学成像传感器的成像模型描述.首先成 像设备与目标场景的运动使投影图像发生几何形变;投影图像经过镜头时受到 光学模糊,在成像单元上经过亚采样。在成像过程中诬引入了光子噪声、热噪 声以及量化噪声等。 假定原始的高分辨率图像大小为为了建立图像降质过 程的数学 模型,将其写成向量形式: 这里yv - 表总像素数目 对高分辨率图像亚束样,果样因子为i,这样得到的观测低分辨率图像大小为 N、乂 ?将第M贞观测图像表示成向量形象:Xt-[>W,>Vi,...,>^ijiJ’这里 = 代表一共Nr p顿图像中的某一喊,为像素叙數。考虑其他 的降质因素,我们可以将图偉降质模型〖21定义为: 西南交通大学硕士研究生学位 论文 第47页 + \;^众=1,...,;0估计出高分辨率图像。 Blur: B2 Ms: Geometric Transformation y i Blur:B3 Ms: Geometric Transformation y z l• b y s Blur: Bp Mp: Geometric Transformation Hp u y p 图1-2图像降质模型 1.3超分辨率重建技术的关键要素 在图像的降质模型的基础上,便可以对低分辨率图像序列进行超分辨率重 建,如图1-3所示,大多数超分辨率重建方法都包含配准、内插及复原三个步 骤。根据不同的重建方法,这三个步骤可能单独实现,也可能同步实现。 yi RestoratioRegistrati ----- ^ n For Blur on • • AnA InterpolatiOr on Onto an • * • HRGrid And Motion Noise yp-1 • 一 .一 ^ Removal Estimatio n yp ; V ) V J V J 西南交通大学硕士研究生学位 论文 第47页 图1-3超分辨率重建步骤 超分辨率重建技术一般包含三 大关键要素,首先是低分辨率图像序列之间 西南交通大学硕士研究生学位 论文 第47页 的配准与运动参数估计,其次是成像系统的点扩散函数,最后是超分辨率重建 算法 框架。下面就这三大要素分别介绍。 1.3.1低分辨率图像序列的配准 精确的运动参数估计对于重建的质量是至关重要的。要将观测图像的像素 点配准到高分辨率网格上,首先必须分析图像降质模型中,降质的低分辨率图 像像素与原始高分辨率图像的像素点存在怎样的联系。成像过程中的图像几何 形变和亚采样使得图像序列中顿与•!?贞之间存在着微小的差异,如图1-4所示, 亚采样因子为2,高分辨率图像大小为6x6,亚采样后得到几顿大小为3x3的 低分辨率图像,且图像序列之间存在运动位移。光学成像模型中成像设备与目 标场景之间有两种运动机[3]制。其一,相机运动己知,对于静止的场景拍摄的 图像序列之间的运动可以通过已知的相机运动信息估算出来。但由于在超分辨 率重建中关注的是亚像素级别的位移,而成像过程中的任何微小震动都将导致 图像序列之间的随机相对运动,因此这种情况的适用范围有限。第二种运动机 制为随机扰动机制,利用成像过程中相机与目标景物之间的各种随机扰动来获 取多次不同的景物记录,并将这些景物图像序列参与超分辨率重建。这种情况 下,图像序列之间的运动关系是未知的,所以要对其进行运动参数估计。 另一喊的 (1, 1)像 门门门? n门 低分辨率图像 高分辨率图像 图1-4图像几何形变和亚采样 超分辨率重建的第一个基 本步骤就是估计参与重建的图像序列之间的运 动位移并对其进行补偿,并将各低分辨率图像配准到同~个坐标系下。如图 1-5所示,将三顿图像大小为4x4的低分辨率图像配准在同一个8x8的高分辨 率网格中。以空心II像 素点的2倍上采样图像作为基准,估计出实心_和三角 西南交通大学硕士研究生学位 论文 第47页 形为代表的图像像素点的运动位移并对其进行运动补偿,配准在同一个坐标系 上。由图1-5可以看出,三幅图像间存在着平移以及旋转变换。超分辨率的目 的实际上就是将低分辨率图像序列的像素插值到高分辨率网格中,以达到重建 的效果。 超分辨率技术中的运动估计和其他数字图像处理领域中常用的运动估计 大体相似,但是有其自身的特点。比如参与重建的低分辨率图像序列都是连续 拍摄的,时间间隔极短,因此彼此间的相对运动位移较小,运动比较细微。而 且,超分辨率重建算法对运动参数估计的精确度要求较高,因此在超分辨率图 像序列运动参数估计过程中,需要更准确的亚像素级别的参数估计方法。另外, 成像过程难免受噪声等因素影响,如果单独对两喊图像进行运动估计有时并不 稳定。超分辨率重建中针对的是整个图像序列,而这些图像序列中含有很多相 关信息,可以充分的利用这些相 运动参数估计方法将在本文第四章中关信息达到提高运动估计精度的目的。具体的 详细介绍。 00~~0~0- -0 6 ? -6-6 -0 图1-5低分辨率图像配准内插 超分辨率重建技术虽然可以一定程度的提高图像的分辨率,但其并不是万 能的,而要以其场景本身存在额外信息为前提的,所以只有当图像序列中存在 非冗余的互补信息并且满足一定的几何条件的情况下,才能实现重建的可能 性。图1-6为一个最理想的超分辨率重建实例。例中亚采样因子为2,釆样得 到的四倾低分辨率图像釆样点分别为JViXjV,高分辨率图像X的像素点- x{2i -1,2 j -1\x{li -1,27), xilUlj -1), x{lU2j) (1-3 ) 西南交通大学硕士研究生学位 论文 第47页 其中/e(l,AV2)je(l,A^"2)。这样低分辨率图像序列的采样点刚好落在高 分辨率 顿低分辨率的网格点上,形成完全互补的情况。此时超分辨率重建实际上就是将四 图像简单的插值于高分辨率网格上。 西南交通大学硕士研究生学位论文 第47页 -ilr —? -ik- 图1-6理想超分辨率重建的例子 1.3.2点扩散函数及其模型 对光学系统来讲,输入物为一点光源时其输出像的光场分布,称为点扩散 函数 (PSF,point spread function)。在数学上点光源可用S函数:点脉冲:代表, 输出像 的光场分布叫做脉冲响应,所以点扩散函数也就是光学系统的脉冲响应 函数。点扩 散函数主要取决于光学系统的衍射及探测像元的有效尺寸。探测像 元的PSF用 t/(;c,>0表示,定义为: x/a <1/2, y/b <1/2 —rect{-,—) = d(x,y) (1-4) 0, \ ab a boterwise 式中rect表示矩形函数,a和b为探测像元的尺寸。力的频谱Z)(?,v)为 sinimu) sin(;z6v) D(u, V) = sin c(au, bv) 一Tt aubv 系统的光传递函数(OTF,optical transfer function)定义为 (1-5) 2、2 p p _P 1- cos" ‘P 经验 班主任工作经验交流宣传工作经验交流材料优秀班主任经验交流小学课改经验典型材料房地产总经理管理经验 知识进行分析评价可感知 [35】的图像特性,如图像的尺寸、 分辨率、范围以及成像质量、模糊、噪声等。主观评价方法操作简单,可以 辨别质量较差的图像,避免一些不必要的工作,为后续处理提供了可用的感性 信息。但主观评价方法具有很大的不确定性,受很多因素影响使得评价的结果 可能因人而异,可靠性无法掌握。因此为了弥补主观评价方法的不足,有必要 提出一些客观的评价标准定量分析图像质量。根据应用需要可以将客观评价方 法分为两大类,一类是针对单幅图像,计算图像的均值、方差、平均梯度和信 息熵等指标;另一类应用于图像重建中原始图像与重建图像之间的比较,一般 有均方误差、峰值信噪比和平均绝对误差等指标。 一般来讲,超分辨率重建得到的新图像有两个要求:尽可能多地保留低分 辨率图 [36]像序列中的有用信息以及尽可能少地引入失真。 在本文中,由于针对的是监控视频序列的重建,原始的图像并不存在,因 此评价重建的图像效果并不容易。因此本文主要釆用主观评价方法结合图像的 边缘提取来评价重建前后的图像质量。为了更好的评价算法的优劣,我们将由 高分辨率图像模拟的低分辨率图像序列参与算法,这样便可以用客观指标评价 图像重建质量。本文采样峰值信噪比:PSNR)评价重建图像的质量,PSNR定义 为: 11255'x^'A^, PSNR = mog J ------ r—^ (2-4) 式中,q为分辨率增强因子,;c为原始高分辨率图像,i为超分辨率重建 的高分辨率图像,图像的大小为A^iXiV〗。 2.4实验结果及分析 下面通过实验对上述两种算法进行说明。如下图图2-1所示,釆样获得 12帖任分辨率,我们以第7幅图像作为参考图像。 西南交通大学硕士研究生学位论 文 第47页 图低分辨率图像:共12中贞: 对12顿图像的方差值进行统计,图2-2为各低分辨率图像方差统计结果, 由图可知大多数低分辨率图像的方差值在750到850之间,只有第四侦图像方 差为572,比其他顿要低很多,因而可以判定其为‚不良巾贞"。 400 200 600 40 0 14 12 图2-2低分辨率图像方差统计结果 滤除了第四喊图像后,将其余的低分辨率图像与参考图像进行配准,再求 出配准后的图像与参考图像间的均方误差值,其统计结果如图2-3所示,由图 可知除了第六帧图像配准后与参考图像均方误差为318外,其佘的均方误差值 均不超过100。取阐值为100,可以判定第六顿为‚不良巾贞’’,将其滤除。 剩余 西南交通大学硕士研究生学位论 文 第47页 的10顿图像就是我们提取出来的‚合格顿'',可以参与超分辨率重建, 图2-3配准后图像与参考图像均方误差值统计结果 图2-4显示:左图为提取合格帧之前的超分辨率重建效果,右图为提取合 格喊后的重建效果.实验结果表明,受到劣质图像影响,经过重建后的:a)图 像在质量上并没有得到什么改善,反而引入了很多不相关的模糊及噪声,而在 提取了合格顿后的重建图像:b),在图像质量上有很大的提高《因此在超分辨 率重建之前对待参与重建的图像进行评估,提取合格顿显得尤为重要。 a)提取合格巾贞前重建效果 b)提取合格顿后重建效果 图2-4提取合格帧前后重建效果比较 实验证明,•利用基于,方差法和基于配准后均方误差法这两种顿提取算法, 滤除不利于超分辨率重建的劣质图像,提取合格的低分辨率图像进行重建,能 够抵御重建初期就可能造成的外部影响,增加算法的稳定性,提高重建的质量。 为了对算法有一个客观的指标评价,我们可以取一副原始高分辨率图像, 对其进行模拟退化得到低分辨率图像序列,将这些低分辨率图像进行超分辨率 重建,重建效果便可以以原始的高分辨率图像为基础进行比较. 西南交通大学硕士研究生学位论 文 第47页 a)模掠低分辨率图像:共12中贞: 为了恭得训练用的高分辨率文 本 在it^?文本处理软件时直接从龟 脑jp 法.在总?取30喊后,再全部手 工i 麟大小.为了产生相应的顧低分 鋪 从训练样本中选取一幅,帮ih谏 顿图條 平移、?和_样,并重述过程 j 辨率为64 XB4 m、非X余的低妨 舞 本@用 SNR mitwt^M 其定义为_ .^b r- b)原始高分辨率图傢 图2-5模拟退化低分辨率图像 如图2-5所示,图b为256x256的原始高分辨率文本围像 模拟生成的12顿64 x 64低分辨率图像。模拟退化过程包括模糊 及亚采样。其中第六顿发生图a为图b 严重模糊,第八帧为低分辨率图像放大〗.2倍后截 取64><64大小几何形变以 的图像。如图6和图2-7所示,分别为低分辨率图像方差统计 结果 以及配准后图像与参考图像均方误差值统计结果。由图可知第六喊低分辨 西南交通大学硕士研究生学位论 文 第47页 I,配准后均 率图像方差为779.4,远小于其他图像,而第八顿的方差为 4764. 方误差值为283,超过 其他顿配准后图像的均方误 差值。 4000 12 图2-6低分辨率图像方差统计结果 sr\ 400 图2-7配准后图像与参考图像均方误差值统计结果 图2-8为运用提取合格倾算法前后进行Hiiber-Markov超分辨率重建迭代 30次效果的比较,图a为所有低分辨率图像参与重建得到图像,重建图像与 高分辨率图像的PSNR值如表3-1所示为7. 5874,图b为剔除了不利于超分辨 率重建的低分辨率图像后的重建效果,重建图像与髙分辨率图像的PSNR值为 9.8327。可以看出,通过顿提取算法可以消除严重降质或其他外部条件可能对 超分辨率重建的影响,增加算法的稳定性。 西南交通大学硕士研究生学位论文 第47页 ‘I m.-as ;a: a)提取合格顿前重建效果 b)提取合格顿后重建效果 图2-8提取合格帖前后重建效果比较 表2-1超分辨率重建结果性能比 超分辨率重建算法 较 未剔除不良顿 PSNR 剔除不良顿 7. 5874 9.832 7 2.5本章小结 本章详细描述了视频序列超分辨率重建前对数据进行预处理的步骤及方 法。提出一种提取‚合格帖?的方法。该方法考虑采集视频序列时可能遇到的 两种图像退化严重情况,综合基于方差及配淮后均方误差的评估准则,别除可 能对重建算法带来不利影响的"不良巾贞?,增强了超分辨率重建算法的效果及 稳健性。实验结果表 西南交通大学硕士研究生学位 论文 第47页 明,本方法能够有效遏制劣质图像对重建效果的负面影响, 是一种简单而行之有效 的方法,并且在需要多倾数据参与的其他数字图像处理 领域具有一定的借鉴意义。 西南交通大学硕士研究生学位论 文 第47页 第3章边缘自适应的盲超分辨率重建 3.1引言 在超分辨率重建中,为了获得未知的点扩散函数:PSF),很多盲超分辨率 重建理论发展起来了。但导致图像降质的原因非常复杂,如模糊,噪声及亚采 样等因素都会对图像的分辨率带来影响,因此希望得到精确的PSF并不容易。 本文改进了一种基于 [49][5]边缘自适应的盲超分辨率重建算法0。图像降质 过程可以描述为运动补偿矩阵和模糊系数矩阵。运动补偿矩阵反映的是巾贞间的 几何形变,模糊系数矩阵则反映的是模糊,噪声及亚采样等其他因素带来的影 响。利用盲超分辨率重建算法消除模糊等降质因子实现髙分辨率图像的重建。 并根据图像的边缘信息自适应的改变重建的信任参数,达到更好的边缘保持的 目的。 3.2多喊MAP超分辨率重建算法 基于MAP的超分辨率重建方法是目前最主流的算法之一,其依据Bayesian 理论通过观测低分辨率图像序列在先验知识约束下达到最大的后验概率来实 现超分辨率的重建,可以充分利用图像的先验消息,同时还具有全局唯一最优 解的优点,又能同时实现运动参数估计与图像重建,因此在实践中得到非常广 泛的应用。 针对前面介绍的成像模型,以及将低分辨率图像和原始图像的关系表示 为: = ke(c-p,c + p、 (3-1) 其中2p+l表示低分辨率图像帧数,C代表中间帖,重建的目标是求取与 低分辨率图像中的中间喊:V。相一致的髙分辨率图像x。。 MAP超分辨率重建算法中,;C的最大后验概率估计就是寻求h使得在低 分辨率图像序列;^;>已知前提下最有可能出现的;^,也就是使其后验概率值 P{x, 1达到最大。我们可以将估计值ie定义为: 由贝叶斯定理转化上式为: 由于低分辨率图像序列已知,故省去分母项,将上式用对数形式表示,表 达式变换为: 西南交通大学硕士研究生学位论 文 第47页 JJ (3-4) C+P x,= arg max[log )+log J^y" 考虑到优化约束条件,可将目标函数写成: (3-5) argmin[- log)- log,k 丰 c)| jc,)] subj ect to F= {jc: jVc = JV^x} MAP超分辨率重建就是对上式目标函数的最小化求解。上式中的第一项 为图像的先验概率,一般采用的是一种具有Gibbs概率密度形式的Markov随 机场模型[31],釆样后图像X的密度函数可以表示为: (3-6) exp- Z -办?} 其中,A表示‚温度?常数,(力表示与簇有关的位势函数,2为归一 化函数。在文献〖32]中,提出Huber-Markov超分辨率重建法,算法定义位势函 数中的参数为: (3-7) 丄 _ 工=_ , - Ix- _ + X (3-8) */n’n I (3-8) =0‘5:W?-1 -Xm^ +0-5 工一 1 d—. .X. = x—_i,„ 一 X. . + ^•m+l’《 (3-1'm+l,n+l + 0.5x 0) a pAX) (3-12a 1) 式(3-11)中的《是分割二次项区域和线性区域的阐值参数。 由于低分辨率图像序列之间的运动估计误差是相对独立的,因此式(2-14) 的第二项可以写成 C+P (3-12) C'P 一般情况下,可以认为的估计误差可以用零均值正态分布来表示,这 在很多的场合中符合实际情况,这样&可以定义为: f (3-13) )k.c (2冗-exp k‘c 将式(3-6)到(3-13)代入到式(3-5)中,整 理后得致 (3-14) si?,入 西南 交通大学硕士研究生学位论文 第 玄 C = 47页 argmin,,^ F = {x\Wx = y 其中 西南交通大学硕士研究生学位论文 第47页 A ~~Lk 本 (3-15) (3-16) ,••-,/*-i ,…,3^’*+p. y-(3-17w W' W' w ''k-T, 5V5'' i-1 k+l k+p ) Tt 对式(3-17)直接进行求解是很困难的,常用的方法是采用迭代方法求解, (3-18去除式(3-14)中的不相关项,目标函数由余下的项组成,即: ) = (3-19) 我们这里用梯度投影的方法计算高分辨率估计值ie,具体的迭代求解方法 实施步骤参见文献[33]。 在使用梯度投影方法时,随着迭代的次数?1加,迭代序列将逐渐逼近其估 计值,并沿梯度的负方向最终收敛于其局部最小值。这种方法在每次迭代过程 中都用一个投影算子将目标函数的负梯度投影到式(3-19)中F定义的约束空间 来,由此实现对i。的逼近求解。 假设超分辨率重建过程中,空间分辨率提高因子为q,并令重建的高分辨 率图像的初始值为;Ce",一般为中间参考巾贞的双线性内插放大图像。每一次迭代 中,定义目标函数的梯度为&向约束空间的投影映射描述为: P,:Pi=-Pg"其中P代表投影算子。 P = I-WJ (w^JVf)"' = / -q'WjW, (3-20) 迭代时沿梯度下降方向移动的步长可以对目标函数当前的迭代值\1以 二阶泰勒级数展开得到: pTp (3-21) 其中,V^C^Xc)为目标函数。将图像降 质过程描述为运动补偿矩阵和模糊系数矩阵。运动补偿矩阵反映的是喊间的几 何形变,模糊系数矩阵则反映的是模糊,噪声及亚釆样等其他因素带来的影响。 利用盲超分辨率重建算法估计图像的模糊函数,并根据图像的边缘信息自适应 的改变重建的信任参数,达到更好的边缘保持的目的。 3.3.1目标函数的推导 对于采样获得的一系列.低分辨率图像序列 f^\,k = c—+ (3-24) 这里,M表示参与重建的图像倾数,中间顿yd为参考图像。文献[49]将 图像的观测模型定义为 /*)=5M(")ZW+/7(^,C) (3-25) 义Z(义分别代表模糊系数矩阵,运动补偿矩阵,高分辨率图像和 噪声。 根据最大后验概率估计方法(MAP),可知要求得高分辨率图像,应满足后 验概率最大,根据贝叶斯条件概率理论,最大后验概率估计值可以表示为 i(c),i = arg 匪+z(()’f)f(z(c),五j (3-26) P{y) 写成对数形式则为 f (c),i = argmin{- — log[尸(z(c))]_log[/^(5)]} (3-27) rt'tfl 西南交通大学硕士研究生学位论 文 第47页 因为降质模型的误差可以用零均值正态分布来表示,则上式中第一项条件 概率可以表示为 (3-28) 义;^为超分辨率重建信任参数,在边缘等强空域活动像素点取较大值,在 平滑区域像素取较小值,自适应的改变;的值可以增加算法的边缘保持性; 定义为: (3-29) /i{i,j)表示像素点/乂/,力的一个矩形区域,表示内的像素数, “{•^^(/j)表示邻域内像素的平均值,C为一个常数因子。对于模糊系数矩 阵5,是一个类似Gibbs随机场分布,其概率密度可定义为 (3-30) 式中,5]|<万||表示能量函数,对于一个高分辨率图像来说,可以先估 计出模糊系#矩阵5为 B = argmin' -BM^'-'^^z^'f + 丄2]||<列[ (3-31) ^ I P ceC 求出B以后,便可以求出高分辨率图像 :argmin (3-32) 3.3.2算法实现 边缘自适应的盲超分辨率重建算法的具体实现步骤如下所示。 第一步:取图像序列中的中间顿为参考顿,对其进行双线性内插得到迭代 初始值n为迭代次数; 第二步:估计低分辨率图像序列与参考图像的运动参数,得到低分辨率图 像的运动补偿矩阵 第三步:根据式(3-29)计算超分辨率重建信任参数; 第四步:根据式(3-31)计算 模糊系数矩阵万; 第五步:对式(3-31)进行求解,用梯度投影方法迭代得到重建的图像; ,如小于阐值‚则Jf.-x广1,迭代结束第六步:计算 t+1 -X 西南交通大学硕士研究生学位 论文 第47页 3.3.3实验结果及分析 为了比较边缘自适应的盲超分辨率重建算法,我们由高分辨率图像模拟得 到低 分辨率图像序列,并对其超分辨率重 建,比较箅法与其他重建算法的优劣。 a)曰历图像双线性插值重建效果 b)Huber-Markov超分辨率重建效 果 C)边缘自适应的盲超分辨率重建效果 d)高分辨率图像 图3-2边缘自适应超分辨率重建算法比较 如图3-2所示,从Mobile Calendar视频中取出13幅288*288高分辨率 图像,对其进行高斯模糊及亚来样,得到13幅144*144低分辨率图像-图ci 为高分辨率图像.图a为双线性插值重建的效果,图b为运用Huber-Markov 超分辨率重建算法重建的效果,图C为运用基于边缘自适应的盲超分辨率重建 算法得到的效果。由图可以看出图C比图b具有更好的边缘保持性。 西南交通大学硕士研究生学位 论文 第47页 图3-3为各重建图像经过相同的Soble边缘提取,二值化后生成的边缘图。 由 图可知基于通缘自适应的盲超分辨率重建的高分辨率图像边缘轮廓更为清 西 南交通大学硕士研究生学位论文 第47页 晰,而其他的重建方法边缘较为模糊,边缘较粗糖. li 預養灘。 a)曰历图像双线性插值重建边缘 b)Hijber-Markov超分辨率重建边缘 C)本文算法重建边缘 图3-3边缘自适应超分辨率重建算法比较 表3-1给出了对应的重建算法性能对比的客观评价指标,数据表明,基于 边缘自适应的盲超分辨率重建算法获得更大的PSNR,这与图3-2的主观评价 是一致的。 表3-1超分辨率重建结果性能比较 算法类型 迭代次数 5 10 30 双线性插值 PSNR 18.4835 Huber-Markov 19.0254 19.0864 19.1358 本文算法 19.2476 19. 2915 19.3483 西南交通大学硕士研究生学位 论文 第47页 3.4本章小结 本文在最大后验概率超分辨率重建的算法基础上,改进了一种基于边缘自 适应的盲超分辨率重建算法。将图像降质过程描述为运动补偿矩阵和模糊系数 矩阵。运 噪声及亚釆动补偿矩阵反映的是顿间的几何形变,模糊系数矩阵则反映的是模糊、 样等其他因素带来的影响。利用盲超分辨率重建算法消除模糊等降 质因子实现高分辨率图像的重建。并根据图像的边缘信息自适应的改变重建的 信任参数,实验证明本文算法能够达到更好的边缘保持的目旳。 西南交通大学硕士研究生学位论 文 第47页 第4章基于背景分离的超分辨率重建 4.1引言 在超分辨率重建中,低分辨率图像间运动参数估计的精确程度对重建的效 果影响极大。因此为了得到更高质量的高分辨率图像,必须充分考虑图像的退 化模型及图像间的运动模型。 对于监控视频序列来说,其具有两个一般图像序列没有的特点:第一,运 动模型特别;第二,受运动模糊影响较大。在超分辨率重建的其他应用领域:如 医学成像和遥感图像领域:,运动模型相对简单,受拍摄角度及外部环境干扰 导致图像发生几何形变或全局运动,可以使用仿射参数模型和最小二乘匹配算 法对图像进行配准。相比之下,监控视频序列中,由于监控设备位置固定,而 监控范围内的物体运动复杂,因此运动模型较为复杂。一般可以将监控视频图 像分为背景区和运动物体区,背景区一般不动,受天气光照等影响较大,运动 物体区则存在大量的局部运动,其成像质量受运动模糊的影响较大。 针对监控视频中低分辨率图像的这两个特点,本文提出一种基于背景分离 的超分辨率重建算法。算法将视频序列中的背景区及运动物体区分离出来,因 为重建的目的一般是获取运动区域的关键信息,且图像间背景区域几乎没有重 建所需的冗余信息,所以在运动参数估计时可以不考虑背景区域,而只考虑运 动区域间的运动参数,这样不仅可以消除运动区域附近的背景像素对运动参数 估计带来不利的影响,也节省了时间。算法在观测模型中引入一个几何运动映 射矩阵,将视频序列中的背景区域及运动物体区域分离出来,消除了运动区域 附近的背景像素对运动参数估计带来不利的影响,从而得到更为精确的运动参 数。实验证明本方法不仅缩短了重建算法的时间,重建的图像的边缘保持效果 也得到明显的改善。在得到低分辨率图像间运动区域的运动参数估计后,再应 用一种边缘自适应的盲超分辨率重建法提高图像分辨率。 4.2监控视频序列观测模型 空域超分辨率重建算法最大的特点就是充分利用掌握到的关于被拍摄景 物的先验信息。先验信息的加入可以很大限度的提高重建的效果。现在的研究 工作大多都是利用各种不同的先验知识构建自己的观测模型与算法框架,实现 重建效果的进一步改进。 超分辨率重建技术之前先要建立图像成像的观测模型。如本文第2章所 述,原始1;^,><2:凡大小的高分辨率图像1 = ^,1,,...,太„1『,实中N = I}N、N,。对 西南交通大学硕士研究生学位论 文 第47页 高分辨率图像亚采样,来样因子为i,这样得到的观测低分辨率图像大小为 将第M贞观测图像表示成向量形象:=[>^i,:>V,...,:^^i_Mf ,这里' = 代表一共厂顿图像中的某一顿,M = 为像素总数。—般情况 下,图像降质因素可以归纳为几何运动、模糊以及亚粟样,因此我们可以将图 像降质摸型定义为: (4-1) ;l^0 (4-9) ,根据优化理论,在考虑兴趣区域S内所有像素的情况下 式中WM [C 图像之间运动参数的最小二乘估计应该满足如下条件: M = argminj^, E{M) (4-10) 其中,表示误差估计函数,定义为: E{M)= J; (7+ //?”+剩 |2 (4-11) 上式中,为正则化因子,是为了避免解的奇异性加入大的。当2 = 0,式 (4-11)则为标准的最小二乘估计解。对式:4-11)关于M求偏导,并令偏导为零, 可得: S (A'fsffAM + A'fj)+ m = 0 (4-12) M 从而可得: + " YA'fsf (4-13) ?r少 e , 从式:4-13)可以看出,运动参数估计过程中的关键是求图像的数值差分 /,,•/;和/。/为目标图像与参考图像之间相应位置像素的灰度值之差,对于离 散图像而言,可以采用比较常见的梯度算子求解/,,/,,如Roberts梯度算子 和Sobel算子等。 4.3.2 Horn-Schunck 光流法 基于光流方程:OFE,Optical Flow Equation)的方法是依据图像亮度梯度 来得到一个光流场的估算。对于灰度图像,OFE需要和合适的时空滑度约束条 件联合使用,这要求位移矢量在附近区域缓慢变化。 西南交通大学硕士研究生学位论 文 第47页 Horn-Schunck光流法的原理是搜寻一个运动场,它的流量矢量逐像素 变化的最小值满足OFE。假设?(x,,;C2,丨)表示连续时空亮度分布。如果沿着运动 轨迹上的亮度保持不变,那么光流方程可以表示为: E{x^,x^,t)= +Ax,,X2 +AK2,t + At) VxpXj,?. (4-14) 对上式右边做一阶泰勒级数展开,光流方程可以重写为: ?(v(4办)) = v(xR, +E, ?0, (4-15) 式中: (4-16 ) 表示依据连续空间坐标的坐标速度矢量分量。 在离散光流函 数中,左..,之.,i,可以表示为四次有限差分 A E. ^ ?^Jtl+Mz+l ''"^Xj+Ui 一少 JEI,J2 + 少;tl+U2+l 一少 Jtii:!十I. (4 17) A 1 E=y^1^2+1 一y+ ^一yJ^+i,巧 + yii-.^i+i y+ *+1^2+1 _ yjti+UJ: , (4 18),- E, -化 Li?:丨 -化+1 + 少2!补-y%J (4-19) 通过求解下面的方程得到运动矢量: fv-^ (4-20) ?? argmm (V 力:‘ 式中,f丨(VO^/JOC》为平滑度约束条件,像素点的 平滑度约束函数可以定义 为 ,\2 dv(x)']' rav(x)Y f 涨(X) (4-21) dx. dx. dx. (dh(x) 丫 dx. 22通常试探性地选择参数r,来控制平滑度约束条件的强度。较大的r值将 会增加约束条件的影响。可以通过Gauss-Seidel迭代法解最小化代价函数, 从而得到运动矢量。 - 由于Horn-Schunck法在整个图像或运动估箅窗口上都强加光流和平滑约 束条件,这产生并不希望的效应:在垂直于遮挡边界的方向上平滑约束条件并 不适用,导致一个全局的平滑约束条件将使得‚运动边界?变得模糊。例如对 于静止背景下 西南交通大学硕士研究生学位 论文 第47页 运动的物体,其边界的运动场会有突变。如果只是沿着亮度没有 较大变化的像素方 向上加平滑约束条件,运动边界可能被保留下来。 西南交通大学硕士研究生学位 论文 第47页 4.3.3块匹配 块匹配运动估计的基本思想是:将存在相对位移的每一顿图像划分为互不 重叠固定大小的方块,对于当前顿的每一个图像块,按照一定的搜索模式和匹 配准则,在参考顿中的搜索窗口内搜索最佳匹配块,参考巾贞中的最佳匹配块与 当前顿图像 [4】块之间的相对位移即为所求的运动向量:MVniotion vector) i。 如图4-2所示,, m,n)的位移通过考虑一个左上角 定位在:m,n)的Mxi^其中顿k(当前帧:中的像素: 块,同时在巾贞k+1 (搜索倾:的搜索窗口中找出同样大小的 最佳匹配块,得到运动向量。 中中贞 贞k+1 k 图4-2块匹配 块匹配算法的匹配准则要求可以衡量图像块之间的失真程度,常用的有最 小均方误差:MSE,inean square error)函数,最小平均绝对差值:MAD,mean absolute difference)函数,最小绝对差分和:SAD,sum of absolute difference)函数等。 在最小MSE准则中,MSE定义为: J K4-\N-\ 2 M9?(v,’V2) = ^^^;"^2]2>(w + /,《 + _/,A:)-;y(w + Vi+f,《 + V2+_/, + l)] (4-22) ^ 使得MSE达到最小的就是当前块的运动向量。艮P: (v,,V2) = argminMS?(v,,vJ (4-23) 在实际应用中,由于最小值MSE准则在硬件中很难实现,所以经常用MAD 最小倌准则代替,MAD可以定义为: 1 M-1 N-\ MAD(v^,v^) = ~-yy + + + +z,n + V2+y,jt + l)| (4-24) 西南交通大学硕士研究生学位 论文 第47页 估计的运动向量为- (v,, Vj) = arg min MAD{y^, Vj) (4-25) 寻找最佳匹配块需要在每~个像素所有可能的候选位移矢量上优化匹配准 则,这可以通过全搜索方法实现,即对搜索窗口中的所有位置计算其匹配程度, 满足最小值准则的对应偏移量为所求的运动向量。 釆用全搜索箅法的搜索模式虽然能够找到搜索窗口中最佳匹配块的位置, 但运算量较大,在实际应用中难以实现,因此各种快速搜索方法也迅速发展起 来。这些快速搜索方法在保证搜索精度的前提下大幅度的提高搜索速率,常见 的有三步搜索 [42【43]法:3SS,three step search) ]、叉形搜索法:CS,cross search) 、菱形搜索法 44]:DS,diamond search)丨、十字搜索方法:CDS, cross-diamond search)[‚〗]等。 4.4基于背景分离的超分辨率重建 为了获得更精确的运动参数估计,需要将监控视频序列图像背景分离,我 们在观测模型中引入了一个几何运动映射矩阵。为了得到映射矩阵,首先要确 定图像场景中的运动区域,本文综合考虑视频倾间差与边缘提取的方法分离背 景区与运动区。在得到映射矩阵后,运用可信度验证的分级块匹配进行亚像素 运动参数估计。 4.4.1运动区域的确定 从视频序列中釆样得到一系列低分辨率图像,为了获得运动区域,可以先 选定一幅图像为重建的参考图像,然后将各幅低分辨率图像与参考图像相减求 顿差/(x,;;)。由于背景区在各幅图像中分布都相近,因此图像间的背景区域灰 度值接近,其顿差很小,而运动区域的喊差较大。设定一阈值,将小于该阈值 的像素值置零。但置零的像素位置被不能就被认定为背景区,由于顿间运动偏 移较小,导致运动区域的很多像素位置也被置零。当监控范围中只有单一的物 体运动时,取i|i贞差中最上面的非零像素点/(i,,_A),最下面的非零像素点 最左边的非零像素点/(/;, 以及最右边的非零像素点/(/4,_/4)。提取 各低分辨率图像中JC坐标位于到之间,_^) 坐标位于到人间的像素区域 分析提取出来的矩形区域的像素点的梯度值,找出每行梯度大 于一定阐值的最左和最右边的像素点,两侧的像素点置零;对于某些行背景灰 度值很接近运动像素区域,像素梯度法没有办法将其提取出来,可以将整行划 s南交通大学硕士研究生学位论文 第39页 为运动区,这样就得到每幅低分辨率的运动区域像素位置。设定一与图像大小 相同的矩阵,在非零像素点位置的值置1,否则置0,即为运动映射矩阵//t。 如图4-3所示,图a为参与重建的低分辨率视频倾,图b为重建参考图像, 图C为存在运动的矩 形区域,图:i为背景置零图像。 、 b)重建参考图像 a)低分辨率视频顿 C)预处理图像 图 d)背景置零图像 运动区域的确定 4.4.2精确运动参数估计 视频序列超分辨率重建中,参与重建的对象一般都是同一场景的存在相对 位移的低分辨率图像序列。低分辨率图像之间具有丰富的互补信息,这些相关 信息是超分辨率重建的前提条件。因此在重建中需要粟用运动参数估计方法将 各倾低分辨率图像与参考图像匹配,配准到同一坐标系中,由于超分辨率重建 算法对运动参数估 西南交通大学硕士研究生学位 论文 第47页 计的精度具有较高的要求,需要达到亚像素级别的精度级。 实际的视频图像序列之 间一般都存在大量的局部运动,对于这类图像常用 西南交通大学硕士研究生学位 论文 第47页 的方法是运用图像分级块匹配来实现图像间运动参数的精确估计。设定一参考 图像 yc),将各原始低分辨率图像yw与参考图像进行块匹配,求得整数运动偏 移量,并 以该偏移量作为下一级匹配的初始值。对参考图像和低分辨率图像进 行上采样,上 (釆样图像分别为/…和j/t"},将其进行下一级块匹配,得到亚像 素运动偏移量。这 [46]样通过逐级的上采样和块匹配,直到匹配精度达到要求为止。 R.C. Hardie提出一种 联合估计方法,将配准参数根据循环重建过程中产 生的髙分辨率图像更新,达到联 【47]合估计的目的。Schultz等提出一种分级块 匹配的算法框架,在实践中被广泛的 应用。该方法如图4-4所示,;和yn需 要配准的两顿低分辨率图像,在第0级上 采用MAD最小化准则得到整数像素精 度的运动向量,以该运动参数为初始值在第1 级上将/丨和y"}进行MAP上釆样 2倍,实现1/2像素精度的匹配,类似的在第2级 上将和进行MAP上采 样4倍,得到1/4像素精度的匹配。为了降低算法的复杂度, 经常用双线性内 插来代替MAP放大方法对当前级图像进行上采样。 rA(c) y MAD y ZOH-2 ZOH-2MAP-2 MAD 丨卡 r-f」L ZOH-2 c- ZOH-2 MAP-2ZOH-2 MAP4 (5个MAD M -~?r-?> - ? MAP4 MAD 西南交通大学硕士研究生学位论 文 第47页 图4-4分级块匹配运动参数估计方法 在超分辨率图像重建过程中,不准确的运动参数估计可能对重建算法造成 极大的破坏。因此,拾测并消除不准确的运劫参教可以提高重律的质量。在监 ZOH-2 西南交通大学硕士研究生学位论 文 第47页 控视频序列中,由于运动模型比较复杂,图像间存在大量的局部偏移,可能引 起一些像素点的遮挡和重现,或是距离监控设备的远近导致的运动目标区域的 大小变化,都可能使某些像素点在参考图像中观测不到,对重建质量没有贡献。 一种可信度验证算法可以用来检测哪些运动参数对重建是有用的。Schultz等 提出不可观测像素检测:UPD, unobservable pel detection)算法进行可信度验 证,检测那些在参考图像中观测不到的像素,其基本思想是求取待匹配图像与 参考图像的末级放大图像对应像素点之间的差值,并将该差值与一特定的阈值 进行比较,超过阐值则判定像素点为错误运动估计点。阔值可以釆用固定值, 也可以根据图像特性釆用自适应的阈值。移位顿插值:DFD,displaced frame difference)可以作为评定低分辨率上釆样图像像素点;;;y’是否可以在参考图 像的上采样图像:中观测到的标准。移位顿差值定义为 DFZ)‚,c)(/’_/) = ~V t t |/?M-/(c)(r-执,(4-26) 这里,是点力的运动矢量。移位顿差值代表配准后图像对应像 素点的差异程度,将其与一可变阈值^/,/)进行比较,当小于该阈值时表明像 素点在上可以观测到,其 【48】运动参数估计可信;当大于该阈值表明像素点运 动参数估计不可信。张新明等提出一种依据图像:>/‘)的局部空域活动性来获 得空域可变阈值的方法。一般在空域活动性较低的区域,运动估计不可信的像 素点引起的降质效应更明显,因此在这种区域阈值应该取较小的值;相反的, 在空域活动性较高的区域引起的降质效应不明显,所以阈值可以去较大的值。 阈值#•,_/)可以用局部标准偏差表示,定义为 = 2:G^)(?,沟-“W(f,_/)y (4-27) 44(式(-)中,表示像素点/,(/,力的一个矩形区域,^:表示;4力内的 像素数,flc)(/,/)表示邻域内像素的平均值,C为一个常数因子。这样, 既能限制不可信运动估计对空域活动性较低的平滑区域的降质影响,又能充分 的利用空域活动性较高的边缘区域的细节信息,在超分辨率重建中可以得到更 好的重建效果。 在确定了运动区域后,可以运用可信度验证的分级块匹配进行亚像素运动 参数估计。在得到图像之间的运动参数估计后,对其进行进一步检测,由于运 动区域可以看作为局部平移,因此块间位移应较接近,像素块间若存在较大相 对位移,则可能存在局部像素块的遮挡或重现问题,这样的运动参数往往并不 可信。因此在运动参数估计结束后检测运动参数,与均值相差较大的运动参数 标记为不合法。 西南交通大学硕士研究生学位论 文 第47页 .4.3算法的实现 综合考虑监控视频序列的超分辨率重建的各个环节,可以得出超分辨率重 建算法 的算法框架。算法框架如图4-5所示。 幵始 \ r 否 是 确定运动区域 构造运动映射矩 分级块匹配运动 运动参数可信度 边缘自适应的盲 超分辨率重建 是 图4-5基于背景分离的超分辨率重建复法框架流程图 西南交通大学硕士研究生学位论 文 第47页 4.5实验结果及分析 本节通过视频序列图像的仿真实验来研究本文算法在重建质量及图像边 缘保持能力等方面的性能。图4-6所示,为实际视频获得的12喊120x120低 分辨率视频序列图像.由图可知,低分辨率图像序列中含有的背景大致相同, 只有图像中人的区域存在着局部运动。如果采用传统的块匹配运动参数估计, 临近运动区的像素点可能对亚像素级精确运动参数估计带来负面的影响,因此 可以首先利用图像序列之间的运动关系,将大致相似的背景E域置零,不参与 运动估计,即节省了算法的时间,也消除了不准确运动参数的超分辨率重建算 法的破坏。 图4-6低分辨率视频序列 运用本文基于背景分离的超分辨率重建算法,在数据预处理阶段,运用运 动E域确定方法,分离出低分辨率图像的背景区和运动物体区,在观测模型 确定运动映射矩阵的值,并经过可信度验证的分级块匹配方法求得各低分辨率 图像与参考图像的相对运动位移。图4-7所示,图a为超分辨率重建的参考低 分辨率图像,图b为双线性插值的图像,图C为衆用块匹配超分辨率重建方法 得到的图像,图d为采用本文基于背景分离的超分辨率重建算法的重建效果, 图b, C, d的图像放大因子为2,重建的图像大小为240x240。由图可知,双 线性图像内插并没有怎么改善图像的质量,圍像依然很模糊,而采用分级块匹 配进行运 动参数估计的超分辨率重建方法的重建图像,虽然分辨率有了一 定的 提高,但是可以看到在运动物体的边缘区域,图像发生边缘 西南交通大学硕士研究生学位论 文 第47页 模糊,边缘信息破 坏严重。图d为运用本文算法的超分辨率重建效果,图像的边缘保 持性得到较 大的改善,图像拥有更高的空间分辨率。 西南交通大学硕士研究生学位论 文 第47页 图b)双线性插值重建效果 图a)参考低分辨率图 像 :霞fiW 图C)分级块匹配参数估计重建效果图d>基于背景分离算法重建效果 图4-7基于背 景分离的超分辨率重建效果比较 4.6本章小结 由于监控视频的独特性,本文在分折监视视频的成像特点及运动观测模型 的基础上,提出一种基于背景分离的超分辨率重建方法,算法在观测模型中引 入一个几何运动映射矩阵,将视频序列中的背景区及运动物体区分离出来,消 除了运动区域附近的背景像素对运动参数估计带来不利的影闲,从而得到更为 精确的运动参数。 西南交通大学硕士研究生学位 论文 第47页 不仅缩短了重建箅法的时间,重建的图像的边缘保持效果也 得到明显的改菩。此外 衆用边缘自适应的盲超分辨率重建算法。图像降质过程 西南交通大学硕士研究生学位 论文 第47页 可以描述为运动补偿矩阵和模糊系数矩阵。运动补偿矩阵反映的是巾贞间的几何 形变,模糊系数矩阵则反映的是模糊,噪声及亚采样等其他因素带来的影响。 利用盲超分辨率重建算法消除模糊等降质因子从而实现高分辨率图像的超分 辨率重建。 西南交通大学硕士研究生学位 论文 第47页 总结与展望 超分辨率重建技术是一个重要的研究领域,因为通过这种方法,我们可以 克服成像系统固有的分辨率限制,增进和完善数字图像处理的能力并扩展其应 用领域,也希望超分辨率重建技术的研究进展能够促进其他相关科研领域的发 展。在视频监控领域,成像设备能够获得同一区域多次重复的视频影像,但由 于受成像系统所限以及各种外部环境因素干扰,这些图像的分辨率往往局限在 一定的水平上,影响了图像的视觉质量以及后续的处理。超分辨率重建技术可 以对普通的监控录像资料进行高分辨率重建,提髙对影像中关键信息的识别能 力。对于早期一些珍贵的录像资料,由于目标太小,导致细节不能分辨,或者 保存年代久远,质量发生退化,也可以用超分辨率重建技术进行处理,提髙视 频图像的质量。此外,超分辨率重建技术还可以用于各种道路的自动监控资料, 桥梁、隨道、图书馆、宾馆、收费站、政府要害部门等场合的监控视频资料的 高分辨率重建,以有助于车牌的识别和人员的辨认,突发事件的处理、责任认 定等方面发挥重要的作用。而与其他应用领域的超分辨率重建相比,监控视频 由于其自身成像系统的一些独特性以及广泛的应用前景,使得针对监控视频图 像的超分辨率重建技术的研究显得尤为关键。本文针对监控视频序列的超分辨 率重建进行研究,介绍课题研究的背景和意义,了解超分辨率重建技术在国 内外的发展历程及研究现状。并介绍图像降质模型,并讨论了超分辨率重建技 术中的几大关键要素。最后详细介绍了最大后验概率超分辨率重建的算法基 础。 根据监控视频图像釆样的特点,在超分辨率重建的数据预处理阶段,提出 一种合格巾贞提取方法。综合考虑待参与重建的低分辨率图像的方差以及与参考 图像配准后的均方误差指标,提取能对超分辨率重建做出贡献的合格巾贞,剔除 那些发生严重退化且失去关键信息的不良顿,抵御重建初期就可能造成的外部 影响,增加算法的稳定性,提高重建的质量。 针对监控视频特点的运动模型,提出一种基于背景分离的超分辨率重建方 法。算法在观测模型中引入一个几何运动映射矩阵,将视频序列中的背景区及 运动物体区分离出来,消除了运动区域附近的背景像素对运动参数估计带来不 利的影响,从而得到更为精确的运动参数。不仅缩短了重建算法的时间,重建 的图像的边缘保持效果也得到明显的改善。 此外,本文改进了一种基于边缘自适应的盲超分辨率重建算法。图像降质 过程可以描述为运动补偿矩阵和模糊系数矩阵。运动补偿矩阵反映的是喊间的 几何形变,模糊系数矩阵则反映的是模糊噪声及亚采样等其他因素带来的影 响。利用盲超分辨率重建算法消除模糊等降质因子实现高分辨率图像的重建。 西南交通大学硕士研究生学位 论文 第47页 作为一个充满活力又具有深刻应用意义的研究领域,尽管视频序列超分辨 率重建技术已经获得研究人员的重视并取得大量的有价值的研究成果和推广 应用。但仍有许多问题有待进一步深入研究。 (1) 运动参数估计问题:精确的喊间图像配准在超分辨率重建过程中显得 尤为重要,不可靠的运动估计将导致算法的失效。目前提出的各种图像配准算 法适用场合仍然非常有限,尤其是当存在复杂运动的情况,因此运动参数估计 的可靠性成为一个值得深入研究的问题。 (2) 盲超分辨率图像重建技术:传统的超分辨率重建算法都是假设成像的 模糊情况:PSF,点扩散-数:已知,但事实上,准确的估计PSF函数具有很 大的困难,而只是依据经验知道PSF函数的部分信息,因此在重建过程中利用 模糊鉴定估计模糊信息是必须的。 (3) 算法效率及稳健性问题:超分辨率重建算法虽然已经取得很大的进 展,也取得良好的效果,但通常都具有很大的计算复杂度,这大大影响了其在 实际中的应用,因此减小算法的复杂度,提高算法的收敛速度,保持算法的稳 健性都是现在重要的研究方向。 致谢 首先,我要衷心地感谢我的导卿张家树教授,是您的信任和支持,给予我 攻读硕士研究生的机会,迈入这个生机勃勃的研究领域。张老师严谨求实的科 学态度、勤奋忘我的工作精神和积极乐观的人生态度使我受益匪浅,这些品格 将是我铭记于心的精神典范。感谢张老师三年来对我研究工作的悉心指导,从 研究生选题到学位论文的撰写,每一个阶段都定期安排时间与我交流,纠正我 的误区,开拓我的思维,解决我的疑惑,让我对课题的研究思路更加清晰。感 谢张老师对我的帮助和督促,让我在攻读硕士阶段的学习中取得了很大的进 步,并学会了许多做人做事的道理。 感谢itp实验室的同学们,平时与你们共同探讨问题让我从中受益不少。 实验室和谐的学习气氛,使我度过了难忘的三年,在共同努力中建立的深厚友 谊让我终身难忘。感谢07通信4班的同学对我的关心和帮助,这里我还要特 别感谢我的父母,感谢他们在我气懐时支持我,在我低落时鼓励我,教会我乐 观做人,诚实做事。感谢父母多年来始终如一的默默奉献,从精神、生活、经 济上给予我极大的宽容与支持。 最后衷心地感谢在百忙之中评阅论文和参加答辩的各位专家和教授,以及 所有帮助过我的领导、老师、同学和朋友们, 参考文献 西南交通大学硕士研究生学位 论文 第47页 1] 韩玉兵.图像及视频序列的超分辨率重建.博士论文.江苏:东南大学,2005. 2] Borman S,Stevenson R.Spatial resolution enhancement of low-resolution image sequencesra comprehensive review with directions for future research. Lab.Image and Signal Analysis,University of Notre Dame,Tech.Rep. 1998. 3] 江涛.同视域多顿视觉影像超分辨率重建技术研究.博士学位论文.山东:山 东科 技大学,2005. 4] 苏秉华,金伟其.超分辨率图像复原极其进展.光学技术,2001,27(1):6-9. 5] Sung Cheol Park,Min Kyu Park,Moon Gikang.Super-Resolutio Image Reconstruction:A Technical Overview".IEEE SIGNALPROCESSING MAGAZINE, 2003, 5:21-36. 6] 王勇,郑辉,胡德文.视频的超分辨率增强技术综述.计算机应用研究,2005, 1: 4-7. 7] 沈焕锋,艾廷华,刘耀林,王毅.影响超分辨率重建技术的发展与应用现状. 测控 技术,2009,28(6): 5-11. 8] 张晓玲,沈兰称.超分辨率图像复原技术的研究进展.测控技术,2005,24(5): 1-5. 9] 王晓文,刘雨.图像超分辨率研究综述.信息技术,2009, 7: 236-240. 10] 孔玲莉,黄华,齐娟,刘美娟.图像超分辨率研究的最新进展,2004, 30(3): 374-377. 11] Tsai R Y ans Huang T S.Multiple frame image restoration and registration.Advances in computer vision and image processing. Greenwich, CT:JAIPress Inc.,1984:317-339. 12] 郝鹏威.数字图像空间分辨率改善的方法研究.博士论文.北京:中国科学 院遥 感应用研究所:1997. 13] Keren D,Peleg S,Brada R,Image sequence enhancement using subpixel displacements. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1988:742-746. .14] Komatsu T,Aizawa KJgarashi T,and Saito T,Signal-processing based method for acquiring very high resolution image with multiple cameras and ite theoretical analysis. Proc. Inst. Elec Eng. 1993,140(l):19-25. [151 Nguyen N.Milanfar P. A wavelet-based interpolation-restoration method for superresolution. Circuit Systems Signal Proces,2000.19(4):321-338. [16] Stark H and Kskoui P.High resolution image recovery from image-plane array,using convex projections.J.Opt.Soc.Am.A, 1989,6(1):715-726. 西南交通大学硕士研究生学位 论文 第47页 [17] Patti J,Sezan M,Tekalp A M.High-resolution image reconstruction from a low-resolution image sequence in the presence of time-varying motion blur.IEEE Int.Conf.Image Processing. Austin, TX. 1994:343-347. [18] Patti J,Sezan M,Tekalp A M.High-resolution standards conversion of low resolution video.IEEE Int.Ccmf.ASSP.Detroit,MI.1995::2】97-2200. [19] 禹晶,苏开娜,肖创柏.一种改善超分辨率图像重建中边缘质量的方法. 自动 化学报,2007, 33(6): 577-582. [20] Tekalp A M,Ozkan M K,Sezan M I.High-resolution image reconstruction fromlower-resolution image sequences and space varying image restoration.in Proc.IEEE Int.Conf.Acoustics,Speech and Signal Processing(ICASSP),San Francisco,CA,Mar,l 992,3:169-172. [21] Irani M,Peleg S.Improving resolution by image registration. CVGIP: Graphical Models and Image Proc. 1991,53:231-239. [22] M.Irani and S.Peleg.Motion analysis for image enhancement resolution, occlusion,and transparency. J. Visual Commun.Image Represent. 1993(4): 324-335. [23] Schultz R R,Stevenson R L.A Bayesian approach to image expansion for improved defintion.IEEE Transactions on Image Processing, 1994,3(3): 233-242. [24] Schultz R R,Stevenson R [.Extraction of high resolutioin frames from video sequences.IEEE Transactions on Image Processing, 1996,5(6):996-1001. [25] R.C.Hardie,K.J.Barnard,and E.E.Armstrong.Joint Map registration and high-resolution image estimation using a sequence of undersampled images.IEEE Trans.Image Processing. 1997, 6:1621-1633. [26] Shen H F,Zhang L P,Huang B,and Li P X.A MAP Approach for joint motion estimation, segmentation,and super resolution.IEEE Trans.Image Processing, 2007,16(2): 479-490. [27] G.de Haan and P.W.A.C.Beizen.Sub-Pixel motion estimation with D recursive search block-matching.Signal Processing:Image Commun. 1994(6): 229-239. 『281 Yu he,Kim-Hui Yap,Li Chen,and Lap-Pui Chan.Blind supre-resolution