基于灰度投影和块匹配相结合的稳像算法

基于灰度投影和块匹配相结合的稳像算法 TheCombinationofGray——ScaleProjectionandBlockMatchingAlgorithmforImageStabilization 1引言 尹宾。段会川 YlNBinDUANHui—chuan doi：10．3969／j．issn．1672—9528．2009．04．018 嚣饕暑荤囊在视频稳像过程中为兼顾算法的精度与效率，本文通过分析稳像的原理及目前常用的几种算法．提出了 一种基于灰度投影和块匹配相结合的匹配策略。首先运用灰度投影算法来缩小块匹配的待匹配区域， 然后运用块匹配算法进行运动估计与补偿。在此过程中，充分地体现了灰度投影算法运算量小以及块 匹配算法精度高的特点。实验结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明在保持块匹配算法优势的同时降低了算法的运算复杂度。 罄安键舞道视频稳像灰度投影块匹配精度运算复杂度 AbstractForconsideringtheaffectofaccuracyandefficiencyintheprocessoftheimagestabilization．In thispaper，byanalyzingtheimagestabilizationoftheprincipleandpresentseveralcommonlyusedalgorithms，A blockmatchingstrategywhichcombinedwithgray—-scMeprojectionandblock——matchingalgorithmtobebrought up．Firstusinggray—scaleprojectionalgorithmtonarrowthequestiontomatchtheblockmatchingregional，then usingblock—matchingalgorithmformotionestimationandcompensation．Inthisprocess，thecharacteristicsof thesmallcalculatedamountandthecharacteristicsofhilghaccuracywerefullyreflected．Theexperimentmanifest thatthenewalgorithmmaintaintheadvantagesofthealgorithmatthesanletimereducethecomputingcomplexity． KeywordsVideoimagestabilizationGray—scaleprojectionBlockmatchingPrecisionComputing complexity 影响视频观看最主要的一个方面就是画面的抖动性。视频 画面的抖动不仅影响观看者对图像信息的把握同时使观察者产 生视觉上的疲劳。当摄像机置于运动物体上或手持摄像机运动 时，由于载体的运动导致摄像机的不正常晃动，往往这种不正常 的晃动是很难被避免的，所以视频稳像的应用正是针对这种问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 所提出的研究。 视频稳像过程大致的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 为：源图像一预处理一运动估计一 运动决定一运动补偿一稳定图像。其中最关键的步骤在于运动 估计和运动补偿，两者相比之下，运动估计为整个步骤的灵魂。 所以，近些年来，许多学者针对运动估计提出了许多算法，其中包 括块匹配算法，特征值算法，灰度投影算法，位平面算法等。⋯ 2视频稳像 2．1基本原理 视频稳像的基本原理就是根据运动估计的偏移量，在运动补偿中 图1抖动示意图 }山东师范大学信息科学与工程学院济南250014 进行逆向移动，补偿由于抖动产生的位移偏移。如图1所示，设 椭圆型为目标物体，在没有物体的局部运动及视频抖动的情况 下，物体应一直处于A的位置，但由于视频抖动的存在，使物体在 某帧中偏移到了B的位置或C的位置。连续不断的位置偏移便 产生了视频抖动的情况，视频稳像的目的就是消除这种不经意中 产生的物体偏移。也就是使B，C位置处的物体回到A的位置上 来。运动估计算法就是求出A位置与B，C位置之间的运动偏移 值。运动补偿就是根据得出的运动偏移值将在B，C位置的物体 反方向移动到A位置上，使物体仍然在A处从而呈现出稳定的图 像。 2．2关于运动模型的选择 视频图像中由于抖动所产生的变化主要分为平移和旋转。 故常选用affine变换模型，如公式(1)所示。本文算法中不考虑 物体沿z轴方向的旋转和缩放，故将affine变换模型简化为二参 数的仿射运动模型，如公式(2)所示：口J [沁【捌》【；】 【：；：】=【：；】+[；】 (1) (2) 其中x，Y和x’，Y’分别为两帧图像的坐标，a，b，c，d为图像 的旋转缩放参数，e，f为图像的平移参数。 2．3块匹配算法‘31 在运动估计算法中，块匹配算法应用较为广泛。其基本的思想 是：将当前帧的图像划分为数个m×n大小的块，对于相应的块A在 万方数据 选定的参考帧中取—个(m+Am，n+An)的范围，在该范围的所有 候选块中，按照某种匹配准则，找出与当前块最相似的块，即为匹配 块B。块A与块B之间的相对位移即为当前块的运动矢量。 在块匹配算法中，又分两大方面：匹配准则和搜索策略。其 中，匹配准则主要有SAD(SAE)绝对误差和；SSD(SSE)差值的平 方和；MAD(MAE)平均绝对差值；MSD(MSE)平均平方误差。相 应的计算公式如下： Ⅳ M SSD(dx，dy)=∑∑(f，(i，j)-f(i+dx，j+dy))2(3) ‘01 J2I ～ M SAD(dx，dy)=f(i，j)一f(i+d)【，j+dy)I(4) MAD(dx，dy)2志善善If(i，j)一f(i+dx，j+dy)I(5) t Ⅳ M MSE(dx，dy)=志善；(f(i，j)一f(i+dx，j+dy))2 (6) 常用的搜索策略包括全局搜索运动估计，两步搜索运动估 计，三步运动估计，Diamond运动估计等。【41其中，全局搜索运动 估计精度最高，但同时时间复杂度也最高，其他搜索策略时间复 杂度有所降低的同时精度也有所下降。 2．4灰度投影算法"o 投影法是根据图像在坐标轴上总的灰度变化来确定图像运 动的矢量的一种方法，利用图像的灰度投影曲线做一次相关的运 算，这种算法的特点是运算量小，运算速度快。灰度投影算法一 般分为三个步骤：一是灰度映射；二是投影滤波；三是矢量的提 取。在本文的算法中，我们只关心灰度投影算法的一个步骤，即 灰度映射。其投影分为两个一维波形，投影公式如下： Cray_Y(j)= Gray_X(i)= Ⅳ ∑f(i，j) i=l 肼 ∑f(i，j) i=I (7) (8) 其中，Gray_X(i)，Gray_Y(j)分别表示视频第k帧的第i行，j 列的灰度值。f(i，j)表示第k帧图像在第i行第J列的灰度值，其 中图像的大小为M×N。 3灰度投影与块匹配相结合的算法 基于灰度投影算法运算量小，运算速度快的特点及块匹配全 局搜索算法精度高的特点。遂将两者充分利用，介绍一种新的稳 像算法。 下面取视频中两幅不同帧的大小为MXN的图像为例，设一 幅为参考帧H，另一幅为当前帧K，现将算法的步骤描述如下： (1)将图像H和K分为2X2大小的块，即分为四象限A，B， C，D。如图2所示。 (2)利用公式(7)(8)将图像H和K分别进行灰度投影，得 出它们在x轴Y轴上的灰度值，求出两幅图在x轴Y轴上的四 个灰度峰值H—X_Max，H—Y—Max，KJ—Max，K_Y—Max。此时需要 注意的是，因为边界常有物体进出，所以在灰度投影时需要去除 图像四周10％一一15％的区域，以避免对下一步的判断产生影 响。 囡至QQ皇生篁垒塑 (3)根据H_X_Max，H_Y—Max，K-x—Max，K．-Y_Max的大小关系 可以判断出K图像相对于H图像的偏移方向，这时可以选定A，B，C， D中的某一象限(如A)作为后续块匹配工作的目标区域。 (4)在K中选取待匹配的块T，选择的 原则 组织架构调整原则组织架构设计原则组织架构设置原则财政预算编制原则问卷调查设计原则 是：将中心坐标 点pl(xmid，ymid)作为一顶点，在目标区域中选择一点p2(x，Y) 作为pl的对角点，其中点p2的选择需在上一步确定的目标区域 (如A)中且块T的相邻两边平行于x，Y轴。如图3所示。 (5)将图像K中匹配块T在图像H的A目标区域中以全局 搜索的模式做块匹配，寻找匹配块，计算偏移差值。 (6)在块T匹配过程中，计算相应的MSE值，每次匹配完后，将 最小的MSE值作为一阈值保留，并保存最小MSE值所对应的偏移量 (d】【，dy)。在下次匹配时，当MSE值超过这一阈值，即刻停止匹配。 如果MSE值小于此阈值，更新阈值及偏移量(d】【，dy)。 (7)全部匹配完毕后，取最小值MSE所对应的运动偏移量 (dx，dy)作为后续运动补偿的参数。 图2图像H 4实验结果及分析 选取视频中的两帧图像作为实验的数据，两帧分别作为参考 帧(图4(a))和当前帧(图4(b))，其中当前帧和参考帧相比有向 左抖动的趋势，图像整体向右偏移。图5为经过算法步骤(2)所 得出的灰度投影结果，算法步骤(3)便根据图5的偏移趋势来进行 目标象限的判断。图4(c)为当前帧经过运动估计以及初步运动补 偿后得到的图像，可以看到图像有较明显的向左上偏移的趋势，其 中右边界和下边界出现黑色区域，正是由于图像偏移导致的区域 空白所造成的。图4(d)为经过完整补偿后得到的最终图像。 图4稳像处理结果 ∑Ⅲ∑㈨ 万方数据 (MSE值)产生很大的影响。通过两图可以总结出大致趋势，即运 算量呈中间高四周低的趋势，误差值呈中间低四周高的趋势。所 以p2点要对运算量及误差值充分衡量后做出恰当的选择。 图5两幅图像同时在X轴(b)，Y轴(a)的灰度投影 对稳像算法的评价往往从两个方面来看：准确度和效率。稳 像的准确度通常使用PSNR参数来衡量。峰值信噪比(PSNR)是 一种图像序列间稳定程度的客观评价方式，PSNR可以作为评定 图像质量的品质因子，PSNR值越大，说明经过补偿后的图像更接 图7 p2点的选取对MSE值的影响 近于原图像。PSNR算法的表达式如下：坤o PsNR(dx，dy)=10×lg丽面2琢56丽2 (9) 表1 处理过程中图像的PSNR对比 比较对象 PSNR 未处理图2(b) 133．1589 偏移后图2(C) 134．4166 补偿后图2(d) 168．9303 灰度投影算法 145．8533 通过表1可以清楚的看到最后经过稳像后的图像的PSNR值明 显高于未经处理的图像，并且高于经过灰度投影算法得出的PSNR 值。说明本文算法处理图像的精度已经达到了较好的水平。 效率问题即帧处理率关系到系统能否对动态图像进行实时 处理，由运动矢量估计算法的运算速率决定。评价运算速率的标 准是时间复杂度，也就是算法的运算次数及花费的时间。如果假 设以往的块全局匹配算法匹配块需要在M×N的区域范围内和 所有候选块进行匹配，那么在本文的算法中，由于图像经过灰度 投影算法，从而可以判断出图像的大致偏移方向，即可以把匹配 块的搜索区域锁定在(M／2)木(N／2)的目标区域，最终将全局匹 配的计算量减少3／4。关于匹配块选在中心的位置，是考虑到一 幅图像中人们所关心的物体对象往往处于中心的位置，所以这样 选择最大限度的囊括了图像的最有特征区域，提高匹配的精度， 同时简化了匹配块的选取的过程。阈值的使用同样对减少运算 量起到很大的作用，从图6的两幅对比图来比较，可以清楚的看 到使用阈值很大程度上减少了运算量。 图6算法中阈值使用的效果 及p2点的选取对运算量产生的影响 此外，对算法的运算量和精确度产生影响的另一个因素就是 匹配块区域大小的选择，结合到本文的算法中，就是图3中p2点的 选取。我们从图6，图7可以看出p2点的选择对运算量及误差值 5 总结 本文基于块匹配，提出了一种新的匹配搜索方法，极大的继 承了全局搜索的高精度的优势，同时利用灰度投影算法将块匹配 的匹配区域定位到一个象限中，简化了计算步骤，是对其的一个 ‘瘦身’过程。通过最后的实验，可以看出其有较高的稳像准确 度，完全能达到全局匹配的精确度。可以用于对稳像精度要求较 高的环境中。 参考文献： [1]刘玉红，涂丹．数字图像稳像算法研究[J]．计算机仿真， 2008，(07)：200—204． [2]王呖，冯驰．基于块匹配的电子图像稳定算法[J]．咸阳师 范学院学报，2006，(04)：36—38． [3]FilippoVella，AlfioCastorina，MancusoandGiuseppeMessina Digitalimagestabilizationbyadaptiveblockmotionvectorsfil— tering[J]．IEEETransactionsonConsumerElectronics2002， 48(3)：796—801． [4]Sung—JeaKo，Sung—HeeLeeandSeung—WonJeon．Fast digitalimagestabilizerbaseongray‘。codedbit-。planemate‘- hing[J]．IEEETransactionsonConsumerElectronics1999一 &598—603． [5]朱娟娟，郭宝龙，冯宗哲．一种基于灰度投影算法的电子 稳像方法[J]．光子学报，2005，(08)：1266—1269． [6]狄红卫，刘显峰．基于结构相似度的图像融合质量评价[J]． 光子学报。2006，35(5)：766—771． [7]F．Vella，A．Castorina，M．Mancusoeta1．Digitalimagesta- bilizationbyadaptiveblockmotionvectorsfiltering[J]．IEEE TransactionsonConsumerElectronics，2002，48(3)：796— 801． 【作者简介] 尹宾(1985一)，男，山东省济南-qA．，山东师 范大学硕士研究生。主要研究方向为图像处理及视频稳像。 段会川(1967一)，男，山东省日照市人，教授，硕士研究生导 师，主要研究方向为数字图像处理、模式识别。 (收稿日期：2009—03—17) 万方数据 基于灰度投影和块匹配相结合的稳像算法 作者： 尹宾， 段会川， YIN Bin， DUAN Hui-chuan 作者单位： 山东师范大学信息科学与工程学院,济南,250014 刊名： 信息技术与信息化 英文刊名： INFORMATION TECHNOLOGY & INFORMATIZATION 年，卷(期)： 2009(4) 参考文献(7条) 1.F Vella;A Castorina;M Mancuso Digital image stabilization by adaptive block motion vectors filtering[外文期刊] 2002(03) 2.狄红卫;刘显峰 基于结构相似度的图像融合质量评价[期刊论文]-光子学报 2006(05) 3.朱娟娟;郭宝龙;冯宗哲 一种基于灰度投影算法的电子稳像方法[期刊论文]-光子学报 2005(08) 4.Sung-Jea Ko;Sung-Hee Lee;Seung-Won Jeon Fast digital image stabilizer base on gray-coded bit-plane matching 1999 5.Filippo Vella;Alfio Castorina Mancuso and Giuseppe Messina Digital image stabilization by adaptive block motion vectors filtering[外文期刊] 2002(03) 6.王旸;冯驰 基于块匹配的电子图像稳定算法[期刊论文]-咸阳师范学院学报 2006(04) 7.刘玉红;涂丹 数字图像稳像算法研究[期刊论文]-计算机仿真 2008(07) 本文链接：http://d.g.wanfangdata.com.cn/Periodical_shanddz200904019.aspx