基于小波域的视频关键帧选择算法

基于小波域的视频关键帧选择算法 摘 要:视频关键帧的选择算法基于小波变换(discrete wavelet transform ,DWT)特征、多分辨率处理及统计技术。算法在不同分辨率下结合视觉掩蔽特性、视频帧相关性分析小波系数并统计，根据统计结果选择合适的阈值，最后通过比较选择出视频关键帧。结果表明，该算法能选择视频关健帧，选择效果优于以像素估计、块估计等与图像内容无关的算法，且简单易行。 关键词:小波变换;MPEG-2;运动估计;视频;多分辨分析 0 引言 数字化图像的分辨率很高，远超过人眼可察觉的范围。这种未压缩的数字视频数据量对于目前的计算机和网络来说无论是存储或传输都是不现实的，因此在多媒体中应用数字视频的关键问题是数字视频压缩。 视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。压缩方法是先将模拟视频转换为数字视频后按时序分组，每个图像组(GOP)选定一个基准图像(关键帧)，利用运动估计减少图像间的时间冗余，最后将基准图像和运动估计误差进行离散余弦变换(DCT)、系数量化和熵编码(VLC,RLC)以消除空间冗余。压缩效率的优劣取决于关键帧的选择。现有的视频关键帧的寻找方法可分为两类:基于像素点值的运动估计法和基于分块的运动估计法。 1 构造小波函数 在实际的信号处理中，选用不同的小波函数对信号处理的效果有很大的影响，通常 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 所选的小波具有紧支集、线性相位和足够高的正则性。然而研究表明，在大量的静态图像编码和数字视频编码中，尺度函数和小波函数的时-频局域化特性却比正则性和消失矩特性重要得多，特别是在提取图像和视频信号的高频成分(如纹理、边缘和运动信息)，往往需要使用具有良好时-频局域化特性的小波函数。 1.1 Haar小波 Haar小波是小波分析中最早用到的一个具有紧支撑的正交小波函数，也是最简单的一个小波函数，它在支撑域 t?,0,1, 范围内的单个矩形波。 φ(t)=1 0?t?1 0 其它(1) ψ(t)=10?t?12 -112?t?1 0其它(2) Haar尺度函数、小波函数的定义如式(1)、(2)。 Haar小波函数形状如图1所示。 图1 Haar小波 由上图可知，Haar系的小波函数优点是:在区间 外恒等于零，时域有很好的局部性;Haar正交小波基的生成元具有对称性，其重 构系数唯一;Haar小波的伸缩和平移系相互正交，因此在 a=2 j 的多分辨率系统构成一组最简单的正交归一的小波族，计算简单。缺点是:Haar小波是不连续的，其光滑性太差(在 t=0,1/2,1 处不连续)，频域的局部性较差。 1.2 改进Haar小波 用卷积的方法可以使Haar尺度函数光滑化，其平滑过程如图2所示。 图2 平滑过程 N m(t)=N m-1 *N 1(t)=? 1 0N m-1 (t-u)du(3) 易见函数 N 2(t)连续，但导数不连续;N 3(t))一阶导数连续，但二阶导数不连续;一般N m(t)具有m-2阶连续导数，但其m-1阶导数不连续。可见随m增大，相应的N m(t)就愈来愈光滑。因此可以根据具体问题的需要来选择适当的m (当然随着m的增大，N m(t)的窗口宽度，随之增加，这是它的弱点),当m,1时N m(t-u) 不是正交系。因此必须用公式(4)。 *(w)=(w),?k?z|(w+2kπ)| 2, 12 (4) 来进行改造，将它改造为另一个用下面公式定义的函数 m(w) N 1*N 1*…N 1(w) =,N 1(w), m =1-e -iw []iw=e -iw sin w[]2[]w[]2(5) 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 阶数 m较小时，正交小波的时频分辨率较好。本文选用m=2和m=3对 m(w) 进行Fourier逆变换即可求相应的正交小波基母函数 φ 2(t) 。 m=3 时改进的小波尺度函数(a)和小波函数(b)，如图3所示。 图3 m=3时函数图像 由图像可以看出 m=3时光滑性、频域局部性较好,本文选用m=3 时改进的小波函数。 2 小波域的运动估计 视频画面相邻帧之间存在极强的相关性。在同一场景中，相邻帧间的数值变化很小如图4(a)所示，当前帧图像往往具有与前、后两帧图像相同的背景(小波分解的低频系数)和移动物体(小波分解的高频系数)，只不过移动物体所在的空间位置略有不同，对大多数像素来说，亮度和色度信息是基本相同的。对不同的场景，由于背景发生了变化，相邻帧间的数据变化量较大，能量变化如图4(b)所示。 图4 相邻帧能量差值 2.1 小波域运动估计步骤 小波变换把一帧视频图像分解成一组对应着不同频率通道的子 帧( cA 1、cA 2、cA 3 )。在不同分辨率级上的某一特定子帧的运动特性虽然彼此不同，但却是高度相关的，较高分辨率级上的运动矢量可由较低分辨率级上的运动矢量来预测和修正，如式6。 cA 2(i,j)=cA 3(i,j)+cH 3(i,j)+cV 3(i,j)+cD 3(i,j)(6) cH,cV,cD 分别是水平、垂直、对角线方向的细节信息。 由于一个视频相邻的两帧绝大部分内容完全一样，因此对其进行一层小波分解后，对于低频子带中处于相同位置的2×2块系数的均值应该基本相同，否则表示此块的位置发生了运动。小波域的运动估计用当前帧的小波分解后低频子图像相对于前一帧小波分解低频子图像有无变化、变化大小来区分关健帧和场景，估计步骤如下: (1)对视频的每一帧画面进行一层小波变换，得到分解系数。 (2)以视频画面的第一帧 I作为参考帧，将其后各帧I的低频部分cA与参考帧相应部分比较，若其差值大于某一域值，则认为场景发生了变化，参考帧变为I'。反之，则认为场景没有发生变化，参考帧仍是I。 (3)在同一场景中，帧间的数据变化量很小，关键帧后的各帧可通过各帧的高频系数对关键帧的低频系数修改而得到。 2.2 域值的确定 分析一段118秒的视频，提取其中3544帧，对每一帧进行一层小波分解，由时间相关性的统计结果表明:在同一场景中，间隔1,2帧的图像,各像素只有10%以下的点,其亮度差值变化超过2%,而色 度差值的变化只有1%以下，相邻帧间差值90%以上为零;在不同的场景中，由于背景发生了变化，相邻帧间80%以上差值不为零。根据这一统计特性和上面的柱状图分析，对于大小为240×352的图像，经小波变换后，低频系数能量范围0~512，低频系数对应的矩阵大小为124×180，同一场景中提取关键帧时，亮度域值的大小如式(7): 512×2 % ?10(7) 像素数域值如式(8): 124×180×10 % ?222(8) 3 实验结果 视频为MPEG-2压缩序列，在Matlab实验环境下，对一段23秒的视频，包括710帧，用改进的小波函数对每一帧进行小波变换，对得到的小波系数分析、比较，选择11个关键帧，部分图片如图5所示。 图5 提取的关健帧 表1 表示用3种方法选择关键帧的时间比较结果，实验结果表明，小波域的关键帧选择方法算法复杂度低，执行时间快，选择的关键帧数少，数据压缩率高。 表1 几种方法的对比 对比项梯度法块匹配法小波分析法 提取帧数37帧19帧11帧 执行时间258秒149秒52秒 4 结束语 小波域的视频关键帧选择算法根据视频相邻帧间存在的时间和空间相关性，对相邻帧进行小波分解，将相邻帧小波高频系数的差值与阈值比较，选出视频关键帧。 本文的研究创新点在于:?构造适合视频信号的小波函数:对Haar小波性能进行改进，使其满足紧支集、线性相位和正则性要求，以便对视频信号的分析更加精确;?小波域的运动估计:以小波分解系数为依据，利用视频信号在 时间和空间上的相关特性来区分视频场景和选择视频关 键帧。这一点对于视频序列相邻帧的运动估计更精确、更有效。本文以下几点有待改进:?域值的确定有待进一步精确;?选择帧数的多少与压缩结果及视觉效果三者的最优结合需要更深入的研究。 参考文献: ,1, 杨义先,钮心忻.数字水印理论与技术,M,.北京:高等教育出版社,2006. ,2, 温习(一种结合双水印技术的水印算法,J,.微计算机信息,2011(8). ,3, 李世雄.小波变换及其应用,M,.北京:高等教育出版社,1997. ,4, ALBERT BOGGESS,FRANCIS J,NARCOWICH.小波与傅立叶分析基础,M,.北京:电子工业出版社,2009. ,5, J R JAIN,A.K.JAIN.Displacement measurement and its application in interface image coding,J,.IEEE trans commun,1981(29). ,6, QIAO L T,NAHRSTED T K.Watermarking schemes and protocols for protecting rightful ownership and customer's rights ,J,.Journal of Visual Communication and Image Representation,1998(3). ,7, 王经民.小波分析,M,.西安:西北农林科技大学出版社， 2004. ,8, 马波,裘正定.小波-分形混合图像编码算法中双正交小波的 选择,J,.计算机学报，1999(11). ,9, STEPHANE MALLAT.信号处理的小波导引,M,.北京: 机械工业出版社,2002. ,10, 朱仲杰,蒋刚毅,郁梅,等(基于运动矢量的视频图像数字 水印算法,J,.电路与系统学报,2002(3). ,11, 李水根,吴纪桃.分形与小波,M,.北京:科学出版社,2002. ,12, 张义荣,鲜明,肖顺平.根据时-频分辨特性的B样条双正交 小波的选择,J,.计算机学报,2002(4). ,13, B.K.P.HOEN,B.G.SCHUNK.Determining Optical Flow,C,.Artificial Intelligence,1981.