基于运动补偿的自适应时域视频降噪算法研究

收稿日期: 2006- 11- 21. � 基金项目:中国科学院青年创新基金项目. 光电技术应用 基于运动补偿的自适应时域视频降噪算法研究 李 � 岩1, 2 , 乔彦峰1 , 高 � 岩1, 2 , 孙志远1, 2 , 高丰端1, 2 ( 1.中国科学院长春光学精密机械与物理研究所 光电测控部, 吉林 长春 130033; 2 . 中国科学院研究生院,北京 100039) 摘 � 要: � 视频信号内的噪声是信号中不希望出现的干扰部分, 如果不加以有效的去除,会严 重影响视频图像的质量。提出了一种基于运动补偿的自适应时域视频降噪算法。该方法通过运动 补偿技术, 在时域上跟踪并提取噪声。滤波的强度是根据物体运动轨迹上的运动强度自适应变化 的。利用该算法,有效地去除了视频序列中的噪声, 同时很好地保护了图像的细节。实验结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明,采用该降噪算法处理后的视频图像质量明显优于采用空域的降噪方法的结果。 关键词: � 运动补偿; 自适应时域滤波; 运动强度检测 中图分类号: TN911. 73 � 文献标识码: A � 文章编号: 1001- 5868( 2007) 05- 0747- 04 An Adaptive Temporal Filter Based on Motion Compensation for Video Noise Reduction LI Yan 1, 2 , QIAO Yan�feng1 , GAO Yan1, 2 , SU N Zhi�yuan1, 2 , GA O Feng�duan1, 2 ( 1. Photoelectricity Measurement and Control Department, Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, CHN;2. Graduate School of the Chinese Academy of Sciences, Beijing 100039, CHN) Abstract: � Noise in v ideo signals w ill deg rades the image quality. A n adaptiv e temporal filter based on mo tion compensation is proposed for noise reduct ion. T he noise in video sequence is t racked by mot ion compensat ion in tempo ral domain. T he filtering st rength can be adapt ive changed on object mot ion situat ion. The experiment results show that the proposed filter is bet ter than the f ilter in spat ial domain. T he noise in video signals can be ef fect iv ely reduced and the image w ill not be blurry as the r esult of spat ial filter. Key words: � mo tion compensation; adapt ive temporal f ilter; mot ion st rength detect ion 1 � 引言 在视频处理领域中, 降噪技术是增强视频图像 质量的一种非常重要的手段。通常我们在获取视频 图像,存储视频图像以及视频压缩的过程中, 都会引 入噪声。如果对这些噪声不加以有效的去除, 那么 会严重影响视频图像的主观质量。目前的降噪方法 有很多,但大多数都是在空域内基于低通滤波的方 法。这样做确实去除了主要集中在信号高频内的噪 声,可是也造成了集中在信号高频内的图像细节的 损害,因此引入了降噪和保护细节的矛盾 [ 1]。由于 视频处理不同于通常的图像处理, 它含有时间坐标 轴上图像帧间的信息。因此文献[ 2~ 4]中提出了时 域滤波的方法,时域滤波利用了噪声在帧间的特点 有效地去除了噪声,同时保护了图像的细节。可是 对于运动比较剧烈的物体,单纯的时域滤波会引入 运动物体�拖尾�现象的产生。 本文提出了一种基于运动补偿的自适应时域视 频降噪算法。该算法通过运动补偿技术, 在时域上 跟踪并提取视频信号内的噪声, 按照�沿着物体的运 动轨迹进行滤波�的原理进行视频降噪[ 5 ]。滤波器 的强度可以根据物体运动轨迹上的运动强度进行自 适应的调整,这样可以有效地避免运动物体�拖尾� 现象的产生。采用本文提出的算法有效地去除了视 �747� �半导体光电� 2007 年 10 月第 28 卷第 5 期 李 � 岩 等: � 基于运动补偿的自适应时域视频降噪算法研究 频序列内的噪声,同时很好地保护了视频图像的细 节信息。 2 � 噪声帧间特点 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 在由 CCD 和 CMOS 传感器采样的视频序列 中,噪声主要出现在信号的高频内,而图像的细节也 出现在每一帧信号的高频内。如果采用帧内的低通 滤波技术必然会造成降噪和保护图像细节的矛盾。 由于视频信号还具有时间轴上的信息, 所以我们可 以通过噪声的帧间特点将它们提取出来。图像传感 器的噪声通常可以被仿真为白色的高斯分布及与信 号无关的噪声。这些噪声在帧间不具有相关性, 在 每一帧内总是随机出现的,在时域上不具有连续性, 每帧都在变化。而视频序列每一帧的图像内容是具 有高度相关性的,在时域上沿着物体运动轨迹的方 向是保持一致的,每帧之间不发生变化。所以,如果 我们能够在时域上很好地获得物体的运动轨迹, 那 么我们就能够沿着物体的运动轨迹对噪声进行有效 的滤波,同时这种帧间的滤波技术不会损害图像在 帧内的细节内容。因此有效地解决了帧内滤波不能 很好解决的降噪和保护图像细节的矛盾。在通常的 视频编码系统中,人们经常采用运动补偿技术来确 定物体的运动轨迹。因此在这里,我们也采用运动 补偿技术来跟踪物体,并获得运动轨迹。 3 � 运动补偿自适应时域降噪算法 3. 1 � 算法 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图及步骤 本文提出的基于运动补偿的自适应时域降噪算 法的流程图如图 1所示。 图 1 � 运动补偿自适应时域降噪算法流程图 按照图 1,本文提出的算法按以下步骤进行: ( 1)每一帧图像以 16 � 16像素大小的宏块为基 本处理单位,用当前帧内的当前宏块在前一帧内进 行搜索,利用运动补偿技术在前一帧内找到与当前 宏块最匹配的参考宏块, 从而确定当前宏块在时域 上的运动轨迹; ( 2)在运动轨迹上,根据当前宏块和参考宏块的 信息检测当前宏块的运动强度; ( 3)根据运动强度设置当前宏块的滤波强度,从 而确定当前块和参考块滤波的权重; ( 4)按照当前块和参考块的权重,进行加权平均 滤波,完成沿着运动估计的自适应加权平均滤波。 3. 2 � 运动补偿技术 在本文提出的算法中, 采用 16 � 16像素大小的 宏块进行运动补偿。在当前帧中的每个宏块采用最 小 SAD准则,在前一帧中进行搜索, 找到对应当前 宏块 SAD值最小的宏块, 这个宏块是前一帧内对应 于当前块最匹配的宏块, 我们称它为参考宏块。 SAD定义如公式( 1)所示: SAD = �16 i = 1 �16 j = 1 | cij - p ij | (1) 式中, c ij 代表当前宏块内每一个像素点的灰度值, p ij代表参考宏块内每一个像素点的灰度值。通过 以最小 SAD为准则的运动补偿技术,在前一帧的固 定的搜索范围内, 我们可以找到对应于当前宏块最 匹配的参考宏块。当前宏块和参考宏块构成了当前 宏块在时域上的运动轨迹,我们可以沿着这个运动 轨迹对当前宏块进行时域滤波。 3. 3 � 运动强度检测 为了克服由于单纯的时域滤波易造成快速运动 物体�拖尾�的现象,我们采用了运动强度检测技术。 对具有不同运动强度的物体,滤波器采用不同的滤 波强度,这样有效地避免了快速运动物体�拖尾�现 象的产生。由于算法处理时是以宏块为最小单位, 所以我们利用运动强度检测算子 K , 来检测当前宏 块在运动轨迹上的运动强度。K 的定义如公式( 2) 所示: K = 1 16 �16i = 1 � 16 j = 1 cij - �16 i = 1 �16 j = 1 p ij (2) 式中, c ij和 p ij的定义同式( 1)中的定义。通过检测 算子 K 和由试验确定的两个高低门限值 T h 和 T l, 就可以确定当前宏块在运动轨迹上的运动强度。 每个宏块的运动强度被定义成三种情况, 如果 当前宏块的检测算子 K 值小于低门限值T l ,则表明 当前宏块在运动轨迹上是平稳缓慢的运动,具有低 �748� SEMICONDUCTOR OPTOELECTRONICS � Vol. 28 No. 5 Oct. 2007 运动强度。这种情况下滤波器的滤波强度可以设的 高一些,这样可以有效去除噪声, 同时由于当前块 的低运动强度, 也不会造成�拖尾�的现象。当 K 值 高于高门限值 T h 时, 表明当前宏块在运动轨迹上 是剧烈的运动, 具有较强的运动强度。此时, 滤波强 度要调整的低一些,使滤波以后的宏块尽量保持当 前宏块的信息, 以避免�拖尾�现象的产生。当 K 值 处于T h 和 T l 之间时,则表明当前块的运动强度处 于中间状态,滤波器的滤波强度也会调整到中间级。 滤波器的滤波强度是由相应的权重 W 来调整的,W 的定义如公式( 3)所示: W = 0. 45, K � T l W = 0. 6, T l < K < T h W = 0. 85, T h � K ( 3) 3. 4 � 滤波器结构 本文提出的算法的滤波器按照加权平均滤波器 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ,滤波器结构如式( 4)所示: f out = Wf t + (1 - W ) f t- 1 ( 4) 式中, f out代表经滤波以后输出的宏块像素值, f t代 表当前宏块的各点像素值, f t- 1代表参考宏块的各 点像素值。W 是由公式( 3)计算得到的权重。权重 W 会根据当前块的运动状态自适应地进行调整, 从 而调整滤波器的滤波强度。经过自适应的加权平均 滤波,视频信号内的噪声被有效的去除,同时很好地 保护了图像的细节。 4 � 实验结果 为了 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 本文提出的算法的有效性,我们采用 经 CCD摄像机实际采样的含有噪声的视频序列进 行测试,序列的信噪比为 30 dB。双边滤波器是帧 内较优的滤波器,它可以有效地去除噪声,同时可以 较好地保护图像的细节[ 6]。为了证明本文提出的算 法优于空域内的帧内滤波算法, 我们采用本文提出 的算法和双边滤波器进行比较。我们采用这两种算 法同时处理实际采样的噪声序列。试验结果如图 2 和图 3所示。 我们给出了经两种算法处理以后测试序列的第 7帧和第 27帧的实验结果, 由于测试序列是经 CCD 摄像机实际采样的,所以序列内的噪声是真实的传 感器的噪声。图 2给出了序列第 7帧的处理情况, 图 3 给出了序列第 27 帧的处理情况。其中, 图 2 ( a) 表示含有采样噪声的第 7帧原始图像, 图 2( b) 表示经双边滤波算法降噪以后的第 7 帧图像, 图 2 ( c) 表示经本文提出的算法降噪以后的第 7 帧图 像。很明显,经双边滤波处理以后的图 2( b)虽然去 除了噪声,可是整幅图像也变得模糊。由于帧内降 噪算法低通滤波的性质,图 2( b)的图像细节不可避 免地受到损害。而经本文的算法处理以后的( c)图 图像,不仅有效地去除了噪声,同时图像的细节也被 很好地保护。( c)图的整幅图像看起来边缘很清晰, 没有模糊的感觉。 ( a) � ( b) � ( c) � 图 2 � 视频序列第 7 帧原始图像及降噪后图像 可见,经本文算法降噪的( c)图图像质量明显优 于经双边滤波器降噪的图 2( b)图像。在图 3中,图 3( a) 表示含有采样噪声的第 27 帧原始图像, 图 3 ( b)表示经双边滤波算法降噪以后的第27帧图像, 图 3( c) 表示经本文提出的算法降噪以后的第 27帧 图像。同图 2的效果一样,经本文提出的算法降噪 的( c)图图像质量明显优于经双边滤波器降噪的( b) 图图像质量。因此, 本文提出的基于运动补偿的自 适应时域降噪算法明显优于空域内的图像帧内降噪 算法。经本文算法处理以后的视频序列, 不仅有效 �749� �半导体光电� 2007 年 10 月第 28 卷第 5 期 李 � 岩 等: � 基于运动补偿的自适应时域视频降噪算法研究 地去除了噪声, 而且很好地保护了图像的细节内容。 ( a) � ( b) � ( c) � 图 3� 视频序列第 27 帧原始图像及降噪后图像 5 � 结论 本文提出了一种基于运动补偿的自适应时域视 频降噪算法,它采用运动补偿技术在时域上跟踪并 提取视频序列中的噪声。在沿着物体的运动轨迹进 行滤波的同时,该算法对物体的运动强度进行检测, 根据不同的运动强度自适应的调整滤波的强度, 这 样有效避免了快速运动的物体�拖尾�现象的产生。 实验结果表明:本文的算法有效地去除了视频序列 中的噪声,同时很好地保护了图像的细节。采用本 文提出的算法处理后的视频图像质量明显优于采用 空域的降噪方法的结果。 参考文献: [ 1] � Vasconcelos N . Pre and po st�filt ering for low bit�r ate video coding [ J] . IEEE T rans. on Image P rocessing, 1997( 1) : 291�294. [ 2] � Dekey ser F. Spatial�temporal Wiener filter ing of image sequences using a par amet ric model [ J] . ICIP, 2000 ( 1) : 1 586�1 589. [ 3] � Giaconni P R . Motion�compensated multi�channel no ise r eduction of co lour film sequence [ J] . P roc. SP IE, 1999, 8: 246�254. [ 4] � Boo K J. A mot ion�compensated spatial�tempo ral filter for image sequence w ith signal dependent noise [ J ] . IEEE Trans. on Circuits and Systems fo r V ideo Technol. , 1998( 8) : 287�298. [ 5] � 陈 � 钱, 张保民. 红外图像序列动态帧间滤波技术 [ J] . 南京理工大学学报, 2003, 27( 5) : 653�656. [ 6] � 靳 � 明, 宋建中. 一种自适应的图像双边滤波方法 [ J] . 光电工程, 2004, 31( 7) : 65�69. 作者简介: 李 � 岩( 1979- ) , 男,吉林省长春市人,博士生, 主要从事光电精密跟踪测量技术、数字视频处理技 术和视频编码技术的研究。 E�mail: doctor li1979@ 163. com (上接第 641页) 6 � 结论 本文利用广角 BPM 法和有效折射率法( EIM ) 对有机聚合物 S 形脊波导进行了模拟仿真, 研究了 S形光波导圆弧曲率半径与弯曲损耗的关系, 得出 了如下结论:当圆弧曲率半径大于 5 000 �m 后, 随 着波导曲率半径的增大, 波导的弯曲辐射损耗已不 会再明显减小, 光能量已可以在 S形波导中稳定地 传播, 形成导模。该结论为我们制作复杂的器件提 供了有效的依据。 参考文献: [ 1] � Foshee J, Co leg rove J, T ang Y J, et al. Sw itched optical po lymer ic waveguide true�t ime�delay lines for wideband pho tonics phased ar ray antennas [ J] . P roc. of SPIE, 2004, 5 356: 65�73. [ 2] � Kaw ano K , K itoh T . Intr oduction to Optical Waveguide Analy sis[ M ] . 2001. 204�213. [ 3] � Kassim N M, Mohammad A B, Supa'at, et a l. Single mode rib optical waveguide modeling techniques [ J ] . Pro c. of IEEE, 2004: 272�276. [ 4] � 杨建义, 王明华. 光波导弯曲的结构优化 [ J] . 光电 子� 激光, 1999, 10( 4) : 305�309. 作者简介: 陆荣国( 1982- ) , 男,广西河池人,博士生, 主要 研究方向为集成光学器件理论与技术。 E�mail: zidanezidane1982@ 126. com �750� SEMICONDUCTOR OPTOELECTRONICS � Vol. 28 No. 5 Oct. 2007