收稿日期:20120823;修回日期:20120926 基金项目:国家自然科学基金资助项目(60802084);西北工业大学基础研究基金资助项
目(JC20110266)
作者简介:时丕丽(1987),女,山东菏泽人,硕士,主要研究方向为图像融合、多尺度几何分析(spldaisy@126.com);郭雷(1956),男,教授,主
要研究方向为医学图像处理、多源图像识别与融合、图像检索等;李晖晖(1974),女,副教授,主要研究方向为图像融合.
基于 NSCT的 SAR与可见光图像融合方法
时丕丽,郭 雷,李晖晖
(西北工业大学 自动化学院,西安 710072)
摘 要:为了更好地将可见光图像与噪声干扰严重的合成孔径雷达图像融合,提出了一种最大尺度硬阈值去噪
的方法,在此基础上
设计
领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计
了一种融合规则,根据噪声和信号在 NSCT(nonsubsampledContourlettransform)域的分
解系数特性,将NSCT分解的最大尺首先进行硬阈值去噪,其他高频尺度与最大尺度对应的像素点取值方式保
持一致,在低频系数采用“简单绝对值取大”的融合规则,最后进行NSCT逆变换得到融合图像。实验结果
表
关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf
明,
该方法能有效抑制斑点噪声,并能充分保留源图像重要特征。
关键词:非下采样Contourlet变换;合成孔径雷达图像;可见光图像;相干斑噪声;图像融合
中图分类号:TP391.41 文献标志码:A 文章编号:10013695(2013)05156803
doi:10.3969/j.issn.10013695.2013.05.075
SARandopticalimagesfusionmethodbasedonNSCT
SHIPili,GUOLei,LIHuihui
(CollegeofAutomation,NorthwesternPloytechnicalUniversity,Xi’an710072,China)
Abstract:ToobtainbetterfusionresultsofopticalimagesandSARimageswithseverespecklenoise,thispaperproposeda
hardthresholddenoisingmethodinthefinestscalelevel(DFFSL)andafusionalgorithm.Accordingtodifferentpropertiesof
noiseandsignal’sNSCTdecompositioncoefficients,fristthealgorithmcarriedouthardthresholddenoisinginthefinestscale
levelofhighfrequencycoefficients.Thenitfusedotherscalelevelsofhighfrequencycoefficientsinaccordancewiththefinest
scalelevel.Thirdly,itemployed‘chooseabsolutemaximum’toselectthelowfrequencycoefficientsofthefusedimage.Lastit
obtainedthefusionimagesbyinverseNSCT.Theexperimentresultsshowthatthefusionrulenotonlyrestrainsthespeckle
noiseeffectively,butalsopreservessalientinformationoforiginalimageswell.
Keywords:NSCT(nonsubsampledContourlettransform);SARimages;opticalimages;specklenoise;imagefusion
!
引言
将合成孔径雷达(syntheticapertureradar,SAR)与可见光
图像进行融合,可以获得地物的多层次特性,进一步揭示地物
的本质特征[1]。但是SAR图像与可见光图像的融合一直很难
获得令人满意的效果,影响融合结果的一个重要因素是 SAR
图像与可见光图像光谱差异大,以往融合方法常会出现融合对
比度低、细节与纹理信息丢失等现象。基于多尺度几何分析的
图像融合算法是在不同的空间频率上进行的,可获得与人眼的
视觉特性更为接近的融合结果。Chen、Han等人[2,3]提出基于
小波变换的SAR与多光谱图像融合方法,保留了原始多光谱
图像的光谱特性,但所加入的 SAR图像目标多表现为离散的
点状目标,会造成SAR图像中重要目标丢失。Zhang等人[4]提
出了基于曲波与小波变换的 SAR图像融合。Huang等人[5]将
Contourlet[6]应用于 SAR与多光谱图像的融合中,充分利用了
Contourlet变换的多分辨率、多方向性和强大的系数表达能力,
融合结果较小波有了明显的改善。非下采样的Contourlet变换
(NSCT)[7]是一种真正的二维图像表示方法,不仅具有小波的
多分辨率特性和时频局部化特性,还具有很好的方向性和各向
异性,且该变换比Contourlet变换具有更灵活的多分辨率、多方
向的图像表示能力,以冗余度换取了平移不变性,克服了Cont
ourlet变换的混频现象和吉布斯现象,且经过 NSCT方法分解
后得到的系数图像具有相同大小的尺寸,使得融合规则的设计
更为方便。因此将NSCT引入图像融合,能够更好地提取源图
像的特征,为融合图像提供更多的信息[8,9]。
SAR图像会受到严重的相干斑噪声干扰,融合方法如果
没有考虑抑制噪声的因素,斑点噪声甚至会覆盖融合图像的重
要纹理特征,严重影响融合图像的判读性。SAR图像去噪经
典方法有中值滤波、维纳滤波、基于图像统计特性的自适应滤
波器Lee滤波,以及目前应用广泛的基于多分辨率分析思想的
相干斑抑制方法,比较著名的有 Donoho提出的小波变换阈值
方法[10]。但是如果在融合前进行滤波去噪处理,将去噪和融
合作为两个独立的步骤,不仅增加了算法的复杂度与存储空
间,又会使图像的重要特征信息出现模糊的现象[1,11],因此在
融合规则的设计中应充分考虑对噪声的抑制。基于此,本文提
出了一种基于NSCT的SAR和可见光图像的融合方法,融合规
则设计中将阈值去噪的思想作为规则设计的理论依据,充分利
用NSCT变换强大的二维图像表达能力,在图像融合的过程中
兼顾了对SAR图像斑点噪声的抑制。
第30卷第5期
2013年5月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol.30No.5
May2013
"
理论基础
"
"
C(<5
基本理论
基于Contourlet变换的 NSCT是一种多尺度、多方向的图
像分解方法,其利用一个双滤波器组结构,将多尺度分解和方
向分解结合到一起。首先利用非下采样塔形滤波器组(NSP)
获取图像的多尺度分解,随后用非下采样方向滤波器组对各尺
度图像进行方向分解。NSCT采用非下采样塔形滤波器组
(nonsubsampledpyramidfilterbank,NSPFB)和非下采样方向滤
波器组(nonsubsampleddirectionalfilterbank,NSDFB),在分解
和重构过程中不进行下采样,以实现并生成一种灵活的多尺
度、多方向且平移不变的图像分解方法,分解图像与原始图像
具有相同大小的尺寸。
"
#
(4/
图像中噪声和信号的
C(<5
分解系数特性
本文借鉴Donoho小波阈值滤波的理论,提出了一种基于
NSCT域噪声和信号系数特性的抑制斑点噪声的方法。考虑到
SAR斑点噪声的乘性特性,而小波分析去噪声方法一般是针
对加性噪声滤波,本文采用的小波滤波方法在对图像进行小波
变换前,先对图像作对数变换,将乘性噪声变为加性噪声。
Donoho理论指出,由于小波函数在时频域都具有较好的
局部性,同时其多尺度特性使得小波变换对信号具有一种 集
中的能力。自然图像的小波变换系数集中于少数幅值较大的
系数上,而噪声的小波变换系数均匀分布于整个尺度空间(小
波空间),幅度相差不大;并且随着尺度的增大,噪声的变换系
数迅速减小,这是由于大尺度对噪声进行了一定的平滑,使得
噪声的小波变换系数很小。从这点出发,可以通过小波系数
幅值的差异构造一种降噪方法。NSCT同小波变换一样也是一
种多尺度分析工具,因此可以沿用Donoho理论,随着变换尺度
的增大,噪声的变换值迅速减小,而信号各尺度却均保持较大
值,那么在最大尺度上的噪声和信号就比较容易区分[12],只需
在最大尺度上进行硬阈值去噪,在其他尺度上的相应位置进行
相同的处理即可。
#
基于
C(<5
的图像融合
#
"
基本步骤
图1所示为基于 NSCT的 SAR图像与可见光图像融合框
图。基于NSCT的图像融合步骤如下:
a)对已配准的待融合图像进行对数变换。
b)进行 NSCT分解,对 SAR图像和可见光图像分别进行
NSCT分解,且多尺度分解为j层以及每个尺度下方向分解数为
k,分别得各自的NSCT系数{HSARj,k,L
SAR}和{HPANj,k,L
PAN}。其中,
L为低频系数,H为第j尺度下第k个方向的高频子带系数。
c)设计融和规则,进而得到融合后的NSCT系数。其中低
频系数主要是图像的概貌信息,高频系数包含了图像的细节信
息和噪声。因此在融合过程中,需要对图像的高频细节信息和
低频近似信息加以区分,采用不同的融合算子和融合规则。
d)对融合的低频和高频系数进行指数变换。
e)对指数变换后的系数进行NSCT逆变换,得到融合图像。
#
#
融合规则设计
#
#
"
高频系数融合规则
1)最大尺度高频系数融合规则
随着变换尺度的增大,噪声的变换系数值迅速减小,而信
号呈现与之截然相反的特征,因此很容易在最大的尺度上将噪
声和真实信号区分开。将待融合SAR图像进行NSCT分解,设
分解系数为{HSARj,k,L
SAR},对SAR图像最大分解尺度 J下、k方
向的NSCT高频子带系数HSARJ,k进行硬阈值去噪处理,得到处理
后高频子带系数H
~SAR
J,k。
H
~SAR
J,k(i,j)=
HSARJ,k(i,j) HSARJ,k(i,j)≥Tk
0 HSARJ,k(i,j)<T{ k (1)
其中:Tk为该方向下的设定阈值,按 Tk=ω×Ak计算得到;ω
为加权系数,满足 ω>1;Ak为最大分解尺度 J下、k方向的
NSCT高频子带系数HSARJ,k的平均值。合适的阈值 Tk可以很好
地抑制噪声。
2)其他高频系数处理
在最大尺度将噪声置零加以抑制,可以认为零点所在位置
对应SAR图像中斑点噪声,非零点对应 SAR图像中的自然信
号,同时 NSCT分解各个方向的系数矩阵大小一致,像素点一
一对应,因此融合图像的其他尺度子带系数可以在非零处取为
SAR图像分解系数,其他位置为全色图像分解系数。这样做
就可以进一步抑制噪声,并且保留全色图的细节信息。
HFj,k(i,j)=
HSARj,k(i,j) H
~SAR
J,k(i,j)==HSARJ,k(i,j)
HPANj,k(i,j) H
~SAR
J,k(i,j){ ==0 (2)
#
#
#
低频融合规则
SAR图像和可见光图像成像机理的差异,造成很多区域
出现极性完全相反的特征,故低频系数采用“绝对值取大”的
融合策略,如式(3)所示。该方法可以从源图像中提取尽可能
多的概貌信息。
LF(i,j)=max(abs(LSAR(i,j),LPAN(i,j))) (3)
$
实验结果及其评价
实验数据采用意大利 Pavia城市的 ERS22SAR图像与
Landsat7全色图像,如图2(a)(b)所示。实验中为了验证算
法的有效性,选择相同的分解方式,NSCT塔形尺度滤波器组为
maxflat,方向滤波器组为dmaxflat7,分解为四个尺度,各尺度的
方向数分别为2、4、4、8,其中低频融合规则均为绝对值最大。
图2中,(c)为基于像素点融合算法[8]的高频融合规则为绝对
值最大法;(d)为基于窗口的融合算法[9]的高频融合规则为以
空间频率为度量标准取空间频率较大区域;(e)(f)分别为
SAR图像用常用的Lee滤波和阈值去噪算法降斑后,采用基于
NSCT区域窗口的融合策略。
从图2(c)(d)中可以看出,由于 SAR图像受到相干斑噪
声的影响,简单的绝对值取大和基于窗口的融合结果受到了相
干斑噪声的严重干扰,图像亮度偏低,接近于 SAR图像,全色
图像信息在融合图像中基本没有表现出来。图2(e)(f)中斑
·9651·第5期 时丕丽,等:基于NSCT的SAR与可见光图像融合方法
点噪声得到了一定程度的抑制,但是融合图像中心的亮点区域
模糊,视觉效果远不如后者。从图2(g)(h)(i)可以明显看出
本文方法的斑点噪声得到了有效的抑制,全色图像的细节特征
信息得到了更为清晰和突出的显示。ω越大则融合图像噪声
抑制越好,但图像中的弱小纹理和明亮区域减少,因此可以根
据工程需要灵活选择ω的值。图3所示为部分融合图像右下
方局部放大显示。其中,(a)为对比结果中视觉效果较好的
Lee滤波后融合结果放大的显示,可见图像中斑点噪声仍比较
严重;图(b)(c)的噪声得到了有效的抑制,同时细节信息也更
为清晰。
本文选取相关系数、偏差指数、等效视数[13]为评价指标。
相关系数反映了两幅图像的相关程度,两幅图像的相关系数越
接近于1,表示图像的接近度越好;偏差指数用来表示融合图
像和源图像的偏离程度,偏差指数越小越好;等效视数可以用
来衡量噪声的抑制效果、边缘的清晰度和图像的保持性,等效
视数越大说明抑制噪声的效果越好。计算结果如表1所示。
表1 各种融合方法评价指标值对比
融合方法 相关系数 偏差指数 等效视数
像素点规则 0.3005 0.2867 7.4484
窗口规则 0.3320 0.2747 7.8982
Lee滤波后融合 0.4556 0.1877 8.6925
阈值去噪后融合 0.4251 0.2076 9.5463
本文方法(ω=2) 0.4927 0.1798 9.8589
本文方法(ω=3) 0.5224 0.1716 10.9536
本文方法(ω=4) 0.6289 0.1477 11.3731
表1的实验数据表明,本文方法得到的融合图像与全色图
具有更强的相关性;偏差指数也明显小于前两种方法;随着 ω
的增大,噪声的抑制效果也越明显;等效视数这一指标较传统
融合方法有显著改善。
%
结束语
本文提出的基于NSCT的 SAR图像与可见光图像的融合
方法充分利用了NSCT强大的二维图像表达能力,有效捕获了
源图像中的细节与纹理信息,改善了 SAR与可见光融合图像
对比度低、重要信息丢失的现象。针对 SAR图像相干斑噪声
严重的问题,将硬阈值去噪的思想作为融合规则设计的理论依
据,提出了一种比较新颖的图像融合方法,不仅有效抑制了相
干斑噪声,而且克服了先去噪后融合方法造成的融合图像中重
要信息模糊甚至丢失的缺陷;同时该算法将抑制噪声和融合规
则设计一起实现,降低了算法的复杂度,节省了存储空间。实
验结果表明,本文方法对斑点噪声污染严重的 SAR和可见光
图像的融合是比较适用的。
参考文献:
[1] YEShoushi,ZHAOBaojun,TANGLinbo.SARandvisibleimage
fusionbasedonlocalnonnegativematrixfactorization[C]//Procof
the9thInternatioanlConferenceonElectronicMeasurement&Instru
ments.2009:263266.
[2] CHENShaohui,ZHANGRenhua,SUHongbo.SARandmulti
spectralimagefusionusinggeneralizedIHStransformbasedonatrous
waveletandEMDdecompositions[J].IEEESensorsJournals,
2010,10(3):737745.
[3] HANNianlong,HUJinxing,ZHANGWei.MultispectralandSAR
imagesfusionviaMallatand?trouswavelettransform[C]//Procof
the18thInternationalConferenceonGeoinformations.2010:14.
[4] ZHANGXinzheng,HUANGPeikang,ZHOUPing.Datafusionof
multiplepolarimetricSARimagesbasedoncombinedCurveletand
wavelettransform[C]//Procofthe1stAsianandPacificConference
onSymtheticApertureRadar.2007:225228
[5] HUANGDengshan,YANGMinhua.SARandmultispectralimages
fusionbasedonContourletandHIStransform[C]//Procofthe6th
InternatioanlConferenceonWirelessCommunicationsNetworkingand
MobileComputing.2010:14
[6] DOMN,VETTERLIM.TheContourlettransform:anefficientdi
rectionalmultiresolutionimagerepresentation[J].IEEETranson
ImageProcessing,2005,14(12):20912106.
[7] CUNHAAL,ZHOUJianping,DOMN.ThenonsubsampledCont
ourlettransform:theory,designandapplications[J].IEEETransIm
ageProcessing,2006,15(10):30893101
[8] ZHANGQiang,GUOBaolong.Researchonimagefusionbasedon
thenonsubsampledContourlettransform[C]//ProcofIEEEInterna
tionalConferenceonControlandAutomation.2007:32393243.
[9] TANGLei,ZHAOFeng.ThenonsubsampledContourlettransformfor
imagefusion[C]//ProcofInternationalConferenceonWaveletAnal
ysisandPatternRecognition.2007:305310
[10]DONOHOL.Denoisingbysoftthresholding[J].IEEETransonIn
formationTheory,1995,41(3):613627.
[11]LUCIANOA,STEFARIOB,ANDREAG,etal.LandsatETM+and
SARimagefusionbasedongeneralizedintensitymodulation[J].
IEEETransonGeoscienceandRemoteSensing,2004,42
(12):28322839
[12]LIHongjun,LINJinguo,MEIXue,etal.Infraredimagedenoising
algorithmbasedonadaptivethresholdNSCT[C]//ProcofCongress
onImageandSignalProcessing.2008:353357
[13]郭雷,李晖晖,鲍永生.图像融合[M].北京:电子工业出版社,
2008.
·0751· 计 算 机 应 用 研 究 第30卷
基于NSCT的SAR与可见光图像融合方法
作者: 时丕丽, 郭雷, 李晖晖, SHI Pi-li, GUO Lei, LI Hui-hui
作者单位: 西北工业大学 自动化学院,西安,710072
刊名: 计算机应用研究
英文刊名: Application Research of Computers
年,卷(期): 2013,30(5)
本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjyyyj201305075.aspx