2011年6月 西安电子科技大学学报(自然科学版) Jun.2011 第38卷第3期 K)IⅡ NAI 0F ⅪDIAN I ⅡvERSnY V01.38 No.3 doi:10.3969/j.issn.1001-2400.201 1.03.O1 1 种抗噪声的高效多聚焦图像融合算法 严春满 ,郭宝龙 ,杨秀红 (1.西安电子科技大学智能控制与图像工程研究所,陕西西安710071; 2.西北师范大学物理与电子工程学院,甘肃兰州 730070) 摘要:针对普通光学系统对图像处理算法实时性要求高及噪声环境的特点,提出一种基于拉普拉斯塔 型分解伪逆重构的抗噪声图像融合算法.采用正交小波分解构建图像数据金字塔结构,重构过程采用一 种新的伪逆重构算法.新算法可抑制压缩过程量化、阈值处理等带来的系统噪声及加性白噪声,算法复 杂度低.可获得比原拉普拉斯金字塔变换法较优的多聚焦图像融合效果,并具有抗噪声能力. 关键词:图像融合;拉普拉斯金字塔;伪逆重构;抗噪声性能 中图分类号:TN911.73 文献标识码:A 文章编号:1001-2400(2011)03-0063-06 High efifciency algorithm with antinoise properties for multi-focus image fusion YAN Chunman 一,GUO Baolong ,YANG Xiuhong (1.Inst.of Intelligent Control&Image Engineeirng,Xidian Univ.,Xi’an 710071,China; 2.College of Phy.and Electronic Eng.,Northwest Normal Univ.,Lanzhou 730070,China) Abstract: In view of the more real—time requirements of the image processing algorithm for ordinary optics and the particularity of noise condition,this paper proposes an antinoise algorithm for image fusion,which is based on Laplacian pyramid decomposition and pseudo inverse.For the algorithm,orthogonal wavelets are used for image decomposition and the pyramid data structure,and at the reconstruction stage,a pseudo inverse is used. The new algorithm can restrain the additive noise and system noise from thresholding and quantization process of compressiOn,and it is of lower complexity.Experimental results show that the new algorithm can obtain a better effect than the method based on the usual Laplacian pyramid transform for the multi—focus image fusion,and has antinoise properties. Key Words: image fusion;Laplacian pyramid;pseudo inverse;antinoise properties 普通光学系统很难甚至无法对一个场景中处于不同像平面的所有目标都清晰成像,但多聚焦图像融合 可提供对这一问题的解决方案.多聚集图像融合可以将来自同一场景不同聚焦的多个图像的冗余信息和互 补信息通过一定的算法进行融合,得到一幅综合图像,获得全景清晰的场景描述. 图像融合是图像处理的重要领域.根据图像融合所处阶段和数据抽象程度的不同,融合算法通常在如下 3个层次进行:像素级,特征级和决策级.像素级融合是在基础层面上进行的信息融合,也是目前应用最广 泛的图像融合方式.特征级融合属中间层次的融合.决策级融合是在信息表示的高层次上进行的融合 J. 图像融合方法很多,大致可将其分为空域融合方法及变换域融合方法.典型的空域融合方法包括像素加 权平均、伪彩色映射、非线性方程法、模拟退火法、人工神经网络法等;变换域融合方法包括小波变换法、图像 金字塔方法、多尺度几何分析方法等.笔者致力于在变换域研究并开发一种有效的抗噪声多聚焦图像融合算 法.变换域的小波变换法提供了良好的融合效果,根据不同的变换技术,还包括提升小波变换法、小波包变换 收稿日期:2010-04-27 基金项目:国家自然科学基金资助项目(60802077,61003196) 作者简介:严春满(1970一),男,西安电子科技大学博士研究生,E-mail:yancha02@163.con. 西安电子科技大学学报(自然科学版) 第38卷 法及多小波变换法,其中小波包变换法可获得较好的融合效果,提升小波变换法又优于多小波变换法 j.图 像的塔型分解是一种有效的多尺度分析方法,包括对比度金字塔、梯度金字塔、拉普拉斯金子塔等,一般可获 得优于小波变换的图像融合效果.多尺度几何分析方法又称超小波分析方法,是计算调和与小波分析的新发 展.在小波变换、塔型分解的基础上,多尺度几何分析增加了方向及几何信息检测,具有多尺度、多分辨率及 多方向性等特点,符合人类视觉系统由粗到细、多尺度工作机理,实现对图像数据的稀疏表示,在高维信号处 理领域尤其是图像处理领域要优于小波变换.最新的研究成果中,多尺度几何分析方法用于图像融合的例子 也很多,如基于Curvelet的融合方法 、基于Contourlet的融合方法 J、基于非下采样Contourlet的融合方 法 等,均取得了优于小波变换及塔型分解等传统融合方法的效果.另外,脉冲耦合神经网络是在哺乳动物 视觉皮层脉冲发放特性的基础上提出的一种新型人工神经网络,作为一种有效的图像处理工具,在图像融合 方面也展示了优异的性能 J.文献[7—8]将多尺度几何分析工具和脉冲耦合神经网络相结合并应用于图像 融合,取得了令人满意的效果.空域方法和变换域方法相互结合,自然计算及模式识别等领域的新算法也不 断被引入图像融合领域.新理论和新技术促进了图像融合技术的不断创新,但遗憾的是,新算法性能的提升 有时会伴随着算法复杂度的提高.以多尺度几何分析为例,这类算法方向滤波环节复杂度高,分解系数冗余 度比小波变换及塔型分解高,算法速度下降,影响了算法的实时眭.另外,在实际应用中,现有算法很少考虑 图像需要压缩以存储并传输的现实,对算法的抗压缩及抗噪声环境等性能研究不够.拉普拉斯金字塔变换结 合了小波变换的多分辨率及金字塔方法的多尺度特点,算法灵活高效,计算复杂度低,可扩展到高维应用场 合,在图像处理包括图像融合领域可取得较满意的效果.笔者以文献[9.10]的工作为基础,采用拉普拉斯塔 型分解及其伪逆重构算法,将其应用于多聚焦图像融合,研究了噪声环境下算法的性能.新算法复杂度和原 拉普拉斯金字塔变换法相当,分解系数的冗余度较低,计算效率较高. 1 拉普拉斯金字塔变换及伪逆重构 1。1拉普拉斯金字塔变换 拉普拉斯金字塔在高斯金字塔的基础上构造,如图1所示.设原图像为 ,经滤波和下采样得到其粗尺 度表示c,c经上采样及滤波得到预测图像P, 与P相减得到差值图像d.此过程在上一步骤获得的粗尺度图 像上重复进行,可获得一系列差值图像,差值图像的叠放形成其塔型数据结构.拉普拉斯金字塔的每层分辨 率依次递减.图1中日为分解滤波器,G为合成滤波器.源图像与经低通滤波的图像相减可去除图像中像素 之间的相关性. 二 (a)分解系统 (b)重构系统 l 图1拉普拉斯金字塔分解及重构系统 1.2伪逆重构算法 若用 n]表示有限长信号,分解滤波器日由有限冲激响应h[n]表示,输出信号Y[n]是 [几]与h[n] 的卷积,即y[凡]= [ ] n].经下采样及滤波运算得到信号的粗尺度表示c[n]=∑x[k]h EMn-k];由 ∈Zd 上采样及滤波运算得到预测信号p[n]=∑c[ ]g[n一 ]. EZd 将信号用其矢量形式表示,可得C=Hx及P=Gc. 这里日、G分别表示下采样滤波H( )及上采样滤波(T )G,则差值信号为 (1) d=X—P=X—GHx=(I—GH)x . jdet(M)卜1 若采样矩阵为M,X在多相域的分解可表示为 [n]=x EMn+ ],i=0,1,…,1 det(M)I_1,k ∈Z,X的z域 表示为 ( )= ∑ k:0 Xi(ZM),则 在多相域表示为 (z) ( ( ),…,X lde (膳)l- (z)) . http://www.xdxb.net 第3期 严春满等:一种抗噪声的高效多聚焦图像融合算法 65 由下采样及滤波运算得到信号的粗尺度表示为 Jdet(M)卜1 Jdet(M)卜1 c[ ]= ∑ ∑x[Mm+ ]h[Mn—Mm—ki]= ∑ ∑Xi[m]hi[n—m], I det(M)1—1 J f 其 域表示c( )= ∑Hi(z)Xi(z)=日( ) ( ),这里日( ) ( ( ),…,日l (肘)『一 ( )). 上采样及滤波运算得到预测信号,可表示为 Pi[m]=p[Mm+ki]=∑c[n]g[Mm+Jj} —Mn]=∑d n]g [ 一 ], 其 域表示P (z)=G (z)c(z),或者p(z)=G(z)C(z). 这里G( ) ( ( ),…,G lde )l_ ( ))T.那么,多相域的差分信号矢量表示为 d(z)=X(z)一P(z)=(j—G( )丑( )) (z) . 多相域的拉普拉斯金字塔分解运算可表示为 ㈤. 卜z . 公式(5)右半部分定义为A(z)左乘x(z). 可见,拉普拉斯金字塔运算即矩阵A的左乘.由于拉普拉斯金字塔运算是一种冗余变换且可重构,则存 在A的逆矩阵,其中满足公式A =(A A) A ’的矩阵A 称为伪逆矩阵.文献[9]证明,拉普拉斯金字塔中的 滤波器正交于采样矩阵 时,A的伪逆矩阵可表示为 , Ⅱ 、T A =A =f\ J“ 1=(G I—GG ). GG / 、 (6) (7) 由伪逆矩阵重构的信号为x=A Y=Gc+(I—GG )d=G(c—Hd)+d. 由公式(7)可获得重构信号的滤波器结构 ,如图2所示. 这种结构中,伪逆重构算法与分解算法具有对称结构,计 算复杂度相当. 2伪逆重构算法性能分析 伪逆重构算法性能的提高主要在于其使用正交滤波器, 图2伪逆重构系统 要求日和G双正交于采样矩阵 ,预测算子为正交投影.通过向量投影,可分析伪逆重构算法的性能 . 2 3 4 5 如图3(a)所示,定义两个由{g[·一 ]} 及{|iz[·一Mk]} 分别张成的子空间 和 ,也即G和 日的列和行空间,并定义 的正交互补子空间 对所有x∈f (z ),拉普拉斯金字塔的预测信号p=GHx是 到 上的投影,记为P .由正交关系,HG=j,则差分信号d= -p满足lid=H(x—GHx)=Hx—Hx=0, 故而垂直于 很容易验证d=X—P 是 到 上的投影,记为P . (a)拉普拉斯金字塔算法投影关系 (b)拉普拉斯金字塔算法对比分析 图3拉普拉斯金字塔算'法I陛能图解 图3(b)中,; 、 分别为原拉普拉斯金字塔变换法(以下称Old LP算法)和拉普拉斯塔型分解伪逆重构 算法(以下称New LP算法)的重建信号.考虑噪声的影响,将误差d变为a,Old LP算法将 简单加给预测信 http://www.xdxb.net 西安电子科技大学学报(自然科学版) 第38卷 号,而New LP算法将其投影P 加给预测信号,避免噪声与重构信号的简单叠加,从而降低了噪声的影响. 由伪逆矩阵的正交投影特性知,当分解系数中存在白噪声时,伪逆重构可以降低最小均方误差,New LP算法 可以实现比Old LP算法较优的重构质量.在压缩环节由阈值处理、量化等带来的系统噪声及实际应用中的 加性噪声是客观存在的,在不明显增加算法复杂度的前提下,New LP算法的噪声抑制能力尤显重要. 3图像融合实验 针对不同类型的图像、不同的融合规则及不同的评价准则,小波变换及各种塔型分解方法图像融合性能 也不尽相同 .笔者重在分析New LP算法的抗噪声环境能力,故分别完成Old LP算法与New LP算法图像 融合对比实验、New LP算法JPEG压缩及加性噪声环境图像融合性能分析实验.实验中不特别强调融合规 则.研究结果表明 ,对多聚焦图像融合,根据其成像机理及融合目的,采用变换域的低频系数取平均、高频 系数取模最大的规则相对高效,故本文沿用.在实验过程中,为保证拉普拉斯金字塔滤波器的正交性,采用双 正交的“bior4.4”小波,塔型分解层数为4层.图像融合结果的评价是一个难题_1 ,一般采用主观评价结合客 观评价的办法.实践中发现,客观指标在不同评价场合、针对不同类型图像,有时会给出与主观评价相背离的 结果,所以比较可靠的评价方法应该是主观评价为主,客观评价为辅.客观评价指标选取较常见的交叉熵、标 准差、相关系数及峰值信噪比.一般而言,交叉熵反映融合图像信息损失程度,交叉熵越小,融合效果越好; 标准差反映融合图像灰度分布区间,其值越大,融合质量越高;相关系数及峰值信噪比的计算依赖于参考图 像,相关系数反映融合图像与参考图像的关联程度,其值越大,则表示融合质量越好;峰值信噪比与图像的均 方根误差有关,用以反映融合图像抗噪声性能.另外,文献[12]从图像特征出发,以图像特征的保持为依据, 提出了Qabf指标,反映了图像融合的目的和特征,可较综合地评价图像融合质量,笔者也予以采用.实验环 境为Matlab7.0,计算机CPU为P4 3.06 GHz,内存1 GB. 3.1 不同融合算法对比实验 选取若干组已经配准好的多聚焦图像进行Old LP算法与New LP算法对比实验,多聚焦图像成像机理 相同,各组图像均取得相同的实验效果,这里给出其中一组以供分析.图4给出Disk图像融合结果主观对比 图,图4(a)~图4(c)为原图像与参考图像,图4(d)和图4(g)为两种算法的融合效果图.从主观效果来看, 对比算法均实现了图像互补信息的融合,获得了多目标相对清晰的场景像,较好地完成了多聚焦图像融合任 务.表1给出Disk图像融合客观评价数据,最后一列为算法耗时.从表1可以看出,New LP算法的峰值信噪 比要比Old LP算法提高约0.44 dB,反映其抗噪声性能要优于Old LP算法,除标准差略有下降外,Qabf及交 叉熵都要好于Old LP算法.New LP算法耗时为0.281 3 S,比Old LP算法增加0.0157 S,反映两者复杂度相 当,计算效率较高.若采用文献[11]综合加权的办法评价,New LP算法要优于Old LP算法. 表1 不同融合算法性能比较 3.2 JPEG压缩及加性噪声环境融合性能分析实验 对待融合图像添加方差为5的加性白噪声,在不同的JPEG压缩品质下,完成New LP算法及Old LP算 法图像融合对比实验.为进一步验证算法在较差环境下的适应性,对融合规则也作弱化处理,采用高频系数 取最大 、低频系数取平均的原则.选用若干组多聚焦图像,在噪声环境下均给出了相同的实验结果,这里 仍然给出其中Disk图像的融合结果以供分析.图4(e)和图4(f)给出JPEG压缩品质为80的融合图像主观 对比图,可见噪声环境造成融合图像的质量明显下降,但New LP算法较Old LP算法的抗噪声能力要好,所 以图4(f)的主观质量要好于图4(e).其余压缩品质下融合效果对比是相同的,这里就不再一一列举.表2和 表3分别给出实验结果的客观评价数据. 从表2和表3的对比数据可以看出,除标准差外,New LP算法的客观评价数据要好于Old LP算法,Qabf 平均提高约3.3%,交叉熵平均下降约72%,相关系数平均提高约2.5%,峰值信噪比平均提高约21%,这 ht'cp://www.xdxb.net 第3期 严春满等:一种抗噪声的高效多聚焦图像融合算法 67 (a)右聚焦图像 (b)左聚焦图像 (c)参考图像 (d)OldLP融合图像 (e)OldLP融合图像(噪声环境) (f)NewLP融合图像(噪声环境) (g)NewLp融合图像 图4不同算法图像融合结果对比 体现了New LP算法抗系统噪声及加性噪声的能力.另外,为直观起见,图5特别绘制出两种算法在加性噪声 环境及不同压缩品质下的峰值信噪比对比图,可以看出New LP算法融合图像的峰值信噪比要比Old LP算 法平均提高约5 dB. 表2 Old LP算法JPEG压缩及加性噪声环境融合性能比较(噪声方差 =5) 表3 New LP算法JPEG压缩及加性噪声环境融合性能比较(噪声方差 =5) http://www.xdxb.net 西安电子科技大学学报(自然科学版) 第38卷 4总 结 ∞35 30 筮25 20 图像的塔型分解是一种有效的多尺度多分辨率分析方法.拉普拉斯金 字塔( )变换结构简单,构造灵活,在图像处理中获得广泛应用.采用正 :i l0O 70 40 JPEG压缩品质 1O JPEG压缩及加性噪声环境 交分解,伪逆重构的拉普拉斯金字塔算法具有抗压缩环节量化、阈值处理 图5融合图像峰值信噪比比较 等带来的系统噪声及加性白噪声的能力,可获得优于原重构算法的多聚焦 图像融合效果,且算法复杂度与原算法相当. 参考文献: 【1】 杨翠,张建奇.基于红外特征与区域相似的图像融合算法【J】.西安电子科技大学学报,2006,33(6):871-875. Yang Cui,Zhang Jianqi.An Infrared Feature and Image Similarity—based Image Fusion Method【J】.Journal of Xidian University,2006,33(6):871—875. [2] 那彦,焦李成.基于多分辨分析理论的图像融合方法[M].西安:西安电子科技大学出版社,2007:114—133. 【3] 张强,郭宝龙.应用第二代Curvelet变换的遥感图像融合【J】.光学精密工程,2007,15(7):1130·1136. Zhang Qiang,Gun Baolong.Fusion of Remote Sensing Images Based on the Second Generation Curvelet Transform[J].Optics and Precision Engineering,2007,15(7):1130—1136. 【4】 刘战文,焦李成,金海燕,等.基于Contourlet域HMT模型的图像融合[J].西安电子科技大学学报,2008,35(3): 433-438. Liu Zhanwen,Jiao Licheng,Jin Haiyan,et a1.Image Fusion Algorithm Using the Contourlet HMT Model[J】.Journal of Xidian University,2008,35(3):433-438. ourlet和swT的多光谱图像和全色图像的融合算法[J].电子与信息学报, [5] 时海亮,方敏,梁锦锦.基于非亚采样Cont2009,31(1):124—128. Shi hailiang,Fang Min,Liang Jinjin.Fusion of Muhispectral and Panchromatic Satellite Images Based on Nonsubsampled Contourlet Transform and Stationary Wavelet Transform[J].Journal of Electronics&Information Technology,2009,31(1): 124.128. n,Ma Yide.Dual—channel PCNN and Its Application in the Field of Image Fusion【C]//Third International [6] Wang ZhaobiConference on Natural Computation:Vol 1.Washington:IEEE,2007:755-759. n,Peng Dongliang,Yang Shuyuan.Fusion of Multi—band SAR Images Based on Nonsubsampled Contourlet and PCNN 【7】 Wang Mi[C]//The 2008 Fourth International Conference on Natural Computation:Vol 5.Washington:IEEE,2008:529—533. aobo,Yan Jingwn,Xiao Hongzhi,et a1.Image Fusion Algorithm Based on Spatial Frequency—motivated Pulse Coupled [81 Qu XiNeural Networks in Nonsubsampled Contourlet Transfom Dormain[J】.Acta Automatica Sinaca,2008,34(12):1508—1514. M N.Directional Muhiresolution Image Representations[D].Lausanne:Swiss Federal Institute of Technology,2001. [9] Do【10] 苗启广,王宝树.基于改进的拉普拉斯金字塔变换的图像融合方法[J].光学学报,2007,27(9):1605—1610. Miao Qiguang,Wang Baoshu.Multi—Sensor Image Fusion Based on Improved Laplacian Pyramid Transform[J].Acta Optica Sinica,2007,27(9):1605—1610. 何贵青,陈世浩,田 ,等.多传感器图像融合效果综合评价研究[J].计算机学报,2008,31(3):486-492. He Guiqing,Chen Shihao,Tian Yun,et a1.Synthesis Perform and Evaluation of Multi—sensor Image Fusion【J】.Chinese Journal of Computers,2008,31(3):486-492. C S,Petrovic V.Objective Image Fusion Performance Measure[J].Electronics Letters,2000,36(4):308—309. [12] Xydeas86. 【13】 陶观群,李大鹏,陆光华.小波分析方法在医学图像融合中的应用【J】.西安电子科技大学学报,2004,31(1):82—Tan Guanqun,Li Dapeng,Lu Guanghua.Applications of Wavelet Analysis in Medical Image Fusion[J].Journal of Xidian University,2004,3 1(1):82—86. (编辑:郭 华) http f f .xdxb.net