曝光融合在单幅图像去雾中的应用


收稿日期:2011-06-10;修回日期:2011-08-30。 基金项目:国家自然科学基金资助项目( 61074106); 航空科学基金联合资助项目( 2009ZC57003) 。 作者简介:陈晨( 1986 - ),男,安徽巢湖人,硕士研究生,主要研究方向: 图像处理、计算机图形学; 胡士强( 1969 - ),男,河北定州人,教 授,博士生导师,博士,主要研究方向: 信息融合、图像理解; 张军( 1978 - ),男,甘肃临潭人,博士,主要研究方向: 计算机视觉、图形学。 文章编号: 1001 - 9081( 2012) 01 - 0241 - 04 doi: 10. 3724 /SP. J. 1087. 2012. 00241 曝光融合在单幅图像去雾中的应用 陈 晨* ,胡士强,张 军 ( 上海交通大学 航空航天学院,上海 200240) ( * 通信作者电子邮箱 chennwpu@ yahoo. com. cn) 摘 要:针对雾天拍摄图像的降质现象,提出一种简单、有效的单幅图像去雾算法。首先利用暗原色先验知识估 计出大气光亮度; 然后根据雾天图像的成像物理模型,对每一像素的景深进行较高精度的亚采样,生成对应的虚拟无 雾图像备选序列; 最后,根据曝光融合算法提出的像素曝光评价指标,利用多分辨率形式的图像融合方法从备选序列 中提取出清晰的无雾图像。实验结果表明,该算法既保证了复原图像清晰度,又具有较好的实时性。 关键词:图像去雾; 暗原色; 像素评价; 图像序列分析; 曝光融合 中图分类号: TP391. 413 文献标志码:A Application of exposure fusion to single image dehazing CHEN Chen * , HU Shi-qiang, ZHANG Jun ( School of Aeronautics and Astronautics, Shanghai Jiao Tong University, Shanghai 200240, China) Abstract: This paper proposed a simple and effective method to remove haze from a single input image degraded by bad weather. First, it estimated the airlight by using dark channel prior knowledge. Then, under a mathematical model for describing the formation of a hazy image, the depth of field of each pixel was sampled to get a virtual haze-free image sequence. Finally, an exposure criterion introduced by exposure fusion algorithm was used to extract a haze-free image from the image sequence by multi-scale fashion image fusion method. The experimental results show that the proposed method can yield good results and it is appropriate for real-time applications. Key words: image dehazing; dark channel prior; pixel assessment; image sequence analysis; exposure fusion 0 引言 图像去雾研究是计算机视觉领域中的一个重要课题,在 诸如自动监控系统、智能车、目标识别和遥感等领域均有需 求。在有雾天气条件下,场景辐射照度被大气中的悬浮微粒 散射和吸收,室外场景的能见度显著降低,计算机视觉系统获 取的图像对比度低,加上大气光的作用,图像颜色整体偏向灰 白色,致使基于特征检测的室外视频系统无法正常工作,图像 去雾的目的就是恢复有雾图像的对比度和真实色彩,重现在 理想天气条件下拍摄的清晰图像。 在基于物理模型的图像去雾研究中,由于雾对图像的影 响程度与目标的场景深度密切相关,需要用到图像像素位置 处的景深信息,而在单幅图像中是无法知道目标的场景深度, 在早期研究中出现了很多利用辅助信息进行场景深度提取来 实现去雾的方法。文献[1]通过将同一场景在不同天气条件 下的多幅图像作为输入来达到去雾的目的; 文献[2]通过对 雾天场景的光学成像进行建模,借助于一张晴天和一张雾天 场景的参考图像,计算出场景各点的深度比关系,最后利用深 度关系复原雾天图像; 文献[3]通过已知的近似 3D 场景模型 来获取场景点深度来实现去雾。但上述方法需要不同天气条 件下同一场景的多幅图像或者需要用户交互,不能满足自动、 实时图像去雾的需求。图像去雾研究中最难的部分是仅仅依 靠一张雾天图像作为输入信息来实现去雾。由于单幅图像去 雾本质上是一个病态方程的求解问题,需要有额外的辅助信 息方能求解,最近出现了一些利用强先验或假设来实现去雾 的方法。文献[4]通过统计发现无雾图像相对于有雾图像必 定具有较高的对比度,从而利用最大化复原图像的局部对比 度来达到去雾的目的。文献[5]提出了基于暗原色先验的单 一图像去雾技术,通过该先验信息求解物理模型参数,最终达 到艺术级的去雾效果。但该方法在平滑透射率分布的过程中 需要计算复杂的 Matting Laplacian 矩阵以及求解大型线性方 程组,严重影响了算法的实时性。文献[6]优化了该算法,使 得算法整体复杂度只与图像像素数量成线性关系,并通过使 用中值滤波器取代数字抠图[7]来平滑透射率分布,进一步提 高了算法速度,但复原结果有较为明显的失真。近来,图像融 合技术也应用到了图像去雾中,但需要同一场景的近红外图 像[8]。 针对以上问题,提出了一种新颖的仅仅利用单幅降质图 像进行高质量快速去雾的方法。利用通用的雾天图像物理模 型和场景深度是连续变化的特点,该方法对原始有雾图像的 所有像素位置景深进行较高精度采样生成虚拟无雾图像备选 序列,序列中每一幅图像肯定存在部分像素,其实际景深刚好 等于或接近对应的采样景深。该部分像素真实地刻画了与其 对应的无雾物理场景,这样,图像序列包含了无雾图像的绝大 部分场景辐射信息。可以认为该部分像素“质量”最高,而像 素“质量”可以通过文献[9]提出的评价指标( 对比度、饱和 度、曝光质量) 进行衡量,据此计算出序列中每幅图像的归一 化权重图。为了避免融合后引入的光晕现象,采用了多分辨 Journal of Computer Applications 计算机应用,2012,32( 1) : 241 - 244 ISSN 1001-9081 CODEN JYIIDU 2012-01-01 http: / /www. joca. cn 率形式的像素级图像融合技术提取出场景辐射信息实现去 雾。由于避免了复杂且计算量浩大的透射率计算过程,实验 结果表明,在保证图像清晰度的同时,本文算法的运行效率和 实时性能够更好地满足实际应用的需求。整个算法流程如图 1 所示。 图 1 去雾算法流程 1 物理模型 在计算机视觉和计算机图形学领域中,一种得到广泛应 用的雾图像成像模型如下: I( x) = J( x) t( x) + A( 1 - t( x))( 1) 其中: I 是雾天图像; J 为场景辐射( 即无雾图像); A 为大气光 亮度,对应周围环境中各种光的总强度,是引起色彩偏移致使 雾天拍摄图像呈现灰白色的主要原因; t 为透射率,对应于场 景辐射光线中没有被散射而到达镜头的比例; x 为图像像素 的二维空间位置。当大气为同质状态时,透射率 t 可表示为: t( x) = e -βd( x) ( 2) 其中: d( x) 为场景深度; β 为大气散射系数,当 β 为零时,对应 于无雾天气条件。图像去雾的目标就是从数据 I 中恢复出数 据 J,由式( 1) 可得: J( x) = I( x) - A t( x) + A ( 3) 由式( 3) 可知,只需知道大气光亮度和透射率即可恢复 出无雾图像。其中对于大气光亮度 A,文献[4]选取图像像素 的最大亮度作为大气光,但在实际情形中,亮度最大的像素可 能是一个白色的汽车或白色的建筑物,这样就会给大气光的 估计引入较大误差。而大气光是引起图像色彩偏移的最主要 因素,大气光估计值的准确与否会对最终去雾结果有重要影 响。本文采用文献[5]提供的利用暗原色先验的方法来估计 大气光,可以有效提高大气光估计的准确性。 2 基于图像融合的去雾算法 2. 1 虚拟无雾图像备选序列生成 目前,已有大量文献讨论了如何通过单幅图像准确估计 出透射率,但这些方法计算量浩大,实时性差。当大气为同质 状态时,大气散射系数为一未知常值,也就是说透射率仅与场 景深度相关,本文通过对每个像素点的场景深度以一定精度 Δd 进行采样并结合式( 2) 、( 3) 生成 N 幅图像组成的虚拟无 雾图像备选序列,当参数选取合适时,该图像序列包含了绝大 部分无雾图像的场景辐射信息。图像的去雾问题化归成从图 像序列中提取场景辐射信息的问题,其中 Δd = dmax /N,dmax 为 未知的场景深度最大取值。实际上,βd( x) = βdmax N i = T N i,其 中 i = N - 1,…,1,0。因此,在利用文献[5]估计出大气光亮 度 A 后,只需得到参数 T、N 的取值即可得到虚拟无雾图像备 选序列。在 3. 2 节中给出了针对参数 T、N 的一种经验性选取 方法,实验结果表明该选取方法是合理的且对不同有雾图像 具备一定鲁棒性,即在绝大部分应用场合中可近似取 T = 3、 N = 16。对某幅雾天图像景深由远及近采样( 即 i 依次取 15, …,1,0) 生成的虚拟无雾图像备选序列如图 2 所示。由图 2 可 见,任一像素位置处的场景辐射真实值或最佳逼近值可以从 序列中某幅图像同一像素处获得。由于该像素信息最佳刻画 了对应位置处的实际场景辐射,可以认为其“质量”最高,将 所有“质量”最高的像素点集中后便可恢复出清晰无雾图像。 图 2 生成的虚拟无雾图像序列 2. 2 序列像素质量评价 本文利用文献[9]提出的像素评价指标来提取出“质量” 最高的像素。该像素评价指标是针对高动态范围环境下拍摄 的多幅曝光程度不同的图像提出的,认为由于曝光不足或曝 光过度导致某些区域在部分照片中单调乏味,应该减小这些 照片上述区域的权重,而其余照片的相同区域却有着丰富的 颜色和细节信息,则应该保留这些照片中该区域的信息。显 然本文中虚拟无雾图像备选序列的像素评价也面临着同样的 问题,可以使用与文献[9]相同的 3 个指标来对单个像素进 行评价。 1) 对比度。对比度反映图像的亮度变化信息,对每幅输 入图像的灰度图应用拉普拉斯滤波器,取滤波器输出的绝对 值作为衡量对比度的指标 C,该指标会对诸如边缘和纹理等 重要信息分配较高的权重。 2) 饱和度。颜色饱和程度是图像质量的一个重要指标,恰 当的饱和程度可以让图像看起来栩栩如生,计算每个像素的 R,G,B 三个颜色通道的标准偏差作为衡量饱和度的指标 S。 3) 曝光质量。像素某个通道的原始亮度很好地反映了像 素的曝光好坏程度。一般,希望像素亮度不要太靠近 0( 曝光 不足) 也不希望其太靠近 1( 曝光过度) 。通过使用高斯曲线 exp( - ( i - 0. 5) 2 2σ2 ) 来衡量像素亮度与 0. 5 的偏离程度,在本 文的实验中均取 σ 为 0. 2。对多通道图像来说,使用高斯曲线 分别作用于每个颜色通道,然后将结果相乘作为曝光质量的 度量。 对每一个像素来说,通过将上述三个指标相乘,得到每一 幅输入图像的权重图,即: Wij,k = ( Cij,k ) wC × ( Sij,k ) wS × ( Eij,k ) wE ( 4) 其中: C、S 和 E 分别表示对比度、饱和度和曝光质量; wC 、wS 和 242 计算机应用 第 32 卷 wE 为相应指标的权重指数; 下标 ij、k 表示第 k 张图像的第( i, j) 个像素。如果某个指数 w = 0,则在计算权重图时不考虑其 对应指标。为了方便后续的图像融合,对权值图序列进行归一 化,使每个像素的权值之和为 1,最终得到的权重图W^ ij,k 将用 来进行图像融合: W^ ij,k = [∑ N k' = 1 Wij,k']-1 Wij,k ( 5) 对图 2 中图像序列的某一像素位置采用该评价指标,得 到相应的像素质量指数,结果表明采样景深较大的像素所占 权重较大,如图 3 所示。 图 3 像素质量评价结果 2. 3 图像融合 得到虚拟无雾图像备选序列和对应的权重图后,对序列 进行像素级图像融合,融合后的结果最大限度地保留了图像 序列的结构,输出图像可由输入图像序列与其相应的单位化 权值图序列进行加权融合得到: Rij = ∑ N k = 1 W^ ij,k Iij,k ( 6) 其中 Ik 是输入序列中的第 k 张图像。 但是,简单地直接应用式( 6) 会给融合结果引入光晕,尤 其是在权值图变化剧烈的像素位置。为了解决该问题,文 献[9]采用文献[10 - 11]的类似方法,通过 alpha 模板和多分 辨率图像金字塔技术无缝融合虚拟无雾图像备选序列,步骤 如下。 步骤 1 融合操作是针对每层独立进行的,对 N 幅虚拟 无雾图像备选序列进行拉普拉斯金字塔分解,对应的 N 幅归 一化权重图进行高斯金字塔分解作为 alpha 模板。 步骤2 将虚拟无雾图像I 的第 l 层拉普拉斯金字塔分解 记为 L{ I} l ,对应归一化权重图W^ 的第 l 层高斯金字塔分解记 为 G{ W^ } l ,融合结果 R 的第 l 层拉普拉斯金字塔分解记为 L{ R} l ,按式( 7) 进行图像融合: L{ R} l ij = ∑ N k = 1 G{ W^ } l ij,k L{ I} l ij,k ( 7) L{ R} l 可以看作虚拟无雾图像备选序列的第 l 层拉普拉 斯金字塔分解的加权平均值。 步骤 3 对得到的拉普拉斯金字塔进行重建得到融合后 的去雾图像 R。 3 去雾实验 3. 1 实验结果 本文采用多幅有雾图像进行去雾实验,参数选取如图 4 所示,图 5 给出了本文方法与文献[5 - 6]去雾算法的 3 组对 比实验。由实验结果可以看出,本实验所采取的算法可以较 好地恢复出清晰图像,图像清晰度比文献[5]的算法要略差, 但明显好于文献[6]的算法。 3. 2 实验参数选取与结果分析 由式( 2) 、( 3) 可知,在图像序列生成过程中,需要对参数 T = βdmax 、N 进行合理取值,图 4 给出了同一幅雾天图像在参 数 T、N 取不同组合时利用本文算法得到的去雾图像以及算法 执行时间。由图 4 可见,本文算法对参数 T 的取值较为敏感, 当 T 取值较小时( T = 1) 去雾效果不充分; 当 T 取值较大时 ( T = 10) 去雾后图像出现部分失真。通过对多幅不同雾天图 像的实验,发现当 T 在 3 附近变化时,得到的去雾图像效果最 佳。另一方面,为了使图像序列包含的场景辐射信息足够丰富 且冗余较少,同时为了保证图像融合算法速度,需要折中选择 参与曝光融合算法的序列长度。当 N 较小时( N = 5) 去雾效 果不充分,当 N 较大时( N ≥ 16),去雾效果的改善并不显著, 但算法执行时间会大大增加,使得实时性降低。综上所述,在 本文中近似选择 T = 3,N = 16。 图 4 参数选取实验 图 5 三种方法的实验结果比较 在曝光融合算法的实现过程中,对“像素质量”评价指 标———对比度、饱和度、曝光质量赋予相同的权值指数,即 wC = wS = wE = 1。在图像金字塔分解和重建过程中使用的一 维低通滤波器参数选取为 f = [0. 062 5,0. 25,0. 375,0. 25, 0. 062 5]。 本文算法的最大优点在于保证复原图像清晰度的同时具 有更好的实时性。本文的实验平台是 CPU 主频为2. 94 GHz、 内存为 4 GB 的 PC,编程环境是 Matlab 7. 10. 0。由于避免了 复杂且计算量浩大的透射率计算过程,本文算法具有更好的 342第 1 期 陈晨等: 曝光融合在单幅图像去雾中的应用 实时性,表 1 给出了本文与文献[5 - 6]的算法效率比较结 果。需要注意的是,由于不同计算平台的硬盘 I/O 时间差异 很大,本文的计算效率比较不包含 I/O 时间。 由于本文利用暗原色先验得到了较准确的大气光估计 值,但是在实际情况中,当场景辐射与大气光相近或场景中存 在大片白色区域时,暗原色先验失效,这就会对大气光的估计 造成误差,使得复原结果发生颜色偏移; 另一方面,虚拟无雾 图像备选序列是通过对有雾图像的场景深度进行采样得到 的,这就不可避免地带来原始信息的损失。可以通过增加图 像序列长度 N 以及选择更优的接近人眼视觉的“像素质量评 价标准”来充分挖掘出图像序列中所蕴含的原始信息来减小 原始信息的损失。 表 1 算法效率比较 s 方法 图像大小 800 × 457 600 × 400 本文方法 6. 51 4. 86 文献[5] 方法 20. 75 21. 53 文献[6] 方法 23. 59 9. 51 4 结语 为了解决雾天图像降质问题,本文提出了一种基于曝光 融合算法的单幅图像去雾方法。利用暗原色先验对大气光值 进行较高精度的估计,再结合雾天图像光学模型,在较宽范围 内对场景深度进行采样,得到对应不同场景深度的图像序列, 利用曝光融合算法,最终从雾的物理特性上有效恢复出清晰 图像,且具有较好的实时性。本文算法同样也有一定的局限 性,比如在暗原色先验失效的情况下,给出的复原图像会失 真,因此有必要设计出适用范围更广的大气光估计方法。另 外,场景深度的采样方式( 本实验中采用等间隔均匀采样) 和 “像素质量评价标准”的不同选择都会对最终结果产生重要 影响,上述内容都将是下一步工作的研究重点。 参考文献: [1] NARASIMHAN S G, NAYER S K. Contrast restoration of weather degraded images [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25( 6) : 713 - 724. [2] 陈功,王唐,周荷琴. 基于物理模型的雾天图像复原新方法[J]. 中国图象图形学报,2008,13( 5) : 888 - 893. [3] KOPF J, NEUBERT B, CHEN B, et al. Deep photo: Model-based photograph enhancement and viewing [J]. ACM Transactions on Graphics, 2008, 27( 5) : 116: 1 - 116: 10. [4] TAN R. Visibility in bad weather from a single image [C]/ / Pro- ceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 2347 - 2354. [5] HE KAIMING, SUN JIAN, TANG XIAOOU. Single image haze re- moval using dark channel prior [C]/ / Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washing- ton, DC: IEEE Computer Society, 2009: 1956 - 1963. [6] TAREL J-P, HAUTIERE N. Fast visibility restoration from a single color or gray level image [C]/ / Proceedings of 2009 IEEE Interna- tional Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2009: 2201 - 2208. [7] LEVIN A, LISCHINSKI D, WEISS Y. A closed form solution to natural image matting [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30( 2) : 1 - 15. [8] SCHAUL L, FREDEMBACH C, SSSTRUNK S. Color image dehaz- ing using the near-infrared [C]/ / Proceedings of 2009 IEEE Inter- national Conference on Image Processing. Washington, DC: IEEE Computer Society, 2009: 1629 - 1632. [9] MERTENS T, KAUTZ J, van REETH F. Exposure fusion: A sim- ple and practical alternative to high dynamic range photography [J]. Computer Graphics Forum, 2009, 28( 1) : 161 - 171. [10] BURT P J, ADELSON E H. A multiresolution spline with applica- tion to image mosaics [J]. ACM Transactions on Graphics, 1983, 2 ( 4) : 217 - 236. [11] BURT P J, ADELSON E H. The Laplacian pyramid as a compact image code [J]. IEEE Transactions on Communication, 1983, 31 ( 4) : 532 - 540. ( 上接第 240 页) 参考文献: [1] ZHANG LIANG, TAM W J. Stereoscopic image generation based on depth images for 3DTV [J]. IEEE Transactions on Broadcasting, 2005, 51( 2) : 191 - 199. [2] 周允. 基于单目视频的深度信息预测算法的研究[D]. 兰州: 兰 州大学,2009. [3] FEHN C, PASTOOR R S. Interactive 3-DTV — Concepts and key technologies [J]. Proceeding of the IEEE, 2006, 94 ( 3) : 524 - 538. [4] 王琼华. 3D 显示技术与器件[M]. 北京: 科学出版社,2011: 154 - 179. [5] ALLEYSSON D, SIISSTRUNK S. Spatio-chromatic PCA of a mosa- iced color image [C]/ / CGIV 2004: IS&T Second European Confer- ence on Color in Graphics, Image, and Vision, LNCS 3195. Ber- lin: Springer-Verlag, 2004: 946 - 953. [6] MALONEK H. Quaternions in applied sciences a historical perspec- tive of mathematical concept [C]/ / Proceedings of the 17th Interna- tional Conference on the Application of Computer Science and Math- ematics on Architecture and Civil Engineering. Weimar: [s. n. ], 2003: 411 - 433. [7] SHI LILONG. Exploration in quaternion color [D]. Burnaby: Si- mon Fraser University, 2005. [8] ELL T A, SANGWINE S J. Hypercomplex fourier transforms of col- or images [J]. IEEE Transactions on Image Processing, 2007, 16 ( 1) : 22 - 35. [9] 玉振明,毛士艺,高飞. 一种基于 Gabor 滤波的不同聚焦图像融 合方法[J]. 航空学报,2005,26( 2) : 219 - 223. [10] LU WEI, XU YI, YANG XIAOKANG, et al. Local quaternionic Gabor binary patterns for color face recognition [C ]/ / ICASSP 2008: IEEE International Conference on Acoustics, Speech and Sig- nal Processing. Washington, DC: IEEE Computer Society, 2008: 741 - 744. [11] 罗亚兰,陈锻生. 基于彩色 Gabor 特征的人脸识别技术[J]. 中国 图像图形学报,2008,13( 2) : 242 - 246. [12] 徐奕. 小波理论在相位匹配中的应用研究[D]. 上海: 上海交通 大学,2004. 442 计算机应用 第 32 卷
还剩3页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

yidaxd

贡献于2012-04-07

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf