结合天空区域分割和暗通道先验的去雾算法

尹 静,何金玉,罗荣鑫,俞文静

(广州软件学院,广东 广州 510990)

雾霾[1]对人们的交通出行和身体健康都造成了十分严重的影响。雾霾不仅会降低物体的能见度,使采集到的户外图像严重降质,还会对人们的身体健康造成很大的危害,导致疾病传播的风险增高。图像去雾也一直是计算机视觉的热点问题,因此,探索一种有效的去雾方法具有重要的研究价值。

图像去雾算法主要分为图像增强和图像复原两类[2-3],经过国内外学者多年的研究,出现了众多有效的图像去雾算法。例如,Jobson等[4]在SSR算法的基础上提出了MSR(多尺度Retinex)算法,该算法可以实现图像颜色恒常性,增强图像的色彩;He等[5]提出了一种简单且有效的去除单幅雾霾图像的方法,即暗通道先验算法,该算法使用大气散射模型和软抠图插值方法复原图像,但在处理天空区域时,白边效应十分明显;Xu等[6]在对天空区域进行分割的基础上,针对不同区域分别估算大气光值和透射图,最后利用优化后的合成全局图生成去雾图像。

针对暗通道先验算法去除天空区域雾霾效果不理想、大气误提取以及传统阈值分割需要多次观测获取分割阈值的问题,提出了一种结合透射率图的单阈值分割和暗通道先验的方法,将输入的雾霾图像分割为天空区域和非天空区域,从天空区域提取大气光值,对非天空区域使用暗通道先验算法处理,最后合并天空区域图像和非天空区域图像,获得清晰的复原图像。

图像分割就是把图像中具有独特性质的区域区分开并提取出目标区域的技术[7],该文采用单阈值分割算法对输入雾霾图像的天空区域和非天空区域进行分割。

阈值分割法[8]是一种基于区域的图像分割方法,其结果很大程度上取决于阈值的选择,其原理是:通过设定不同的特征阈值,把图像像素点分为若干类。设(x,y)为二维数字图像的平面坐标,图像灰度级的取值范围是G={0,1,…,L-1},0表示最暗的像素点,L-1表示最亮的像素点,位于坐标点(x,y)上的像素点的灰度值为f(x,y)。设t∈G为分割阈值,单阈值分割方法就是确定一个分割阈值t,若取b0=0(黑),b1=1(白),则表示图像的二值图,于是图像函数g(。,。)在阈值t上的分割结果表示为[7]:

(1)

阈值分割的计算简单、高效且实用,在图像的信息处理、挖掘和视觉效果改善应用广泛,具有很大的研究价值和研究意义。

暗通道先验[5]基于大量户外无雾图像的观察提出:在大多数非天空局部区域中,至少有一个颜色通道的像素值很低,甚至接近于0。其数学表达式如下:

(2)

其中,Jc表示颜色通道,Ω(x)表示一个以x为中心、大小为15×15的局部区域子块,Jdark表示图像J的暗通道,无雾图像非天空区域的暗通道趋于0。

第一步:估计透射率。

在处理原图像时应保留少量雾霾,可引入如下数学表达式达到图像自然的效果:

(3)

第二步:软抠图。

采用软抠图算法[9]来改善传输。

(4)

其中,L是Levin[9]提出的拉普拉斯矩阵,λ是正则化参数。第一项是平滑项,第二项是数据项。

第三步:恢复场景辐射亮度。

大气散射模型的数学模型如下[10]:

I(x)=J(x)t(x)+A(1-t(x))

(5)

利用透射率图,根据方程式(5)可以恢复场景辐射。但是,当透射率t(x)接近于0时,直接衰减项J(x)t(x)可能非常接近于0,直接恢复的场景辐射易受噪声影响。因此,将透射率t(x)限制在下限t0,在非常密集的雾霾区域保留少量雾霾。最终场景辐射J(x)通过以下方程式恢复:

(6)

t0通常取值为0.1。因为场景辐射亮度通常不如大气光明亮,所以消除雾霾的图像看起来很暗。因此,增加J(x)的曝光度来显示。

第四步:选择暗通道中最亮的10%像素估计大气光值。

暗通道先验算法和传统阈值分割在处理天空区域时存在以下问题:

(1)暗通道先验算法对天空区域并不适用。

(2)暗通道先验算法会错误地从非天空区域中选取大气光值。

(3)传统阈值分割算法在分割不同图像的天空区域时需要人为变换算法以及通过大量的手动调试和对比才能确定阈值。

针对以上问题,该文提出一种分割天空区域的方法,利用透射率图中非天空域的透射率值大于天空透射率值的特点进行分割。为了避免非天空区域出现误分割的现象,将透射率图进行初次分割,一部分为包含天空和天空与非天空交界处图像,使用改进的MSR算法降低透射率值后,再进行二次分割,另一部分为非天空图像,将其透射率值均设为255;最后,合并这两部分图像形成二值图,并据此二值图分割,从天空域提取大气光值用于非天空域进行去雾,最终合并输出复原图像。算法流程设计如图1所示。

图1 算法流程设计

2.2.1 透射率图的特点分析

暗通道先验算法在处理天空区域图像时不理想,根据公式计算出的天空透射率偏小,其平均透射率趋近于0,而非天空区域的平均透射率值大于0.5,经引导滤波细化后的透射率图呈现以下特点:

(1)透射率图的直方图显示,天空区域的像素值主要集中在0~50这一低阈值范围内,并在视觉上呈现较为黑暗[11],如图2所示。

图2 透射率图及其直方图

(2)在天空区域和非天空区域的交界处,选取小部分区域进行观察。竖直和水平方向上看:从天空区域到非天空区域,像素的变化从低到高,天空区域和非天空区域交界处的像素值差值比较明显;并且在天空区域中远离交界处的像素值都在0~10这个范围内,而靠近交界处的像素值虽然大于10,但与非天空区域的像素值依然存在明显的差值,如图3所示。

图3 天空区域和非天空区域交界处像素值局部图

2.2.2 使用改进的MSR算法处理透射率图

受文献[12-13]启发,该文利用透射率图中天空透射率远低于非天空透射率的特点,采用Retinex算法中将图像转换为对数域的思想处理透射率图[13],即将透射率值变换到对数域的负数区域后乘以h系数进行缩小,最后再反变换到实数域中进行归一化,使得天空区域透射率值在归一化过程中,由于天空区域的透射率值过小而被近似计算为0,从而达到将天空区域的透射率值降低至约为0的目的。其计算公式如下:

(7)

其中,T(x,y)为经引导滤波处理的透射率图,其像素值的范围是0~255,h为该公式用于缩小透射率的系数,取值为3。若T(x,y)=0则直接将像素值置为0,若T(x,y)≠0则转换到对数域中乘以系数h进行缩小。

经改进MSR算法处理后透射率图呈现以下特点:

经改进MSR算法处理后的透射率图,整幅图像的像素值会降低,这样可以使天空区域0~10的像素值降低到趋近于0或等于0,而在天空区域和非天空区域的交界处像素值都大于0,如图4所示。

图4 改进的MSR算法处理后天空区域和非天空区域交界处像素值局部图

依据透射率图和经改进MSR算法处理的透射率图的特点,该文设计出一种新的天空区域分割算法,具体步骤如下:

(1)输入雾霾图像,将其转换为透射率图。

(2)将透射率图分割为上下两部分,分割的原理为:天空区域的上部分图像的像素值均小于50,非天空区域的下部分像素值的均值大于50。

(3)对天空区域上部分使用改进的MSR算法处理,选取阈值为0进行分割。

(4)将非天空区域下部分的像素值全部设置为255。

(5)整合天空区域上部分图像和非天空区域下部分图像,形成二值图,如图5所示。

(6)天空区域和非天空区域的分割完成。

图5 分割结果

为避免从暗通道错误地选取大气光值[14],可以从分割后的天空区域图像提取大气光值,具体步骤如下:

随后,“嘉宾报告”环节主题论坛正式拉开,论坛由MM新自动化与驱动杂志执行主编李峥主持,各位行业专家围绕改革开放40年中国制造的发展与展望做了精彩的主旨演讲。

(1)统计天空区域各个灰度级对应的像素数目,并求其总和为S。

(2)计算灰度级为0的像素数目,并计算其占S的百分比,若在0%~1%内,则在灰度级为0的像素数目的基础上继续累加灰度级为1的像素数目,并继续计算其占S的百分比,以此类推,直到其占S的百分比在1%以上,最终得到满足条件的计算比例kj的集合,从该集合中取最小灰度级j作为大气光值。

此计算可以较为准确地获得大气光值,以下为大气光值A的计算公式[15]:

(8)

其中,kj表示灰度级为j的计算比例,xi表示灰度级为i的像素数目,xt表示灰度级为t的像素数目。

对大量户外雾霾图像进行实验验证,这里随机展示4组由不同去雾算法处理得到的结果,如图6所示。

图6 各方法处理对比图

图(a)为原始雾霾图像;图(b)为采用直方图均衡化算法得到的结果;图(c)为经引导滤波处理后的暗通道先验去雾算法得到的结果;图(d)为采用文中算法得到的结果。

表1 各方法不同性能指标比较

由表1可以得出,文中算法在均方误差、峰值信噪比、结构相似性这三个方面,大体优于传统暗通道先验算法。根据实验测试数据,可以得出以下结论:

(1)以MSE作为评测指标,图(1)、图(3)经过文中算法处理后,其指标值均低于经直方图均衡化算法处理的图像,文中算法处理的4幅图像的指标值均低于经暗通道先验算法处理的图像,这表明文中算法预测模型描述实验数据具有更好的精确度。

(2)从PNSR的测试数据来看,文中算法复原的图(1)优于直方图均衡化算法,而所复原的图(2)、图(3)、图(4)要低于直方图均衡化算法,不过文中算法与暗通道先验算法相比,其PNSR值均大于暗通道先验算法,即文中算法的PNSR基本处于暗通道先验和直方图均衡化算法之间,说明文中算法有效减少了图像失真的情况,改善了传统暗通道先验算法的不足。

(3)分析测得的SSIM的数据,图(1)、图(2)、图(3)均优于直方图均衡化算法,而图(4)略低于直方图均衡化算法,4幅图像的SSIM指标值均高于传统的暗通道先验算法。

实验结果和测试数据均证实了文中算法的可行性与有效性,尤其在处理轻度和中度雾霾时,具有很强的适用性。通过分析实验数据,相较于传统的暗通道先验算法,文中算法在去雾性能和效果上得到了提升;从视觉上看,文中算法不但避免了直方图均衡化算法处理雾霾图像后其对比度过高或过低导致图像不自然的缺点,而且解决了传统的暗通道先验算法在处理天空区域不理想以及大气光值误提取的问题,但从运行时间上看,文中算法的运行速度比前两种传统的去雾算法慢,因此,降低文中算法的时间复杂度,将是下一步研究的重点。

结合阈值分割法和暗通道先验算法,针对暗通道先验算法在处理带有天空区域的雾霾图像不理想的问题,提出并设计了一种结合天空区域分割和暗通道先验的方法。实验结果表明:

(1)该算法有效解决了暗通道先验算法处理天空区域效果不佳的问题,在均方误差、峰值信噪比、结构相似性等方面均优于传统的暗通道先验算法。

(2)结合阈值分割法、多尺度Retinex算法(MSR)、暗通道先验算法对输入的雾霾图像进行处理,其中只对图像的上部分使用改进的MSR算法,尽可能地减少改进的MSR算法对非天空区域的影响,减少图像的误分割。

(3)传统的阈值分割法需要多次观察和测试以确定分割阈值,该文使用改进的MSR算法对透射率图做处理,使透射率图呈现天空区域等于0或趋近于0,非天空区域大于0的特点,将分割阈值限制为0,可以使用同样的阈值进行分割,增大了阈值分割的效率。

(4)对于天空区域和非天空区域交界处,由于存在远景和近景,在改进的MSR算法处理后的透射率图中,远景的像素值先变为0,这样就会产生误分割。

相较于传统的去雾算法,该算法无论是复原图像的清晰度还是各项评价性能指标均取得不错的结果,但是也存在很多的不足,对于分割出来的天空区域图像仍需进一步研究,且该算法的时间复杂度相对较大,算法的实时性有待提高。

THE END
0.雾霾天气下的车牌图像识别.docx但我国的雾霾天气越来越多,尤其是北方城市,如何实现雾下车牌的准确识别已成为一个非常重要的研究方向。 在此背景下,本文以雾霾天气下的车牌识别为研究方向,并根据许多学者的经验,基于Retinex理论,研究了雾霾图像的增强处理方法。在预处理过程中,对车牌的增强、二值化和边缘检测进行了研究。然后采用形态学、投影和区域jvzquC41o0hpqt63:0ipo8mvon532;7133751A6492=139<2276247xjvo
1.雾霾天气下图像的清晰化方法研究雾霾天气下图像的清晰化方法研究,去雾,图像增强,图像复原,Retinex,暗原色先验,随着图像处理技术的不断发展,户外视觉系统得到了广泛的应用。然而,现有的视频监控、目标跟踪、智能导航等户外视觉系统都对天气jvzquC41ycv/ewpk0pku1uzpygt.39672262:@3jvor
2.雾霾下的图像去雾技术:现状挑战与前景,2.数据集:去雾数据集大都为合成数据集,即在清晰图像中合成雾霾作为训练集,导致现实雾霾图像恢复不真实,所以需要更真实的数据集; 3.泛化性:模型可以更多适应不同场景:如遥感/室内/夜间/水下; 4.多任务:模型可以解决多个不同任务:如去雾/去雨/增强/检测等。 入行不深,本文根据个人理解所作,其中对于方法评价以及展望的内容包含部分的个人理解,请各位加以指正jvzquC41dnuh0lxfp0tfv8vsa8>85=;641gsvrhng1jfvjnnu1746B57;:=
3.一种基于MDARNet的低照度图像增强方法∗Toggle Sidebar Find Previous Next of 0 Presentation ModeOpenPrintDownloadCurrent View Tools Zoom Out Zoom In Automatic ZoomActual SizePage FitPage Width50%75%100%125%150%200%300%400%jvzquC41yy}/lxx0qtm/ew4lqu5bt}neng5qfo48338
4.一种基于生成对抗网络的无人机图像去雾算法今日头条一种基于生成对抗网络的无人机图像去雾算法-摘要: 无人机所采集的图像容易受到雾霾、雾气等阴霾天气干扰,造成图像质量下降。针对阴霾天气下无人机采集图像的质量下降问题,提出了一种新颖的基于生成对抗网络的图像去雾方法。本方法设计了新式生成网络和判别网络,生成网络jvzquC41yy}/gujehctt0lto1pkxu86:26:5;7mvon
5.【公司项目代码】matlab基于多尺度retinex算法的图像去雾代码。已利用直方图均衡化、retinex算法雾霾图像去雾,从而使图像清晰。工作环境 Matlab 上传者:weixin_42665725时间:2021-09-30 matlab基于多尺度retinex算法的图像去雾代码。已测试,能直接运行,能较好得去雾并保留原图色彩.zip matlab基于多尺度retinex算法的图像去雾代码。已测试,能直接运行,能较好得去雾并保留原图色彩.zip jvzquC41yy}/k}j{g0ipo8wguq{sen4mv|;2966383876>
6.计算机辅助设计与图形学学报2018年03期融合候选区域提取与SSAE深度特征学习的心脏MR图像左心室检测王旭初;牛彦敏;赵广军;谭立文;张绍祥; NSCT域分类预处理的改进非局部均值去噪算法王倩;彭海云;秦杰;柴争义; 基于两阶段支持向量回归的快速噪声水平估计算法徐少平;曾小霞;唐祎玲; 单幅夜间弱照度雾霾图像的复原算法汤春明;董燕成;孙欣;林骏;廉政; jvzquC41yy}/ewpk0eun0ls1Lq{spjq1K/O3/SXLH/813A2250nuo
7.版本?RAW数码相机处理软件免费使用教程图形图像软件教程将“除雾”滑块添加到调整项中,以去除由大气水分或蒸汽引起的模糊图像的雾霾。5、简单任务的理想完成-一键即可调整的“自动调整按钮”。-配备1张照片的可调节HDR功能。-精细的色彩控制器,可用于调整每种特定的颜色。-使用斑点工具轻松清除不需要的物体,例如可能出现的灰尘。-可以从“拍摄信息”(例如拍摄日期)中搜索要调整的图像jvzquC41yy}/lk:30pku1|thvli0;982834ivvq
8.改进生成对抗网络在场景图像转换中的应用传统的场景图像转换算法大多是基于模型的方法. 孙毅刚等[1]提出一种基于改进的snake模型, 该算法利用模糊连接度准确找到雨雪轮廓点, 并通过模糊相似度函数确定雨雪边界, 实现雨雪场景图像转换. 刘杰平等[2]基于大气散射模型, 提出了一种适应人眼视觉特征的HSI色彩空间估计大气光和透射率, 实现雾霾场景图像转换. 费jvzquC41yy}/e6x/c0usi7hp1jznn87243541@=380nuou
9.One21附激活教程+补丁下载地址图形图像软件教程只需一个滑块,即可消除雾霾并降低图像的平整度。强大的新型除雾工具可自动调整平面照片中的对比度,饱和度和其他元素。 3、ProStandard配置文件 拥有最真实的色彩,忠于现实生活。这些新的相机配置文件可以比以往更好地保留原始色彩,从而保护色相免受对比度变化的影响。人像和产品摄影的救星-以及任何依赖真实色彩的图像。jvzquC41yy}/lk:30pku1|thvli09B78524ivvq
10.图像去雾:15张雾霾图像及其处理技术简介:图像去雾技术用于提升因大气散射导致模糊的图像清晰度,对于视觉效果提升及自动驾驶、监控等领域至关重要。文章介绍了图像去雾的基本原理和方法,包括暗通道先验法、图像增强、物理模型和深度学习方法,并强调了雾霾图像库在算法研究中的重要性。 1. 图像去雾技术概述 jvzquC41dnuh0lxfp0tfv8|gkzooa<;4:;=548ftvkimg8igvcomu86727<94@5