随着社会的发展,环境污染逐渐加剧,越来越多的城市频繁出现雾霾,这不仅给人们的身体健康带来危害,还给那些依赖图像信息的计算机视觉系统造成了不良影响,因为在雾天采集到的图像对比度和饱和度均较低,颜色易发生偏移与失真等。因此,寻找一种简单有效的图像去雾方法,对计算机视觉的后续研究至关重要。
该部分主要从下列几篇论文摘取对图像去雾算法进行普及,引用及参考中文论文:
图像增强(Image Enhancement)是指按照某种特定的需求,突出图像中有用的信息,去除或者削弱无用的信息。图像增强的目的是使处理后的图像更适合人眼的视觉特性或易于机器识别。 在医学成像、遥感成像、人物摄影等领域,图像增强技术都有着广泛的应用。图像增强同时可以作为目标识别、目标跟踪、特征点匹配、图像融合、超分辨率重构等图像处理算法的预处理算法。
近些年来,出现了众多的单幅图像去雾算法,应用比较广泛的有:
其主要可以分为 3 类:基于图像增强的去雾算法、基于图像复原的去雾算法和基于 CNN 的去雾算法。
通过图像增强技术突出图像细节,提升对比度,使之看起来更加清晰,这类算法的适用性较广。具体的算法有:
此外,在这类算法的基础上出现了众多的基于图像增强原理的改进算法。
主要是基于大气散射物理学模型,通过对大量有雾图像和无雾图像进行观察总结,得到其中存在的一些映射关系,然后根据有雾图像的形成过程来进行逆运算,从而恢复清晰图像。其中最经典的要属何恺明大佬提出的:
使用 CNN 建立一个端到端的模型,通过有雾图像恢复出无雾图像,目前使用神经网络进行去雾的算法主要有两种思路:
CNN 因其强大的学习能力在多个领域得到应用,因此也出现了采用 CNN 进行去雾的算法。2016年CAI等首次提出了一种名为DehazeNet的去雾网络,用于估计有雾图像的透射率。DehazeNet 将有雾的模糊图像作为输入,输出其透射率,基于大气散射模型理论恢复出无雾的清晰图像。
下图是分别对直方图均衡化、暗通道先验去雾、DehazeNet和AOD-Net去雾算法进行测试,实验结果如图所示。由图可知,基于图像增强的直方图均衡化算法的去雾图像对比度明显增强,由于不考虑降质原因,在增加对比度的同时也对噪声进行了放大,出现细节丢失与色彩偏差现象。基于物理模型的暗通道去雾算法、基于神经网络的 DehazeNet 和 AOD-Net 算法的去雾效果较直方图均衡化算法更佳。
其他去雾算法对比结果如下图所示,比如城市和道路有无图像去雾效果对比。
最后,正如总结王道累老师总结的一样,目前针对有雾图像去雾的算法主要是从基于图像增强、图像复原和 CNN 3 个方向进行的。
上述 3 类去雾算法对于雾天图像都有着明显的去雾效果,尽管其在实际生活中已经得到了广泛的应用,但下述几点仍有可能是今后图像去雾领域的研究重点和难点:
该部分主要介绍参考作者书籍以及相关论文进行叙述,简单介绍ACE算法的原理知识。如果读者想详细了解其原理,推荐阅读英文原文,详见下面的参考文献,都是大佬。
引用及参考中文论文:
英文原文:
图像对比度增强的算法在很多场合都有用处,特别是在医学图像中,这是因为在众多疾病的诊断中,医学图像的视觉检查时很有必要的。Retinex算法是代表性的图像增强算法,它根据人的视网膜和大脑皮层模拟对物体颜色的波长光线反射能力而形成,对复杂环境下的一维条码具有一定范围内的动态压缩,对图像边缘有着一定自适应的增强。
自动色彩均衡(Automatic Color Enhancement,ACE) 算法是Rizzi大神在Retinex算法的理论上提出的,它通过计算图像目标像素点和周围像素点的明暗程度及其关系来对最终的像素值进行校正,实现图像的对比度调整,产生类似人体视网膜的色彩恒常性和亮度恒常性的均衡,具有很好的图像增强效果。
ACE算法包括两个步骤:
(1) 区域自适应滤波
输入图像I(灰度图为例),该步是对单通道图像I中所有点p的区域自适应滤波,得到完成色差校正,空域重构后的中间结果图像,计算公式如下:
式中:Ic§-Ic(j)为p、j两个像素点间灰度差值,表达拟生物学上的侧抑制性;d(p,j)表示距离度量函数,使用两点间的欧氏距离,作用上控制点j对p的影响权重,映射出滤波的区域适应性;Sa(x)是亮度表现函数(奇函数),本文算法选择经典Saturation函数。
不同亮度函数和参数的选择控制了对比度增强的程度,经典的Saturation函数在饱和前取越大的斜率,结果的对比度增强越明显,如图2所示,极限情况是sign函数形式,而Sign函数由于无差别过度增强放大,导致噪声同样得到放大效果不佳,最终选择Saturation函数作为相对亮度表现函数。公式如下:
(2) 色调重整拉伸,对图像动态扩展
将式(1)中得到的中间量拉伸映射到 [0, 255] 中,占满动态范围 [0, 255](8位灰度图像),计算公式如下,式中:[minR,maxR]是中间量L(x)的全部定义域,该项使图像达到全局白平衡。
下图是条形码图像进行ACE图像增强后的效果图,通过图像增强后的图(b)对比度更强,改善了原图像的明暗程度,增强的同时保持了图像的真实性。
ACE算法英文介绍如下:
实验对比效果如下图所示,大家在写该主题论文的时候,注意和传统方法对比。
由于OpenCV中暂时没有ACE算法包,下面的代码是借鉴“zmshy2128”老师的文章,修改实现的彩色直方图均衡化处理。后面有机会作者详细分析其代码实现过程。
运行结果如图所示,ACE算法能有效进行图像去雾处理,实现图像的细节增强。
最后是目标检测去雾和女神去雾的效果,哈哈,继续加油!
该算法是计算机视觉领域何恺明大佬于2009年提出的图像去雾经典算法,并获取当年CVPR最佳论文。论文题目为《Single Image Haze Removal Using Dark Channel Prior》。下图是大佬的百科简介,是真的厉害,值得我们大家学习。
言归正传,如果是图像处理或研究图像去雾领域的作者,建议大家认真阅读这篇英文原文,能在2009年提出该算法真的很惊艳。
引用及参考中文论文:
英文原文:
暗通道先验(Dark Channel Prior, DCP)去雾算法 依赖大气散射模型进行去雾处理,通过对大量有雾图像和无雾图像进行观察总结,得到其中存在的一些映射关系,然后根据有雾图像的形成过程来进行逆运算,从而恢复清晰图像。
算法实现过程及原理如下,参考何恺明老师和何涛老师的论文。
(1) 大气散射模型
在计算机视觉和计算机图形学中,方程所描述的大气散射模型被广泛使用。参数解释如下:
方程右边第一项为场景直接衰减项,第二项为环境光项。
(2) 暗通道定义
在绝大多数非天空的局部区域中,某些像素总会至少有一个颜色通道的值很低。对于一幅图像J(x),其暗通道的数学定义表示如下:
其中,Ω(x)表示以x为中心的局部区域,上标c表示RGB三个通道。该公式的意义用代码表达也很简单,首先求出每个像素RGB分量中的最小值,存入一副和原始图像大小相同的灰度图中,然后再对这幅灰度图进行最小值滤波,滤波的半径由窗口大小决定。
(3) 暗通道先验理论
暗通道先验理论指出:对于非天空区域的无雾图像J(x)的暗通道趋于0,即:
实际生活中造成暗原色中低通道值主要有三个因素:
总之,自然景物中到处都是阴影或者彩色,这些景物的图像的暗原色总是很灰暗的,而有雾的图像较亮。因此,可以明显的看到暗通道先验理论的普遍性。
(4) 公式变形
根据大气散射模型,将第一个公式稍作处理,变形为下式:
假设每一个窗口的透射率t(x)为常数,记为t’(x),并且A值已给定,对式两边同时进行两次最小值运算,可得:
其中,J(x)是要求的无雾图像,根据前述的暗通道先验理论可知:
因此可推导出:
(5) 透射率计算
将上式带入可得到透射率t’(x)的预估值,如下所示:
现实生活中,即便晴空万里,空气中也会存在一些颗粒,在眺望远处的景物时,人们还是能感觉到雾的存在。另外,雾的存在让人们感受到景深,因此在去雾的同时有必要保留一定程度的雾。可以通过引入一个0到1之 间 的 因 子 w(一 般取0.95)对预估透射率进行修正,如式所示:
以上的推导过程均假设大气光值A是已知的,在实际中,可以借助暗通道图从原始雾图中求取。具体步骤如下:
此外,由于透射率t偏小时,会造成J偏大,恢复的无雾图像整体向白场过度,因此有必要对透射率设置一个下限值t0(一般取值为0.1),当t值小于t0 时,取t=t0。将以上求得的透射率和大气光值代入公式,最终整理得到图像的恢复公式如下:
这就是暗通道先验去雾算法的原理过程,下面简单补充论文中的处理效果图。
再次膜拜偶像,极力推荐大家阅读论文。
实现代码引用木老师的,感觉比我写得好,参考如下:
实现效果如下图所示:
如果想和后续目标汽车检测结合,同样可以先去雾再进行检测,如下图所示:
图像处理总少不了噪声添加或生成,下面补充两个简单的椒盐噪声和雾气模拟生成的代码。这与本文的实验紧密相关,能为我们提供更多的GAN生成样本。后面人工智能系列文章,GAN我们看看能不能学习真实雾化场景的图像,值得期待,哈哈!
原图是一张风景图像:
代码如下:
输出结果如下图所示:
代码如下:
输出结果如下图所示,效果还不错。
【目标检测】极端恶劣天气雨雪雾天道路目标检测数据集9636张YOLO+VOC数据集格式:VOC格式+YOLO格式压缩包内含:3个文件夹,分别存储图片、xml、txt文件JPEGImages文件夹中jpg图片总计:9636Annotations文件夹中xml文件总计:9636labels文件夹中txt文件总计:9636标签种类数:8标签名称:["bicycle","bus",
毋庸置疑的是,在汽车智能技术、汽车新能源技术、汽车电子这个群雄逐鹿的赛道。智能驾驶技术的要求也在不断的提升。 智能车辆教学平台、智能网联教学平台、汽车电子教学设备、在环仿真系统,目前主流的系统有很多,常用的基础部分和算法开发,智能驾驶模块,入门较好的还是matlab平台。 MATLAB/Simulink中比较关键的两部分是:m语言的语法和搭载的各种工具箱。覆盖各个领域的强大工具箱是MATLAB软件
一、课题实现的功能由于大气的散射作用,雾天的大气退化图像具有对比度低、景物不清晰的特点,给交通系统及户外视觉系统的应用带来严重的影响。但由于成像系统聚焦模糊、拍摄场景存在相对运动以及雾天等不利环境,使得最终获取的图像往往无法使用。为了解决这一问题,设计图像复原处理软件。二、设计方案 设计原理 在雾、霾等天气条件下, 大气中悬浮的大量微小水滴、气溶胶的散射作用导致捕获的图像严重降质,随着物体到成像
图片去雾技术是一种旨在从受雾影响的图像中提取出清晰图像的图像处理技术。在许多应用中,例如:无人驾驶、航空摄影和监控等领域,对于获取清晰的图像非常重要。然而,由于大气中的灰尘、烟雾、水汽等因素,图像可能会出现模糊、失真、降低对比度等问题,从而降低了图像的质量和可用性。为了解决这些问题,我们可以利用一些带有图片去雾功能的软件来进行处理,以获得更加清晰的图像。那么下面我就将要来告诉你图片如何去雾,一起来
1 Bridging the gap between low level vision and high level tasks——任文琦1.1 图像去雾即从低可见度的图像中恢复出图像的色彩信息、对比度信息等。传统的方法往往是基于物理模型I(x)=J(x)t(x)+A(1-t(x)),其中I(x)是有雾的图像(Hazy image),J(x)是原图像对应的场景(scene),
概念: 随着图像处理技术和计算机视觉技术的蓬勃发展,对特殊天气下的场景检测和图像处理成为该领域的重要研究方向。其中在雾天拍摄的图像容易受雾或霾的影响,导致图片细节模糊、对比度低以至于丢失图像重要信息,为解决此类问题图像去雾算法应运而生。图像去雾算法是以满足特定场景需求、突出图片细节并增强图片质量为目的的一种图像分析与处理方法。在雾或霾等天气情况下
Kaiming He, Jian Sun, Xiaoou Tang. Single Image Haze Removal Using Dark Channel Prior大致内容是提出了一个叫做暗原色先验的东西来对有雾图像进行处理,十分巧妙,有兴趣者可以看看。这里使用OpenCV实现文中的去雾算法,然而论文提到的soft matting未在本程序中实现。代码如下:#include<iostr
2022-2023年一些图像去雾方法的简单调研1. Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition 基于密度和深度分解的自增强未配对图像去雾在合成的去雾数据集上训练的图像去雾方法存在过拟合问题,现有一些方法使用非成对数据进行训练以提高模型泛化能力。不过大多数方法都是简单的使用去雾和加雾循环,忽视了
1. 研究分类:图像增强和图像复原----图像增强:基于图像增强的去雾算法出发点是尽量去除图像噪声,提高图像对比度,从而恢复出无雾清晰图像 ----方法:直方图均衡化(HLE)、自适应直方图均衡化(AHE)、限制对比度自适应直方图均衡化(CLAHE)、Retinex算 法、小波变换、同态滤波。 ----图像复原:基于大气退化模型,进行响应的去雾处理 ----方法:暗通道去雾算法
一、总述本次设计要求调研实现去雾算法,发现其中的问题,并对算法进行改进。我首先实现了基于暗原色先验的去雾算法,并从运算速度和去雾效果方面进行了一定的改进。之后,我训练了 AOD 卷积网络来进行图像去雾,并对数据集图片做一定的处理,增加了网络的鲁棒性,去雾效果也很不错。暗原色先验的去雾算法使用 MATLAB 实现,使用 MATLAB 的 GUI 设计了用户界面;AOD 卷积网络使用 Python 实
基于图像增强的去雾算法。基于图像增强的去雾算法出发点是尽量去除图像噪声,提高图像对比度,从而恢复出无雾清晰图像。代表性方法有:直方图均衡化(HLE)、自适应直方图均衡化(AHE)、限制对比度自适应直方图均衡化(CLAHE) 、Retinex算法、小波变换、同态滤波等等。基于图像复原的去雾算法。这一系列方法基本是基于大气退化模型,进行响应的去雾处理。代表性算法有:来自何凯明博士的暗通道去雾算法(CV
背景介绍在计算机视觉和计算机图形学中,广泛用于描述有雾图像形成的模型是其中, ?(?)是指是指的观测到的亮度,即从拍到图片中获取到的亮度,这个是已知值。J(?)是scene radiance,我是理解成为去雾、恢复之后的图像,是我们的目标。 t(?)是描述未散射并到达相机的那部分光的透射率。 A 是atmospheric light全球大气光成分。去雾的目的就是根据已有的图片,按照上式计
1、雾霭的形成机理雾实际上是由悬浮颗粒在大气中的微小液滴构成的气溶胶,常呈现乳白色,其底部位于地球表面,所以也可以看作是接近地面的云。霭其实跟雾区别不大,它的一种解释是轻雾,多呈现灰白色,与雾的颜色十分接近。广义的雾包括雾、霾、沙尘、烟等一切导致视觉效果受限的物理现象。由于雾的存在,户外图像质量降低,如果不处理,往往满足不了相关研究、应用的要求。在雾的影响下,经过物体表面的光被大气中的颗粒物吸收和
一、行业背景 近年来空气质量一直都是大家关注的重点,PM2.5、重工业污染、沙尘暴等无时无刻都在影响着我们的健康。伴随着人们生活水平的提升,对于自身生活环境数据的事实了解意向也越来越强烈。空气质量有没有发生变化,不同地区的空气指数怎么样,变化趋势如何等数据的公开化,透明化也有助于促进公众环保意识的提升和自身防护的增强。 目前,我国大部分地区监测大气方式依旧采用传统的人工采样和实验室分析。这
目录前言一、问题重现1、4.x环境下的效果展示2、迁移到5.x版本后的问题二、坐标系绘制中单Y轴优化1、坐标轴线不展示2、Y坐标轴展示位置不明显3、坐标刻度不明显4、坐标轴文字样式设置三、多Y轴集成1、左右布局设置2、位置偏移3、多Y轴数据集成四、总结前言 在数据可视化领域,Echarts 作为一款 ...
qq申诉成功后怎么办qq申诉成功后怎么办 qq申诉成功后怎么办 1.在QQ申诉中,我们采用的方法有两种,一种是邮箱,一种是手机.邮箱申诉方式就会有一个链接发到你的邮箱,你进去点击打开就行.这里主要是讲手机接收的方式进行申诉,申诉成功后会收到下面的短信; 2.打开短信中的网址,输入申诉的QQ号码,申诉回执编号,凭证,然后点击下一步; 3.填好那些资料之后,就可以进入密码重置,重新输入你
爱因斯坦(Einstein):近代物理之父二十世纪的哥白尼新时空观的创始人太阳的直径是110个地球;质量相当于33万个地球;如果是煤只能烧几千年;但是,他已经稳定的烧了50亿年。是什么使它燃烧了这么长时间?核武器 - \(E=mc^2\)的应用一.从经典物理到爱因斯坦的相对论1.时空观什么是时间?什么是空间?尽管有不少人给时空下过不少的定义,但很少能令人十分满意。下面主要讨论:空间的各向同性
我们知道二分查找适用于存在单调性的问题中,但如果我们的所求的问题不单调,而是先增后减的凸函数呢? 于是我们就可以使用三分求这种函数的极值 点击查看代码 int solve(int l, int r) { // 三分求凸函数的最大值 while(r - l > 2) { int ml = l + (r ...