谷歌发布超强马赛克清除技术,靠的“脑补”来还原图像能见度澎湃新闻

有时候出于隐私等方面的考虑,我们需要给图片和影像打上马赛克,有时候我们又会嫌马赛克碍事,打马赛克和反马赛克仿佛一场无止境的较量。微软在1月底推出了一项自动视频打码技术,用户只需要选择视频中的一个人物,AI就能自动识别、追踪视频中这个人物所有露脸的地方并进行模糊处理。而近日Google Brain(谷歌大脑)团队又发布了一个名为超强像素递归方案(Pixel Recursive Super Resolution)的AI系统,能提高像素乱化处理后的照片的分辨率。通俗地讲,就是能去除马赛克。

有兴趣的读者可以试试用谷歌的这个AI去清除微软的AI打出来的马赛克,不过在进行这个“以子之矛,攻彼之盾”的游戏前,不妨先看看谷歌的这个解码AI到底“超强”在哪里。

谷歌上载在预印本网站arXiv上的论文详细介绍了这个算法的原理和效果。在下图中,右列是名人照片未经模糊化的原图,左列是被打码后的照片,分辨率仅有8x8像素。而中间是谷歌的AI解码处理后的效果,分辨率达到32x32像素,提升了16倍。

通常情况下,马赛克是难以清除的。这是因为在打码过程中,原图的信息会经历不可逆的损失。根据奈奎斯特采样定理,如果这个采样频率比原始数据的频率的 2 倍还要低,那么必然产生不可逆的数据损失。

以往最常见的马赛克去除方法是插值。我们可以把每一个像素想象成一个特定颜色的小格子,这些特定的颜色可以用特定的数值代表。一张图片就是由无数这样的小格子组成的。而最常见的马赛克手段,就是把那个区域的数字都取周围数字的平均数。

而所谓的插值,就是把这块被取并均值的区域再进行放大,比如放大200%的话,原来被打码区域里的一个小格子就会被2x2四个格子取代,剩下的任务就是再重新填充这4个格子的颜色。我们可以通过取周围若干个格子颜色的加权平均值来填充每个格子,取的周围格子数越多,还原效果也就越好。当然,这种解码手段最后呈现的效果并不能令人满意。

2016年,得克萨斯大学的一个团队推出了一个名为Torch的反马赛克,不过Torch的原理是识别而非复原。也就是说,Torch可以匹配出被打马赛克图片相符或者相似的原图。

谷歌大脑的这个算法思路与Torch一脉相承,只是技术上更进一步。开发者们通过深度学习让机器产生“联想”,以“猜测”的方式为被马赛克的色块增加细节,提升像素倍数,从而得出更清晰的画面。比起“还原”,还不如说这是AI靠强大的学习和计算能力“脑补”出了原图。

这种“脑补”基于两项核心工具。第一项工具调节网络(conditioning network),是一个CNN(卷积神经网络),通过向系统展示海量人物面部照片来进行训练,让系统记忆学习到具有代表性的面部特征。另一项工具优先网络(prior network)是一个PixelCNN,让系统基于之前的训练,猜测哪些细节可以作为高分辨率照片的特征,并根据概率优先原则,从所有可能的原图中找到最有可能匹配的细节,对高分辨率照片进行填充。

目前,该系统“还原”出的人脸照片的混淆率是10%。在“还原”场景图片方面,该系统的表现可能会更好一些,其混淆率可以达到28%。50%的混淆率意味着完全复原,可以以假乱真。

从应用角度来看,该系统最大的突破在于能够让8x8像素的模糊图片变得清晰一些,尽管离通过识别面部验证人员身份还有一段距离,但对于通过“还原“分辨图片中对象的位置、确定事物大概面貌以及确认某人是否在现场来说已经足够了,这将为犯罪刑侦带来更大的帮助。

而Google近水楼台先得月,可能会将该技术率先应用在自家SNS社交网站“Google+”的图片上传上,即在用户上传照片时将其低像素压缩,识别出图片中的关键信息,然后再启动这项AI技术,将图片提高分辨率进行“还原”。这种方式可以帮助用户节省流量。

THE END
0.图像去雾技术解析基于图像复原的去雾方法,使用了大气退化模型进行去雾,相当于图像成像时的逆变换,去雾效果会好于基于图像增强的去雾算法。本文主要讨论基于复原的去雾算法。 2、雾天图像退化模型   在计算机视觉领域,通常使用雾天图像退化模型来描述雾霾等恶劣天气条件对图像造成的影响,该模型是McCartney首先提出。该模型包括衰减模jvzquC41dnuh0lxfp0tfv8z235<96@821cxuklqg1fkucrqu19<769843
1.基于大气散射模型的图像去雾算法研究20250407084604.pdf(2)针对传统图像去雾算法存在对比度下降和颜色偏移等问题,提出一种新 型透射率细化的雾线先验雾霾图像复原算法,并对透射率细化模型进行了理论分 析。该算法首先引入一个受光照影响的透射率补偿项,来补偿场景中由于雾浓度 大时图像亮度下降的影响。其次结合改进的非局部雾线先验分别求得场景透射率 和透射率补偿项,jvzquC41o0hpqt63:0ipo8mvon532;:126681@6243<129;2326687xjvo
2.深度学习去雾方法如何提升图像质量?为提升去雾图像的视觉质量,该方法借鉴了EnhanceNet中的感知损失函数,通过增强图像的纹理与细节,显著提高了图像的PSNR和SSIM等评价指标。这种结合感知损失的去雾策略,为图像质量的提升提供了有力保障。在另一项研究中,提出了一种基于门控融合网络的雾霾图像复原方法。该网络结构采用编码-解码框架,并引入门控机制进行特征jvzquC41ycv/|xq0eqs/ew4cum5ya<582;;957mvon
3.实验室介绍西南财经1、复杂环境下底层图像复原关键技术 解决复杂环境中(低光照、雾霾、雨天等)底层图像质量下降的问题,提升图像在极端条件下的清晰度和可用性。该研究重点在于构建鲁棒性强的模型,适应各种复杂场景下的图像复原需求,比如自动驾驶、无人机监控以及遥感应用等场景。 jvzquC41pkifnjg0uy{gg7jfw0io1|~uim5t{|ou0jzn
4.证据发现数字图司法取证问题研究数字图像的质量受人工操作、设备性能和拍摄环境的综合影响,不可避免会出现变形、模糊、低分辨率、噪声、雾霾等现象,进而导致图像失真、细节特征不明显,影响数字图像的证据能力。基于证据发现的数字图像司法取证以寻找和发现证据为目的,依照法定的技术规范,通过对图像进行增强、降噪、复原、几何变换等处理,还原图像所记载的jvzquC41yy}/i€~qq0ipo8qwpyko1ofzwgrvp€jp1ulmy8723:711?=245>/j}rn
5.改进AOD基于图像复原的去雾方法主要从光学成像的角度, 分析雾霾对图像成像过程的影响, 确定类似大气散射光学模型中的未知参数, 再通过逆运算由雾图推导出清晰图像. 相较第1种方法, 针对性更强, 效果更好. 吴靖等人[6]利用光的偏振特性推算大气散射模型中的参数, 较好地恢复出无雾的清晰图像, 但由于大气散射的时变性,jvzquC41e/y.c7tti0io1qyon1814=431;98:7mvon
6.雾霾天气引起安防担忧海康威视透雾摄像机受关注滚动新闻首先请大家看一下上面两幅对比图像,左边是普通摄像机在雾霾天气下拍摄的监控图像,右边是海康威视透雾摄像机拍摄的透雾后的图像效果,实时视频透雾原理是基于大气透射模型,区分图像不同区域景深与雾浓度进行滤波处理,同时融合图像增强技术与图像复原技术,获得准确、自然的透雾图像。实时视频透雾技术适用于高速公路卡口以及jvzq<84hkpgoen3ukpg/exr0ep5squq142743:5:13764:<487=877xjvor
7.同济教授张林、中山副教授任文琦丨就正有道:物理机理驱动的图像报告题目:图像雾霾分析:模拟、评估和消除 报告嘉宾:任文琦 (中山大学) 报告题目:融合先验知识的图像视频复原方法研究 Panel嘉宾: 张林(同济大学)、任文琦 (中山大学)、刘家瑛 (北京大学)、潘金山 (南京理工大学) Panel议题: 1.从合成数据验证向真实场景应用的过程中,图像恢复与增强方法泛化难的主要因素有哪些,物理机jvzquC41gxkov7gcck4be7hp1ciuknvkgy07;>
8.【中国图象图形学报图图Seminar】恶劣环境图像智能处理技术高端报告简介:在实际应用中,受恶劣成像环境(如雾霾、海水等)的影响,户外或水下计算机视觉系统获取到的图像质量退化,普遍存在对比度低、图像模糊以及颜色失真等问题,严重影响并限制各种智能处理系统(如视频监控、目标探测、无人驾驶等)的性能和应用。对降质图像进行增强和复原是一个经典的计算机视觉任务。从传统的基于先验和jvzquC41yy}/mxzujcxf0lto1nowg8igvcomu87333
9.基于四偏振成像的图像去雾算法嗯,用户现在在找基于四偏振成像的图像去雾算法的资料和实现方法。首先,我需要回忆一下四偏振成像的基本原理。四偏振通常指的是使用四个不同偏振角度的图像,比如0°、45°、90°、135°,通过捕捉不同偏振状态的光线来获取场景的偏振信息。然后,这些信息可以用来估计大气光和各向异性的散射,从而去除雾霾。 jvzquC41ygtlw7hufp4og}4cpu}ft86:fllw:ƒjp
10.信息熵保真度联合度量函数的单幅图像去雾方法【摘要】:为了增强雾霾图像对比度的同时有效地弥补颜色缺失,提出一种信息熵与保真度相结合的单幅图像去雾方法.首先利用四叉树分割的雾霾变换图像估计大气光线;然后构造信息熵与保真度的联合度量目标函数,估计局部图像块的大气透射率;再采用加权的最小二乘方法对大气透射率的初次估计值进行精细化处理;最后根据大气散射模型jvzquC41yy}/ewpk0eun0ls1Ctzjeuj1ELLEVxycn/PTLO723;682:90jvs
11.透雾镜头|电动变倍镜头|高清监控镜头|长焦镜头|YAMAKO数学透雾则是通过摄像机ISP或者后端软件上可实现,是基于人类视觉感知模型设计的后端图像复原技术,并集合了多种图像算法,是较为重要的一类图像处理技术。目前已知的透雾算法大致可以分为两大类:一种是非模型的图像增强方法,通过增强图像的对比度,满足主观视觉的要求来达到清晰化的目的;另一种是基于模型的图像复原方法,jvzq<84yyy4scwp0ejoocƒ3eqo}xy7~cocqp0lto1ktgq8sgyu3j29653k7/j}rn