eg退化自动编码器：一种新的底层视觉预训练范式｜

自监督预训练在高层视觉（high-level vision）领域取得了显著的成功，但它在底层视觉（low-level vision）领域的定义和应用还没有得到很好的建立。预训练的原始意图是什么？底层视觉预训练的核心问题是什么？本文旨在回答这些重要问题，并为底层视觉建立一种新的预训练范式。具体而言，我们回顾了先前在高层和底层视觉中的预训练方法，并根据数据获取的难度将当前的底层视觉任务分为两个类别：低成本任务和高成本任务。现有的文献主要关注低成本任务的预训练和微调，获得的性能改进通常有限。然而，我们认为预训练-微调范式对于高成本的下游任务更为重要，因为数据获取更具挑战性。为了学习一个能够提高各种任务性能的通用底层视觉表征，我们提出了一种新的预训练范式，称为退化自编码器（DegAE）。DegAE遵循自监督预训练任务设计的哲学，并且精心设计以适应底层视觉。

论文标题：

回顾高层视觉中的预训练

在高层视觉任务中，人工标注数据的成本是十分昂贵的（例如目标检测、图像分割），导致模型训练的标注数据有限。随着深度学习模型架构越来越强大，对数据的要求也越来越高，它们很容易过拟合有限的训练数据，甚至对数以亿计的数据也是如此。为了解决这一问题，大规模数据预训练方案被提了出来。它的目的是通过自监督学习，让模型可以学出适用于各种下游任务的有效且通用的视觉表征，以缓解过拟合。

重新思考底层视觉中的预训练

底层视觉任务分析

思考与讨论

退化自动编码器：一种新的底层视觉预训练范式

编码器

解码器

重建目标

内容重建损失

生成对抗损失

感知损失

隐向量损失

最后，以上的损失函数被结合起来:

其中

退化自动编码器实现细节

退化自动编码器预训练任务——退化迁移结果图

退化自动编码器的设计理念

大多数底层视觉的目标是生成出自然、干净的图像。为了达到这个目的，模型应该学习出关于自然图像的通用、有效的表征。然而，以前的文献发现，深度网络倾向于过度拟合训练数据集中的退化模式，而没有真正学习到自然图像的分布。在DegAE的设计中，编码器从各种退化的输入图像中提取特征，解码器则试图将另一种退化迁移到输入的退化图像中。因此，我们的方法隐含了两个阶段：（1）将退化的图像复原为干净的图像；（2）在复原的干净图像上添加新的退化。这表明编码器必须将所有退化的图像投射到一个统一的干净图像分布中。