论文背景

RealNVP的全称，real-valued non-volume preserving ，可以翻译为“真实值非体积保持”。对于无监督学习来说，感兴趣的数据通常是高维的、高度结构化的，因此该领域的挑战是构建足够强大的模型，以捕获其复杂性，但仍然是可训练的。作者通过引入实值非体积保持(real NVP)转换来解决这一挑战，这是一种易于处理但表现能力强的高维数据建模方法。

基本思想是把数据空间映射到隐空间z，如上图所示。

为了使自己对流模型、可逆网络有更深刻的理解，选择了NICE这篇流模型开山之作（之一）来读。

这篇文章也是INN系列的论文中经常引用的一篇文章，只在arxiv上看到，貌似没有被哪个会议接收，读下来确实发现idea的创新性不是特别足。但是发现其introduction中的对生成模型的归纳还是挺到位的，所以学习学习。

论文背景

对于一般的盲超分方法，一般都分为两步：

1. 从LR图像中估计一个模糊核
2. 基于估计的模糊核，估计SR图像

• 这两步通常是使用两个不同的模型（各自独立训练出来的）。而第一步的微小误差会给第二步的超分结果造成很大的损失。
• 第一步只是通过LR中的信息去估计模糊核，信息来源比较有限，模糊核估计的不准

因此，虽然这两个模型各自都能表现良好，但当它们组合在一起时，最终结果可能不是最优的。作者的思路是用一个交替迭代的优化算法。Restorer基于给定的模糊核，把LR图像超分辨为SR图像；而Estimator从LR、SR中估计模糊核，如此循环往复即可迭代。然后把这个网络展开，形成一个端到端的可训练的网络，作者称为DAN(Deep Alternating Network)。

这样，从LR和SR中，估计模糊核更合理一些。更重要的是，在展开网络之后，相当于Restorer是使用Estimator生成的核做训练，而不是ground-truth的核。所以Restorer更能容忍Estimator的估计误差。

论文背景

在分析一个复杂物理系统时，常见的问题是不能直接测量我们感兴趣的系统参数。对于许多这样的系统，科学家们已经发展出复杂的理论来解释，测量值y是如何从隐藏的系统参数x中产生的。我们将把这种映射称为前向过程。然而，其逆过程需要从测量中推断出系统的隐藏状态。然而，因为关键信息在正向过程中丢失了，逆过程是不适定问题(ill-posed，即许多种系统参数x都可产生同一个测量值y)。

给定一个测量值时，这种逆过程的解往往有多个，所以作者提出，解决逆过程时，必须给出一个在以某个观察为条件的，系统参数的条件后验概率分布，即\(p(\mathbf{x|y})\)。针对这一任务本文提出了可逆神经网络(invertible neural networks, INNs)。

论文背景

motivation

针对某个退化模型训练的SR网络，如果换了退化模型，性能就会有很大下降（比方说训练集用双三次下采样构造，而测试时遇到其他的退化模型）。于是作者从广义采样中受到了启发，出了一种改进现有的CNN框架的方法，即使用一个校正滤波器，能把一张LR图像变化到其他核模糊下的LR图像(如双三次核)，进而提高test时SR网络的性能，具体分为非盲SR和盲SR两种情况：

• 在非盲SR中，LR图像的模糊核是已知的(但不一定和训练集的核匹配)，于是作者构造的滤波器，可以提供一个将其转换到指定退化核LR图像的校正滤波器，并且是闭合解。
• 而在盲SR中，LR图像的模糊核是未知的，作者提出了一种能估计这张LR所需校正滤波器的算法。

这篇算是一篇超分辨/去噪的数据增强方面的文章，与以往的数据增强不同的是，它是在频域的角度设置了数据增强方法。

论文背景

作者指出，基于学习的超分辨/去噪的CNN网络，总是基于一个庞大的数据集来训练。而这个数据集往往是通过把ground-truth图片经过一个模糊核/有限的模糊核集合进行退化构造出LR图片。但是在测试过程中，往往需要针对一个未知模糊核的LR图像来进行SR，或是对一个未知等级的噪声进行denoising。作者指出，现有的SR模型都对有限的退化模型产生了过拟合。作者在频域中分析了这一点。进一步地，作者更加形式化地揭示了SR过程中隐含的一种条件学习——“在已知低频的情况下学习高频”。据此，作者提出了本文的主要工作——随机频率掩蔽(Stochastic Frequency Masking, SFM)。

论文背景

作者表示，SR问题本来就是一个ill-posed的问题，可是大多数工作忽略了这一点，只致力于去学一个单图像到单图像的映射。而作者利用了基于标准化流(Normalizing Flow)的方法，去学一个LR到HR分布的映射（学习与输入LR图像相对应的真实HR图像的分布，即可以看做是给定LR图像，HR的条件概率分布），同时还表明在去噪、复原的任务中也能发挥作用。

所谓标准化流(Normalizing Flow)的方法，是用来拟合一些复杂概率分布的。实际上就是学一个可逆神经网络\(f_{\theta}\)，使用它的逆过程\(f_{\theta}^{- 1}\)把一个简单的分布(比如高斯分布、均匀分布等)\(p_{\mathbf{z}}(\mathbf{z})\)变成\(\mathbf{y} = f_{\theta}^{- 1}(\mathbf{z})\)。

从入组到现在，读了十余篇SR相关的最新论文了，但是感觉自己对整个SR问题还没有一个特别清晰的脉络，特别是在读一些论文的related work部分的时候感受尤为明显。于是这几周我找来的这篇2019年的SR综述来阅读，想借此全面地了解一下SR领域的工作，并挑一些经典工作深入理解。

如题目所示，这篇论文就是一个领域综述，主要调研了基于深度学习的图像超分辨方法。作者把现有的方法归为三大类：有监督的SR、无监督的SR和特定领域的SR。另外总结了目前SR领域公开可用的基准数据集和性能评估指标。最后提出了未来的几个可能的SR方向和有待进一步解决的问题。

这篇CVPR的文章我之前在做面试的project的时候略读过，但是对其中的细节把握的不是很到位，所以这次拿出来再重新精读一遍。