深度学习在单图像超分辨率上的应用：SRCNN、Perceptual loss、SRResNet

尽管 SRCNN 优于标准办法，但还有很多处所有待改良。如前所述，该收集不稳定，你可能会想优化 MSE 是不是最佳选择。

很明显，经由过程最小化 MSE 获取的图像过于腻滑。(MSE 输出图像的方法类似于高分辨率图像，导致低分辨率图像，[图 1])。MSE 无法捕获模型输出和真值图像之间的感知差别。想象一对图像，第二个复制了第一个，然则改变了几个像素。对仁攀类来说，复成品和原版几乎无法分辨，然则即使是如斯细微的改变也能使 PSNR 明显降低。

进步图像分辨率的最常用技巧之一是插值(interpolation)。尽管易于实现，这一办法在视觉质量方面依然有诸多不足，比如许多细节(比如尖利的边沿)无法保存。

若何保存给定图像的可感知内容?神经风格迁徙中也出现了类似的问题，感知损掉是一个可能的解决筹划。它可以优化 MSE，但不应用模型输出，你可以应用大年夜预练习卷积神经收集中提取的高等图像特点表示(详见 https://github.com/pytorch/vision/blob/master/torchvision/models/vgg.py#L81)。这种办法的基本在于图像分类收集(如 VGG)把物体细节的信息存储在特点图中。我们想让本身晋升后的图像中的物体尽可能地逼真。

除了改变损掉函数，收集架构也须要从新建模。该模型比 SRCNN 深，应用残差块，在低分辨率图像长进行大年夜部分处理(加快练习和揣摸)。晋升也产生在收集内部。在这篇论文中(https://arxiv.org/abs/1603.08155)，作者应用转置卷积(transposed convolution，又叫解卷积，deconvolution)，3×3 卷积核，步幅为 2。该模型输出的「假」图像看起来竽暌闺棋盘格滤镜效不雅类似。为了降低这种影响，我们还测验测验了 4×4 卷积的解卷积，以及比来邻插值与 3×3 的卷积层，步幅为 1。最后，后者获得了最好的结不雅，然则仍然没有完全移除「假」图像。

与论文中描述的过程类似，我们的练习流程包含大年夜 MS‑COCO 近一万张图像中采取的一些 288×288 随机图像构成的数据集。我们将进修率设置为 10-3，应用 Adam 优化器。与膳绫擎引用的论文不合，我们跳过了后处理(直方图匹配)，因为该步调无法供给任何改进。

SRResNet

为了最大年夜化 PSNR 机能，我们决定实现 SRResNet 收集，它在标准基准上达到了当缁ゎ佳的结不雅。原论文(https://arxiv.org/abs/1609.04802)提到一种扩大方法，许可修复更高频的细节。

和上文描述的残差收集一样，SRResNet 的残差块架构基于这篇文┞仿(http://torch.ch/blog/2016/02/04/resnets.html)。存在两个小的更改：一个是 SRResNet 应用 Parametric ReLU 而不是 ReLU，ReLU 惹人一个可进修参数赞助它适应性地进修部分负系数;另一个差别是 SRResNet 应用了图像上采样办法，SRResNet 应用帘裳桉素卷积层。详见：https://arxiv.org/abs/1609.07009。

SRResNet 生成的图像和论文中出现的结不雅几乎无法区分。练习用了两天时光，练习过程中，我们应用了进修率为 10-4 的 Adam 优化器。应用的数据集包含来自 MS‑COCO 的 96×96 随机图像，与感知损掉收集类似。

将来工作

另一个有潜力的偏向是生查对抗收集。这篇论文(https://arxiv.org/abs/1609.04802)应用 SRResNet 作为 SRGAN 架构的一部分，大年夜而扩大了 SRResNet。该收集生成的图像包含高频细节，比如动物的外相。尽管这些图像看起来加倍逼真，然则 PSNR 的评估数据并不是很好。

还有一些实用于单图像超分辨率的有潜力的深度进修办法，但因为时光限制，我们没有一一测试。

这篇近期论文(https://arxiv.org/abs/1707.02921)提到应用修改后的 SRResNet 架构获得了异常好的 PSNR 结不雅。作者移除残差收集中的批归一化，把残差层的数量大年夜 16 增长到 32。然后把统?? NVIDIA Titan Xs 上练习七天。我们经由过程更快的迭代和更高效的超参数调剂，把 SRResNet 练习了两天就获得了却不雅，然则无法实现上述设法主意。

我们的感知损掉实验证实 PSNR 可能不是一个评估超分辨率收集的弘统赂标。我们认为，须要在不合类型的感知损掉长进行更多研究。我们查看了一些论文，然则只看到收集输出的 VGG 特点图表示和真值之间的简单 MSE。如今尚不清跋扈为什么 MSE(每像素损掉)在这种情况中是一个好的选择。

图 4：大年夜上到下：SRResNet 实现生成的图像、SRResNet 扩大生成的图像，以及原始图像

结论

本文中，我们描述了用于单图像超分辨率的三种不合的卷积神经收集实验，下图总结了实验结不雅。

图 5：本文评论辩论模型的优缺点

应用 PSNR 在标准基准数据集长进行度量时，即使简单的三层 SRCNN 也可以或许打败大年夜部分非机械进修办法。我们对感知损掉的测试证实，该指标不合适评估我们的模型机能，因为：我们可以或许输出美不雅的图像，但应用 PSNR 进行评估时，竟然比双立方才值算法输出的图像差。最后，我们从新实现了 SRResNet，在基准数据集上从新输出当缁ゎ优的结不雅。

【编辑推荐】

盘点金融范呈攀里常用的深度进修模型
Google Brain工程师演讲实录：TensorFlow与深度进修
那些深度进修《面试》你可能须要知道的
用深度进修来解析梦境中出现的物体
23个热点深度进修库的排名
2/3 首页上一页 1 2 3 下一页尾页

　　推荐阅读

　　SCSI软件层如何对性能的影响

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践对于闪存存储而言，一切都产>>>详细阅读

本文标题：深度学习在单图像超分辨率上的应用：SRCNN、Perceptual loss、SRResNet

地址：http://www.17bianji.com/lsqh/38720.html

1/2 1