Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践

我们经由过程网页应用法度榜样的情势安排开辟结不雅，许可在自定义图像上测试文中的大年夜多半办法，同样你也可以查看我们的实例：http://104.155.157.132:3000/。

单图像超分辨率：问题陈述

我们的目标是采取一个低分辨率图像，产生一个响应的高分辨率图像的评估。单图像超分辨率是一个逆问题：多个高分辨率图像可以大年夜同一个低分辨率图像中生成。比如，假设我们有一个包含垂直或程度条的 2×2 像素子图像(图 1)。不管条的朝向是什么，这四个像素将对应于分辨率降低 4 倍的图像中的一个像素。经由过程实际中的┞锋实图像，一小我须要解决大年夜量类似问题，使得该义务难以解决。

图 1：大年夜左到右依次是真值 HR 图像、响应的 LR 图像和一个练习用来最小化 MSE 损掉的模型的猜测。

起首，让我们先懂得一个评估和比较模型的量化质量检测办法。对于每个已实现的模型，我们管帐算一个平日用于测量有损紧缩编解码看重建质量的指标，称之为峰值信噪比(PSNR/Peak Signal to Noise Ratio)。这一指标是超分辨率研究中应用的事实标准。它可以测量掉真图像与原始高质量图像的偏离程度。在本文中，PSNR 是原始图像与其评估版本(噪声强度)之间图像(旌旗灯号强度)可能的最大年夜像素值与最大年夜均方误差(MSE)的对数比率。

PSNR 值袈浣大年夜，重建效不雅越好，是以 PSNR 的最大年夜值化天然会最小化目标函数 MSE。我们在三个模型中的两个上应用了该办法。在我们的实验中，我们练习模型把输入图像的分辨率晋升四倍(就宽度和高度而言)。在这一身分之上，哪怕晋升小图像的分辨率也变的很艰苦。比如，一张分辨率晋升了八倍的图像，其像素数量扩大年夜了 64 倍，是以须要别的的原始格局的 64 倍内存存储它，而这是在练习之中完成的。我们已经在文献常用的 Set5、Set14 和 BSD100 基准上测试了模型。这些文献中引用了在这些数据集长进行测试的模型的结不雅，使得我们可以比较我们的结不雅和之前作者的结不雅。

这些模型已在 PyTorch 做了实现(http://pytorch.org/)。

为什么选择深度进修?

图 2：最常见的插值办法产生的模糊图像。自上而虾??是比来邻插值、双线性插值和双立方才值。该图像的分辨率晋升了四倍。

更复杂的方轨则应用给定图像的内部类似性或者应用低分辨率图像数据集及其对应的高质量图像，有效地进修二者之间的映射。在基于实例的 SR 算法中，稀少编码办法是最为风行的办法之一。

感知损掉(Perceptual loss)

这一办法须要找到一个词典，许可我们把低分辨率图像映射到一个中心的稀少表征。此外，HR 词典已被进修，许可我们存储一个高分辨率图像的评估。该流程平日涉及若干个步调，且无法全部优化。幻想情况下，我们欲望把这些步调合而为一，个中所有部分皆可优化。这种效不雅可以经由过程神经收集来达到，收集架构受到稀少编码的启发。

更多信息请拜见：http://www.irisa.fr/prive/kadi/Gribonval/SuperResolution.pdf。

SRCNN

SRCNN 是超出传统办法的首个深度进修办法。它是一个卷积神经收集，包含 3 个卷积层：图像块提取与表征、非线性映射和最后的重建。

图像在馈送至收集之前须要经由过程双立方才鲎砒行上采样，接着它被转化为 YCbCr 色彩空间，尽管该收集只应用亮度通道(Y)。然后，收集的输出归并已插值的 CbCr 通道，输出最终彩色图像。我们选择这一步调是因为我们感兴趣的不是色彩变更(存储在 CbCr 通道中的信息)而只是其亮度(Y 通道);根来源基本因在于相较于色差，仁攀类视觉对亮度变更更为敏感。

我们发明 SRCNN 很难练习。它对超参数的变更异常敏感，论文中展示的设置(前两层的进修率为 10-4，最后两层的进修率为 10-5，应用 SGD 优化器)导致 PyTorch 实现输出次优结不雅。我们不雅察到在不合的进修率下，输出结不雅有一些小的改变。最后我们发明，使机能出现大年夜幅晋升的是设置是：每层的进修率为 10-5，应用 Adam 优化器。最终统?? 1.4 万张 32×32 的子图长进行练习，图像和原始论文中的图像来自同样的数据集(91 张图像)。

图 3：左上：双立方才值，右上：SRCNN，左下：感知损掉，右下：SRResNet。SRCNN、感知损掉和 SRResNet 图像由对应的模型输出。

单图像超分辨率技巧涉及到增长小图像的大年夜小，同时尽可能地防止其质量降低。这一技巧有着广泛用处，包含卫星和航天图像分析、医疗图像处理、紧缩图像/视频袈漩强及其他应用。我们将在本文借助三个深度进修模型解决这个问题，并评论辩论其局限性和可能的成长偏向。

　　推荐阅读

　　SCSI软件层如何对性能的影响

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践 对于闪存存储而言，一切都产>>>详细阅读

本文标题：深度学习在单图像超分辨率上的应用：SRCNN、Perceptual loss、SRResNet

地址：http://www.17bianji.com/lsqh/38720.html

 1/2    1