在图像超清问题中,如许的常识表现为让像素之间有互相依附的关系。如许,就可以包管A、B、C、D四个不合的部分对于高清版的选择是一致的。
图7 基于PixelCNN的解决图像超清问题的CNN收集构造
(个中先验收集(prior network)为PixelCNN;
前提收集(conditioning network)为图像生成收集,
其构造与感化同GAN中的生成收集、感知损掉中的转换收集均类似。)
模型架构如图7。个中前提收集是一个在低清图像的基本上生成高清图像的收集。它能以像素为单位自力地生成高清图像,如同GAN中的G收集,感知损掉中的转换收集。而先验统??是一个Pixel CNN组件,它用来增长高清图像像素间的依附,使像素选择一致的高清细节,大年夜而看起来加倍天然。
那么Pixel CNN是若何增长依附的呢?在生成收集的时刻,Pixel CNN以像素为单位进行生成,大年夜左上角到右下角,在生成当前像素的时刻,会推敲之前生成的像素。
若加上先验收集和前提收集的混淆, PixelCNN在生成图像的时刻,除了推敲前面生成的像素,还须要推敲前提收集的结不雅。
总结
[4] Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network[J]. arXiv preprint arXiv:1609.04802, 2016.
(该收集也可用于图像超清问题。
上述算法是图像超清问题中应用的较为典范的CNN构造,此外,还有很多其他的构造也达到了比较好的效不雅。跟着CNN收集构造层次的日益加深,距离实用处景反而越来越远。譬如,基于GAN的收集构造的练习很难稳定,且结不雅具有弗成解释性;基于PixelCNN的统??应用中因为要在pixel级别生成,无法并行,导致生成效力极为低下。
更进一步地,大年夜实用出发,可以在数据偏向长进行进一步的优化。譬如,如今的算法输入图像都是由低清图像三次插值而来,那么,是否可以先用一个小收集获得的结不雅来作为初始化的值呢?再如,多个小收集串联是否能获得比一个大年夜收集更好的结不雅等等。
参考文献
[1] Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 38(2): 295-307.
[2] Kim J, Kwon Lee J, Mu Lee K. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 1646-1654.
[3] Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision. Springer International Publishing, 2016: 694-711.
[5] Dahl R, Norouzi M, Shlens J. Pixel Recursive Super Resolution[J]. arXiv preprint arXiv:1702.00783, 2017.
【编辑推荐】
- 懂得深度进修的钥匙–参数篇
- 七步让你实践深度进修
- 深度进修利器:TensorFlow体系架构及高机能法度榜样设计
- 人工智能技巧在移动互联网成长中的应用
- Caffe的深度进修练习全过程
推荐阅读
爬虫是一个比较轻易上手的技巧,也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大年夜范围爬虫,完全就是另一回事,并不是1*n这么简单,还会衍生出很多其余问题。体系的大年夜范>>>详细阅读
本文标题:看得“深”、看得“清” —— 深度学习在图像超清化的应用
地址:http://www.17bianji.com/lsqh/34975.html
1/2 1