表2：在 256×256、512×512、1024×1024 三种像素大年夜小上的神经风格迁徙算法的速度比较(硬件：NVIDIA Quadro M6000)
风格迁徙是比来人工智能范畴内的一个热点研究主题，机械之心也报道了很多相干的研究。近日，来自浙江大年夜学和亚利桑那州立大年夜学的几位研究者在 arXiv 上宣布了一篇「神经风格迁徙(Neural Style Transfer)」的概述论文，对当前神经收集风格迁徙技巧的研究、应用和难题进行了周全的总结。
一、摘要
Gatys 等人的近期研究证实了卷积神经收集(CNN)的力量：经由过程分别和从新组合图片内容与风格，CNN 可以创作出具有艺术魅力的作品。应用 CNN 将一张图片的语义内容与不合风格融合起来的过程被称为神经风格迁徙(Neural Style Transfer)。大年夜那今后，在学术研究和Ｒ当应用中，神经风格迁徙已成为一个很受迎接的主题，不仅日益受到计算机视觉研究者的存眷，研究人员还提出了几种办法来晋升或扩大 Gatys et al. 提出的神经算法。不过，有关这方面的周全综述、总结性文献还付之阙如。这篇论文回想了神经收集风格迁徙研究近弃取得的进展，并评论辩论了这一技巧的不合应用以及尚未解决的问题，这也是将来研究的偏向。
图 1：应用了 Gatys 等人的风格迁徙算法的例子，将中国画风格(b)转移到了一张长城相片(a)上。供给风格的那幅作品是黄公望的《富春山居图》。
指定对象的神经风格迁徙。Castillo 等人 [5] 提出了指定风格迁徙目标的算法。该算法是在图像中仅对单个用户指定的对象进行风格化的过程。这个设法主意是应用最先辈的语义瓜分算法大年夜风格化图像中瓜分目标对象，然后提取风格迁徙后的对象与非风格化背景归并。
1. 引言
神经风格迁徙中「快」与「更快」问题的解决筹划。钙揭捉?究偏向的关键问题是若何冲破速度、灵活性、质量三者的衡量。可能的一个解决筹划是跟随 Chen 和 Schmidt 的研究 [9]。他们的算法是今朝最有效的算法，但图片质量并不高。改进他们的办法所产生的风格迁徙图像的质量是冲破速度、灵活性、质量三者衡量的有潜力的偏向。今朝已有一些相干工作，比如 [51]。
本文的余下部分的逻辑构造如下。第 2 节对现有的神经风格迁徙办法进行分类，并具体说清楚明了这些办法。第 3、4 节介绍了这些办法的一些改进以及扩大。文┞仿第 5 节给出了风格化输出效不雅的评估办法。第 6 节评论辩论了这些神经风格迁徙办法的贸易化应用。最后，第 7 节总结了当前面对的挑衅以及可能的解决筹划。第 8 部分总结全文并抛出了几个有前程的研究偏向。
文┞仿所涉论文以及响应的代码、预练习模型请移步至：https://github.com/ ycjing/Neural-Style-Transfer-Papers
2. 神经风格迁徙办法的二分法
在这一部分，我们提出了一种分类办法。当前的神经风格迁徙办法相符个中之一：基于图片迭代的描述性神经办法(Descriptive Neural Methods Based>
图 2：控制神经风格迁徙中的画笔大年夜小可以生成不合风格的结不雅。风格样式来自梵高的《The Starry Night》
(1) 描述性神经办法的衍生
(2) 生成式神经办法的衍生
实验设置。总体而来，实验应用了 10 张风格图像和 20 张内容图像。所有风格转换结不雅都是应用作者供给的代码 [43, 23, 27, 19, 8] 获得的，但 [14] 是例外。对于 [14]，我们应用了一种有所修改的(见第 3 章)风行的开源代码 [22]。我们的实验中应用的所有这些代码的参数都是原作者对应论文供给的默认参数，但 [12, 9] 是例外。我们为 [12,9] 应用了作者供给的预练习的模型。对于我们实验中所有的生成式神经办法，所有测试内容图像在练习过程中都没有被不雅察过。
4. 特定类型图像的扩大
上述神经风格迁徙办法都是对静态图像进行处理的。它们可能不实用于其他类型的图像(如涂鸦、头像和视频)。今朝已有很多研究正试图将最先辈的神经风格迁徙算法应用到这些特别类型的图像，或指定目标的图像风格迁徙中。
在涂鸦中的神经风格迁徙。Champandard 完成了一些有趣的研究 [7](如 2.1.2 节所示)。除了将语义映射惹人到神经风格迁徙算法中以外，人们也可以经由过程这种办法在图像中输入高等注释来把简单的草图转换为精细的丹青。
头像的神经风格转移。尽管 Gatys 等人的算法已可以进行通用图像的风格转移，但它还不实用于头像的风格转移。因为空间束缚不强，直策应用 Gatys 等人的办法可能会使人物头部变形。它对于这种类型的风格转移是弗成接收的。Selim 等人 [41] 经由研究解决了这一问题，他们拓展了 Gatys 等人的算法。他们应用了增益图(gain maps)的概念来束缚空间，大年夜而在风格迁徙的同时可以保存人物的面部轮廓。
对视频的神经风格迁徙。Ruder 等人 [40] 拓展了 Gatys 等人的研究，用神经风格前以算法对视频图像序列进行了处理，在本文中神经视频风格迁徙中有提到。给定目标风格图片，Ruder 等人的算法惹人时光损掉函数来让全部视频都可以获得风格迁徙。该算法背后的关键思惟是应用时光束缚来保持各帧之间的腻滑过渡，即处罚沿着点轨迹的误差。Ruder 等人的算法已被证实可以可以或许在大年夜多半情况下清除人工陈迹，并产生腻滑的风格化视频。另一个此偏向上的研究由 Anderson 等人 [3] 提出，它可以或许应用光流对风格迁徙进行初始化，为一段影片进行衬着。
推荐阅读
在介入社区之前，比如开放源代码或者其它什么的，你须要做一些根本工作。对于有眼界的开源供献者，这意味这你须要懂得社区的目标，并进修应当大年夜哪里起步。人人都想供献源代码，然则只有少量的人做过预备，并且愿>>>详细阅读
地址：http://www.17bianji.com/lsqh/35289.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示