5. 评估办法
对于神经风格迁徙问题,并不存在什么 ground truth。神经风格迁徙是一种艺术创作。不合的人可能会对同一个迁徙后的结不雅有不合甚至截然相反的看法。是以,对神经风格迁徙算法所获得的视觉结不雅的评估仍然照样一个悬而未决的重要问题。
大年夜我们的角度来看,在神经风格迁徙范畴有两种类型的评估办法可以应用,即:定性评估(qualitative evaluation)和定量评估(quantitative evaluation)。定性评估请求介入者评估排序不合算法的结不雅,这依附于介入者的不雅察(被称为「风格感知研究(Stylization Perceptual Studies)」)。这种评估结不雅可能会因介入者属性(比如年纪、职业)的不合而不合。尽管在定性评估办法上存在必定程度的不肯定性,但该办法至少可以或许供给一些有关人们的神经艺术风格偏好的信息。而定量评估则侧重于在算废喔赡精确评估指标(比如时光复杂度)。
在今朝的神经风格迁徙范畴,生成式的神经办法已经成为了一个热点的主题,个中速度是工业应用所推敲的重要问题之一。但就我们所知,之前还没有研究在同样的实验设置下运行过所有当缁ゎ佳的生成式神经办法,并在定性和定量上对它们进行比较。是以,在这一章中,我们的目标是比较 5 种当缁ゎ佳的生成式神经办法,并且应用了 Gatys et al. 的描述式神经办法作为参考。
神经风格迁徙范畴的进展惊人,在家傍边也已有所应用。尽管今朝的算法取得了惊人的结不雅,该范畴如有一些挑衅与仍待解决的问题。在此章节中,我们将总结神经风格迁徙范畴内的问题,并评论辩论对应的解决筹划。
(1) 定性评估
图 3:定性评估的一些结不雅示例
表 1:对于图 3 中图像上的六种算法的平均风格排名分数(∈ [1, 6])
(2) 定量评估
6. 应用
因为神经风格迁徙的结不雅惊人,所以也带来了很多成功的业界应用处且也开端实现了贸易回报。同时,也有一些应用论文查询拜访了神经风格迁徙技巧在不合应用范畴的应用方法 [4,25]。本节对这些应用进行了总结,并提出了一些潜在的用处。
戳这里,看该作者更多好文
(1) 社交
(2) 帮助用户创作的对象
(3) 用于娱乐应用的临盆对象
7. 难题与可能的解决筹划
(1) 难题
- 参数调剂的问题
- 笔触偏向控制问题
- 神经风格迁徙中「快」与「更快」的问题
图 4:带有画笔大年夜小控制的描述性神经办法的高分辨率结不雅,以及不带画笔大年夜小控制的生成式神经办法的高分辨率结不雅。
(2) 可能的解决筹划
参数调剂问题的解决筹划。在将来主动参数调剂问题的研究中,我们分别评论辩论了对描述性神经办法和生成式办法的解决筹划。对描述性神经办法,可能的一个解决筹划是跟随 Risser 等人的办法,进一步的结合一些无梯度信息,比如损掉的量级以及损掉内的统计。另一个偏向是大年夜分类问题中应用的主动参数优化策略获取灵感(例如,Domhan 等人的研究 [11],Luo 的研究 [32])。
对生成式神经办法,一种思路是研究不须要为不合风格练习零丁模型的新办法(就像 [9]),同时还要包管结不雅的高质量。(也就是,冲破速度、灵活性和质量之间的衡量)。然后参数调剂的过程就不会特别消费时光,并且把参数调剂交给用户也可接收。此外,今朝主动参数优化策略中的一些办法对生成式神经办法中的主动参数调剂也会有赞助。
【本文是51CTO专栏机构机械之心的原创译文,微信"大众,"号“机械之心( id: almosthuman2014)”】
对笔触偏向控制问题的可能解决筹划。今朝的神经风格迁徙算法不推敲对笔触偏向的┞菲握。相反,在非真实感绘制技巧(NPR:Non-photorealistic Rendering)范畴,对笔触偏向控制有很好的研究 [39]。我们信赖 NPR 范畴中的一些思路可被借鉴来解决神经风格迁徙中的偏向问题。例如,Zhang 等人请求用户明白笔触偏向的地位与方法 [49],因为不合的用户有不合的偏好。同样的思路可借鉴到神经风格迁徙算法中,请求用户提前选择全局笔触偏向。此外,结合神经风格迁徙算法和 NPR 范畴中指导笔触偏向的策略(例如,[50] 中的向量场办法)是该问题的另一个潜在的解决筹划。
对神经风格迁徙算法「快」与「更快」的笔触大年夜小控制而言,思路类似于之前提到的笔触偏向控制的可能解决筹划。在 NPR 范畴,有大年夜量的研究人员在做笔触大年夜小控制。若要进行回想,我们推荐 [39] 中的┞仿节 1。
8. 结论和将来工作
以前三年来,神经风格迁徙已经持续成长为了一个蓬勃成长的研究范畴。这一研究范畴内越来越多的晃荡受到了科学挑衅和工业需求的推动。并且在神经风格迁徙范畴内,研究者们也已经进行了数量可不雅的研究。这一范畴内的关键进展见于表 3。总体而言,这篇概述供给了对神经风格迁徙现有研究的广泛调研,覆盖了当前办法的类别、它们的改进和扩大、评估办法以及现有的挑衅和对应的可能解决筹划。此外,我们还概述了神经风格迁徙的三个应用范畴,包含社交、帮助用户创作的对象和用于娱乐应用的产品对象。
推荐阅读
在介入社区之前,比如开放源代码或者其它什么的,你须要做一些根本工作。对于有眼界的开源供献者,这意味这你须要懂得社区的目标,并进修应当大年夜哪里起步。人人都想供献源代码,然则只有少量的人做过预备,并且愿>>>详细阅读
地址:http://www.17bianji.com/lsqh/35289.html
1/2 1