还有，在 InceptionNet 之前谁在评论辩论「inception」?对此也很好奇。

开打趣地说，如今提交论文的主题是不是应当环绕把全卷积编码器解码器BatchNorm ResNet GAN应用于风格迁徙，用 Adam 进行优化?

你是否应用过 Google Trends?相当的酷，你在琅绫擎输入关键词，看一下谷歌搜刮中这一词条若何随时光变更的。我想，以前 5 年中 arxiv-sanity 数据库中刚好有 28303 篇机械进修论文，为什么不做一些类似的工作，看一下以前 5 年机械进修研究有何进化?结不雅相当的有趣，所以我把它贴了出来。

顶级但不热

arXiv 奇点

起首，让我们看一下在 arxiv-sanity 类别下(cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)所递交论文的总数。随时光变更，得出以下结不雅：

是的，2017 年 3 月，该范畴有几乎 2000 篇论文被提交。这一峰值可能是因为大年夜会截止日期(例如 NIPS/ICML)。留意，这不是关于该范畴自身材量的一个直接解释，因为不是每小我都邑把论文提交到 arXiv 上，并且研究人员做研究的分类也会随时光变更。但有一点可以解释，人工智能范畴正有大年夜量论文被发明、浏览、浏览。

把论文的总量做为分母，我们如今看一下有若干比例的论文包含确切的关键词。

深度进修框架

作为热身，我们先看一下深度进修框架。为了计算这个关键词，我们记录了在全部文本中的某处提到框架名的论文以及其比例(任何处所，包含 bibiliography 等)。在 2017 年三月份提交的论文中，我们得出了下面的结不雅：

我们能看到 Theano 已经出现很长时光了，但其增长趋于停止。Caffe 在 2014 年有急剧的增长，但在以前几个月被 TensorFlow 超出。Torch(以及比来的 PyTorch)也在攀爬阶段，迟缓却稳定。接下来几个月的成长值得留意，我小我的猜测是 Caffe/Theano 将持续迟缓的阑珊，TensorFlow 也会因为 PyTorch 出现，增长速度变的更慢。

有很多方法可对此进行定义，但该实验中我不雅察了所有论文中的单字母组合或双子母词组，并记录了比拟于客岁最大年夜应用量的比例。超出此标准的论文就是一年前照样有潜力的，但在本年就有相当高接洽关系频率的论文。列表如下：

ConvNet 模型

接下来看一下常见的 ConvNet 模型。下图中，我们能清跋扈的看到 ResNet 的┞非幅，直到三月份所有论文的 9% 提到了它。

优化算法

在优化算法方面，看起来 Adam 正在风行，所有论文中 23% 提到了 Adam。实际应用的比例难以估计，但可能要比 23% 高，因为一些论文没有颁布用到的优化算法，并且一批论文可能没优化任何神经收集。然后它可能还低了 5%，也就是 Adam「隐蔽」在背后，可能与作者的名字冲突，因为 Adam 优化算法到了 2014 年 12 月才宣布。

研究人员

我们对深度进修一一些重要人物出现的比例也很好奇，所以进行了画图。这有点类似于引用量，但它要比论文非零即一的统计更为稳健，并且对所有的论文进行了标准化。

可以留意的：所有提交的论文中 35% 提到了「bengio」，但研究人员中有两个 Bengio：Samy 和 Yoshua，在此图中是归并统计的。特别提到的一点，在所有新论文中有跨越 30% 提到了 Geoff Hinton，看起来异常的多。

热词或非关键词

也就是说，2017 年 3 月提交的论文中 10% 提到了 TensorFlow。当然，不是每篇论文都宣布应用了该框架，如不雅我们假设那些提到框架的论文都有必定概率应用该框架，那看起来社区中有 40% 的人在应用 TensorFlow(或者更多，如不雅你把带有 TF 后端的 Keras 也算在内)。下面是更多框架随时光变更的图绘：

最后，除了手动查阅的关键词类别，让我们看一下一些热词或不热的关键词。

顶级热词

例如，ResNet 的比例是 8.17。因为一年前它在所有提交论文中出现的比率是 1.044%(2016 年 3 月)，但本年 3 月它出现的比例是 8.53，所以 8.53 除以 1.044 约等于 8.17。所以得出的结不雅是，以前一年所有的核心立异范畴是 1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm，在研究中多应用下这些模型。在研究兴趣方面，我们看到 1) 风格迁徙，2) 深度强化进修，3) 神经机械翻译，以及 4) 图像生成。在架构上，热于应用 1) 全卷机收集 (FCN)，2) LSTMs/GRUs，3) Siamese 收集，以及 4) 编码器-解码器收集。

　　推荐阅读

　　Gradle for Android 第三篇( 依赖管理 )

依附治理是Gradle最闪烁的处所，最好的情景是，你仅仅只需添加一行代码在你的build文件，Gradle会主动大年夜长途仓库为你下载相干的jar包，并且包管你可以或许精确应用它们。Gradle甚至可>>>详细阅读

本文标题：机器学习研究趋势分析：TensorFlow已超越Caffe成研究最常用框架

地址：http://www.17bianji.com/lsqh/34699.html

 1/2    1