用两万篇论文告诉你：机器学习在过去五年中发生了什么

arXiv.org 是一个专门收集物理学、数学、计算机科学与生物学论文预印本的网站。数据显示，截至 2014 岁尾的时刻，arXiv 已经达到了一百万篇以上的论文藏量，并且还在以每月8000篇的速度增长。算是今朝全球最具范围的论文数据库之一。

近日，来自斯坦福大年夜学计算机学院的博士卒业生、OpenAI 的高等科学家 Andrej Karpathy 基于一份 arXiv 机械进修论文大年夜数据，大年夜论文数量、开源框架、数学模型和优化算法等多个方面对以前喂恼菩的机械进修变更趋势进行了具体分析，并将分析结不雅宣布在小我博客上。

想必你必定据说过谷歌趋势(Google Trends)或者百度指数这种对象，随便率性输入一个关键词，就能急速看到关于该词在以前几个月甚至几年之内的变更趋势。受此启发，刚巧我手边正好有一份 arXiv 论文数据集，它收集了以前喂恼菩机械进修相干的 28303 篇论文。那么竽暌闺谷歌趋势类似，大年夜这些论文中，我们可否看到一些机械进修范畴的科研成长趋势呢?我就此进行了具体的数据分析，发明这个结不雅相当有趣，是以在这里把它分享出来。

论文总量

起首我们看一下论文数量。在以前喂恼菩，arXiv 收集的机械进修论文数量变更情况如下图所示。

大年夜上图可以看到，论文总数在 2017 年 3 月出现了一次激增，大年夜时光上看可能是因为 NIPS 和 ICML 等大年夜型会议的论文提交截止日期正好在 3 月。并且有一点须要解释的是，arXiv 的论文数据集固然周全，但也并不克不及完全代表全部机械进修行业的变更趋势，因为毕竟不是所有人都习惯于将本身的论文送达到 arXiv 网站上。不过，大年夜上图我们仍然可以看到一个明显的上升趋势，这解释机械进修的热度切实其实袈溱持续地上升中。

下面我们将以这些论文作为研究材料，看看个中包含着如何的变更趋势。

深度进修框架

起首看看深度进修框架的情况。这里我记录了在 2017 年 3 月上传的所有论文中(包含参考书目和论文内容)提到的机械进修框架情况：

可以看到，在 2017 年 3 月份提交的所有论文中大年夜约有 10% 都提到了 TensorFlow。当然，并不是每一篇论文都声清楚明了框架的应用，然则如不雅我们假设论文以某一固定的概率分布来声明框架，并且这个概率与框架本身无关的话，那么大年夜概有高达 40% 的社区都在应用 TensorFlow(如不雅也算上用 TensorFlow 作为 Keras 后端的论文，这一比例将会更大年夜)。下面是这些框架随时光变更的趋势：

下面再看一下卷积神经收集的情况，大年夜下面的图表中可以清跋扈地看到，作为 CNN 范呈攀里重要里程碑的 ResNets(深度残差收集)在 2016 岁尾的激增情况，在 2017 年 3 月提交的所有论文中甚至有大年夜约 9% 都提到了 ResNets。

别的，这里还能看到在谷歌 InceptionNet 之前，实际上已经有论文提到了 inception 的概念。

关键词

优化算法

在优化算法方面，Adam 算法可以算是应用最多的一个，大年夜约有高达 23% 的论文都提到了它。这里须要解释的是，在实际应用中 Adam 算法的采取率可能更高，因为很多论文都不会显式地声明优化算法，更有一部分论文甚至不会阐述关于神经收集优化的内容。别的，大年夜图表中还能看出，在 2014 年 12 月 Adam 优化算法被正式提出之前，实际上也有一些论文提到了 “Adam” 关键词，它的概率大年夜约保持在 5% 阁下，我猜想可能是因为有很多作者的名字也叫 Adam 的缘故。

这里我还很好奇地研究了一下深度进修范畴各位大年夜牛的名字在论文中的变更情况，结不雅如下图所示。须要解释的是，这里的仅根据关键词统计的方法很粗拙，别的我还做了一些归一化操作。

研究者

大年夜图表中可以看到，在所有提交的论文中，大年夜约有 35% 提到了 bengio，但这诚实际上有两小我： Samy 和 Yoshua，图中是两人加起来的结不雅。别的须要特别指出的是，在所有新论文中有跨越 30% 都提到了 Geoff Hinton 大年夜神，这一点很强大年夜。

最后一部分是关键词。这里我起首统计了所有一元关键词和二元症礁绞糈论文中的出现情况，并对当下和一年之前这些词汇的最大年夜采取率做了比较。这里我作为基准采取的论文都是一些近两年被引用次数最高的优良论文。以下是一些排名靠前的关键词：

以 ResNet 举例来说，它的相对热度之所所以 8.17，是因为它在 2016 年 3 月所有论文中的采取比是 1.044%，而到了本年 3 月，它的采取比则增长到了 8.53%，用两个百分比相除，就获得了 8.17。

大年夜以上图表可以看出，在以前一年中最火热的机械进修立异技巧包含：ResNets、GAN、Adam 和 BatchNorm。在研究偏向上热词包含：风格转换(style transfer)、深度强化进修(deep RL)、神经收集翻译以及图像生成等。最后，在模型方面可以看到：全卷积收集(FCN)、 LSTMs/GRUs、Siamese Nets 以及 Encoder decoder nets 等热词。

1/2 1 2 下一页尾页

　　推荐阅读

　　如何将枯燥的大数据呈现为可视化的图和动画？

前段时光做了一个关于诺贝尔人才流动的题，包含了可视化视频和信息图，所以用这个选题，来分享一些制造过程以及对象应用，欲望可以或许赞助到题主和其他和对这方面感兴趣的知友。本次视频>>>详细阅读

本文标题：用两万篇论文告诉你：机器学习在过去五年中发生了什么

地址：http://www.17bianji.com/lsqh/34740.html

1/2 1