还有，在 InceptionNet 之前谁在评论辩论 inception?我对此表示好奇。

优化算法

在优化算法方面，看起来 Adam 连连获胜，2017 年 3 月 23% 的论文中都出现了它!实际的应用比例很难估测;它可能高于 23%，因为一些论文没有声明优化算法，并且很大年夜一部分论文可能甚至没有优化任何神经收集。然后它还可能就是 5% 阁下，因为 Adam 在 2014 年 12 月才宣布，并且可能与论文作者名字冲突。

研究者们

我还好奇深度进修范畴重要人物的说起情况，是以作出下图(这有点类似于论文引用量计数，然则：① 它比论文的“0/1”计数更稳定， ② 对总范围进行了标准化。

值得留意的几点：提交的论文中有 35% 提到了“bengio”，这里有两个 Bengio : Samy Bengio 和 Yoshua Bengio，我们做了归并。 Geoff Hinton 出现的比例跨越 30%!看起来很高。

热点或非热点关键词

最后，我们不去对关键词做手动分类，而是看一下热点(hot)或者非热点的关键词。

Top hot keywords 排前列的热点关键词

对此有多种定义，然则此次测验测验中我查看了所有论文中每个 unigram(单个 word )或 bigram ( 双 word )，并记录了比拟于客岁最大年夜应用量的比例。高于这个比例，就是客岁有较大年夜潜力然则本年表示出更高的相对频率。热点关键词排名结不雅如下：

8.17394726486 resnet 
6.76767676768 tensorflow 
5.21818181818 gans 
5.0098386462 residualnetworks 
4.34787878788 adam 
2.95181818182 batchnormalization 
2.61663993305 fcn 
2.47812783318 vgg16 
2.03636363636 styletransfer 
1.99958217686 gated 
1.99057177616 deepreinforcement 
1.98428686543 lstm 
1.93700787402 nmt 
1.90606060606 inception 
1.8962962963 siamese 
1.88976377953 characterlevel 
1.87533998187 regionproposal 
1.81670721817 distillation 
1.81400378481 treesearch 
1.78578069795 torch 
1.77685950413 policygradient 
1.77370153867 encoderdecoder 
1.74685427385 gru 
1.72430399325 word2vec 
1.71884293052 reluactivation 
1.71459655485 visualquestion 
1.70471560525 imagegeneration 

举例来说， ResNet 的比例是 8.17，因为 1 年前( 2016 年 3 月——最大年夜应用量的月份)它在所有提交的论文中出现的比例是 1.044% ，而上月( 2017 年 3 月)是 8.53% ， 8.53 / 1.044 ~= 8.17。

所以可以大年夜上图看到，以前一年风行的核心立异是： 1) ResNets、2) GANs,、3) Adam、4) BatchNorm。 在研究中多应用这些模型。

非热词

在相反的方面呢?有哪些词以前一年有较少的提交，然则汗青上较高。以下列举了一些：

你用过 Google Trends 吗?相当酷，输入一些关键词，然后能看到它们在谷歌中的搜刮趋势变更。刚好 arxiv-sanity 论文数据库在以前 5 年内有 28303 份机械进修相干论文，所以我想，为什么不做一些类似的工作，来看看机械进修研究在以前 5 年是若何进展的?结不雅相当有趣，所以我想我该写篇文┞仿分享一下。

0.0462375339982 fractal 
0.112222705524 learningbayesian 
0.123531424661 ibp 
0.138351983723 textureanalysis 
0.152810895084 bayesiannetwork 
0.170535340862 differentialevolution 
0.227932960894 wavelettransform 	
			
 2/3   首页 上一页 1 2 3 下一页 尾页
	
			

　　推荐阅读
　　一探前端开发中的JS调试技巧
            
            友情提示：文中涉及较多Gif演示动画，移动端请尽量在Wifi情况中浏览媒介：调试技能，在任何一项技巧研发中都可谓是必弗成少的技能。控制各类调试技能，必定能在工作中起到事半功倍的效不雅>>>详细阅读


本文标题：机器学习流行趋势一览
地址：http://www.17bianji.com/lsqh/34961.html
 1/2    1