我们的CNN模型的收集构造，如下面所示（我想很多人对此都很熟悉）

撕逼大年夜战，大年夜氖刂厩度，标记住一个家当的火热。

比来，大年夜火的深度进修，也开端撕起来了。

前几日，有一篇帖子在“Simply Stats”很火，作者Jeff Leek在博文中锋利地精深度进修拉下神坛，他谈到了深度进修如今若何狂热，人们正试图用这个技巧解决每一个问题。 然则呢，只有极少数情况下，你才能拿到足够的数据，如许看来，深度进修也就没那么大年夜用处了。

3.深度进修可以或许随便马虎地将具体问题的限制前提输入到我们的模型傍边，如许很轻易降低误差：

帖子原文标题为“Don’t use deep learning your data isn’t that big.”（即数据不多时，就别用深度进修了），爱好看热烈的，不妨搜一下。

这琅绫擎就有牛人就看不惯了，直接怼起来！

哈佛大年夜学生物医药信息学的专业的博士后专门写了篇文┞仿来辩驳：You can probably use deep learning even if your data isn't that big.(即便数据不敷，也能用深度进修)

谁说数据少就不克不及用深度进修了，那是你根本没搞懂好吗？

（嗯，深度进修默默表示，这锅俺不背）

▌ 正方：

原贴不雅点： 假使你的样本数量少于100个，最好不要应用深度进修，因为模型会过拟合，如许的话，获得的结不雅将会很差。

▌ 反方：

模型表示很差并不是由过拟合引起的。没能收敛，或者难以练习很可能擦?鲲魁祸首。你正方是以得出如许的结论，是因为你实验本身的问题。办法用对了，即使只有 100-1000个数据，仍然可以应用深度进修技巧，获得好的结不雅。

帖子一出，人们就炸开了。

（到底谁在扯淡？这场争辩有没有意义？谁的实验更有事理？迎接各位牛人在留言区拍砖）

以下，AI100特地对反方的不雅点及研究进行了全文编译，略长，但，很有意思。预备好围不雅了吗？出发！

以下对反方内容的全文编译：

诚实讲，原文中的部分不雅点，我也算是认同，不过，有一些工作须要在这篇文┞仿中进行商量。

Jeff做了一个关于辨识手写数字0和1的实验，他的数据源是来自负年夜名鼎鼎的MNIST数据集。

此次实验，他采取了两种办法：

• 一种办法采取的是神经收集模型，共5层，个中激活函数是双曲正切函数；

• 另一种办法应用的昵囝加索变量选择办法，这种办法思惟就是遴选10个边际p值最小的像素来进行（用这些值做回归就可以了）。

实验结不雅注解，在只有少量的样本的情况下，李加索办法的表示要优于神经收集。

下图是机能表示：

很惊奇对纰谬？

切实其实！假使你的样本数量少于100个，最好不要应用深度进修，因为模型会过拟合，如许的话，获得的结不雅将会很差。

我认为在这里须要细心商量一下。深度进修模型很复杂，有很多的练习技能。 我认为模型表示很差并不是由过拟合引起的，没能收敛，或者难以练习很可能擦?鲲魁祸首。

Deep Learning VS Leekasso Redux

我们起重要做的工作就是构建一个应用MNIST数据集，并且可用的深度进修模型。一般来说我们所应用的就是独裁感知机与卷积神经收集。 假使原帖思惟是精确的话，那么当我们应用少量样本来练习我们的模型的话，那么我们的模型将会过拟合。

我们构建了一个简单的独裁感知机，应用的激活函数是RELU。于此同时，我们还构建了一类似VGG的卷积神经收集。将这两个神经收集模型的表示同李加索（Leekasso）模型进行比较。你可以在这里获取相干代码。异常感激我的暑期练习生Michael Chen。他做了大年夜部分的工作。应用的说话是python，对象是Keras。

我们测验测验尽可能地答复复兴原始实验——我们采取5折交叉验证，然则应用标准的MNIST测试数据集做为评估应用（验证集中0与1样本的个数大年夜概有2000多个）。我们将测试集分成两部分。第一部分用来评估练习法度榜样的收敛性，第二部分数据用来衡量模型猜测的精确度。我们并没用对模型进行调参。对于大年夜多半参数，我们应用的都是合理的默认值。

https://github.com/beamandrew/deep_learning_works/blob/master/mnist.py

MLP是标准的模型，如下面代码所示：

下面是我对原帖中问题的一些猜想：

1. 作为参考，我们的独裁感知机MLP模型大年夜概有120000个参数，而我们的CNN模型大年夜概有200000个参数。根据原帖中所涉及的假设，当我们有这么多参数，而我们的样本数量很少的时刻，我们的模型真的是要崩溃了。

   我们尽我们最大年夜的尽力重写了原贴中的Leekasso和MLP代码的python版本。你可以在这里获得源码。下面就是每个模型在所采取的样本上的精确率。经由过程最下面的放大年夜图，你可以或许很轻易的知道哪个模型表示最好。

   确保随机梯度降低可以或许收敛 。在原始实验对比中，作者仅仅练习了20轮，如许的话，可能是练习的次数不敷。仅仅有10个样本，仅仅练习了20轮，那么结不雅是我们仅仅进行了200次的梯度更新。然而要想完全的练习一遍我们所有的数据，我们须要6000次的梯度更新。进行上百轮、上千轮练习是很正常的。我们大年夜概会有1000000梯度更新。假若你仅仅计算进行200次的梯度更新，那么你可能须要很大年夜的进修速度，不然的话，你的模型不太可能会收敛。h2o.deeplearning()默认的进修速度是0.005。假若你仅仅是更新几回的话，这个进修速度就太小了。我们使悠揭捉?练200轮的模型，我们会看到在前50轮，模型在样本上的精确率会有很大年夜的波动。所以，我认为模型没有收敛在很大年夜程度上可以或许解释原贴中所不雅察到的差别。

    1/3    1 2 3 下一页 尾页
   
   

   　　推荐阅读

   　　开发者所需要知道的iOS 11 SDK新特性

   年编大年夜了过了能熬夜看 WWDC 的时代了，然则照样在小小宝的哭闹和妈妈大年夜人换尿布的催促中起了个大年夜早。于是算趁着“热乎”把 WWDC 2017 的 Keynote 看完了。和往年差>>>详细阅读

   
   

   本文标题：谁说数据少就不能用深度学习？这锅俺不背！

   地址：http://www.17bianji.com/lsqh/35680.html

    1/2    1