ResNet的构造可以极快地加快超深神经收集的练习，模型的精确率也有异常大年夜的晋升。

ResNet最初的灵感出自这个问题：在赓续加神经收集的深度时，会出现一个Degradation的问题，即精确率会先上升然后达到饱和，再持续增长深度则会导致精确率降低。

这并不是过拟呵９依υ?题，因为不但在测试集上误差增大年夜，练习集本身误差也会增大年夜。假设有一个比较浅的收集达到了饱和的精确率，那么后面再加上几个的全等映射层，起码误差不会增长，即更深的收集不该该带来练习集上误差上升。

而这里提到的应用全等映射直接将前一层输出传到后面的思惟，就是ResNet的灵感来源。假定某段神经收集的输入是x，期望输出是H(x)，如不雅我们直接把输入x传到输出作为初始结不雅，那么此时我们须要进修的目标就是F(x)=H(x)-x。

这就是一个ResNet的残差进修单位(Residual Unit)，ResNet相当于将进修目标改变了，不再是进修一个完全的输出H(x)，只是输出和输入的差别H(x)-x，即残差。

神经认知机中包含两类神经元，用来采取特点的S-cells，还有效来抗形变的C-cells，个中S-cells对应我们如今主流卷积神经收集中的卷积核滤波操作，而C-cells则对应激活函数、最大年夜池化(Max-Pooling)等操作。同时，CNN也是首个成功地进行独裁练习的收集构造，即前面章节提到的LeCun的LeNet5，而全连接的收集因为参数过多及梯度弥散等问题，在早期很难顺利地进行独裁的练习。

上图所示为VGGNet-19，以及一个34层深的通俗卷积收集，和34层深的ResNet收集的比较图。可以看到通俗直连的卷积神经收集和ResNet的最大年夜差别在于，ResNet有很多旁路的支线将输入直接连到后面的层，使得后面的层可以直接进修残差，这种构造也被称为shortcut或skip connections。

传统的卷积层或全连接层在信息传递时，或多或少会存在信息损掉、损耗等问题。ResNet在某种程度上解决了这个问题，经由过程直接将输入信息绕道传到输出，保护信息的完全性，全部统??只须要进修输入、输出差其余那一部分，简化进修目标和难度。

上图所示为ResNet在不合层数时的收集设备，个中基本构造很类似，都是前面提到的两层和三层的残差进修单位的堆叠。

此就将ALexNet、VGGNet、Inception Net、ResNet四种经典的卷积介绍完了，下面我们简单总结一下。我们简单回想卷积神经收集的汗青，上图所示大年夜致勾画出比来几十年卷积神经收集的成长偏向。

Perceptron(感知机)于1957年由Frank Resenblatt提出，而Perceptron不仅是卷积收集，也是神经收集的鼻祖。Neocognitron(神经认知机)是一种独裁级的神经收集，由日本科学家Kunihiko Fukushima于20世纪80年代提出，具有必定程度的视觉认知的功能，并直接启发了后来的卷积神经收集。

LeNet-5由CNN之父Yann LeCun于1997年提出，初次提出了独裁级联的卷积构造，可敌手写数字进行有效辨认。可以看到前面这三次关于卷积神经收集的技巧冲破，距离时光异常长，须要十余年甚至更久才出现一次理论立异。

作者介绍

而后于2012年，Hinton的学生Alex依附8层深的卷积神经收集一举获得了ILSVRC 2012比赛的冠军，刹时点燃了卷积神经收集研究的高潮。AlexNet成功应用了ReLU激活函数、Dropout、最大年夜覆盖池化、LRN层、GPU加快等新技巧，并启发了后续更多的技巧立异，卷积神经收集的研究大年夜此进入快车道。

在AlexNet之后，我们可以姑息积神经收集的成长分为两类，一类是收集构造上的改进调剂(图6-18中的左侧分支)，另一类是收集深度的增长(图18中的右侧分支)。

Google Inception Net初次涌如今ILSVRC 2014的比赛中(和VGGNet同年)，就以较大年夜优势取得了第一名。那届比赛中的Inception Net平日被称为Inception V1，它最大年夜的特点是控制了计算量和参数量的同时，获得了异常好的分类机能——top-5缺点率6.67%，只有AlexNet的一半不到。

小结

2013年，颜水成传授的Network in Network工作初次揭橥，优化了卷积神经收集的构造，并推广了1*1的卷积构造。在改进卷积收集构造的工作中，后继者还有2014年的Google Inception Net V1，提出了Inception Module这个可以反复堆叠的高效的卷积收集构造，并获得了昔时ILSVRC比赛的冠军。

而右侧分支上，很多研究工作则致力于加深收集层数，2014年，ILSVRC比赛的亚军VGGNet全程应用3*3的卷积，成功练习了深达19层的收集，昔时的季军MSRA-Net也应用了异常深的收集。

2015年，微软的ResNet成功练习了152层深的收集，一举拿下了昔时ILSVRC比赛的冠军，top-5缺点率降低至3.46%。

我们可以看到，自AlexNet于2012年提出后，深度进修范畴的研究成长极其敏捷，根本膳绫强年甚至每几个月都邑出现新一代的技巧。新的技巧往往伴跟着新的收集构造，更深的收集的练习办法等，并在图像辨认等范畴赓续创造新的精确率记录。

CNN的技巧日新月异，当然个中弗成忽视的推动力是，我们拥有了更快的GPU计算资本竽暌姑以实验，以及异常便利的开源对象(比如TensorFlow)可以绕揭捉?究人员快速地进行摸索和测验测验。在以前，研究人员如不雅没有像Alex那样高超的编程实力能本身实现cuda-convnet，可能都没办法设计CNN或者快速地进行实验。

　　推荐阅读

　　Docker更名Moby，也是无奈之举

事实上很好懂得，提起Docker很多人的第一反竽暌功是这是一个开源项目，而不是一个产品或者一个公司，这对于Docker公司很难堪。这事理就如同Linux范畴的RedHat，假如红帽公司名叫Linux，还>>>详细阅读

本文标题：CNN浅析和历年ImageNet冠军模型解析

地址：http://www.17bianji.com/lsqh/34972.html

 1/2    1