我们可以发明一个比较有意思的现象，在前几个卷积层，固然计算量很大年夜，但参数量很小，都在1M阁下甚至更小，只占AlexNet总参数量的很小一部分。这就是卷积层有效的处所，可以经由过程较小的参数量提取有效的特点。
每年度的ILSVRC比赛数据集中大年夜概拥有120万张图片，以及1000类的标注，是ImageNet全部数据的一个子集。比赛一般采取top-5和top-1分类缺点率作为模型机能的评测指标，上图所示为AlexNet辨认ILSVRC数据集中图片的情况，每张图片下面是分类猜测得分最高的5个分类及其分值。
AlexNet技巧特点概要
AlexNet是现代深度CNN的奠定之作。
2012年，Hinton的学生Alex Krizhevsky提出了深度卷积神经收集模型AlexNet，它可以算是LeNet的一种更深更宽的版本。AlexNet中包含了几个比较新的技巧点，也初次在CNN中成功应用了ReLU、Dropout和LRN等Trick。同时AlexNet也应用了GPU进交运算加快，作者开源了他们在GPU上练习卷积神经收集的CUDA代码。
AlexNet包含了6亿3000万个连接，6000万个参数和65万个神经元，拥有5个卷积层，个中3个卷积层后面连接了最大年夜池化层，最后还有3个全连接层。AlexNet以明显的优势博得了竞争激烈的ILSVRC 2012比赛，top-5的缺点率降低至了16.4%，比拟第二名的成就26.2%缺点率有了巨大年夜的晋升。
AlexNet可以说是神经统??低谷期后的第一次发声，确立了深度进修(深度卷积收集)在计算机视觉的统治地位，同时也推动了深度进修在语音辨认、天然说话处理、强化进修等范畴的拓展。
AlexNet将LeNet的思惟发扬光大年夜，把CNN的基来源基本理应用到了很深很宽的收集中。AlexNet重要应用到的新技巧点如下。
- 成功应用ReLU作为CNN的激活函数，并验证其效不雅在较深的收集跨越了Sigmoid，成功解决了Sigmoid在收集较深时的梯度弥散问题。固然ReLU激活函数在良久之前就被提出了，然则直到AlexNet的出现才将其发扬光大年夜。
- 练习时应用Dropout随机忽视一部分神经元，以避免模型过拟合。Dropout虽有零丁的论文阐述，然则AlexNet将其实用化，经由过程实践证实了它的效不雅。在AlexNet中主如果最后几个全连接层应用了Dropout。
- 在CNN中应用重叠的最大年夜池化。此前CNN中广泛应用平均池化，AlexNet全部应用最大年夜池化，避免平均池化的模糊化效不雅。并且AlexNet中提出让步长比池化核的尺寸小，如许池化层的输出之间会有重叠和覆盖，晋升了特点的丰富性。
- 提出了LRN层，对局部神经元的晃荡创建竞争机制，使得个中响应比较大年夜的值变得相对更大年夜，并克制其他反馈较小的神经元，加强了模型的泛化才能。
- 应用CUDA加快深度卷积收集的练习，应用GPU强大年夜的并行计算才能，处费心经收集练习时大年夜量的矩阵运算。AlexNet应用了两块GTX 580 GPU进行练习，单个GTX 580只有3GB显存，这限制了可练习的收集的最大年夜范围。是以作者将AlexNet分布在两个GPU上，在每个GPU的显存中储存一半的神经元的参数。
- 数据加强，随机地大年夜256*256的原始图像中朝长进步224*224大年夜小的区域(以及程度翻转的镜像)，相当于增长了(256224)2*2=2048倍的数据量。如不雅没稀有据加强，仅靠原始的数据量，参数浩瀚的CNN会陷入过拟合中，应用了数据加强后可以大年夜大年夜减轻过拟合，晋升泛化才能。进行猜测时，则是取图片的四个角加中心共5个地位，并进行阁下翻转，一共获得10张图片，对他们进行猜测并对10次结不雅求均值。
全部AlexNet有8个须要练习参数的层(不包含池化层和LRN层)，前5层为卷积层，后3层为全连接层，上图所示。AlexNet最后一层是有1000类输出的Softmax层用作分类。LRN层涌如今第1个及第2个卷积层后，而最大年夜池化层涌如今两个LRN层及最后一个卷积层后。
AlexNet每层的超参数、参数量、计算量上图所示。
固然每一个卷积层占全部收集的参数量的1%都不到，然则如不雅去掉落任何一个卷积层，都邑使收集的分类机能大年夜幅地降低。
VGGNet技巧特点概要
VGGNet是牛津大年夜学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究察一路研发的的深度卷积神经收集。VGGNet摸索了卷积神经收集的深度与其机能之间的关系，经由过程反复堆叠3*3的小型卷积核和2*2的最大年夜池化层，VGGNet成功地建筑了16~19层深的卷积神经收集。VGGNet比拟之前state-of-the-art的收集构造，缺点率大年夜幅降低，并取得了ILSVRC 2014比赛分类项目标第2名和定位项目标第1名。
VGGNet论文中全部应用了3*3的卷积核和2*2的池化核，经由过程赓续加深收集构造来晋升机能。下图所示为VGGNet各级其余收集构造图，和每一级其余参数量，大年夜11层的收集一向到19层的收集都有详尽的机能测试。
固然大年夜A到E每一级收集逐渐变深，然则收集的参数量并没有增长很多，这是因为参数量重要都消费在最后3个全连接层。前面的卷积部分固然很深，然则消费的参数量不大年夜，不过练习比较耗时的部分依然是卷积，因其计算量比较大年夜。
VGGNet拥有5段卷积，每一段内有2~3个卷积层，同时每段尾部会连接一个最大年夜池化层用来缩小图片尺寸。每段内的卷积核数量一样，越靠后的段的卷积核数量越多：64 – 128 – 256 – 512 – 512。个中经常出现多个完全一样的3*3的卷积层堆叠在一路的情况，这其实是异常有效的设计。
推荐阅读
事实上很好懂得，提起Docker很多人的第一反竽暌功是这是一个开源项目，而不是一个产品或者一个公司，这对于Docker公司很难堪。这事理就如同Linux范畴的RedHat，假如红帽公司名叫Linux，还>>>详细阅读
地址：http://www.17bianji.com/lsqh/34972.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示