如上图所示，两个3*3的卷积层串联相当于1个5*5的卷积层，即一个像素会跟四周5*5的像素产生接洽关系，可以说感触感染野大年夜小为5*5。而3个3*3的卷积层串联的效不雅则相当于1个7*7的卷积层。除此之外，3个串联的3*3的卷积层，拥有比1个7*7的卷积层更少的参数量，只有后者的55%。

我们再总结一下，卷积神经收集的要点就是局部连接(Local Connection)、权值共享(Weight Sharing)和池化层(Pooling)中的降采样(Down-Sampling)。

最重要的是，3个3*3的卷积层拥有比1个7*7的卷积层更多的非线性变换(前者可以应用三次ReLU激活函数，而后者只有一次)，使得CNN对特点的进修才能更强。

作者在比较各级收集时总结出了以下几个不雅点。

1. LRN层感化不大年夜。
2. 越深的收集效不雅越好。
3. 1*1的卷积也是很有效的，然则没有3*3的卷积好，大年夜一些的卷积核可以进修更大年夜的空间特点。

InceptionNet技巧特点概要

Inception V1有22层深，比AlexNet的8层或者VGGNet的19层还要更深。但其计算量只有15亿次浮点运算，同时只有500万的参数量，仅为AlexNet参数量(6000万)的1/12，却可以达到远胜于AlexNet的精确率，可以说是异常优良并且异常实用的模型。

Inception V1降低参数量的目标有两点：第一，参数越多模型越宏大年夜，须要供模型进修的数据量就越大年夜，而今朝高质量的数据异常昂贵;第二，参数越多，消费的计算资本也会更大年夜。

Inception V1参数少但效不雅好的原因除了模型层数更深、表达才能更强外，还有两点：一是去除了最后的全连接层，用全局平均池化层(即将图片尺寸变为1*1)来代替它。全连接层几乎占据了AlexNet或VGGNet中90%的参数量，并且会引起过拟合，去除全连接层后模型练习更快并且减轻了过拟合。

二是Inception V1中精心设计的Inception Module进步了参数的应用效力，其构造如图10所示。这一部分也借鉴了Network In Network的思惟，形象的解释就是Inception Module本身如同大年夜收集中的一个小收集，其构造可以反复堆叠在一路形成大年夜收集。

我们再来看Inception Module的根本构造，个中有4个分支：第一个分支对输入进行1*1的卷积，这其实也是NIN中提出的一个重要构造。1*1的卷积是一个异常优良的构造，它可以跨通道组织信息，进步收集的表达才能，同时可以对输出通道升维和降维。

可以看到Inception Module的4个分支都用到了1*1卷积，来进行低成本(计算量比3*3小很多)的跨通道的特点变换。

第二个分支先应用了1*1卷积，然后连接3*3卷积，相当于进行了两次特点变换。第三个分支类似，先是1*1的卷积，然后连接5*5卷积。最后一个分支则是3*3最大年夜池化后直接应用1*1卷积。

Inception Module的4个分支在最后经由过程一个聚合操作归并(在输出通道数这个维度上聚合)。

同时，Google Inception Net照样一个大年夜家族，包含：

• 2014年9月的论文Going Deeper with Convolutions提出的Inception V1(top-5缺点率6.67%)。
• 2015年2月的论文Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate提出的Inception V2(top-5缺点率4.8%)。
• 2015年12月的论文Rethinking the Inception Architecture for Computer Vision提出的Inception V3(top-5缺点率3.5%)。
• 2016年2月的论文Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning提出的Inception V4(top-5缺点率3.08%)。

Inception V2进修了VGGNet，用两个3*3的卷积代替5*5的大年夜卷积(用以降低参数量并减轻过拟合)，还提出了有名的Batch Normalization(以下简称BN)办法。BN是一个异常有效的┞俘则化办法，可以让大年夜型卷积收集的练习速度加快很多倍，同时收敛后的分类精确率也可以获得大年夜幅进步。

BN在用于神经收集某层时，会对每一个mini-batch数据的内部进行标准化(normalization)处理，使输出规范化到N(0,1)的┞俘态分布，削减了Internal Covariate Shift(内部神经元分布的改变)。

BN的论文指出，传统的深度神经统??练习时，每一层的输入的分布都在变更，导致练习变得艰苦，我们只能应用一个很小的进修速度解决这个问题。而对每一层应用BN之后，我们就可以有效地解决这个问题，进修速度可以增大年夜很多倍，达到之前的精确率所须要的迭代次数只有1/14，练习时光大年夜大年夜缩短。

而达到之前的精确率后，可以持续练习，并最终取得远超于Inception V1模型的机能——top-5缺点率4.8%，已经优于人眼程度。因为BN某种意义上还起到了正则化的感化，所以可以削减或者撤消Dropout，简化收集构造。

ResNet技巧特点概要

卷积神经收集可以应用空间构造关系削减须要进修的参数量，大年夜而进步反向传播算法的练习效力。在卷积神经收集中，第一个卷积层会直接接收图像像素级的输入，每一个卷积操作只处理一小块图像，进行卷积变更后再传到后面的收集，每一层卷积(也可以说是滤波器)都邑提取数据中最有效的特点。这种办法可以提取到图像中最基本的特点，比如不合偏向的边或者拐角，而后再进行组合和抽象形成更高阶的特点，是以CNN可以应对各类情况，理论上具有对图像缩放、平移和扭转的不变性。

ResNet(Residual Neural Network)由微软研究院的Kaiming He等4名华人提出，经由过程应用Residual Unit成功练习152层深的神经收集，在ILSVRC 2015比赛中获得了冠军，取得3.57%的top-5缺点率，同时参数量却比VGGNet低，效不雅异常凸起。

　　推荐阅读

　　Docker更名Moby，也是无奈之举

事实上很好懂得，提起Docker很多人的第一反竽暌功是这是一个开源项目，而不是一个产品或者一个公司，这对于Docker公司很难堪。这事理就如同Linux范畴的RedHat，假如红帽公司名叫Linux，还>>>详细阅读

本文标题：CNN浅析和历年ImageNet冠军模型解析

地址：http://www.17bianji.com/lsqh/34972.html

 1/2    1