改进卷积神经网络，你需要这14种设计模式

11)可用的资本决指引着层的宽度

然而，可供选择的输出数量并不是显而易见的，这依附于你的硬件才能以及期望的精确度。

Summation 是一种常用的归并分支的方法。在 ResNets 中，应用总和作为连接的机制可以让每一个分支都能计算残差和整体近似。如不雅输入跳跃连接一向存在，那么 summation 会让每一财揭捉?到精确地器械(例如与输入的差别)。在任何分支都可以被丢弃的收集(例如 FractalNet)中，你应当应用这种方法类保持输出的腻滑。

14)用于竞争的 Maxout

Maxout 被用在你只须要选择一个激活函数的局部竞争收集中。应用乞降以及平均值会包含所有的激活函数，所以不合之处在于 maxout 只选择一个「胜出者」。Maxout 的一个明显的用例是每个分支具有不合大年夜小的内核，而 Maxout 可以包含标准不变性。

提示与技能

除了这些设计模式之外，还出现了几个最新的技能和诀窍，以削减架构的复杂性和练习时光，并且可以应用有噪声的标签。

1)应用调优过的预练习收集

标准化是另一个可以使计算层的工作变得加倍轻易的办法，在实践中被证实可以晋升练习和精确率。批量标准化(batch normalization)的创造者认为原因在于处理内部的协变量，然则 Smith 认为，「标准化把所有层的输入样本放在了一个平等的基本上(类似于一种单位转换)，这许可反向传播可以更有效地练习」。

「如不雅你的视觉数据和 ImageNet 类似，那么应用预练习收集会赞助钠揭捉?习得更快」，机械进修公司 Diffbot 的 CEO Mike Tung 解释说。低程度的卷积神经收集平日可以被反复应用，因为它们大年夜多可以或许检测到像线条以及边沿这些模式。将分类层用你本身的层调换，并且用你特定的数据去练习最后的几个层。

2)应用 freeze-drop-path

4)增长对称性

【编辑推荐】

大年夜数据、机械进修与深度进修类敕令行对象汇总
主动化机械进修将成为下一?AI研究主流？听听数据科学家怎么说
Python机械进修拭魅战：信用卡讹诈检测
应用一点机械进修来加快你的网站
开辟者弹药库进级推荐五个机械进修框架

【义务编辑：51CTO_OS TEL：（010）68476606】

Drop-path 会在练习的迭代过程中随机地删除一些分支。Smith 测试了一种相反的办法，它被称为 freeze-path，就是一些路径的权重是固定的、弗成练习的，而不是整体删除。因为下一?分支比以前的分支包含更多的层，并且精确的内容加倍轻易近似获得，所以收集应当会获得更好的精确度。

3)使悠揭捉?环的进修率

12)Summation Joining

关于进修率的实验会消费大年夜量的时光，并且会让你碰到缺点。自适应进修率在计算上可能是异常昂贵的，然则轮回进修率不会如许。使悠揭捉?环进修率(CLR)时，你可以设置一组最大年夜最小界线，在界线范围内改变进修率。Smith 甚至还在论文《Cyclical Learning Rates for Training Neural Networks》中供给了盘似揭捉?习率的最大年夜值和最小值的办法。参考：https://arxiv.org/pdf/1506.01186.pdf

4)在有噪声的标签中应用 bootstrapping

在实际中，很多半据都是纷乱的，标签都是主不雅性的或者是缺掉的，并且猜测的对象可能是练习的时刻不曾碰到过的。Reed 等人在文┞仿《TRAINING DEEP NEURAL NETWORKS ON NOISY LABELS WITH BOOTSTRAPPING》中描述了一种给统??测目标注入一致性的办法。直不雅地讲，这可以奏效，经由过程使收集应用对情况的已知表示(隐含在参数中)来过滤可能具有不一致的练习标签的输入数据，并在练习时清理该数据。参考：https://arxiv.org/pdf/1412.6596

5)采取有 Maxout 的 ELU，而不是 ReLU

ELU 是 ReLU 的一个相对腻滑的版本，它能加快收敛并进步精确度。与 ReLU 不合，ELU 拥有负值，许可它们以更低的计算复杂度将平均单位激活推向加倍接近 0 的值，就像批量标准化一样参考论文《FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)》，https://arxiv.org/pdf/1511.07289.pdf。如不雅您运器具有全连接层的 Maxout，它们是特别有效的。

2/2 首页上一页 1 2

　　推荐阅读

　　Docker战略结盟Rancher，提供企业级容器落地技术支持

2013年3月，Docker公司宣布第一代Docker Hub——宣布和应用Docker容器镜像的官方平台;2014年6月，Docker 1.0正式宣布;而今天，Docker容器镜像拉取数已超20亿次，这是IT成长过程中大年夜未竽暌剐过的某一技>>>详细阅读

本文标题：改进卷积神经网络，你需要这14种设计模式

地址：http://www.17bianji.com/lsqh/34832.html

1/2 1