如不雅你的神经收集不工作，该怎么办?本文作者列举了搭建神经收集时可能碰到的11个常见问题，包含预处理数据、正则化、进修率、激活函数、收集权重设置等，并供给解决办法和原因解释，是深度进修实践的有效材料。

如不雅你的神经收集不工作，该怎么办?作者在这里列出了建神经收集时所有可能做错的工作，以及他本身的解决经验。

• 忘记规范化数据
• 忘记检查结不雅
• 忘记预处理数据
• 忘记应用正则化
• 应用的batch太大年夜
• 应用了不精确的进修率
• 在最后层应用了缺点的激活函数
• 你的收集包含了Bad Gradients
• 初始化收集权重不精确
• 你应用的收集太深了
• 应用隐蔽单位的数量纰谬
• 忘记规范化数据了

问题描述

在应用神经收集时，思虑若何精确地规范化数据是异常重要的。这是一个无法改变的步调——假如这一步调没有当心、精确地做，你的收集就几乎弗成能工作。因为这个步调异常重要，在深度进修社区中也是众所周知的，所以它很少在论文中被说起，是以初学者经常在这一步掉足。

如何解决?

一般来说，规范化(normalization)的意思是：将数据减去均值，再除以其方差。平日这是对每个输入和输出特点零丁做的，但你可能经常会欲望对特点组做或特别主翼处理某些特点的规范化。

为什么?

我们须要对数据进行规范化的重要原因是大年夜部分的神经收集流程假设输入和输出数据都以一个约是1的标准差和约是0的均值分布。这些假设在深度进修文献中到处都是，大年夜权重初始化、激活函数到练习收集的优化算法。

还须要留意

未练习的神经收集平日会输出约在-1到1范围之间的值。如不雅你欲望输出其他范围的值(例如RBG图像以0-255范围的字节存储)会出现一些问题。在开端练习时，收集会异常不稳定，因为比如说袈浃期值是255，收集产生的值是-1或1——这会被大年夜多半用于练习神经收集的优化算法认为是严重的缺点。这会产生过大年夜的梯度，可能导致梯度爆炸。如不雅不爆炸，那么练习的前几个阶段就是浪费的，因为收集起首进修的是将输出值缩小到大年夜致是预期典范围。如不雅规范化了数据(在这种情况下，你可以简单地将数值除以128再减去1)，就不会产生这些问题。

你忘记检查结不雅了

问题描述

你已经练习了几个epochs的收集，也看到缺点在削减。这是否意味着已经完成了?不幸地告诉你，几乎可以肯定你的代码中还有某些问题。在数据预处理、练习代码、甚至inference中都可能有bug。只是因为缺点率降低了并不料味着你的统??进修有效的器械。

在流程的每个阶段都检查数据是否精确是异常重要的。平日，你须要找到一些可视化结不雅的办法。如不雅是图像数据，那么这很简单，动画数据也不须要很麻烦就能可视化。但如不雅是其他类型的数据，你必须找到可以或许检查结不雅的办法，以确保在预处理、练习和揣摸的每个流程都精确，并将结不雅与ground truth数据进行比较。

为什么?

与传统的编程不合，机械进修体系几乎在所有情况下都邑静静地产生掉败。传统编程过程中，我们习惯了计算机在产生缺点时抛掉足误，并将其作为旌旗灯号返归去检查bug。不幸的是，这个过程不实用于机械进修，是以，我们应当异常当心，在每个阶段用人眼去检查流程，以便知道何时出现bug，何时须要返回并更彻底地检查代码。

还须要留意

有很多办法可以检查收集是否正常工作。一部分办法是为了确切地解释所申报的练习缺点是什么意思。可视化应用于练习集的收集的结不雅——你的收集的结不雅与实践中的ground truth 比拟较若何?你可能会在练习时代将缺点大年夜100降到1，然则如不雅1的缺点仍然是弗成接收的结不雅，那结不雅仍然无法应用。如不雅统??练习集上工作，那就检考验证集——它仍然实用于以前没有见过的数据吗?我的建议是大年夜一开端就习惯于可视化所有内容——不要只在收集不工作时才可视化——要确保在开端测验测验应用不合的神经收集构造之前，你已经检查过完全的流程。这是精确评估一些潜在的不合办法的独一办法。

你忘记预处理数据了

问题描述

大年夜多半数据是很棘手的——平日我们知道的数据是类似的，可以用异常不合的数字表示。以角色动画( character animation)为例：如不雅我们应用角色的关节相对于活动捕获的studio的中间的3D地位来表示数据，那么在某个地位或面向某个偏向履行动作时，相较于在不合的地位、或不合的偏向履行同一个动作，可能会产生大年夜量不合的数字表示。那么我们须要以不合的方法表示数据——例如在一些局部reference框架(例如相对于角色的质量中间)，以便类似的动作有类似的数值表示。

如何解决?

思虑你的特点表示什么——是否有一些简单的transformation，可以确保表示瞎逡祺械的数据点老是获得类似的数值表示?是否有一个局部的坐标体系可以更天然地表示数据——或许是更好的色彩空间——不合的格局?

　　推荐阅读

　　程序员都应该懂一点开源协议

让雷军倍感压力的00后CEO，联袂300名最小年纪仅为10岁出头的员工们，竟豪言：一些三四十岁的老前辈已经看不懂互联网。可就在被查访的短视频方才传递开来的时刻，剧情忽然三百六十度大年夜>>>详细阅读

本文标题：深度学习的这些坑你都遇到过吗？神经网络11大常见陷阱及应对方法

地址：http://www.17bianji.com/lsqh/37227.html

 1/2    1