Gated 轮回单位是 LSTM 的一种变体。它们也是用门防止信息损掉，但页就两种门：更新门（update) 和重置门（reset)。这略微缺乏表示力，但更快。因为它们在处处都有更少的连接。其实，LSTM 和 GRU 之间有两个不合：GRU 没有输出门保护的隐单位态，而是把输入和遗忘门结合成了一个更新门。个中的思路是，如不雅你想要大年夜量的新信息，可以遗忘一些旧信息（或者相反）。
层
2016 年 9 月，Fjodor Van Veen 写了一篇名为《The Neural Network Zoo》的文┞仿（详见图文并茂的神经收集架构大年夜盘点：大年夜基来源基本理到衍生关系 ），周全盘点了神经收集的大年夜量框架，并绘制了直不雅示意图进行解释。近日，他又揭橥了一篇题为《The Neural Network Zoo Prequel:Cells and Layers》文┞仿，该文是其上篇文┞仿的前篇，对于文中涉及但没有深刻展开的神经收集的单位与层的部分再次做了一个图文并茂的介绍。
精力经元连接成图的最基本方法是将一切互相连接，这可以在 Hopfield 收集和玻尔兹曼机中看到。当然，这意味着连接的数量会有指数级的增长，但表示力是不折不扣的。这被称为全连接。
而后，有人发明将收集分成不合的层是有效的，个一一层的一系列或一组神经元之间不连接，但与其他组的神经元相连接。例如受限玻尔兹曼机中的收集层。如今，应用层的不雅念已经推广到了任何数量的层，在几乎所有的架构中都能看到。这也被称为全连接（可能有点混淆），因为实际上完全连接的收集很不常见。
另一个选择当然就是随机连接神经元了（randomly connected neurons）。它也有两个重要变体：许可一部分所有可能的连接，或者连接层之间神经元的一部分。随机连接有利于线性地削减收集的表示，可被用于陷入表示问题的大年夜型收集的全连接层。在某些情况下，有更多神经元的更稀少的连接层表示更好，特别是当有大年夜量的信息须要存储，但不须要交换时（有点类似于卷积连接层的效力，但倒是随机的）。就像 ELM、ESN 和 LSM 中看到的，异常稀少的连接体系（1% 或 2%）也会被用到。特别是在脉冲收集（spiking network）中，因为一个神经元有越多的连接，每个权重携带的能量越少，意味着越少的传播和模式反复。
延时连接是指神经元间并非早年面的层获得信息，而是大年夜以前获得信息（大年夜部分是之前的迭代）。这使得时光信息（时光、时序）可被存储。这类连接有时要手动重置，大年夜而清除收集的「state」。与惯例连接的重要不合是这些连接持续在变更，甚至在收集没被练习时。
下图展示了以膳绫氰述内容的一些小样本收集及其连接。在不知道什么连接什么时，我就会应用它（特别是在做 LSTM 或 GRU cell 时）：
【编辑推荐】
- 大年夜集成办法到神经收集：主动驾驶技巧中的机械进修算法有哪些？
- NNabla：索尼开源的一款神经收集框架
- 应用认贴心理学解释深度神经收集：DeepMind新研究破解AI黑箱问题
- MIT 提出Network Dissection框架，全主动窥测神经收集练习的黑箱
- DeepMind解密黑箱第一步：本来神经收集的认知道理和仁攀类是一样的！
推荐阅读
众所周知，Java 的生态情况相当宏大年夜，包含了数量相当可不雅的官方及第三方库。应用这些库，可以解决在用 Java 开辟时碰到的各类问题，闪开辟效力获得明显晋升。举些例子，最常用的官>>>详细阅读
地址：http://www.17bianji.com/lsqh/36051.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示