为什么大家都不戳破深度学习的本质？！

自负年夜客岁 AlphaGo 完虐李世乭，深度进修火了。但似乎没人说得清它的道理，只是把它算作一个黑箱来使。有人说，深度进修就是一个非线性分类器？有人说，深度进修是对人脑的模仿……但我认为都没有捅透那层窗户纸。

边沿辨认：最基层是视网膜细胞；当某个视网膜细胞组合被激活后，会激活其上一层的响应神经元；而上一层神经元的某个组合被激活后，又会链式地激活更上一层的神经元如不雅我们把时光的身分推敲进去，假设旌旗灯号并不会立时消掉，而是跟着时光衰减，那么只要时光够短，输入 (#1, #4, #7)、(#2, #5, #8)、(#3, #6, #9) 这三组刺激，就会在第三层激活某个神经元，代表「发明一条竖线」。

看，其实每一个神经元都是一个「单词」（或是「概念」／「抽象」／「特点」）。只不过低层神经元描述的「单词」抽象程度更低。比如：第二层那个 #(1, 4, 7) 神经元代表的是「在视网膜的最左边出现一条竖线」，而其上层那个则没有「在视网膜的最左边」这一束缚。

记忆的角色

抽象的本质

当我们想要提取某段记忆时，往往只须要只言片语就行了。也就是说，记忆似乎是以一种全息的情势存储的。任何片段都包含了全部。

神经元可以在 5 毫秒内完成信息的收集-整合-输出，相当于运算速度为每秒 200 次。仁攀类可以在半秒内（相当于 100 步）辨认图像、作出选择…… 100 步，机械可做不到。在仁攀类已知的算法琅绫擎，也许只有「打表」（把谜底事先存储在记忆中，用时并不作计算，而只是提取）可以做到。所以，全部大年夜脑皮层就是一个记忆体系，而非什么计算机。

深度进修做对了什么？

独裁收集，供给了逐层抽象的通道。如今，图像辨认体系恰是这么做的：底层辨认边沿，而后辨认特定外形，再高层辨认某种特点……

卷积，供给了获得「恒定表征」的手段。

还有什愦我们不知道？

还有，我们依然不知道大年夜脑是怎么在 100 步内完成决定计划的。我们也不知道为什么会有那么多反馈连接？轴突 v.s. 树突在功能上有什么分别？……

如今让我们回过火来看作者的三个洞见，用黑话再讲一遍就是：