⽹络的输⼊层包含给输⼊像素的值进⾏编码的神经元，我们给⽹络的练习数据话苄很多扫描获得的 28×28 的⼿写数字的图像构成，所有输⼊层包含有 784 = 28×28个神经元。为了简化，上图中我已经忽视了 784 中⼤部分的输⼊神经元。输⼊像素是灰度级的，值为 0.0 表⽰⽩⾊，值为 1.0 表⽰⿊⾊，中心数值表⽰逐渐暗淡的灰⾊。

⽹络的第⼆层是⼀个隐蔽层，我们⽤ n 来表⽰神经元的数量，⽰例中⽤⼀个⼩的隐蔽层来解释，仅仅包含 n = 15 个神经元，⽹络的输出层包含有 10 个神经元。如不雅第⼀个神经元激活，即输出 ≈ 1，那么注解⽹络认为数字是⼀个 0。如不雅第⼆个神经元激活，就注解⽹络认为数字是⼀个 1。依词攀类推。更确切地说，我们把输出神经元的输出付与编号 0 到 9，并计算出那个神经元有最⾼的激活值。⽐如，如不雅编号为 6 的神经元激活，那么我们的⽹络会猜到输⼊的数字是 6。

为什愦我们⽤ 10 个输出神经元，毕竟我们的义务是能让神经⽹络告诉我们哪个数字(0,1,2,...,9 )能和输⼊图⽚匹配。⼀个看起来更⾃然的⽅式就是使⽤ 4 个输出神经元，如许做难道效力不低吗?最终的断定是基于经验主义的：我们可以实验两种不合的⽹络设计，结不雅证实对于这个特定的问题⽽⾔，10 个输出神经元的神经⽹络⽐ 4 个的辨认效不雅更好。

畏敲?解为什愦我们这么做，我们须要大年夜根来源基本理上懂得神经⽹络毕竟在做些什么。⾸先推敲有 10 个神经元的情况。我们⾸先推敲第⼀个输出神经元，它告诉我们⼀个数字是不是 0，它能那么做是因为可以衡量大年夜隐蔽层来的信息。隐蔽层的神经元在做什么呢?假设隐蔽层的第⼀个神经元只是⽤于检测如下的图像是否存在：

为了达到这个⽬的，它经由过程对此图像对应部分的像素付与较⼤权重，对其它部分付与较⼩的权重，同理，我们可以假设隐蔽层的第⼆，第三，第四个神经元是为检测下列图⽚是否存在：

就像你能猜到的，这四幅图像组合在⼀起构成了前⾯显⽰的⼀⾏数字图像中的 0：

如不雅所有隐蔽层的┞封四个神经元被激活那么我们就可以揣摸出这个数字是 0，当然，这不是我们揣摸出 0 的唯⼀⽅式，假设神经⽹络以上述⽅式运⾏，我们可以给出⼀个貌似合理的来由去解释为什么⽤ 10 个输出⽽不是 4 个，如不雅我们有 4 个输出，那么第⼀个输出神经元将会尽⼒去断定数字的最⾼有效位是什么，把数字的最⾼有效位和数字的外形接洽起来并不是⼀个简单的问题，很难想象出有什么恰当的汗青原因，⼀个数字的外形要素会和⼀个数字的最⾼有效位有什么慎密接洽。

这个启发性的⽅法平日很有效，它会节俭你⼤量时光去设计⼀个好的神经⽹络构造，笔者很爱好这种试图大年夜道的层面解释神经收集的办法，它让我们对于神经收集的熟悉能更深一点，而不是吠形吠声。

Part 3

使⽤梯度降低算法进⾏进修

这一节你能懂得神经收集到底要计算什么?为什么要这么计算?

如今我们有了神经⽹络的设计，它如何可以进修辨认数字呢?我们须要的第⼀样器械是⼀个⽤来进修的数据集 —— 称为练习数据集。我们将使⽤ MNIST 数据集，其包含稀有以万计的连带着精确分类器的⼿写数字的扫描图像，MNIST 数据分为两个部分。第⼀部分包含 60,000 幅⽤于练习数据的图像。这些图像扫描⾃250 ⼈的⼿写样本，他们中⼀半⼈是美国⼈⼝普查局的员⼯，⼀半⼈是⾼校学⽣，这些图像是28 × 28 ⼤⼩的灰度图像，第⼆部分是 10,000 幅⽤于测试数据的图像，同样是 28 × 28 的灰度图像，我们将⽤这些测试数据来评估我们的神经⽹络学会辨认数字有多好。

这一节告诉你神经收集长什么模样?

这⾥ w 表⽰所有的⽹络中权重的集合，b 是所有的偏置，n 是练习输⼊数据的个数，a 是表⽰当输⼊为 x 时输出的向量，乞降则是在总的练习输⼊ x 长进⾏的。当然，输出 a 取决于 x, w和 b。

我们把 C 称为⼆次价值函数;有时也称被称为均⽅误差或者 MSE。不雅察⼆次价值函数的情势我们可以看到 C(w,b) 是⾮负的，因为乞降公式中的每⼀项都是⾮负的。此外，价值函数 C(w,b)的值相当⼩，即 C(w,b) ≈ 0，精确地说，是当对于所有的练习输⼊ x，y(x) 接近于输出 a 时，是以如不雅我们的进修算法能找到合适的权重和偏置，使得 C(w,b) ≈ 0，它就能很好地⼯作，是以我们的练习算法的⽬的，是最⼩化权重和偏置的价值函数 C(w,b)，换句话说，我们想要找到⼀系列能让价值尽可能⼩的权重和偏置，我们将采⽤称为梯度降低的算法来达到这个⽬的。

　　推荐阅读

　　中国云计算：未成曲调 已有硝烟

《2016年度中国云办事及云存储市场分析申报》于近日宣布，经由过程对云办事及云存储市场全方位分析，揭示市场近况。数据显示，2016年，中国云办事市场范围达到516.6亿元。估计2017年，中国>>>详细阅读

本文标题：理解深度学习的钥匙 –启蒙篇

地址：http://www.17bianji.com/lsqh/34781.html

 1/2    1