1、将练习样本经由过程神经收集进行前向传播计算。

我们来练习一个自编码器(应用反向传播)，六个输入、六个输出神经元，而只有两个隐含神经元。

在经由几百次迭代今后，我们发明，每当一个“生病”的样本输入时，两个隐含层神经元中的一个(对于生病的样本老是这个)老是显示出更高的激活值。而如不雅输入一个“健康”样本时，另一个隐含层则会显示更高的激活值。

再看进修

本质上来说，这两个隐含神经元大年夜数据集中进修到了流感症状的一种紧致表示办法。为了考验它是不是真的实现了进修，我们再看下过度拟呵９依υ?题。经由过程练习我们的神经收集进修到的是一个紧致的简单的，而不是一个高度复杂且对数据集过度拟合的表示办法。

某种程度上来讲，与其说袈溱找一种简单的表示办法，我们更是在测验测验大年夜“感到”上去进修数据。

受限波尔兹曼机

下一步来看下受限波尔兹曼机(Restricted Boltzmann machines RBM)，一种可以在输入数据集上进修概率分布的生成随机神经收集。

RBM由隐含层、可见层、偏置层构成。和前馈神经收集不合，可见层和隐含层之间的连接是无偏向性(值可以大年夜可见层->隐含层或隐含层->可见层随便率性传输)且全连接的(每一个当前层的神经元与下一层的每个神经元都有连接——如不雅许可随便率性层的随便率性神经元连接到随便率性层去，我们就获得了一个波尔兹曼机(非受限的))。

标准的RBM中，隐含和可见层的神经元都是二态的(即神经元的激活值只能是服大年夜伯尽力分布的0或1)，不过也存在其它非线性的变种。

1、经由过程反向传播的办法应用所稀有据对第一层的自编码器进行练习(t=1，上图中的红色连接部分)。

固然学者们已经研究RBM很长时光了，比来出现的比较差别无监督练习算法使这个范畴中兴。

比较差别

单步比较差别算法道理：

1、正向过程：

v 经由过程一种与前馈收集类似的办法传播到隐含层中，隐含层的激活值为 h。

2、反向过程：

将 h 传回可见层获得 v’ (可见层和隐含层的连接是无偏向的，可以如许传)。

再将 v’ 传到隐含层中，获得 h’。

3、权重更新：

个中 a 是进修速度， v, v’, h, h’ 和 w 都是向量。

算法的思惟就是在正向过程中影响了收集的内部对于真实数据的表示。同时，反向过程中测验测验经由过程这个被影响过的表示办法重建数据。重要目标是可以使生成的数据与原数据尽可能类似，这个差别影响了权重更新。

换句话说，如许的收集具有了感知对输入数据表示的程度的才能，并且测验测验经由过程这个感知才能重建数据。如不雅重建出来的数据与原数据差别很大年夜，那么进行调剂并再次重建。

为了解释比较差别，我们应用与上例雷同的流感症状的数据集。测试收集是一个包含6个可见层神经元、2个隐含层神经元的RBM。我们用比较差别的办法对收集进行练习，将症状 v 赋到可见层中。在测试中，这些症状值被从新传到可见层;然后再被传到隐含层。隐含层的神经元表示健康/生病的状况，与自编码器类似。

在进行过几百次迭代后，我们获得了与自编码器雷同的结不雅：输入一个生病样本，个一一个隐含层神经元具有更高激活值;输入健康的样本，则另一个神经元更高兴。

深度收集

到如今为止，我们已经进修了隐含层中强大年夜的特点探测器——自编码器和RBM，但如今还没有办法有效的去应用这些功能。实际上，膳绫擎所用到的┞封些数据集都是特定的。而我们要找到一些办法来借居的应用这些探测出的特点。

好消息是，已经发明这些构造可以经由过程栈式叠加来实现深度收集。这些收集可以经由过程贪婪法的思惟练习，每次练习一层，以克服之前提到在反向传播中梯度消掉及过度拟呵９依υ?题。

如许的算法架构十分强大年夜，可以产生很好的结不雅。如Google有名的“猫”辨认，在实验中经由过程应用特定的深度自编码器，在无标记的图片库中进修到人和猫脸的辨认。

下面我们将更深刻。

栈式自编码器

和名字一样，这种收集由多个栈式浇忧⒛自编码器构成。

我们大年夜如下的基本部分开端：

• NeuralNetworkImpl 是所有神经收集模型实现的基类。
• 每个收集都包含有一个 layer 的集合。
• 每一层中有一个 connections 的链表， connection 指的昵嘟个层之间的连接，将全部收集构成一个有向无环图。

自编码器的隐含层 t 会作为 t + 1 层的输入层。第一个输入层就是全部收集的输入层。应用贪婪法练习每一层的步调如下：

2、练习第二层的自编码器 t=2 (绿色连接部分)。因为 t=2 的输入层是 t=1 的隐含层，我们已经不再关怀 t=1 的输入层，可以大年夜全部收集中移除。全部练习开端于将输入样本数据赋到 t=1 的输入层，经由过程前向传播至 t = 2 的输出层。下面t = 2的权重(输入->隐含和隐含->输出)应用反向传播的办法进行更新。t = 2的层和 t=1 的层一样，都要经由过程所有样本的练习。

3、对所有层反复步调1-2(即移除前面自编码器的输出层，用另一个自编码器替代，再用反向传播进行练习)。

4、步调1-3被称为预练习，这将收集里的权重值初始化至一个合适的地位。然则经由过程这个练习并没有获得一个输入数据到输出标记的映射。例如，一个收集的目标是被练习用来辨认手写数字，经由如许的练习后还不克不及将最后的特点探测器的输出(即隐含层中最后的自编码器)对应到图片的标记上去。如许，一个平日的办法是在收集的最后一层(即蓝色连接部分)后面再加一个或多个全连接层。全部收集可以被看作是一个独裁的感知机，并应用反向传播的办法进行练习(这步也被称为微调)。

　　推荐阅读

　　机器学习在恶意软件检测中的应用

2、其次，我们须要大年夜样本中提取有意义的特点，这些特点也是我们研究的基本。所谓的特点指的就是可以或许描述对象的那些属性，比如，一栋房子的特点包含：房间数、房屋面积、房屋价格等>>>详细阅读

本文标题：深度学习概述：从感知机到深度网络

地址：http://www.17bianji.com/lsqh/34784.html

 1/2    1