栈式自编码器，供给了一种有效的预练习办法来初始化收集的权重，如许你获得了一个可以用来练习的复杂、独裁的感知机。

风行感冒

深度信度收集

和自编码器一样，我也可以将波尔兹曼机进行栈式叠加来构建深度信度收集(DBN)。

1. 经由过程比较差别法对所有练习样本练习第一个RBM t=1

再看风行感冒的例子

2. 练习第二个RBM t=1。因为 t=2 的可见层是 t=1 的隐含层，练习开端于将数据赋至 t=1 的可见层，经由过程前向传播的办法传至 t=1 的隐含层。然后作为 t=2 的比较差别练习的初始数据。

3. 对所有层反复前面的过程。

4. 和栈式自编码器一样，经由过程预练习后，收集可以经由过程连接到一个或多个层间全连接的 RBM 隐含层进行扩大。这构成了一个可以经由过程反向传僠进行微调的独裁感知机。

本过程和栈式自编码器很类似，只是用RBM将自编码器进行调换，并用比较差别算法将反向传播进行调换。

这个是本文最后一个软件架构——卷积收集，一类特别的对图像辨认异常有效的前馈收集。

缺点

在我们深刻看实际的卷积收集之臆，我们先定义一个图像滤波器，或者称为一个赋有相干权重的方阵。一个滤波器可以应用到全部图片上，平日可以应用多个滤波器。比如，你可以应用四个6x6的滤波器在一张图片上。然后，输出中坐标(1,1)的像素值就是输入图像左上角一个6x6区域的加权和，其泥像素也是如斯。

有了膳绫擎的基本，我们来介绍定义出卷积收集的属性：

• 卷积层 对输入数据应用若干滤波器。比如图像的第一卷积层应用4个6x6滤波器。对图像应用一个滤波器之后的获得的结不雅被称为特点图谱(feature map, FM)，特点图谱的数量和滤波器的数量相等。如不雅前驱层也是一个卷积层，那么滤波器应用在FM上，相当于输入一个FM，输出别的一个FM。大年夜直觉上来讲，如不雅将一个权重分布到全部图像上后，那么这个特点就和地位无关了，同时多个滤波器可以分别探测出不合的特点。
• 下采样层 缩减输入数据的范围。例如输入一个32x32的图像，并且经由过程一个2x2的下采样，那么可以获得一个16x16的输出图像，这意味着原图像上的四个像素归并成为输出图像中的一个像素。实现下采样的办法有很多种，最常见的是最大年夜值归并、平均值归并以及随机归并。
• 最后一个下采样层(或卷积层)平日连接到一个或多个全连层，全连层的输出就是最终的输出。
• 练习过程经由过程改进的反向传播实现，将下采样层作为推敲的身分并基于所有值来更新卷积滤波器的权重。

可以在这看几个应用在 MNIST 数据集上的卷积收集的例子，在这还有一个用JavaScript实现的一个可视的类似收集。

实现

概括来讲，我的目标是实现一个深度进修的看维即一个基于神经收集且知足如下前提的框架：

training 的模块实现了多种练习算法。这个模块依附于上文提到的两个模块。比如，BackPropagationTrainer (所有的练习算法都以 Trainer 为基类)在前馈阶段应用前馈层计算，在误差传播和权重更新时应用特别的广度优先层计算。

一个可以表示多种模型的通用架构(比如所有上文提到的神经收集中的元素)

可以应用多种练习算法(反向传播，比较差别等等)。

面子的机能

为了知足这些请求，我在软件的设计中应用了分层的思惟。

构造

这个构造对于经典的反馈收集、RBM 及更复杂的如 ImageNet 都已经足够灵活。

这个构造也许可一个 layer 成为多个收集的元素。比如，在 Deep Belief Network(深度信度收集)中的layer也可以用在其 RBM 中。

别的，经由过程这个架构可以将DBN的预练习阶段显示为一个栈式RBM的列表，微调阶段显示为一个前馈收集，这些都异常直不雅并且法度榜样实现的很好。

在本例中，隐含层 RBM t 可以看作是 RBM t+1 的可见层。第一个RBM的输入层等于全部收集的输入层，层间贪婪式的预练习的工作模式如下：

数据流

下个部分介绍收集中的数据流，一个两步过程:

定义出层间的序列。例如，为了获得一个独裁感知机的结不雅，输入数据被赋到输入层(是以，这也是起首被计算的层)，然后再将数据经由过程不合的办法流向输出层。为了在反向传播中更新权重，输出的误差经由过程广度优先的办法大年夜输出层传回每一层。这部分经由过程 LayerOrderStrategy 进行实现，应用到了收集图构造的优势，应用了不合的图遍历办法。个一一些样例包含了 广度优先策略 和 定位到一个指定的层。层的序列实际上由层间的连接进行决定，所以策略部分都是返回一个连接的有序列表。

计算激活值。每一层都有一个接洽关系的 ConnectionCalculator，包含有连接的列表(大年夜上一步得来)和输入值(大年夜其它层获得)并计算获得结不雅的激活值。例如，在一个简单的S形前馈收集中，隐含层的 ConnectionCalculator 接收输入层和偏置层的值(分别为输入值和一个值全为1的数组)和神经元之间的权重值(如不雅是全连接层，权重值实际上以一个矩阵的情势存储在一个 FullyConnected 构造中，计算加权和，然后将结不雅传给S函数。ConnectionCalculator 中实现了一些转移函数(如加权乞降、卷积)和激活函数(如对应独裁感知机的对数函数和双曲正切函数，对应RBM的二态函数)。个中的大年夜部分都可以经由过程 Aparapi 在GPU长进行计算，可以应用迷你批次练习。

经由过程 Aparapi 进行 GPU 计算

像我之前提到的，神经统??近些年中兴的一个重要原因是其练习的办法可以高度并行化，许可我们经由过程GPGPU高效的加快训两辜本文中，我选择 Aparapi 库来进行GPU的支撑。

Aparapi 在连接计算上强加了一些重要的限制：

　　推荐阅读

　　机器学习在恶意软件检测中的应用

2、其次，我们须要大年夜样本中提取有意义的特点，这些特点也是我们研究的基本。所谓的特点指的就是可以或许描述对象的那些属性，比如，一栋房子的特点包含：房间数、房屋面积、房屋价格等>>>详细阅读

本文标题：深度学习概述：从感知机到深度网络

地址：http://www.17bianji.com/lsqh/34784.html

 1/2    1