图 2 两层前提 RBM 的时光序列数据，用于第一和第二层的模型次序分别是 3 和 2

该 cRBM 由自回归权重构成，该模型的短期时光构造，和以往可见单位到当前隐含单位之间的连接。 cRBM 的偏置向量取决于先前可见单位且被定义为：

个中Ai是在时光 t-i 的可见单位和今朝可见单位之间的自回归连接，Bi是权重矩阵连接可视层在时光 t-i 到今朝的隐蔽层。模型次序由常数 n 定义。对于上升或降低一层的概率是：

大年夜总结

系数θ={W,b,c,A,B}，用比较的不合进行培训。就像 RBM ，所述的 cRBM 也可以作为一个模块来创建深度收集。

主动编码

不具有一个配分函数的模型是主动编码，拜见图 3 。主动编码初次惹人作为一个降维算法。事实上，一个根本的线性自编码本质上进修雷同的表示作为主成分分析( PCA )。可见单位的各层 x ，隐单位 h 和重建的可见单位，经由过程连接权重矩阵W1和W2，隐含层和重建层分别具有偏置矢量b1 和b2。它是常见的主动编码器去并列权重，即W2=(W1) T 。这工作可以作为一个调剂装配，因为它限制了许可的参数空间并降低了参数的数量去进修。前馈激活计算公式为：

个中 σ(·) 是激活函数。因为 RBM ，一个常见的选择是逻辑激活函数。最优值( the cost function )被最小化表示为：

图3 静态时光序列输入的一个一层的主动编码器。输入是当前和之前可视数据 x 框架的连接。 x 的重建表示为^X。

递归神经收集

一个模型已用于建模次序数据的是递推神经收集( RNN )。通常一个 RNN 早年馈收集经由过程连接的神经元的输出到其输入端获得的，拜见图 4 。短期内时光相干性由隐蔽到隐蔽连接建模，而无需应用任何时光延迟。它们经常迭代练习，并经由过程被称为反向传播通时光( BPTT )的过程。当时光┞饭开时 RNNs 可以被看作是异常深的收集，其在每一层共享参数。这导致梯度的消掉的问题，并已促使二阶办法的深体系和非监督预练习的摸索。对练习 RNNs 策略概述由 Sutskever 供给。一个有名的拓展是应用特制的长短期记忆细胞，其能更好地发明经久相干性。

图4 递推神经收集( RNN )。输入 x 被变换到输出表示 y ，其经由过程隐单位 h 。隐单位连接当前时光帧的输入值和隐单位大年夜先前时光帧。

深度进修

这个所介绍的隐单位是应用非线性激活函数。这种非线性使得一个更富有表示的模许可以或许进修更抽象的表示，当多个模块被堆叠在彼此的顶部以形成深度收集(如不雅线性特点被堆叠的结不雅仍然是一个线性操作)。深度收集的目标是在教逑点构建特点，其将会区分开输入数据变更的身分，然后组合这些表示在更高层。已提出了一个深度收集将概括的很好，因为它具有更完全的表达。然而，当误差旌旗灯号反向传播时，在梯度消掉的问题中跟着练习隐单位的多个层会很艰苦。这可以经由过程在每一层履行无监督贪婪逐层预练习来解决。这作为正规化的一个不平常的情势，避免了较差的局部最小值并给出比随机初始化一个更好的初始化。然而，与其他身分比拟参数初始化的重要性是不一至关重要的，例如输入连接和构造。

卷积和池化

这种技巧是特别有趣的高维数据，比如图像和时光序列数据，其就是是卷积。在一个卷积设置中，隐单位不完全连接到输入而是分为互补局部连接的段，见图 5 。卷积已应用于 RBMs 和主动编码器去创建卷积 RBMs ( convRBM )和卷积主动编码器( convAE )。时延神经收集( TDNN )是人工神经收集( ANN )的一个特例，经由过程对重叠窗口进行卷积聚用输入的时光构造。

第二是时光序列数据的特点是不克不及肯定有可用的足够信息来懂得全部过程。例如，在电子鼻数据，个中传感器阵列的各类选择性，对于很多气体的组合去辨认特定的气味，但不包管该传感器的选择实际上可以或许辨认目标的气味。在金融数据不雅测单一股票，这仅测量一个复杂的体系的一个很小的方面，则很可能没有足够的信息去猜测将来。

图5 两层的卷积神经收集

一个常用的操作是与卷积一路应用，它经由过程一个最大年夜、平均或直方图的操作结合输入或特点空间邻近的值，其就是池化。池的目标是实现小局部变形的不变性，并削减了特点空间的维数。 Lee 等人的工作惹人了概率最大年夜 - 池化在卷积 RBMS 的高低文中。时空 DBN ( ST-DBN )应用卷积 RBMs 与空间池化层和时域池化层一路大年夜时空数据建立不变性特点。

　　推荐阅读

　　BOOM：一款有趣的Javascript动画效果

实践出真知，有的时刻看到一些有趣的现象就想着用本身所学的常识复现一下。缘起前几天在 github 上看到同事的一个如许的小项目，在 IOS 上实现了如许一个小动画效不雅，看上去蛮炫的，效不>>>详细阅读

本文标题：深度学习的时间序列模型评价

地址：http://www.17bianji.com/lsqh/35073.html

 1/2    1