【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！

该 sigmoid 函数将输出视为 P（y）为 exp(yz) 的伯努利实验，个中更广义的 soft-max 函数可以给定为：

深度前馈收集

我们大年夜统计学出发，先很天然地定义一个函数 f，而数据样本由⟨Xi,f(Xi)⟩给出，个中 Xi 为典范的高维向量，f(Xi) 可取值为 {0,1} 或一个实数。我们的目标是找到一个最接近于描述给定命据的函数 f∗（不过拟合的情况下），是以其才能进行精准的猜测。

在深度进修之中，总体上来说就是参数统计的一个子集，即竽暌剐一族函数 f(X;θ)，个中 X 为输入数据，θ为参数（典范的高阶矩阵）。而目标则是寻找一组最优参数θ∗，使得 f(X;θ∗) 最合适于描述给定的数据。

在前馈神经收集中，θ就是神经收集，而该收集由 d 个函数构成：

大年夜部分神经收集都是高维的，是以其也可以经由过程以下构造图表达：

意味着 μ= 0。起首，我们应用以下傅里叶分析技能将维度减小到 1：将测度 μa 定义为

个中是向量值函数 f(i) 的分量，也即第 i 层神经收集的分量，每一个 是的函数。在膳绫擎的构造图中，每一层函数 f(i) 的分量数也称为层级 i 的宽度，层级间的宽度可能是不一样的。我们称神经收集的层级数 d 为收集的深度。重要的是，第 d 层的神经收集和前面的收集是不一样的，其为输出层，在膳绫擎的构造图中，输出层的宽度为 1，即 f=f(d) 为一个标量值。平日统计学家最爱好的是线性函数，但如不雅我们规定神经收集中的函数 f(i) 为一个线性函数，那么总体的组合函数 f 也只能是一个线性函数，也样就完全不克不及拟合高维复杂数据。是以我们平日激活函数应用的长短线性函数。

最常用的激活函数来自神经科学模型的启发，即每一个细胞接收到多种旌旗灯号，但神经突触基于输入只能选择激活或不激活一个特定的登基。因为输入可以表征为。

这种马尔可夫性质意味着在 h1 前提下，v 分量的分布是和 h2,…,hd 还有 v 的其他分量互相自力的。如不雅 v 是离散的：

对于一些非线性函数 g，由样本鼓励的函数可以定义为：

个中 g⊗ 定义了以线性函数为自变量的一个非线性函数。

平日我们欲望函数 g 为非线性函数，并且还须要它能很便利地求导。是以我们一般应用 ReLU（线性整流单位）函数 g(z)=max(0,z)。其它类型的激活函数 g 还包含 logistic 函数： 和双曲正切函数：。

这两种激活函数相对 ReLU 的长处，即它们都是有界函数。

正如前面所说的，最后的输出层和前面的层级都不一样。起首它平日是标量值，其次它平日会有一些统计学解释：。

如不雅 σ 是前提持续的，那么函数族在 C(X) 空间是稠密的，个中 C(X) 是所有在 X 上的持续函数的空间，X⊂Rk 是知足有限开覆盖的集合（compact set）。

平日可以看作经典统计学模型的参数，且 d-1 层的输出构成了输出层激活函数的输入。输出层激活函数可以应用线性函数。

该线性函数将输出作为高斯分布的前提均值。其它也可以应用 σ(wTh+b)，个中σ代表 sigmoid 函数，即

个中。

如今，z 的分量和可能的输出值相对应，softmax(z)i 代表输出值 i 的概率。例如输入图像到神经收集，而输出（softmax(z)1,softmax(z)2,softmax(z)1）则可以解释为不合类别（如猫、狗、狼）的概率。

卷积收集

卷积收集是一种带有线性算符的神经收集，即采取一些隐蔽的几何矩阵作为局部卷积算符。例如，第 k 层神经收集可以用 m*m 阶矩阵表达：

我们定义 k+1 层的函数可以由 2*2 矩阵在前一层神经收集履行卷积而得出，然后再应用非线性函数 g：

　　推荐阅读

　　从环境设置到内存分析：Python代码优化指南

【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！代码地址：https://github.com/apatrascu/hunting-python-performance 目次一、情况设置二、内存分析三、CPU 分析—>>>详细阅读

本文标题：深度神经网络的数学基础，对你来说会不会太难？

地址：http://www.17bianji.com/lsqh/36269.html

 1/2    1