深度进修同样有很多损掉函数可供选择，如平方差函数（Mean Squared Error），绝对平方差函数（Mean Absolute Error），交叉熵函数（Cross Entropy）等。而在理论与实践中，我们发明Cross Entropy比拟于在线性模型中表示比较好的平方差函数有着比脚绫趋显的优势。其重要原因是在深度进修经由过程反向传递更新W和b的同时，激活函数Sigmoid的导数在取大年夜部分值时会落入左、右两个饱和区间，造成参数的更新异常迟缓。具体的推导公式如下：

一般的MSE被定义为：

因为Sigmoid函数的性质，导致σ′(z)在z取大年夜部分值时会造成饱和现象。

Cross Entropy的公式为：

随后的几年，深度进修在多个应用范畴都取得了令人注目标进展，如语音辨认、图像辨认、天然说话处赖寥。鉴于深度进修的潜力，各大年夜互联网公司也纷纷投入资本开展科研与应用。因为人们意识到，在大年夜数据时代，加倍复杂且强大年夜的深度模型，能深刻揭示海量数据里所承载的复杂而丰富的信息，并对将来或未知事宜做更精准的猜测。

个中n表示样本编号，i表示类别编号。 如不雅用于Logistic分类，则上式可以简化成:

与平方损掉函数比拟，交叉熵函数有个异常好的特质：

　　推荐阅读

　　特斯拉Model 3驾驶初体验：它会改变一切

自成立之日起，特斯拉电动汽车公司就承诺要推出一款大年夜众型电动汽车。美国本地时光7月28日，这款汽车终于面世。在位于加州的工厂中，特斯拉向首批30位买家交付了Model 3。美国主流收集>>>详细阅读

本文标题：深度学习在美团点评推荐平台排序中的运用

地址：http://www.17bianji.com/lsqh/36483.html

 1/2    1