CTO练习营 | 12月3-5日，深圳，是时刻成为优良的技巧治理者了

不管是AI也好，其他学科也好，进修、研究的过程中赓续反思学科的汗青，总结学科的成长近况，找出最重要的理念，总能让人能“吾道一以贯之”。软件工程师James Le近期根据他研究的经验总结出了AI研究必须要知道的十种深度进修办法，异常具有启发性。

The 10 Deep Learning Methods AI Practitioners Need to Apply

人们对机械进修的兴趣在以前十年经历了爆炸式的成长。计算机科学项目中、业界会议中、媒体报道中，你都可以或许看到机械进修的影子。然则似乎所有关于机械进修的评论辩论中，人们经常会把AI能做什么和他们欲望AI能做什么混为一谈。

大年夜根本上来讲，机械进修其实就是应用算法大年夜原始数据中提守信息，并以某种类型的模型表示出来；然后我们应用这个模型来揣摸我们榭龃建模的其他数据。

神经收集作为机械进修的一类模型，它们已经存在了至少50年。神经收集的根本单位是节点，大年夜致上模仿了哺乳动物大年夜脑中的生物神经元的节点；节点之间的链接（也是模仿生物大年夜脑）跟着时光的推移（练习）而演变。

在上世纪八十年代中期和九十年代早期，很多重要的神经收集构架都已经做出了，不过要想获得好的结不雅还须要足够强大年夜的计算才能和大年夜体量的数据集，这些当时在当时很不睬想，所以也导致人们对机械进修的热忱逐渐冷淡了下来。在21世纪初，计算机的计算才能出现了指数级的增长——业界见证了计算机技巧的“寒武编大年夜爆发”，这在之前几乎是弗成想象的。深度进修作为这个范畴一一个重要的架构，在计算才能爆发式增长的十年中，博得了很多重要的机械进修比赛。这个红利的热度直到本年仍未降温；今天，我们看到在机械进修的每个角落里都邑提到深度进修。

https://github.com/khanhnamle1994/deep-learning

比来，我也开端浏览一皓深度进修方面的学术论文。下面这些是我收集到的几篇对深度进修范畴的成长有重大年夜影响的几篇论文：

1、Gradient-Based Learning Applied to Document Recognition (1998)

意遗己向机械进修世界引进了卷积神经收集

作者：Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner

2、Deep Boltzmann Machines (2009)

意义：为玻尔兹曼机提出了一种新的进修算法，个中包含很多隐蔽变量层。

3、Building High-Level Features Using Large-Scale Unsupervised Learning (2012)

意义：解决下场大年夜未标记的数据构建高层次、特定类其余特点检测器的问题。

包含深度统??内的神经收集须要细心调剂权重初始话谕进修参数。批标准化使这些变得轻松很多。

作者：Quoc V. Le，Marc’Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeff Dean，Andrew Y. Ng

4、DeCAF — A Deep Convolutional Activation Feature for Generic Visual Recognition (2013)

意义：释放了一个深度卷积激活特点的开源实现——DeCAF，以及所有相干的收集参数，使视觉研究人员可以或许深刻地在一系列视觉概念进修典范中进行实验。

作者：Jeff Donahue，Yangqing Jia，Oriol Vinyals，Judy Hoffman，Ning Zhang，Eric Tzeng，Trevor Darrell

5、Playing Atari with Deep Reinforcement Learning (2016)

意义：供给了第一个可以应用强化进修大年夜高维感官输入中直接进修控制策略的深度进修模型。

作者：Volodymyr Mnih，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra，Martin Riedmiller（DeepMind 团队）

在这些进修和研究中，我发来岁夜量异常有意思的常识点。在这里我将分享十个深度进修的办法，AI工程师可能会将这些应用到他们的机械进修问题傍边。

不过，起首先让我们来定义一下什么是“深度进修”。对很多仁攀来说，给“深度进修”下一?定义确切很有挑衅，因为在以前的十年中，它的情势已经慢慢地产生了很大年夜的变更。

先来在视觉上感触感染一下“深度进修”的地位。下图是AI、机械进修和深度进修三个概念的一个关系图。

AI的范畴要相对较广泛，机械进修是AI的一个子范畴，而深度进修是机械进修范畴中的一个子集。

深度进修收集与“典范”的前馈独裁收集之间是有一些区其余，如下：

• 深度进修收集比之前的收集有更多的神经元
• 深度进修收集具有更复杂的连接层的方法
• 深度进修收集须要用强大年夜的计算才能来练习
• 深度进修收集可以或许进行主动特点提取

是以深度进修可以被定义为在以下四个根本收集框架中拥有大年夜量参数和层的神经收集：

• 无监督预练习收集（Unsupervised Pre-trained Networks）
• 卷积神经收集（Convolutional Neural Networks）
• 轮回神经收集（Recurrent Neural Networks）
• 递归神经收集 （Recursive Neural Networks）

在这篇文┞仿中，我重要对后三个框架比较感兴趣。

随机梯度降低重要用来求解类似于如下乞降情势的优化问题：

卷积神经收集 根本上就是用共享权重在空间中进行扩大的标准神经收集。设计CNN主如果为了经由过程内部卷积来辨认图片，内部卷积可以看到待辨认物体的边。

轮回神经收集 根本上是在时光长进行扩大的标准神经收集，因为边进入下一?时光步，而不是在同一时光步进入下一?层。设计RNN主如果为了辨认序列，例如语音旌旗灯号或者文本。它琅绫擎的轮回意味着收集中存在短暂的记忆。

　　推荐阅读

　　TensorFlow广度和深度学习的教程

CTO练习营 | 12月3-5日，深圳，是时刻成为优良的技巧治理者了 在这篇文┞仿中，我们将会介绍若何应用 TF.Learn API 同时练习一个广度线性模型和一个深度前馈神经收集。这种办法结合了记忆和>>>详细阅读

本文标题：做AI必须要知道的十种深度学习方法

地址：http://www.17bianji.com/lsqh/39383.html

 1/2    1