深度学习高手该怎样炼成？这位阿里天池大赛冠军为你规划了一份专业成长路径

CUDA编程：深度进修离不开GPU并行计算，而CUDA是一个很重要的对象。CUDA开辟套件是NVidia供给的一套GPU编程套件，实践傍边应用的比较多的是CUDA-BLAS库。这里推荐NVidia的官方在线文档http://docs.nvidia.com/cuda/。

其他计算机基本常识：控制深度进修技巧不克不及肮脏足于应用Python调用几个主流深度进修框架，大年夜源码着手去懂得深度进修算法的底层实现是进阶的必由之路。这个时刻，控制数据构造与算法(尤其是图算法)常识、分布式计算(懂得常用的分布式计算模型)，和须要的GPU和办事器的硬件常识(比如当我说起CPU的PCI-E通道数和GPU之间的数据交换瓶颈时，你能心领神会)，你必定能如虎添翼。

深度进修入门

接下来分别大年夜理论和实践两个角度来介绍一下深度进修的入门。

深度进修理论入门：我们可以用一张图(图1)往返想深度进修中的关键理论和办法。大年夜MCP神经元模型开端，起首须要控制卷积层、Pooling层等基本构造单位，Sigmoid等激活函数，Softmax等损掉函数，以及感知机、MLP等经典收集构造。接下来，控制收集练习办法，包含BP、Mini-batch SGD和LR Policy。最后还须要懂得深度收集练习中的两个至关重要的理论问题：梯度消掉和梯度溢出。

计算机基本

以卷积神经收集为例，我们用图2来展示入门须要控制的常识。起点是Hubel和Wiesel的对猫的视觉皮层的研究，再到日本学者福岛邦彦神经认知机模型(已经出现了卷积构造)，然则第一个CNN模型出生于1989年，1998年出生了后来被大年夜家熟知的LeNet。跟着ReLU和Dropout的提出，以及GPU和大年夜数据所带来的汗青机会，CNN在2012年迎来了汗青性的冲破——出生了AlexNet收集构造。2012年之后，CNN的演变路径可以总结为四条：1. 更深的收集;2. 加强卷积模的功能以及上诉两种思路的融合ResNet和各类变种;3. 大年夜分类到检测，最新的进展为ICCV 2017的Best Paper Mask R-CNN;4. 增长新的功能模块。

深度进修实践入门：控制一个开源深度进修框架的应用，并进一步的研读代码，是实际控制深度进修技巧的必经之路。当前应用最为广泛的深度进修框架包含Tensorflow、Caffe、MXNet和PyTorch等。框架的进修没有捷径，按照官网的文档step by step设备及操作，介入GitHub社区的评论辩论，碰到不克不及解答的问题及时Google是快速实践入门的好办法。

初步控制框架之后，进一步的晋升须要依附于具体的研究问题，一个短平快的策略是先刷地点范畴威望的Benchmark。例如人脸辨认范畴的LFW和MegaFace，图像辨认范畴与物体检测范畴的ImageNet、Microsoft COCO，图像瓜分范畴的Pascal VOC等。经由过程复现或改进别人的办法，亲手操练数据的预备、模型的练习以及调参，能在地点范畴的Benchmark上达到当缁ゎ好的结不雅，实践入门的环节就算初步完成了。

后续的进阶，就须要在拭魅战中赓续地去摸索和晋升了。例如：闇练的处理大年夜范围的练习数据，精晓精度和速度的均衡，控制调参技能、快速复现或改进他人的工作，可以或许实现新的办法等等。

深度进修拭魅战经验

【建议存眷的重点】

新的收集构造。在以SGD为代表的深度进修优化办法没有根本性冲破的情况下，修改收集构造是可以较快晋升收集模型精度的办法。2015年以来，以ResNet的各类改进为代表的各类新型收集构造如雨后春笋般出现，个中代表性的有DenseNet、SENet、ShuffuleNet等。
新的优化办法。纵不雅大年夜1943年MCP模型到2017年间的人工神经收集成长史，优化办法始终是进步的魂魄。以误差反向传导(BP)和随机梯度降低(SGD)为代表的优化技巧的冲破，或是Sigmoid/ReLU之后全新一代激活函数的提出，都异常值得等待。笔者认为，近期的工作如《Learning gradient descent by gradient descent》以及SWISH激活函数，都很值得存眷。但可否取得根本性的冲破，也即完全替代当前的优化办法或ReLU激活函数，尚弗成猜测。
新的进修技巧。深度强化进修和生查对抗收集(GAN)。比来几周刷屏的Alpha Zero再一次展示了深度强化进修的强大年夜威力，完全不依附于仁攀类经验，在围棋项目上经由过程深度强化进修“阁下互搏”所练就的棋力，已经远跨越上一代秒杀一众仁攀类高手的AlghaGo Master。同样的，生查对抗收集及其各类变种也在一向地预告一个进修算法自我生成数据的时代的序幕。笔者地点的公司也正测验测验精深度强化进修和GAN相结合，用于跨模态的练习数据的增广。
新的数据集。数据集是深度进修算法的练兵场，是以数据集的演变是深度进修技巧进步的缩影。以人脸辨认为例，后LFW时代，MegaFace和Microsoft Celeb-1M数据集已接棒大年夜范围人脸辨认和数据标签噪声前提下的人脸辨认。后ImageNet时代，Visual Genome正试图建立一个包含了对象、属性、关系描述、问答对在内的视觉基因组。

在这里，分享四个方面的深度进修拭魅战经验。

1. 充分的数据。大年夜量且有标注的数据，依旧在本质上主宰着深度进修模型的精度，每一个深度进修大年夜颐魅者都须要熟悉到数据极端重要。获取数据的方法重要有三种：开放数据(以学术界开放为主，如ImageNet和LFW)、第三方数据公司的付费数据和结合自身营业产生的数据。

2. 闇练的编程实现才能。深度进修算法的实现离不开闇练的编程才能，闇练应用Python进行编程是基本。如不雅进一步的修改底层实现或增长新的算法，则可能须要修改底层代码，此时闇练的C++编程才能就变得弗成或缺。一个明显的现象是，曾经只须要控制Matlab就可以笑傲江湖的计算机视觉研究者，如今也纷纷须要开端补课进修Python和C++了。

2/3 首页上一页 1 2 3 下一页尾页

　　推荐阅读

　　为了让iPhone X更好浏览网页，我给网页加了个导航按钮

Tech Neo技巧沙龙 | 11月25号，九州云/ZStack与您一路商量云时代收集界线治理实践应用汉堡菜单照样应用标签式导航，是移动端UI设计师经常会纠结的问题。就今朝来看，跟着手机屏幕尺寸弗成>>>详细阅读

本文标题：深度学习高手该怎样炼成？这位阿里天池大赛冠军为你规划了一份专业成长路径

地址：http://www.17bianji.com/lsqh/38798.html

1/2 1