从TensorFlow到Theano：横向对比七大深度学习框架

在深度进修衔目开端前，选择一个合适的框架是异常重要的工作。比来，来自数据科学公司 Silicon Valley Data Science 的数据工程师 Matt Rubashkin（UC Berkeley 博士）为我们带来了深度进修 7 种风行框架的深度横向比较，欲望本文能对你带来赞助。

SVDS

在 SVDS，我们的研发团队一向在研究不合的深度进修技巧；大年夜辨认图像到语音，我们也在各类框架下实现了不少应用。在这个过程中，我们意识到须要一个简明的方法来获取数据、创建模型、同时评估这些模型的表示。但当我们一次次开端新的深度进修衔目时，我们却一向没有找到一个可以参考的标准来告诉本身若何开端。

如今，为了回馈开源社区，同时赞助后来者，我们决定以我们的经验对今朝风行的几种对象（Theano、TensorFlow、Torch、Caffe、MXNet、Neon 和 CNTK）进行一次横向比较。以下图表展示了各类深度进修对象的好坏，欲望对大年夜家能有所赞助。

先放结论：

这组比较参考了多种公开基准评测，以及我们在图像/语音辨认应用时对这些技巧的主不雅印象。此外，你须要留意：

当你开端一个深度进修衔目时，你最好应用一个支撑你所会说话的框架。比如 Caffe（C++）和 Torch（Lua）只能支撑有限的说话（比来，跟着 PyTorch 的出现，情况有所改不雅）。所以如不雅你欲望选用上述两个框架，我们建议你事先熟悉 C++或 Lua 说话。比拟之下，TensorFlow 与 MXNet 具有丰富的多说话支撑，即使你对 C++认为陌生也可以应用它们。

Contributors

教程和资本

今朝，各类深度进修框架的教程与可应用的资本在质量和数量上有着明显的不合。Theano，TensorFlow，Torch 和 MXNet 有着很详尽的文档教程，很轻易被初学者懂得和实现。与此比拟，固然微软的 CNTK 和英特尔的 Nervana Neon 也是强大年夜的对象，我们却很少能见到有关它们的新手级材料。此外，在研究过程中，我们发明 GitHub 社区的介入度不仅可以用于精确地评价不合对象的开辟程度，并且照样在搜刮 StackOverflow 或 repo 的 Git Issues 时可否快速解决问题的参考性指标。当然，作为谷歌供给的框架，TensorFlow 理所当然地在教程，资本，开辟者和社区供献者的数量上遥遥领先。

CNN 建模才能

卷积神经收集（CNN）经常被用于图像辨认、推荐引擎和天然说话辨认等偏向的应用。CNN 由一组独裁的神经收集构成，在运行时会将输入的数据进行预定义分类的评分。CNN 也可用于回归分析，例如构成主动驾驶汽车中有关转向角的模型。在横评中，我们评价一种框架的 CNN 建模才能推敲到以下几个特点：定义模型的机会空间、预构建层的可用性、以及可用于连接这些层的对象和功能。我们发明，Theano，Caffe 和 MXNet 都有很好的 CNN 建模才能。个中，TensorFlow 因为易于建立的 Inception V3 模型，Torch 因为其丰富的 CNN 资本——包含易于应用的时光卷积集使得这两种框架在 CNN 建模才能上脱颖而出。

比较图

RNN 建模才能

轮回神经收集（RNN）常用于语音辨认，时光序列猜测，图像字幕和其他须要处理次序信息的义务。因为预建的 RNN 模型不如 CNN 数量多，是以，如不雅你已经有一个 RNN 深度进修衔目，优先推敲旧 RNN 模型是在哪种框架诚实现的最重要。今朝，Caffe 上的 RNN 资本起码，而 Microsoft 的 CNTK 和 Torch 有丰富的 RNN 教程和预构建模型。当然，最风行的 TensorFlow 中也有一些 RNN 资本，TFLearn 和 Keras 中更有很多应用 TensorFlow 的 RNN 示例。

架构

为在特定框架中构建和练习新模型，易于应用和模块化的前端是至关重要的。TensorFlow，Torch 和 MXNet 都有直不雅而模块化的架构，闪开辟相对变得简单。比拟之下，我们在 Caffe 如许的框架上须要进行大年夜量的工作才能创建一个新层。别的我们发明在开辟过程中，因为有 TensorBoard web GUI 等应用的存在，TensorFlow 极易在练习中和练习落后行 debug 和监控。

http://www.fast.ai/2017/01/03/keras/

速度

Torch 和 Nervana 具有开源卷积神经收集基准测试的最佳机能：

https://github.com/soumith/convnet-benchmarks/blob/master/README.md

Tensorflow 的机能在大年夜多半测试中是具有竞争力的，而 Caffe 和 Theano 稍稍落后：

https://github.com/tobigithub/tensorflow-deep-learning/wiki/tf-benchmarks

http://www.allthingsdistributed.com/2016/11/mxnet-default-framework-deep-learning-aws.html

微软声称他们的 CNTK 在一些 RNN 练习义务中有最快的速度。

在另一项比较 Theano、Torch 和 TensorFlow 的 RNN 机能的研究中，Theano 是个中最快的：

多 GPU 支撑

大年夜多半深度进修应用都须要用到巨量的浮点运算（FLOP）。例如，百度的 DeepSpeech 辨认模型须要 10s ExaFLOPs 用于练习，这是大年夜于 10e18 的计算量：

https://arxiv.org/abs/1512.02595