如何让深度学习在手机应用上也能加速跑？看完这篇文章你就知道了

今朝应用了深度进修技巧的移动应用平日都是直接依附袈淦办事器来完成DNN所有的计算操作，但如许做的缺点在于移动设备与云办事器之间的数据传输带来的价值并不小（表示在体系延迟时光和移动设备的电量消费）；今朝移动设备对DNN平日都具备必定的计算才能，尽管枷⒚机能不如云办事器但避免了数据传输的开销。

论文作者提出了一种基于模型收集层为粒度的切割办法，将DNN须要的计算量切分开并充分应用云办事器和移动设备的硬件资本进行延迟时光和电量消费┞封两方面的优化。 Neurosurgeon很形象地描述了这种切割办法：向外科大夫一样对DNN模型进行切分处理。

对于所有应用深度进修技巧来处理图像、视频、语音和文本数据的小我智能助手而言，今朝工业界平日的做法是，应用云办事器上强大年夜的GPU集群资本来完成应用法度榜样的计算操作（以下简称为现有办法）。

今朝运行在移动设毕喔赡小我智能助手（例如Siri、Google Now和Cortana等）也都是采取这种做法。尽管如斯，我们照样会思虑，能不克不及也对移动设备本身的计算才能加以应用（而不是完全依附云办事），同时确保应用法度榜样的延迟时光以及移动设备的电量消费处于合理范围内。

今朝的近况是，智能应用法度榜样的计算才能完全依附于Web办事商所供给的高端云办事器。

而Neurosurgeon打破了这种惯例做法（即智能应用的计算才能完全依托于云办事）！在这篇出色的论文中，作者向我们展示了一种新思路：将应用法度榜样所需的计算量“瓜分”开，并同时应用云办事和移动设备的硬件资本进行计算。下面是应用Neurosurgeon办法后所取得的结不雅，这将会使我们所有人受益：

我们应用 BigHouse （一种办事器数据中间的仿真体系）来比较现有办法和Neurosurgeon。实验中将query数据平均地分派到之前表3中8种DNN模型之上，应用所测量的所有模型的平均响应时光，并结合Google网页搜刮中query的分布来获得query的完成率（query inter-arrival rate）。
体系延迟时光平均降低了3.1倍（最高降低了40.7倍），大年夜而应用法度榜样的响应将加倍敏捷和灵敏。
移动设备的耗电量平均降低了59.5%（最高降低了94.7%）；（也许你会质疑，真的可以或许在移动设备上实施更多计算量的同时降低电量消费吗？谜底是十分肯定的！）
云办事器上数据中间的吞吐量平均进步了1.5倍（最高能进步6.7倍），相较于现有办法这是一个巨大年夜的超出。

下面我们会先举个例子，来看看“对计算量进行瓜分”这件工作是多么的有趣，之后会懂得到Neurosurgeon是如安在不合的DNN模型中主动检测出“最佳瓜分点”的，最后会展示响应的实验结不雅以证实Neurosurgeon所传播鼓吹的才能。

▌ 数据传输并不是没有价值

最新的SoC芯片让人印象深刻。这篇论文应用了NVIDIA的Jetson TK1平台（拥有4核心的ARM处理器和一个Kepler GPU）（如下表1），数十万个设备的组合的计算量是惊人的。

如不雅你比较一下办事器上的设备（如下表2），你会发明移动设备的设备照样远比不上办事器的。

接下来我们来分析一个常用于图片分类义务的AlexNet模型（一个深层次的CNN收集模型），该模型的输入是一张大年夜小为152KB的图片。起首比较一下模型在两种情况下的运行情况：在云办事器上实施全部的计算操作和在移动设备上实施全部的计算操作。

如不雅我们仅仅看竽暌功用的延迟时光┞封一指标，（如下图3）可以发明只要移动设备拥有可用的GPU，在本地GPU上实施所有的计算操作可以或许带来最佳的体验（延迟时光最短）。而应用云办事器进行全部的计算时，统计注解计算所消费的时光仅占全部时光的6%，而残剩的94%都消费在数据传输上。

相较于现有办法，在LTE和3G收集前提下，应用移动设备自身的GPU进行全部的计算可以或许取得更低的体系延迟时光；同时，在LTE和Wi-Fi收集前提下，现有办法要比纯真仅用移动设备CPU进行全部的计算操作要更好（体系延迟时光更少）。

下图4是不合收集前提下，应用云办事器和手机CPU/GPU下的电量消费情况：

尽管云办事器的计算才能要强于移动设备，但因为其须要进行数据的传输（在有的收集情况下的所带来的体系延迟时光和电量消费量并不小），所以大年夜体系的角度，完全应用云办事器进行计算的办法并不必定是最优的。

▌ 各类收集层的数据传输涸萃Ｃ痂求并不雷同

那么，在所有计算都实施在云办事器或移动设备上这两种“相对极端”的办法之间，是否存在某个最优切分点呢？换言之，在数据传输和实施计算两者之间或许存在一种折中。下图是一张简单的草图，以便利懂得接下来要做的工作。

一种直不雅的切分办法是基于DNN中收集层作为界线。以AlexNet为例，如不雅我们可以或许计算出每一层的输出数据量和计算量，将获得如下的统计图（下图5）：

　　推荐阅读

　　WiFi密码总是被破解？教你几招告别WiFi被蹭

跟着移动互联网技巧的成长以及智妙手机的普及，人们对WiFi的需求也越来越大年夜。生活中我们也越来越离不开Wi>>>详细阅读

地址：http://www.17bianji.com/lsqh/35536.html