在电量消费方面，比拟于现有办法，Neurosurgeon可以或许使得移动设备的电量消费量平均降低至59.5%，最高能降低至94.7%。

接下来值得思虑的是，如不雅我们将AlexNet模型中的各个收集层瓜分开会产生什么呢？（也就是说，在移动设备上处理模型的前n层获得第n层的输出结不雅，再将该输出结不雅传输至云办事器长进行之后的计算，最后再将输出结不雅传输至移动设备上。）

如不雅移动设备连接的是Wi-Fi收集，最低的电量损耗筹划是发送响应的数据到云办事器并让其进行全部的计算操作。但如不雅连接的是3G或LTE收集，如不雅该移动设备有可用的GPU，那么在本地GPU上实施全部的计算操作这一筹划所导致的电量消费，会比须要进行数据传输且在云办事器上实施全部的计算操作这一筹划更低。

下图6中你能看到AlexNet模型各层的延迟时光和电量消费情况，最佳的瓜分点以星星符号表示。

以收集层为粒度的瓜分算法可以或许大年夜大年夜改良模型的延迟时光和电量消费量。对于AlexNet模型，在移动设备GPU可用和Wi-Fi收集前提下，最佳的瓜分点处于模型的中部。

以上只是针对AlexNet模型的瓜分办法。然而，这种瓜分办法是否同样实用于其他的用于处理图像、视频、语音和文本的DNN模型们？文┞仿作者在多种DNN模型上做了响应的分析如下表3：

对于应用于计算机视觉 (Computer Vision, CV) 范畴的具有卷积层的模型，平日最佳的瓜分点在模型的中部。而对于平日只有全连接层和激活层的ASR, POS, NER和CHK收集模型（重要应用在语音辨认（Automatic Speech Recognition, ASR）和天然说话处理范畴(Natural Language Process, NLP)）而言，只能说有找到最佳的瓜分点的可能。

在DNN模型长进行瓜分的最佳办法取决于模型中的拓扑层和构造层。CV范畴的DNN模型有时在模型的中部进行瓜分是最好的，而对于ASR和NLP范畴的DNN模型，在模型的开端部分或者结尾部分进行瓜分往往更好一点。可以看出，最佳瓜分点跟着模型的不合而变更着，是以我们须要一种体系可以或许对模型进行主动的瓜分并应用云办事器和设备GPU进行响应的计算操作。

▌Neurosurgeon的工作道理

对于一个DNN模型，影响最佳的瓜分点地位的身分重要有两种：一种是静态的身分，例如模型的构造；一种是动态的身分，例如收集层的可连接数量、云办事器上数据中间的负载以及设备残剩可用的电量等。

因为以上动态身分的存在，我们须要一种智能体系来主动地选择出DNN中的最佳瓜分点，以包管最终体系延迟时光和移动设备的电池消费量达到最优的状况。是以，我们设计了出如许一种智能切分DNN模型的体系，也就是Neurosurgeon。

（值得一提的是，今朝主流的平台已经支撑场实现了在移动设备长进行深度进修方面的计算。Apple在iOS10体系中新增了深度进修相干的开辟对象，Facebook客岁宣布了Caffe2Go使得深度进修模许可以或许运行在移动设备上，而Google也在前不久宣布了深度进修开辟对象TensorFlow Lite以用于安卓体系。）

Neurosurgeon由以下两个部分构成：一部分是在移动设备上一次性地创建和安排用于猜测机能（包含延迟时光和电量消费量）的模型，另一部分是在办事器上对各类收集层类型和参数（包含卷积层、池化层、全连接层、激活函数和正则化项）进行设备。前一部分与所用的具体DNN模型构造无关，猜测模型主如果根据DNN模型中收集层的数量和类型来猜测延迟时光和电量消费，而不须要去履行具体的DNN模型。

猜测模型会存储在移动设备中，之后会被用于猜测DNN模型中各层的延迟时光和电量消费。

在DNN模型的运行时，Neurosurgeon就可以或许犊飕地找到最佳的瓜分点。起首，它会分析DNN模型中各收集层的类型和参数情况并履行之，然后应用猜测模型来猜测各收集层在移动设备和云办事器上的延迟时光和电量消费情况。根据所猜测的结不雅，浇忧⒈前收集层自身及数据中间的负载情况，Neurosurgeon选择出最佳的分割点，调剂该瓜分点可以或许实现端到端延迟时光或者电量消费的最优化。

【编辑推荐】

1. 用不到1000美元攒一台深度学惯用的超快的电脑：持续深度进修和便宜硬件的探奇！
2. 用深度进修快速人脸建模
3. 人工智能与软件架构
4. 人工智能将要颠覆这12个范畴，白领也要掉业了
5. 人工智能可以带来真得智能家居么

▌Neurosurgeon的实际应用

之前的表3展示了用于评测Neurosurgeon的8种DNN模型，别的，实验用到的收集情况有3种（Wi-Fi，LTE和3G收集）和2种移动设备硬件（CPU和GPU）。在这些模型和设备下，Neurosurgeon可以或许找到一种瓜分办法以加快应用的响应时光至最优的98.5%。

实验结不雅注解，比拟于今朝应用仅应用云办事器的办法，Neurosurgeon可以或许将应用的延迟时光平均降低了3.1倍（最高能达到40.7倍）。

下图14展示了Neurosurgeon跟着收集情况的变更（即LTE带宽变更）自适应进行瓜分和优化的结不雅（下图中的蓝色实线部分），可以看出比起现有办法（下图中的红色虚线部分）可以或许大年夜幅度地降低延迟时光。

大年夜图5中可以看出，对于AlexNet模型较前的卷积层而言，数据输出量跟着层数增长而敏捷递减。然而，计算量在模型的中后部分开端慢慢递增，在全连接层的计算量达到了最高的幅度。

Neurosurgeon也会与云办事器保持周期性的通信，以获得其数据中间的负载情况。当办事器的数据中间负载较大年夜时，它会削减往办事器上传输的数据量而增长移动设备本地的计算量。总之，Neurosurgeon可以或许根据办事器的负载情况作出恰当的调剂已达到最低的体系延迟时光。

　　推荐阅读

　　WiFi密码总是被破解？教你几招告别WiFi被蹭

跟着移动互联网技巧的成长以及智妙手机的普及，人们对WiFi的需求也越来越大年夜。生活中我们也越来越离不开Wi>>>详细阅读

本文标题：如何让深度学习在手机应用上也能加速跑？看完这篇文章你就知道了

地址：http://www.17bianji.com/lsqh/35536.html

 1/2    1