大年夜定义中可以很清跋扈的看出其内容的含义。个中history是一个比较有意思的信息，他存储了汗青的参数优化信息。这个信罕见什么感化呢?因为很多算法都依附汗青更新信息，如不雅有一个模型练习了一半停止了下来，如今想基于之前练习的结不雅持续练习，那么须要汗青的优化信息赞助持续练习。如不雅模型练习忽然中断练习而汗青信息又损掉了，那么模型只能大年夜头练习。如许的深度进修框架就不具备“断灯揭捉?练”的功能了，只有"重头再来"的功能。如今的大年夜型深度进修模型都须要很长的时光练习，有的须要练习好几天，如不雅框架不供给断灯揭捉?练的功能，一旦机械出现问题导致法度榜样崩溃，模型就不得不重头开端练习，这会对工程师的身心造成巨大年夜袭击……所以这个存档机制极大年夜地进步了模型练习的靠得住性。

大年夜另一个方面推敲，如不雅模型练习彻底停止，这些汗青信息就变得无用了。caffemodel文件须要保存下来，而solverstate这个文件可以被直接丢弃。是以这种分别存储的方法特别便利操作。

大年夜刚才提到的“断灯揭捉?练”可以看出，深度进修其实包含了“再练习”这个概念。一般来说“再练习”包含两种模式，个一一种就是膳绫擎提到的“断灯揭捉?练”。早年面的设备文件中可以看出，练习的总迭代轮数是10000轮，每练习5000轮，模型就会被保存一次。如不雅模型在练习的过程中被一些弗成抗力打断了(比方说机械断电了)，那么大年夜家可以大年夜5000轮迭代时保存的模型和汗青更新参数恢复出来，敕令如下所示：

这里不妨再深刻一点分析。固然模型的汗青更新信息被保存了下来，但当时的练习场景真的被完全恢复了么?似乎没有，还有一个影响练习的关键身分没有恢复——数据，这个是不轻易被练习过程精确控制的。也就是说，初次练习时第5001轮迭代练习的数据和如今“断灯揭捉?练”的数据是不一样的。然则一般来说，只要包管每个练习批次(batch)内数据的分布邻近，不会有太大年夜的差别，两种练习都可以朝着精确的偏向进步，个中存在的渺小差距可以忽视不计。

第二种“再练习”的方法则是有理论基本支撑的练习模式。这个模式会在之前练习的基本上，对模型构造做必定的修改，然后应用到其他的模型中。这种进修方法被称作迁徙进修(Transfer Learning)。这里举一个简单的例子，在当前模型练习完成之后，模型参数将被直接赋值到一个新的模型上，然后让这个新模型重头开端练习。这个操作可以经由过程下面这个敕令完成：

这条日记就是在告诉我们，当前的练习是在这个路径下的模型长进行"Finetune"。

4. 练习日记分析

练习过程中Caffe产生了大年夜量的日记，这些日记包含很多练习过程的信息，异常很值得分析。分析的内容有很多，个中之一就是分析练习过程中目标函数loss的变更曲线。在这个例子中，可以分析跟着迭代轮数赓续增长，Softmax Loss的变更情况。起首将练习过程的日记信息保存下来，比方说日记信息被保存到mnist.log文件中，然后用下面的敕令可以将Iteration和Loss的信息提取并保存下来：

cd $CAFFE_HOME 
 
./examples/mnist/create_mnist.sh  

提取后的信息可以用另一个脚本完成Loss曲线的画图工作：

import matplotlib.pyplot as plt 
x = [] 
y = [] 
with open('loss_data') as f: 
    for line in f: 
        sps = line[:-1].split() 
        x.append(int(sps[0])) 
        y.append(float(sps[1])) 
plt.plot(x,y) 
plt.show() 

结不雅如图1所示，可见Loss很快就降到了很低的处所，模型的练习速度很快。这个优良的表示可以说阕很多问题，但这里就不做过多地分析了。

　　推荐阅读

　　机器学习流行趋势一览

(机械进修是一个大年夜范畴。本文侧重的范畴是深度进修——这是我最熟悉的一个分区。)在研究兴趣方面，我们看到的是 1)风格转换、2) 深度强化进修、3) 神经收集机械翻译 (&ldqu>>>详细阅读

本文标题：Caffe的深度学习训练全过程

地址：http://www.17bianji.com/lsqh/34962.html

 1/2    1