4. weight penality(L1&L2)

迁徙进修

所谓迁徙进修，就是将一个问题上练习好的模型经由过程简单的调剂，使其实用一个新的问题，可以认为是一种模型调优的“取巧”办法。可以类比人的触类旁通才能。

迁徙进修的特点

1. 需求数据量少

假设有两个范畴，一个范畴已经有很多的数据，能成功地建一个模型，有一个范畴数据不多，然则和前面那个范畴是接洽关系的，就可以把那个模型给迁徙过来。比如，我们想做一个化妆品推荐模型，但数据量较少，可以先用一个成型的较为稳定的饰品推荐模型进行调优。跨范畴的在学术界也有测验测验哦，比如收集搜刮可以迁徙到推荐，图象辨认可以迁徙到文本辨认。

2. 练习时光少

在没有GPU的通俗台式机或者标记本上，实现Google的Inception-v3模型迁徙进修练习过程只须要大年夜约五分钟(tensorflow框架)。

比如每小我都欲望本身的手机可以或许记住一些习惯，如许不消每次都去设定它，怎么才能让手机记住这一点呢?

模型迁徙应用上切切的图象练习一个图象识其余体系，当我们碰到一个新的图象范畴，就不消再去找几切切个图象来练习了，可以本来的图像辨认体系迁徙到新的范畴，所以在新的范畴只用几万张图片同样可以或许获取雷同的效不雅。模型迁徙的一个好处是我们可以区分，就是可以和深度进修结合起来，我们可以区分不合层次可迁徙的度，类似度比较高的那些层次他们被迁徙的可能性就大年夜一些 。

迁徙进修四种实现办法

1. 样本迁徙Instance-based Transfer Learning

样本迁徙即在数据集(源范畴)中找到与目标范畴类似的数据，把这个数据放大年夜多倍，与目标范畴的数据进行匹配。其特点是：须要对不合例子加权;须要用数据进行练习。比如下图，可以将一个动物识模型的源数据中的狗狗图片增多，达到专门针对狗的辨认模型。

2. 特点迁徙Feature-based Transfer Learning

在特点空间进行迁徙，一般须要把源范畴和目标范畴的特点投影到同一个特点空间里进行。

如下图示例，特点迁徙是经由过程不雅察源范畴图像与目标域图像之间的合营特点，然后应用不雅察所得的合营特点在不合层级的特点间进行主动迁徙。

3. 模型迁徙Model-based Transfer Learning

全部模型应用到目标范畴去，比如今朝常用的对预练习好的深度收集做微调，也可以叫做参数迁徙。

这里讲一个例子，比如我们想将练习好的Inception-v3简单调剂，解决一个新的图像分类问题。根据论文DeCAF : A Deep Convolutional Activation Feature for Generic Visual Recognition中的结论，可以保存练习好的Inception-v3模型中所有卷积层的参数，只是调换最后一层全连阶层。在最后这一层全连阶层之前的收集层称之为瓶颈层。

将新的图像经由过程练习好的卷积神经收集直到瓶颈层的过程可以算作是对图像进行特点提取的过程。在练习好的Inception-v3模型中，因为将瓶颈层的输出再经由过程一个单层的全连接层神经收集可以很好的区分1000种类其余图像，所以有来由认为瓶颈层输出的借点向量可以作为任何图像的一个新的单层全连接神经收集处理新的分类问题。

4. 关系迁徙Relational Transfer Learning

如社会收集，社交收集之间的迁徙。

根据源和目标范畴是否雷同、源和目标义务是否雷同、以及源和目标范畴是否有标注数据，又可以把迁徙进修分成如下图所示：

前沿的迁徙进修偏向

为什么Dropout能起到这么大年夜感化呢?

1. Reinforcement Transfer Learning

怎么迁徙智能体进修到的常识：比如我学会了一个游戏，那么我在另一个类似的游戏琅绫擎也是可以应用一些类似的策略的。

2. Transitive Transfer Learning

一般来说，隐层单位数量若干决定了模型是否欠拟合或过拟合，两害相权取其轻，尽量选择更多的隐层单位，因为可以经由过程正则化的办法避免过拟合。与此类似的，尽可能的添加隐层数量，直到测试误差不再改变为止。

传递性迁徙进修，两个domain之间如不雅相隔得太远，那么我们就插入一些intermediate domains，一步步做迁徙。

3. Source-Free Transfer Learning

不知道是哪个源范畴的情况下若何进行迁徙进修。

假如你今朝有了一些代表性数据集，进入了温饱阶段，恨不灯揭捉?榨出每一滴数据的价值，又害怕用力过以偏概全(俗称过拟合)。那么我们可能须要如下技能。

谨防逝世守过拟合(所谓尽人事，听……)

深度进修因为超参数的个数比较多，练习样本数量相对超参数来说略显不足，一不当心就轻易产生过拟合。大年夜本质上来说，过拟合是因为模型的进修才能太强，除了进修到了样本空间的共有特点外，还进修到了练习样本集上的噪声。因为这些噪声的存在，导致了模型的泛化机能降低。

　　推荐阅读

　　量子纠缠：从量子物质态到深度学习

1. 引言经典物理学的主角是物质和能量。20 世纪初，爱因斯坦写下E =mc2 ，将质量和能量同一在了一路。而大年夜那之后，一个新角色——信息(Information)——逐渐走向>>>详细阅读

本文标题：数据有限时怎样调优深度学习模型

地址：http://www.17bianji.com/lsqh/36494.html

 1/2    1