2、尝尝两个模型或者多个模型concat

比如，两种不合分辨率的图像数据集，分别练习出收集模型a和收集模型b，那么将a和b的瓶颈层concat在一路，用一个全连接层(或者随便你怎么连，试着玩玩没坏处)连起来，，输入concat后的图片，练习结不雅可能比单个收集模型效不雅要好很多哦。

这里只大年夜模型调优的tric角度来介绍下。

Softmax-loss算是最常用的loss办法了，然则Softmax-loss不会实用于所有问题。比如在数据量不足够大年夜的情况下，softmax练习出来的人脸模型机能差，ECCV 2016有篇文┞仿(A Discriminative Feature Learning Approach for Deep Face Recognition)提出了衡量的解决筹划。经由过程添加center loss使得简单的softmax就可以或许练习出拥有内聚性的特点。该特点在人脸辨认上尤为重要，大年夜而使得在很少的数据情况下练习出来的模型也能有很好的感化。此外，contrastive-loss和triplet-loss也有其各自的好处，须要采样过程，有兴趣的可以多懂得下。

花式调优

1. batch size设置

batch size一般设定为2的指数倍，如64，128，512等，因为无论是多核CPU照样GPU加快，内存治理仍然以字节为根本单位做硬件优化，2的倍数设置将有效进步矩阵分片、张量计算等操作的硬件处理效力。

一般就是对样本进行加权，给比较重要的样本较大年夜的权重。

不合batch size的模许可能会带来意想不到的精确率晋升，这个调节其实是有必定规律和技能的。

2. 鼓励函数

鼓励函数为模型惹人须要的非线性身分。Sigmoid函数因为其可微分的性质是传统神经收集的最佳选择，但在深层收集中会惹人梯度消掉和非零点中间问题。Tanh函数可避免非零点中间问题。ReLU鼓励函数很受迎接，它更轻易进修优化。因为其分段线性性质，导致其前传，后传，求导都是分段线性，而传统的sigmoid函数，因为两端饱和，在传播过程中轻易丢弃信息。ReLU鼓励函数缺点是不克不及用Gradient-Based办法。同时如不雅de-active了，轻易无法再次active。不过有办法解决，应用maxout鼓励函数。

3. 权重初始化

权重初始化常采取随机生成办法以避免收集单位的对称性，但仍过于太过粗拙，根据今朝最新的实验结不雅，权重的平均分布初始化是一个最优的选择，同时平均分布的函数范围由单位的连接数肯定，即越多连接权重相对越小。

Tensorflow的 word2vec法度榜样中初始化权重的例子，权重初始值年腋荷琐平均分布中随机采样：

4. 进修速度

进修速度是重要的超参数之一，它是在收敛速度和是否收敛之间的衡量参数。选择0.01或者伴跟着迭代慢慢削减都是合理的选择，最新的办法开端研究进修速度的主动调剂变更，例如基于目标函数曲率的动量或自适应调参等。

5. 选择优化算法

　　推荐阅读

　　量子纠缠：从量子物质态到深度学习

1. 引言经典物理学的主角是物质和能量。20 世纪初，爱因斯坦写下E =mc2 ，将质量和能量同一在了一路。而大年夜那之后，一个新角色——信息(Information)——逐渐走向>>>详细阅读

本文标题：数据有限时怎样调优深度学习模型

地址：http://www.17bianji.com/lsqh/36494.html

 1/2    1