七、最终兵器，残差收集
2015年，Microsoft用残差收集 [7] 拿下了昔时的ImageNet，这个残差收集就很好地解决了梯度衰减的问题，使得深度神经收集可以或许正常work。因为收集层数加深，误差反传的过程中会使梯度赓续地衰减，而经由过程跨层的直连边，可以使误差在反传的过程中削减衰减，使得深层次的收集可以成功练习，具体的过程可以拜见其论文[7]。
经由过程设置比较实验，不雅察残差收集的机能，进行4组实验，每组的收集层数分别设置20，32，44和56。不雅察到loss变更曲线和验证集精确率变更曲线对比如下图。
五、变更的进修率，进一步晋升模型机能
结不雅分析：我们不雅察到，收集大年夜20层增长到56层，练习loss在稳步降低，验证集精确率在稳步晋升，并且当收集层数是56层时可以或许在验证集上达到91.55%的精确率。这解释，应用了残差收集的技巧，可以解决梯度衰减问题，发挥深层收集的特点提取才能，使模型获得很强的拟合才能和泛化才能。当我们练习深度收集的时刻，残差收集很有可能作为最终兵器发挥至关重要的感化。
八、总结
对于CIFAR-10图像分类问题，我们大年夜最简单的卷积神经收集开端，分类精确率只能达到70%阁下，经由过程赓续地增长晋升模型机能的办法，最终将分类精确里晋升到了90%阁下，这20%的精确率的晋升来自于对数据的改进、对模型的改进、对练习过程的改进等，具体每一项晋升如下表所示。
- 改进办法 获得精确率 晋升
- 根本神经收集 69.36% –
- +数据加强 80.42% 11.06%
- +模型改进 85.72% 16.36%
- +变更进修率 86.24% 16.88%
- +深度残差收集 91.55% 22.19%
结不雅分析：我们不雅察到，当10000个batch时，进修率大年夜0.01降到0.001时，目标函数值有明显的降低，验证集精确率有明显的晋升，而当20000个batch时，进修率大年夜0.001降到0.0005时，目标函数值没有明显的降低，然则验证集精确率有必定的晋升，而对于测试集，精确率也晋升至86.24%。这解释，进修率的变更确切可以或许晋升模型的拟合才能，大年夜而晋升精确率。进修率在什么时刻进行衰减、率减若干也须要进行多次测验测验。一般在模型根本成型之后，应用这种变更的进修率的办法，以获取必定的改进，千锤百炼。
个中，数据加强技巧应用翻转图像、切割图像、白化图像等办法增长数据量，增长模型的拟合才能。模型改特技巧包含batch normalization、weight decay、dropout等防止过拟合，增长模型的泛化才能。变更进修率经由过程在练习过程中递减进修率，使得模许可以或许更好的收敛，增长模型的拟合才能。加深收集层数和残差收集技巧经由过程加深模型层数和解决梯度衰减问题，增长模型的拟合才能。这些改进办法的一步步堆叠，一步步递进，使得收集的拟合才能和泛化才能越来越强，最终获得更高的分类精确率。
本文的所有代码见我的github，persistforever/cifar10-tensorflow
本文介绍的调参过程，欲望能赞助到大年夜家，据说过这么一句话，“读研时代进修人工智能，什么都不消学，学好调参就行了”，而“调参”二字却包含着无数的常识，欲望大年夜家能多分享神经收集相干的干货。
【编辑推荐】
- 破解仁攀类辨认文字之谜，对图像中的字母进行无监督进修
- IEEE论文提出径向变换实现图像加强
- 谷歌和Verily宣布新研究，经由过程AI分析视网膜图像可检测心脏病
- 卷积神经收集若何进行图像辨认
- 人工智能竟然能猜暗码了，精确率居然高达25%
推荐阅读
刘强东：我的大年夜学生活整体来说照样很充分的。读书的四年，我应用课余时光打工，也实现了上大年夜学之前给本身定的“不问家里要钱”的目标。大年夜学除了常识体系搭建和价值不雅的培养，我在经商膳绫擎>>>详细阅读
本文标题：如何一步一步提高图像分类准确率？
地址：http://www.17bianji.com/lsqh/37650.html
1/2 1
网友点评
精彩导读
科技快报
品牌展示