所以我们把 G 的 loss function 修改为

如许可以进步练习的速度。

还有一个问题，在其他 paper 中提出，就是经由实验发明，经由很多次练习，loss 一向都是平的，也就是

JS divergence 一向都是 log2，PG 和 Pdata 完全没有交集，然则实际上两个分布是有交集的，造成这个的原因是因为，我们无法真正寂?孚望和积分，只能应用 sample 的办法，如不雅练习的过拟合了，D 照样可以或许完全把两部分的点分开，如下图：

对于这个问题，我们是否应当让 D 变得弱一点，减弱它的分类才能，然则大年夜理论上讲，为了让它可以或许有效的区分真假图片，我们又欲望它可以或许 powerful，所以这里就产生了抵触。

还有可能的原因是，固然两个分布都是高维的，然则两个分布都十分的┞翻，可能交集相当小，如许也会导致 JS divergence 算出来 =log2，约等于没有交集。

解决的一些办法，有添加噪声，让两个分布变得更宽，可能可以增大年夜它们的交集，如许 JS divergence 就可以计算，然则跟着时光变更，噪声须要逐渐变小。

对于一个给定的 x，获得最优的 D 如上图，范围在 (0,1) 内，把最优的 D 带入

这个图的意思是，data 的分布是一个双峰的，然则进修到的生成分布却只有单峰，我们可以看到模型学到的数据，然则却不知道它没有学到的分布。

造成这个情况的原因是，KL divergence 里的两个分布写反了

这个图很清跋扈的显示了，如不雅是第一个 KL divergence 的写法，为了防止出现无穷大年夜，所以有 Pdata 出现的处所都必须要有 PG 覆盖，就不会出现 Mode Collapse。

6.参考

http://t.cn/RKXQOV0

本文转自雷锋网，本文作者马少楠，原载于作者知乎专栏。

【编辑推荐】

1. AI帮您解决“太长不看”难题：若何构建一套深层抽象概括模型
2. 大年夜零开端应用TensorFlow建立简单的逻辑回归模型
3. 若何应用JavaScript构建机械进修模型
4. 高机能IO模型浅析
5. 大年夜浅层模型到深度模型：概览机械进修优化算法

【义务编辑：张子龙 TEL：（010）68476606】

　　推荐阅读

　　UPS电源集中管理系统如何增加效率？

【技巧沙龙】AI开辟者拭魅战营-7分钟打造1个定制技能。7月22号，我们等你一路！ UPS不间断电源持续扩大年夜应>>>详细阅读

本文标题：开发者自述：我是这样学习 GAN 的

地址：http://www.17bianji.com/lsqh/36217.html

 1/2    1