• 懂得不合模型的弱点，而不是测试随机模型。开端的时刻，我应用了类似批次标准化和双向收集这类似机模型，尝尝试实现留意力机制。然后看了测试数据，才发明如许无法精确猜测色彩和地位，我意识到 CNN 有一个弱点。这就导致我采取更大年夜的步幅来代替 maxpooling。之后验证损掉就大年夜 0.12 变为 0.02，而 BLEU 得分大年夜 85％进步到了 97％。
• 如不雅它们相干的话，只应用预先练习好的模型。鉴于给定的数据集很小，我认为经由预练习的图像模型会进步机能。大年夜我的实验来看，端到端的模型练习起来比较慢，须要更多的内存，然则精度要赶过 30％。
• 在长途办事器上运行模型时，你的筹划须要有所调剂。在我的 Mac 上，它会按字母次序来攫取文件。然则在长途办事器上，它是随机定位的。这就造成了截图和代码之间的不匹配。固然它仍然收敛，但验证数据比我修改之后的要差 50％。
• 确保你懂得库函数。包含词汇表中空记号的填充空格。当我没有添加填充空格时，预估中没有包含任何一个空记号。这也是我看了好几遍输出结不雅之后才留意到的，并且模型大年夜来没有猜测到一个单记号。经由快速的检查，我发明到这甚至不在词汇表中。别的，词汇表要以雷同的次序进行练习和测试。
• 实验时应用更轻量级的模型。应用 GRU 而不是 LSTM 会将每个 epoch 周期削减 30％，并且对机能没有太大年夜的影响。 

前端开辟是应用深度进修的幻想范畴。因为生成数据很轻易，并且今朝的深度进修算法可以映射绝大年夜部分的逻辑。

个中最令人高兴的范畴之一是留意力机制在 LSTM 上的应用。这不仅会进步精确性，并且还能使我们可以或许直不雅地看到 CNN 在产生标签时将核心放在了哪里。

在将每个图像特点添加到对应的标签特点之后，我们最终获得了三组图像标签特点组合。之后，我们将它们作为解码器的输入。

留意力机制也是标签、样式表、脚本和后端之间沟通的关键。留意力层可以跟踪变量，确保神经收集可以或许在编程说话之间进行通信。

但在不久的将来，最大年夜的问题在于若何找到一种可伸缩的方法来生成数据，如许就可以慢慢参加字体、色彩、文字和动画。

到今朝为止，大年夜部分的进步都是产生在将草图转化为模板应用法度榜样的过程中。在不到两年的时光里，我们将可以在纸上画一个应用法度榜样，并在不到一秒的时光内就可以获得响应的前端代码。Airbnb 的设计团队和 Uizard 已经构建了两个可用的原型。