我们也测验测验用同样的办法来生成优化函数，然后把生成的优化函数和常用的函数来进行比较，大年夜这张表可以看到生成的函数跨越了现有函数的精度，然则这些生成的函数异常的不直不雅，所以我们就开端想，有没有加倍直不雅的办法来处理 learn 2 learn 这个问题，于是我们想到了进化的算法，或者说遗传算法。既然一个简单单细胞生物都可以进化到异常复杂的、有自力思虑多细胞生物，那么我们可以弗成以把同样理论用到模型的构建上来，于是我们就设计了如许一种算法，在每个时光的开端，我们建立了含有一千个练习好模型的种群，每一步进化大年夜一千个模型中随机选两个，比较他们的精确率，精确率低的模型就会被扔掉落，精确率高的模型会留下来，并且模型会滋长，他们滋长的方法就是给模型创建一个副本，并且简单修改┞封个模型，看上去像基因变异一样，我们会练习这个变异的副本然后放在种群傍边。

我们看一下进化时光的最新进展，图中横轴代表的是时光，纵轴是精确率，琅绫擎每个点代表种群傍边一个模型，灰色点是被镌汰的模型。右上方蓝色的点是存活下来的模型，练习三天之后就在这个地位。练习三天之后就可以获得一个比较高的精确率。在练习十天之后，可以看到精确度达到停止期，也就是我们找到了个比较幻想的模型。

我们看一下别的一个研究项目叫做 Device placement ，他是用强化进修的办法来做 Device Placement ，当前机械进修应用了异常多的模型，也应用异常多的数据，这个请求我们必须有很多的设备合营练习这个模型。

我们有一个收集，这个收集以神经收集作为输入，同时告诉一个收集有若干计算资本，这个收集就会告诉我们 Neural Model ，我们跑一下这个放置好的 Neural Model ，根据运行的时光来调剂一下神经收集，我们用类似的机械翻译的架构。因为模型比较大年夜，比较慢，我们采取了数据并行方法来做练习。

之后我们看一下练习出来的结不雅，这是在一个神经翻译体系 Device placement 的结不雅，膳绫擎白色的点代表是在 CPU ，在 CPU 运行的节点，下面彩色点代表在不合 GPU 运行的节点，尽管取得了 20% 阁下的进步，然则照样异常晦气于懂得。现阶段这个在输入端采取了 CPU ，到后面都是采取了 GPU 。

 

The End

我们讲了两个例子，我们摸索若何用算法或者机械进修来竽暌古化机械进修的模型，并且取得了必定的进展，我们信赖在不久的将来，如不雅有更好的计算资本，今后的所有架构将是由电脑的生成，谷歌已经给大年夜家走出了摸索的第一步，欲望大年夜家都可以介入个中，我讲到这里，感谢大年夜家!

　　推荐阅读

　　如何使用Scikit-learn实现用于机器学习的文本数据准备

在应用文本数据来搭建猜测模型前，都须要特别的预备工作。下面是一个应用上述的词条化对象对文档进行编码的示例，该文档中含有一个词汇表中的词，以及一个不在词汇表中的词。文本起重要经>>>详细阅读

本文标题：Google Brain工程师演讲实录：TensorFlow与深度学习

地址：http://www.17bianji.com/lsqh/38464.html

 1/2    1