我的深度学习开发环境详解：TensorFlow + Docker + PyCharm等，你的呢？

# 挂载你的长途数据文件夹 (有选择地)

sshfs -o uid=$(id -u) -o gid=$(id -g) myusername@mydeeplearningmachine.com:/data/myusername/ /LocalDevFolder/MountedRemoteDataFolder

这里应用 uid 和 gid 来竽暌钩射本地和长途机械的用户和组 ID，因为这些可能会有所不合。

在本地机械上启动 docker：接下来，我们想包管 pycharm 会拜访精确的库来在本地编译我们的代码。为了做到这个，仅仅须要在本地启动一个 docker 虚拟机。如不雅你在设置中没有改变任何处所，TensorFlow 的 CPU 映像应当已经在你的本地 docker 情况中了。

docker-machine start default

打开 pycharm，并选择你刚才挂载的 home 文件夹中的项目。转到 Project Interpreter 参数选择中，在项目说冥器的可用列表中选择你之前就创建好的长途 TensorFlow 说冥器，pycharm 应当可以或许精确地编译你的代码。这时刻，你可以随时随地应用你的代码，并且改变任何你想要改变的器械。

长途机械上

Ok，你已经在 pycharm 顶用一项新功能更新了你的代码，然后你欲望练习/测试你的模型。

用 SSH 长途登录你的机械：你须要做的第一件事就是简单地长途登录你的深度进修机械。

ssh myusername@mydeeplearningmachine.com

运行一个 SLURM 义务: 在你进行下一步之前，请确保你的团队中没有其他成员正在运行义务。这会阻拦你的义务获得它所须要的资本，所以检查一下今朝有哪些义务正运行在长途机械上总会是一个不错的做法。应用 SLURM 做到这件事，只须要运行一下 squeue 敕令即可，它会列出今朝正运行在机械上的义务。如不雅因为某些原因你之前的某个义务仍然在运行，你可以应用 scancel 敕令来撤消它。在肯定没有其他义务在运行之后，让我们开端一个新义务吧。你可以经由过程以下的敕令来开端一个新的义务。

srun --pty --share --ntasks=1 --cpus-per-task=9 --mem=300G --gres=gpu:15 bash

srun 敕令给出了相当多的选项来让你指定一个特定的义务须要哪些资本。在这个例子中，cpus-per-task、 mem 以及 gres 选项让你指定则个义务分别须要的 CPU 的数量、总体内存以及 GPU 的数量。pty 选项只是供给一个漂亮的敕令行界面。

# 启动你的容器

nvidia-docker run -v /home/myusername/MyDeepLearningProject:/src -it -p 8888:8888 gcr.io/tensorflow/tensorflow:latest-gpu /bin/bash

# 别忘记切换到你的源码文件夹

# 运行你的模型

python myDLmodel.py

本地机械上

启动 Tensorboard 可视化：你还差一点点就做完了。你的代码如今正在顺利地运行，然后你想着应用 tensorboard 去及时地看一下你的模型中的变量是若何变更的。实际上这是最简单的一部分。起首，确保你知道本身本地 docker 机对应的 IP 地址。你可以应用下面的敕令来做这件事：

# 启动你的 docker 虚拟机

docker-machine ls

然后，切换到已经挂载的长途 home 文件夹，并启动一个 TensorFlow docker 容器。因为你已经在本地机械上启动了一个 Tensorflow docker 容器，所以要确保你正在启动的是 CPU 版本的 docker 容器。如膳绫擎所述，不要忘记在 docker 容器中挂载你的项目文件夹。为了在本地机械可视化正在练习的模型，你还须要用 - p 选项将 Tensorboard 应用的端标语安闲器映射到你的本地机械。

docker run -v /LocalDevFolder/MountedRemoteHomeFolder/MyDeepLearningProject:/src -p 6006:6006 -it gcr.io/tensorflow/tensorflow:latest /bin/bash

一旦你进入 docker 容器，经由过程制订你的模型保存变量的路径 (更可能是 checkpoint 文件夹的路径) 来启动 Tensorboard：

tensorboard—logdir=Checkpoints/LatestCheckpointFolder

如不雅一切进展顺利，你如今须要做的就是应用你最爱好的浏览器转到到 http://DOCKER_MACHINE_IP:6006，

这会显示在 Tensorboard 中显示你在模型中正在跟踪的所有变量。

图 2.Tensorboard 可视化 (由 Jimgoo 供给)

【编辑推荐】

谁说数据少就不克不及用深度进修？这锅俺不背！
深度进修成了前端开辟神器：根据UI设计图主动生成代码
一文读懂监督进修、无监督进修、半监督进修、强化进修这四种深度进修方法
看深度进修十九般技艺：它还能赞助保护濒危动物
深度 | 详解首个体系性测试实际深度进修体系的白箱框架DeepXplore

【义务编辑：林师授 TEL：（010）68476606】

2/2 首页上一页 1 2

作者：Yoav Hollander我认为这可以用来做很多工作（拜见标题名为「Other applications of DNN gradients（深度神经收集梯度的其它应用）」的论文┞仿节）。例如，这里有个初步、模糊的设法>>>详细阅读

本文标题：我的深度学习开发环境详解：TensorFlow + Docker + PyCharm等，你的呢？

地址：http://www.17bianji.com/lsqh/35835.html

1/2 1