用PyCharm远程调试来编写PaddlePaddle代码

字数 1801阅读 660

0、前言和相关知识

PaddlePaddle运行在Docker中,在这其中我有两个疑问:
1、怎么与Docker交互?
paddlepaddle的book项目就是教程,里面有paddle的项目环境,可以用jupyter botebook来写代码和学习,但是总是觉得有点变扭,毕竟浏览器没有IDE那种质感,其实官方是有如下说法

以交互容器方式运行开发镜像:
docker run -it --rm paddlepaddle/paddle:<version>-dev /bin/bash

或者,可以以后台进程方式运行容器:
docker run -d -p 2202:22 -p 8888:8888 paddledev/paddle:<version>-dev

然后用密码 root SSH进入容器:
ssh -p 2202 root@localhost

SSH方式的一个优点是我们可以从多个终端进入容器。比如,一个终端运行vi,另一个终端运行Python。另一个好处是我们可以把PaddlePaddle容器运行在远程服务器上,并在笔记本上通过SSH与其连接。

PaddlePaddle发布的Docker镜像使用说明 上面内容来自这个页面

  • 第一个命令就是直接用命令行进入docker容器,其中-t选项就是tty的意思,最后的一个是执行的命令(/bin/bash)

  • 第二、三个命令是一起用的额,先开启docker 的后台,再ssh远程过去

2、ssh怎么连上去?
官方教程不是写了做法了么?为什么还那样问!?因为实际操作的时候是一直拒绝连接的,从自己试验多次之后,发现有的镜像压根没有安装openssh-server,有的安装了,但是却没有开启,没开服务当然连不上啊。

而远程调试之前,肯定第一步是连上Docker,不然后面都不能继续。

第一次用docker,不太了解怎么操作docker,搞了几天。了解后,我们得知道几个docker命令:

  • docker stop 容器ID 这命令是停止容器
  • docker run [选项] 镜像名:tag [命令] [参数]
    选项: -i 没有参数 给容器开启一个不间断的输入,没有这个的话,执行完命令容器就会退出
    选项:-t 参数在命令处 给容器接入一个tty交互字符界面,参数一般是/bin/bash(个人理解,准确理解亲查阅相关资料
    选项:-d 没有参数 开启让容器在后台运行,并在完全开启容器后,打印容器ID
    选项:-p 本机端口:docker端口 作用是将docker端口映射到本地
  • docker exec [选项] 容器ID 命令 [参数]
  • docker images 列出所有镜像
  • docker ps 列出正在运行的镜像
  • docker ps -a 列出历史记录和情况,其中只有STATUS字段有UP×××字样才是运行中
  • docker pull 镜像名:tag 如果不加tag名称,默认为latest这个tag
  • docker commit 镜像名称 保存镜像状态,下次开启容器会重置,网上上最好用volume(卷)容器来存在内容(volume容器及相关雷凌不在本教程中),镜像名称格式,推荐是:用户名/项目名 或者 组织名/项目名

本教程暂时只管连上docker,内容保存的话,看看以后的有没空改一改。

下面会开始过程,在这之前,先说说简略过程:
开启Docker镜像->检测openssh-server是否存在->是>>跳过docker commit那一步||否>>安装openssh-server->docker commit保存镜像->docker run 开启镜像->docker exec 开启openssh-server->Pycharm远程调试

1、下载并启动Paddle的Docker镜像

1.1下载镜像(其实命令正常意思是运行这个镜像):

正常的方式是docker pull命令拉取镜像的,但是出于简便,采用如下做法:

docker run -d -p 8888:8888 docker.paddlepaddle.org/book:0.10.0

详细说法请参看:运行这本书

1.2启动book镜像

先列出镜像:

docker images

我们选最后一个镜像:

docker run -d -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 

docker ps

命令解释:新建docker.paddlepaddle.org/book:0.10.0镜像的容器,把docker的8888、22端口分别映射到8888、2202,并且后台运行

因为这是book项目的镜像里面开启了,jupyter notebook,所以我们可以这么链接上
http://localhost:8888

2、检测openssh-server是否存在

我们直接向docker容器执行命令

docker exec d6f1c2309b7f whereis sshd 

docker exec d6f1c2309b7f apt-get install openssh-server -y 

这里说明一下,docker exec执行的命令其实就是普通Linux命令而已,首先是wheresi sshd,看输出没有路径信息,说明没有这个程序,接着使用apt-get命令安装openssh-server,这个docker exec命令是不能交互的,所以的使用-y代替本来要输入Y或者回车才能继续安装的确认。


继续添加一些配置文件:
打开如下链接:http://localhost:8888

mkdir /var/run/sshd
echo 'root:root' | chpasswd
sed -ri 's/^PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config

PS:因为启动镜像的方式没有加选项-t所以只能用jupyter notebook来访问了
如果想用交互的方式来可以用如下来开启镜像:

docker run -d -i -t -p 8888:8888 -p 2202:22 docker.paddlepaddle.org/book:0.10.0 /bin/bash

docker attach 容器id  ----如果一直卡着,按ctrl+C就进了

进去执行上面的更改配置的命令

ctrl+p -> ctrl+q ----退出容器

3、docker commit保存镜像

其实docker是不推荐这样做的,因为这样子重现这个环境会变得很困难
具体可查看使用 Docker 容器应该避免的 10 个事情
但是考虑到,自己构建需要花费大量时间(墙很高),并且这个book项目github上并没有提供Dockerfile文件

docker commit d6f1c2309b7f paddlepaddle/book-ssh:0.10.0 

这样子在paddlepaddle/book-ssh:0.10.0这个镜像中添加了openssh-server软件,但是却不能自启动,docker中的linux系统,不能正常设置启动,docker中更讲究的是容器的启动,也就是容器启动时,应用随容器启动而启动,这就需要Dockerfile来构建整个脚本并且添加自启动。

所以我们办不到通过Dockerfile来重构镜像(新生成才对吧),来达到自启动,所以保存之后只能笨一点的方法,手动开启服务,再ssh远程了。

4、docker exec 开启openssh-server

docker exec d6f1c2309b7f /etc/init.d/ssh start

远程试试:


5、Pycharm远程调试

如果你觉得不好,也可以参考这个:Pycharm远程开发配置与使用技巧
创建项目:


添加remote:

接着点ok

会提示如下:

[2017/7/22 2:12] Upload to ssh://root@127.0.0.1:2202/usr/bin/python
[2017/7/22 2:12] No files or folders found to process

并且项目是空的:



一直写java,也是第一次看到空项目,我下意识以为出错了,但是新建一个py文件,运行正确,py文件内容如下:

import paddle.v2 as paddle
import paddle.v2.dataset.uci_housing as uci_housing


def main():
    # init
    paddle.init(use_gpu=False, trainer_count=1)

    # network config
    x = paddle.layer.data(name='x', type=paddle.data_type.dense_vector(13))
    y_predict = paddle.layer.fc(input=x, size=1, act=paddle.activation.Linear())
    y = paddle.layer.data(name='y', type=paddle.data_type.dense_vector(1))
    cost = paddle.layer.mse_cost(input=y_predict, label=y)

    # create parameters
    parameters = paddle.parameters.create(cost)

    # create optimizer
    optimizer = paddle.optimizer.Momentum(momentum=0)

    trainer = paddle.trainer.SGD(
        cost=cost, parameters=parameters, update_equation=optimizer)

    feeding = {'x': 0, 'y': 1}

    # event_handler to print training and testing info
    def event_handler(event):
        if isinstance(event, paddle.event.EndIteration):
            if event.batch_id % 100 == 0:
                print "Pass %d, Batch %d, Cost %f" % (
                    event.pass_id, event.batch_id, event.cost)

        if isinstance(event, paddle.event.EndPass):
            result = trainer.test(
                reader=paddle.batch(uci_housing.test(), batch_size=2),
                feeding=feeding)
            print "Test %d, Cost %f" % (event.pass_id, result.cost)

    # training
    trainer.train(
        reader=paddle.batch(
            paddle.reader.shuffle(uci_housing.train(), buf_size=500),
            batch_size=2),
        feeding=feeding,
        event_handler=event_handler,
        num_passes=30)


if __name__ == '__main__':
    main()

最后是code 0说明正常退出。

这个看不出东西,我们在PyCharm中创建jupyter notebook,就能看到效果了


PyCharm会自动同步本地与ssh远程的服务器文件,还有一个重点就是当你关闭容器,东西会被清空,其实看看,拥有不同的容器ID也可以知道,就是压根就是不同实例,内容是初始值也正常啊。
PS:要显示remotehost:


最后,写得很啰嗦,但是也只是想说清楚一点,不要看得稀里糊涂,我可以只写关键步骤,但是这体现不了这是过程,只体现了结果,所以我选择啰嗦。

6、windows辅助启动脚本

第7行变为你要的名字
第8行改为镜像名字(这个要你机器上的,你用我的这个肯定找不到镜像滴啊

效果:


@echo off  
title 远程Paddle_Book  
setlocal enabledelayedexpansion  
::color 0D  
::mode con cols=50 lines=30 

set "book=book-ssh"
set "docker-image=paddlepaddle/book3:latest"
echo =====================================  
echo               docker tools  
echo  显示镜像、容器、所有容器、运行book
echo                 打开book
echo =====================================  
echo.
rem echo.是显示一行空白  
echo         1、run book
echo         2、stop book
echo         3、run http://localhost:8888
echo         4、list images
echo         5、list running containers
echo         6、list hitstory containers(except %book%
echo         c、退  出



rem 开始循环
:loop 
echo.
set /p var=请选择要进行的操作,然后按回车: 

if "%var%" == "" set /a var=1  
if not "%var%" == """" set var=%var:~0,1%  
for %%t in (1,2,3,4,5,6,c) do if %%t==%var% set /a temp=-1
  
rem 这个for循环检测输入是否是在这个set中
rem 这个temp只是一个中间变量,检测是否存在用,在的话应该是-1,否则不是的话说明不在这些数之中
if not %temp%==-1 set /a var=-1
rem 如果不在set默认值为-1,之后进行提示  
  
if %var% == c goto mExit
rem 如果选择的是c的话直接退出  

echo ------------------------------------------------  
  
 
    if "%file_path%"=="""" goto mContinue  
    REM 为"双引号就停止"
    if %var% == -1 goto mError 
    if %var% == 1 (
                    docker run --name %book% -d -p 2202:22 -p 8888:8888 %docker-image%
                    echo.
                    docker ps
                    echo.
                    echo 正在启动ssh服务
                    docker exec %book% /etc/init.d/ssh start
                  )
    if %var% == 2 (
                    echo 稍等......正在停止%book%
                    docker stop %book%
                    docker rm %book%
                  )
    if %var% == 3 start http://localhost:8888
    if %var% == 4 docker images
    if %var% == 5 docker ps
    if %var% == 6 docker ps -a

    if %var% == c goto mExit
    
  
goto mContinue  
  
:mError 
echo 输入操作数有误
goto mContinue
  
:mContinue 
goto loop  
  
pause  

:mExit
echo 稍等......正在停止%book%
docker stop %book%
docker rm %book%

推荐阅读更多精彩内容