2018-07-25win10 Docker Toolbox及Scrapy-Splash安装

96
mecho_
0.1 2018.07.25 16:59* 字数 800

1、win10家庭版安装

官方推荐安装Docker for MacDocker for Windows,但无奈本人操作系统是家庭版的,只能选择安装Docker Toolbox。
下载地址:Docker Toolbox
安装程序会将以下软件添加到您的计算机:适用于Windows的Docker客户端

  • Docker Toolbox管理工具和ISO
  • Oracle VM VirtualBox
  • Git MSYS-git UNIX工具(这个没有选择,电脑已经安装了Git)

2、运行Docker

安装完成后,桌面会有三个图标。找到Docker QuickStart终端图标,双击运行,提示正在查找bash命令的提示,这是因为在安装过程中没有安装Git的原因。
选择Docker QuickStart终端图标,右键属性,将“目标”的地方修改为本机Git的路径即可。

修改快捷方式的目标

再次双击运行Docker QuickStart,等待时间较长,挂代理,直到出现下图说明启动成功。

启动成功

3、配置加速器

键入docker run hello-world命令,然后按Enter进行测试,会先下载一个Hello World的镜像,然后将其运行。但是下载速度非常的慢,因为默认是从国外的Docker Hub下载,所以这次使用国内的镜像来加速下载,使用的Docker加速器为DaoCloud

image.png

  • 确认你的Docker Toolbox已经启动,如果是关闭的使用如下命令启动:$docker-machine start default
  • 执行:$docker-machine ssh default
  • 将专属加速地址写入:$sudo sed -i "s|EXTRA_ARGS='|EXTRA_ARGS='--registry-mirror=加速地址 |g" /var/lib/boot2docker/profile
  • 键入$exit
  • 重新启动Docker即可$docker-machine restart default

4、测试

键入docker run hello-world命令,然后按Enter进行测试。

测试成功

5、Scrapy-Splash的安装

Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具,安装分为两部分。一个是Splash服务的安装,通过Docker安装,安装之后,会启动一个Splash服务,我们可以通过它的接口来实现JavaScript页面的加载。另一个是Scrapy-Splash的Python库的安装,安装之后即可在Scrapy中使用Splash服务。

通过Docker安装Splah

  • 首先要确保Docker已启动,
  • 键入docker run -p 8050:8050 scrapinghub/splash,下载时间比较长,也可以使用国内的镜像源,docker run -p 8050:8050 scrapinghub/splash --registry-mirror=http://hub-mirror.c.163.com,这里使用了网易的镜像,直接设置--registry-mirror参数,仅对当前的命令有效。
  • 安装完成后,会有以下输出结果:


    输出结果
  • 这样Splash已经在8050端口上运行了,这是我们打开http://localhost:8050打开Splash的主页。
    我这里输入http://localhost:8050打不开网页,经过排查,服务的IP为192.168.99.100,如下图:
    Docker启动成功后的界面显示

    也可以使用$docker-machine ip default,查看IP。
查看IP
  • 最后我们将网址修改为http://192.168.99.100:8050,页面跳转到了Splash的主页。


    Splash主页

大功告成!

python爬虫