scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行
项目和版本
scrapyd可以管理多个项目，并且每个项目允许有多个版本，但是只有最新的版本会被用来运行爬虫.
最方便的版本管理就是利用VCS工具来记录你的爬虫代码，版本比较不是简单的通过字母排序，而是通过智能的算法，和distutils一样，例如: r10比r９更大
工作原理
scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们
启动服务
# 注意，启动scrapyd的目录会保存整个scrapyd运行期间生成的log, item文件，所以请选择合适的位置运行该命令$ scrapyd
调度爬虫运行
$ curl http://localhost:6800/schedule.json -dproject=myproject -dspider=spider2{"status":"ok","jobid":"26d1b1a6d6f111e0be5c001e648c57f8"}
web接口
安装
需求
Python 2.6+
Twisted 8.0+
Scrapy 0.17+
安装
$ pip install scrapyd
或
$ sudo apt-get install scrapyd
项目部署
直接使用scrapyd-client提供的scrapyd-deploy工具.
安装scrapyd-client
$ pip install scrapyd-client
scrapyd-client工作原理
打包项目，然后调用scrapyd的addversion.json接口部署项目
配置服务器信息
为了方便叙述，整个部署流程以部署豆瓣电影爬虫为例。 配置服务器和项目信息, 需要编辑scrapy.cfg文件，添加如下内容
[deploy:server-douban]url=http://localhost:6800/
其中server-douban为服务器名称, url为服务器地址，即运行了scrapyd命令的服务器。
检查配置, 列出当前可用的服务器
$ scrapyd-deploy -lserver-douban http://localhost:6800/
列出服务器上所有的项目, 需要确保服务器上的scrapyd命令正在执行，否则会报连接失败.首次运行的话，可以看到只有一个default项目
$ scrapyd-deploy -L server-doubandefault
打开http://localhost:6800/, 可以看到Available projects: default
部署项目
在爬虫项目根目录下执行下面的命令, 其中target为上一步配置的服务器名称，project为项目名称，可以根据实际情况自己指定。
scrapyd-deploy -p
$ scrapyd-deploy server-douban -p douban-moviesPacking version1446102534Deploying to project"douban-movies"in http://localhost:6800/addversion.jsonServer response(200):{"status":"ok","project":"douban-movies","version":"1446102534","spiders":1,"node_name":"sky"}
部署操作会打包你的当前项目，如果当前项目下有setup.py文件，就会使用它，没有的会就会自动创建一个。(如果后期项目需要打包的话，可以根据自己的需要修改里面的信息，也可以暂时不管它). 从返回的结果里面，我们可以看到部署的状态，项目名称，版本号和爬虫个数，以及当前的主机名称.
检查部署结果
$ scrapyd-deploy -L server-doubandefaultdouban-movies
或再次打开http://localhost:6800/, 也可以看到Available projects: default, douban-movies
我们也可以把项目信息写入到配置文件中，部署时就不用指定项目信息，编辑scrapy.cfg文件，添加项目信息
[deploy:server-douban]url=http://localhost:6800/project=douban-movies
下次部署可以直接执行
$ scrapyd-deploy
如果配置了多个服务器的话，可以将项目直接部署到多台服务器
$ scrapyd-deploy -a -p
指定版本号
默认情况下, scrapyd-deploy使用当前的时间戳作为版本号，我们可以使用--version来指定版本号
scrapyd-deploy -p --version
版本号的格式必须满足LooseVersion
如：
# 设置版本号为0.1$ scrapyd-deploy server-douban -p douban-movies --version0.1Packing version0.1Deploying to project"douban-movies"in http://localhost:6800/addversion.jsonServer response(200):{"status":"ok","project":"douban-movies","version":"0.1","spiders":1,"node_name":"sky"}
如果使用了Mercurial或Git管理代码， 可以使用HG和GIT作为version的参数，也可以将它写入scrapy.cfg文件，那么就会使用当前的reversion作为版本号。
[deploy:target]...version=GIT
$ cat scrapy.cfg...[deploy:server-douban]url=http://localhost:6800/project=douban-moviesversion=GIT
# 当前版本号为r7-master
$ scrapyd-deploy server-douban -p douban-movies fatal: No names found, cannot describe anything.Packing version r7-masterDeploying to project"douban-movies"in http://localhost:6800/addversion.jsonServer response(200):{"status":"ok","project":"douban-movies","version":"r7-master","spiders":1,"node_name":"sky"}
关于从GIT获取版本号的方式，可以参看scrapyd-client源码部分
elifversion=='GIT':p=Popen(['git','describe'],stdout=PIPE)d=p.communicate()[0].strip('\n')ifp.wait()!=0:p=Popen(['git','rev-list','--count','HEAD'],stdout=PIPE)d='r%s'%p.communicate()[0].strip('\n')p=Popen(['git','rev-parse','--abbrev-ref','HEAD'],stdout=PIPE)b=p.communicate()[0].strip('\n')return'%s-%s'%(d,b)
服务器添加认证信息
我们也可以在scrapyd前面加一层反向代理来实现用户认证。以nginx为例, 配置nginx
server{listen6801;location/{proxy_passhttp://127.0.0.1:6800/;auth_basic"Restricted";auth_basic_user_file/etc/nginx/htpasswd/user.htpasswd;}}
/etc/nginx/htpasswd/user.htpasswd里设置的用户名和密码都是test 修改配置文件，添加用户信息信息
...[deploy:server-douban]url = http://localhost:6801/project = douban-moviesversion = GITusername = testpassword = test
注意上面的url已经修改为了nginx监听的端口。
提醒: 记得修改服务器上scrapyd的配置bind_address字段为127.0.0.1，以免可以从外面绕过nginx, 直接访问6800端口。 关于配置可以参看本文后面的配置文件设置.
API
scrapyd的web界面比较简单，主要用于监控，所有的调度工作全部依靠接口实现. 具体可以参考官方文档
常用接口:
调度爬虫
$ curl http://localhost:6800/schedule.json -dproject=myproject -dspider=somespider
# 带上参数
$ curl http://localhost:6800/schedule.json -dproject=myproject -dspider=somespider -dsetting=DOWNLOAD_DELAY=2-darg1=val1
取消
$ curl http://localhost:6800/cancel.json -dproject=myproject -djob=6487ec79947edab326d6db28a2d86511e8247444
列出项目
$ curl http://localhost:6800/listprojects.json
列出版本
$ curl http://localhost:6800/listversions.json?project=myproject
列出爬虫
$ curl http://localhost:6800/listspiders.json?project=myproject
列出job
$ curl http://localhost:6800/listjobs.json?project=myproject
删除版本
$ curl http://localhost:6800/delversion.json -dproject=myproject -dversion=r99
删除项目
$ curl http://localhost:6800/delproject.json -dproject=myproject
配置文件
scrapyd启动的时候会自动搜索配置文件，配置文件的加载顺序为
/etc/scrapyd/scrapyd.conf
/etc/scrapyd/conf.d/*
scrapyd.conf
~/.scrapyd.conf
最后加载的会覆盖前面的设置
默认配置文件如下, 可以根据需要修改
[scrapyd]eggs_dir=eggslogs_dir=logsitems_dir=itemsjobs_to_keep=5dbs_dir=dbsmax_proc=0max_proc_per_cpu=4finished_to_keep=100poll_interval=5http_port=6800debug=offrunner=scrapyd.runnerapplication=scrapyd.app.applicationlauncher=scrapyd.launcher.Launcher[services]schedule.json=scrapyd.webservice.Schedulecancel.json=scrapyd.webservice.Canceladdversion.json=scrapyd.webservice.AddVersionlistprojects.json=scrapyd.webservice.ListProjectslistversions.json=scrapyd.webservice.ListVersionslistspiders.json=scrapyd.webservice.ListSpidersdelproject.json=scrapyd.webservice.DeleteProjectdelversion.json=scrapyd.webservice.DeleteVersionlistjobs.json=scrapyd.webservice.ListJobs
关于配置的各个参数具体含义，可以参考官方文档
