scrapy—部分命令汇总


scrapy创建项目的方法

  • 1.创建项目scrapy startproject myproject [project_dir]
    1. cd myproject
    1. 创建爬虫文件 scrapy genspider baidu.com www.baidu.com

project-only commands:

  • 1.scrapy crawl <spider> 运行spider的方法
  • 2.scrapy check [-l] <spider>检查代码是否有错误
  • 3.scrapy list返回项目里面所有spider的名称
  • 4.scrapy view <url>帮助请求url,并进行下载并保存成文件,同时会用浏览器帮你打开,不过是file形式的
  • 5.scrapy shell [url] 类似于ipython,浏览器交互模式
  • 6.scrapy runspider <spider_file.py>运行spider,指定文件名,而不是name,
  • 7.scrapy version [-v]-v 指定的话可以输出依赖库
  • 8.scrapy bench 进行测试的,比如爬行速度等

scrapy数据保存

  • Json文件:
    scrapy crawl name –t json –o o.json
  • csv文件:
    scrapy crawl name –t csv –o o.csv
  • Xml文件
    scrapy crawl name –t xml –o o.xml

推荐阅读更多精彩内容