scrapy -1.总序

字数 225阅读 16

scrapy是基于异步的爬虫,适用于多网页的爬取。主要有几个重要组件,一个是spider,具体的分析爬取信息,一个是items,存储爬取下来的信息,一个是pipeline,把item储存的信息清洗,存到数据库,最后一个是settings,用于控制整个爬虫组件。
安装:
用anaconda装,方便快捷。在anaconda里用pip install scrapy就好了

生成一个scarpy项目,转到需要的文件下
scrapy startproject 项目名称
就会在该文件夹下生成相关文件。

image.png

接下来需要做的就是前面说的填充几个组件。
其中spider需要自己创建一个.py的文件。
items、pipelines、settings都已经有了模板文件,只需要在此基础上做相应更改即可。