Python系列爬虫之Scrapy实战 | 爬取并简单分析安居客租房信息

image.png

前言

利用Scrapy框架爬取并简单分析安居客租房信息,让我们愉快地开始吧~

开发工具

Python版本:3.6.4

相关模块:

scrapy模块;

pyecharts模块;

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

原理简介

这依旧是scrapy爬虫框架的一个简单应用,然后加了点数据可视化分析。

首先还是先新建一个爬虫项目:

我们需要爬的网站是:

图片

我选的上海,想爬的信息大概是这些:

图片

先定义一下要爬取的内容(items.py):

图片

然后随便设置一下(settings.py):

图片

最后写下我们的爬虫代码(spider.py):

图片

好的,我们很轻松地写完了我们的爬虫代码。完整爬虫项目详见个人简介获取相关文件。

数据分析

首先让我们来看看想租上海的房子,大概每个月需要多少钱:

图片
图片

把房价除以面积可能更客观一点:

图片

再来看看这些房子的朝向吧:

图片

向南的挺多~

还有住房类型:

图片

源代码见个人简介获取相关文件。

推荐阅读更多精彩内容