Python系列爬虫之抓取并简单分析鱼C论坛的鱼油数据可视化

开发工具

Python版本:3.6.4
相关模块:

requests模块;

fake_useragent模块;

pyechart模块;

以及一些python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

原理简介

其实爬虫的文章我一般写的比较水,然后偶尔瞅了瞅别人的文章,发现基本是数据获取,清洗,最后可视化分析这个流程,于是打算稍微模仿一下,虽然我可能还是会写的比较随意and极其不专业。

数据获取:

这部分很简单,鱼C论坛每个鱼油的个人主页除了uid不同,其他都是一样的:

@

挨个请求每个鱼油个人主页的url,然后把返回的内容保存起来就可以了:

图片

最后获得的数据大概这么多,一共40万条左右吧,虽然大部分是无效的。

图片

数据清洗:

接下来我们从每个鱼油的个人主页中提取一些有用的数据,例如性别、生日、出生地、学历等内容,具体代码实现如下:

图片

最后剩下的数据大概这么多:

图片

他喵的这也太真实了吧,最后大概只剩下了1万多条数据,简直了。然后我去看了下,发现很多鱼油的主页是这样的:

图片

还有很多uid是无效用户:

图片

数据可视化分析:

首先,让我们来看看鱼C论坛鱼油们的男女比例吧:

图片

Emmmm,原来论坛里还是有女生的,我一直以为是没有女生的。

OK,接下来我们来看看论坛里的鱼油学历分布情况吧:

图片

竟然有将近200个博士,惊讶ing。

OK,接下来我们来看看论坛鱼油们的省份分布吧,这里只统计了国内的鱼油:

[图片上传中...(image-a96b08-1616672741403-2)]

看了鱼C论坛的鱼油们来自五湖四海,当然在广东省的鱼油是最多的,目测论坛的坛主小甲鱼应该是广东人吧。

再接下来,我们来看看鱼C论坛鱼油的年龄分布吧:

图片

估计论坛里的鱼油大部分还是90后的学生党吧,虽然90后大多应该已经毕业了。

最后,我们再来看看论坛里哪个鱼油比较土豪吧,也就是鱼币和C币最多的鱼油,统计结果如下图所示:

图片

为了帮助提升正在学习Python编程的伙伴们,在这里为大家准备了丰富的学习大礼包

image

完整源代码和结果详见个人介绍获取相关文件。

推荐阅读更多精彩内容