Python系列爬虫之Scrapy实战 | 爬取并简单分析知网中国专利数据

image.png

前言

今天我们就用scrapy爬一波知网的中国专利数据并做简单的数据可视化分析呗。让我们愉快地开始吧~

PS:本项目仅供学习交流,实践本项目时烦请设置合理的下载延迟与爬取的专利数据量,避免给知网服务器带来不必要的压力。

开发工具

Python版本:3.6.4
相关模块:

scrapy模块;

fake_useragent模块;

pyecharts模块;

wordcloud模块;

jieba模块;

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

数据爬取

我们需要爬取的数据例如下图所示:

#

即包括以下这些内容:

图片

爬取思路:

我们可以很容易地发现每个专利的详情页url都是类似这样的:

http://dbpub.cnki.net/grid2008/dbpub/Detail.aspx?DBName=SCPD年份&FileName=专利公开号&QueryID=4&CurRec=1

因此,只要改变专利公开号即可获得对应专利的详情页url(经测试,即使年份对不上也没关系),从而获得对应专利的信息,具体而言代码实现如下:

图片

All done~完整源代码详见个人简介相关文件。

PS:代码运行方式为运行main.py文件。

数据可视化

为避免给知网服务器带来不必要的压力,这里我们只爬了2014年的一部分知网中国专利数据(就跑了一个多小时吧),对这些数据进行可视化分析的结果如下。

我们先来看看申请专利的省份分布呗:

图片

然后再来统计一下专利代理机构?

图片

最后再来看看所有专利摘要做成的词云呗:

图片

还有所有专利标题做成的词云呗:

图片

All done~完整源代码详见个人简介获取相关文件。

推荐阅读更多精彩内容