前言
今天为大家带来利用Python爬虫抓取豆瓣读书Top250，废话不多说。
Let's start happily
image.png
开发工具
Python版本： 3.6.4
相关模块：
requests模块
lxml模块
csv模块
环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
思路分析
本文以爬虫抓取豆瓣读书，讲解如何爬取豆瓣读书Top250！
前期准备
1.获取页面内容
for url in urls:
html = requests.get(url, headers=headers)
selector = etree.HTML(html.text)
2.提取整个豆瓣书籍页面数据
- 浏览器中打开我们要爬取的页面
- 按F12进入开发者工具，查看我们想要的数据在哪里
- 这里我们需要书籍书名,作者/译者, 星级, 评分, 评语，出版社or时间信息等
infos = selector.xpath('//tr[@class="item"]')
3.获取豆瓣书籍书名', '作者/译者', '出版社or时间信息', '价格', '评分', '评价人数', '评语', '相应的豆瓣链接'。
for info in infos:
name = info.xpath('td/div/a/@title')[0] # 书名.
url = info.xpath('td/div/a/@href')[0] # 链接.
book_infos = info.xpath('td/p/text()')[0]
author = book_infos.split('/')[0] # 作者.
publisher = book_infos.split('/')[-3] # 出版社.
date = book_infos.split('/')[-2] # 出版时间.
price = book_infos.split('/')[-1] # 价格.
rate = info.xpath('td/div/span[2]/text()')[0] # 评分.
number = info.xpath('normalize-space(td/div/span[3]/text())') # 评价人数
comments = info.xpath('td/p/span/text()') # 评语.
comment = comments[0] if len(comments) != 0 else "空"
运行结果
image.png
4.写入数据
writer.writerow(("《"+name+"》", url, author, publisher, date, price, rate + "分", number, comment))
#代码测试2022.8.6无异常
效果展示
豆瓣数据词云图
