关于豆瓣网站书籍的一些的爬虫
前言
好久没有在简书更新了，这次更新就来个比较实用的。
首先呢，这个爬虫是用Python 写的，这篇文章也仅供学术参考，并没有什么用途
脚本运行时的坑点
该脚本所需要的Interpreter 是3.7的版本，用到的解析html的库有BeautifulSoup4 。如果在运行时遇到没有找到bs4 的包，或者是BeautifulSoup 的包，请先配置好Project Interpreter ，如果你是用过Pycharm开发的话，就可以直接在Setting > Project Interpreter 选中 ‘+’ 然后在线选择BeautifulSoup4 包安装就行。
（这里就不公开全部的脚本代码了（为防止恶意），如果遇到什么问题，欢迎私信我，尽可能帮助解决。）
下面就开始脚本的简单介绍
1.选择豆瓣上的一个标签链接，通过不断循环这些标签来爬取这些书籍（整体的思路就是这样）
main_url = 'https://book.douban.com/tag/?view=type&icn=index-sorttags-hot'
标签.png
2.循环获取这些标签
def get_book_tags():
req_result = requests.get(main_url)
if req_result.status_code == 200:
html_str = req_result.content.decode('utf-8')
soup = BeautifulSoup(html_str, 'html.parser')
tags = soup.select('#content > div > div.article > div:nth-child(2) > div')
for div in tags:
trs = div.select('.tagCol > tbody > tr')
for tr in trs:
print(tr.a.attrs['href'] + ' ' + tr.a.text.strip())
get_book_list(tag_head_url + tr.a.attrs['href'])
if isDebug:
return
[get_book_list()]方法是获取当前标签页下的所有书籍
3.获取某个标签下的所有书籍。这里注意的一点就是有下一页的标签，如果有下一页的标签就需要递归循环
1566443354(1).jpg
def get_book_list(url):
print('get_book_list: ' + url)
req_result = requests.get(url)
# print('get_book_list: ' + str(req_result.status_code))
if req_result.status_code == 200:
html_str = req_result.content.decode('utf-8')
soup = BeautifulSoup(html_str, 'html.parser')
book_list = soup.select('#subject_list > ul > li')
for book in book_list:
book_detail_url = book.select('.info > h2')[0].a.attrs['href']
book_detail_name = book.select('.info > h2')[0].a.attrs['title']
get_book_detail(book_detail_url, book_detail_name)
if isDebug:
return
# 下一页标签
next_tags = soup.select('#subject_list > div.paginator > span.next')[0].a.attrs['href']
time.sleep(1)
get_book_list(tag_head_url + next_tags)
4.接下来就是获取列表下的书籍的详情[get_book_detail()]
def get_book_detail(url, name):
global book_count
book_count = book_count + 1
print('第' + str(book_count) + '本书 ：' + name + ' url: ' + url)
if is_test_url is False:
if start_index >= book_count:
return
try:
req_result = requests.get(url)
except requests.exceptions.ConnectionError:
print('错误url: ' + url)
return
if req_result.status_code == 200:
html_str = req_result.content.decode('utf-8')
soup = BeautifulSoup(html_str, 'html.parser')
# 图书URL
main_pic = soup.select('#mainpic')[0].a.attrs['href']
print('封面:' + main_pic)
# 作者ID ??
articles = soup.select('#content > div > div.article > div')
for article_item in articles:
pos = str(article_item).find('collect_form_')
if pos > -1:
start_pos = str(article_item).rfind('_') + 1
end_pos = str(article_item).rfind('"')
author_id = str(article_item)[start_pos:end_pos]
print('作者Id: ' + author_id)
break
# 内容简介
# intro = ''
# link_report_list = soup.select("#link-report > div")
# link_len = len(link_report_list)
# if link_len > 0:
# link_report = link_report_list[0]
# intro = link_report.select(".intro")[0].text.strip()
# else:
# intro_div = soup.select('#link-report > span.all.hidden > div > div')[0]
# intro = intro_div.text.strip()
# print('内容简介:' + str(intro))
deal_content_intro(soup)
# 作者简介
deal_author_intro(soup)
# 图书信息
book_detail = soup.select('#info')[0]
pl_list = book_detail.select('.pl')
for pl in pl_list:
deal_with_key_map(pl.text, str(pl), str(book_detail))
# 常用标签
tags_section_span = soup.select("#db-tags-section > div.indent > span")
tag_value = ''
for span in tags_section_span:
# print(span.a.text.strip())
tag_value = tag_value + span.a.text.strip() + ' '
print('常用标签:' + tag_value)
time.sleep(1)
5.最后就是运行时的展示
1566443166(1).jpg
