在公司加班等双11，练手写了个抓取豆瓣电影评分的脚本，分享一下
环境
- Python3.6
- requests, 前几个月才知道这个包的，上手比urllib快多了
- BeautifulSoup，很好用的网页分析工具包，见过的爬虫教程都有提过
网络请求分析
- 老套路，打开豆瓣网站，按Ｆ１２打开浏览器的开发者工具。
- 点击"分类"，并选择"电影"。
- 把页面拉到最下方，点击"加载更多"按钮。
-
观察点击以后，页面发起的网络请求，发现其中有加载json数据的请求。
图片.png -
打开这个请求的网址，结果很明显就是各个电影的评分。
图片.png
分析请求结构
看一下这个网址的结构，是个GET请求，豆瓣很厚道，点个赞！
https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E7%94%B5%E5%BD%B1&start=0
这个请求的头部分'https://movie.douban.com/j/new_search_subjects'，包含了协议、主机、路由等信息，不用管。重要的是'?'后面的参数：
- 'sort=T'明显是指定排序方法。
- 'range=0,10'作用不明（本来以为是分页参数，但删除或者改变值，都没啥影响，不管它）。
- 'tags=%E7%94%B5%E5%BD%B1'其实就是转码以后的'tags=电影'。
- 'start=0'，改变成5以后再请求一次，可以发现是返回的记录位置。
分析返回的JSON数据
这个请求返回的是一个JSON数组，包含20个电影的简单数据，其中：
- 'directors', 是导演
- 'rate', 是评分
- 'star', 是评星
- 'title', 电影名称
- 'url', 电影详情页面链接
- 'casts', 主要演员
- 'cover', 封面
- 'id', 编号
- 'cover_x' 和 'cover_y'，迷糊好一阵，看列表页结构才发现是封面的位置...
分析电影详情页面的结构
打开肖申克的救赎，查看其详情页面的结构，哇，好多的js脚本，多半是个异步加载的网页。
不过没关系，这是beautifulsoup大显身手的时候了。
先使用浏览器的开发工具找到需要抓取的数据，类型标签、上映日期等，都保存在<div id="info">标签中。把标签记下来，待会要用到。
图片.png
设计数据结构
需要保存每部电影的名称、评分、导演、主要演员、类型、上映日期、制片国家/地区、片长。设计数据结构，
{
'title':'肖申克的救赎',
'rate':NumberInt(96),
'director':['弗兰克·德拉邦特',],
'casts':["蒂姆·罗宾斯","摩根·弗里曼","鲍勃·冈顿","威廉姆·赛德勒","克兰西·布朗"],
'tags':['剧情','犯罪'],
'country':'美国',
'release':'1994-09-10', // 只取第一个日期
'minutes':NumberInt(142)
}
编写代码
写个简单的示例
- 抓取简介的脚本
import requests
# 拼接简介列表请求的网址, startnum=0则查询0-19条记录。=1则查20-39条记录
startnum = 0
url = 'https://movie.douban.com/j/new_search_subjects?sort=T&tags=电影&start=%d' % startnum*20
# 获得前20条的记录
movie_data = requests.get(url)
# 转成list
movie_data = movie_data.json()['data']
- 抓取单电影详情页面中的数据
# 以movie_data[0]第一条电影的记录为例
import requests
from bs4 import BeautifulSoup as bs # 加载beautifulsoup包
# 获得单部电影的页面
tmp = requests.get(movie_data[0]['url'])
# 将页面转成BeautifulSoup对象
tmp = bs(tmp.text)
# 提取<div id='info'>的部分
tmp = tmp.body.find('div',id='info')
# 提取类型标签
genre = tmp.find_all('span', property='v:genre')
movie_data[0]['tags'] = [i.text for i in genre]
# 提取国家,搜索<span>制片国家/地区:</span>的下个兄弟节点
country = tmp.find('span', text='制片国家/地区:').next_sibling[1:]
movie_data[0]['country'] = country
# 提取第一个上映日期,搜索<span property='v:initialReleaseDate'></span>中的文本值
release = tmp.find('span', property='v:initialReleaseDate').text
# 提取时长,搜索<span property='v:runtime'>标签中的content属性
minutes = tmp.find('span', property='v:runtime').get('content')
movie_data[0]['minutes'] = minutes
完整脚本
#coding:utf-8
"""抓取豆瓣电影资料"""
class get_douban(object):
"""抓取豆瓣电影资料"""
def __init__(self, startnum=0): # startnum是第一条记录的位置，每次抓取20条
self.movie_list = []
self.db = {'host':'localhost', 'port':<port>, 'db':'<dbname>','collection':'<collectionname'}
self.startnum = startnum
def get_movielist(self):
"""获得电影列表"""
import requests
# 拼接简介列表请求的网址, startnum=0则查询0-19条记录。
url = 'https://movie.douban.com/j/new_search_subjects?sort=T&tags=电影&start=%d' % self.startnum
# 获得前20条的记录
tmp = requests.get(url)
# 转成list
tmp = tmp.json()['data']
# 保存所需要的数据
for i in tmp:
self.movie_list.append({
'title':i['title'],
'rate':int(float(i['rate'])*10),
'director':i['directors'],
'casts':i['casts'],
'url':i['url'],
'tags':[],
'country':'',
'release':'',
'minutes':int(0)
})
def get_oneinfo(self):
"""逐个打开电影的详情页面，获得数据"""
import requests
from bs4 import BeautifulSoup as bs
from time import sleep
for item in self.movie_list:
# 获得单部电影的页面
tmp = requests.get(item['url'])
# 将页面转成BeautifulSoup对象
tmp = bs(tmp.text, 'lxml')
# 提取<div id='info'>的部分
tmp = tmp.body.find('div',id='info')
# 提取类型标签
genre = tmp.find_all('span', property='v:genre')
item['tags'] = [i.text for i in genre]
# 提取国家,搜索<span>制片国家/地区:</span>的下个兄弟节点
country = tmp.find('span', text='制片国家/地区:').next_sibling[1:]
item['country'] = country
# 提取第一个上映日期,搜索<span property='v:initialReleaseDate'></span>中的文本值
release = tmp.find('span', property='v:initialReleaseDate').text
item['release'] = release[:10]
# 提取时长,搜索<span property='v:runtime'>标签中的content属性
minutes = tmp.find('span', property='v:runtime').get('content')
item['minutes'] = int(minutes)
# 休眠1秒
sleep(1)
def save_db(self):
"""保存到mongodb数据库"""
from pymongo import MongoClient
conn = MongoClient(host=self.db['host'], port=self.db['port'])
conn = conn.get_database(self.db['db'])
conn = conn.get_collection(self.db['collection'])
for item in self.movie_list:
conn.insert_one(item)
if __name__ == '__main__':
# 抓取400条记录
for i in range(20):
s = get_douban(i*20)
s.get_movielist()
s.get_oneinfo()
s.save_db()
print('get %d - %d ' %(i*20, (i+1)*20-1))
