之前的文章是爬虫糗事百科并插入到MySQL数据库，使用的是BeautifulSoup解析静态网页，select（返回列表）、find_all（返回列表）和find（返回单个结果）以及正则定位获取网页数据，pymysql链接插入本地MySQL数据库。为了扩展自己的爬虫技能，今天的代码是爬虫异步加载的简书首页文章，使用的是lxml解析网页，XPath定位获取网页数据，以及pymongo链接插入本地Mongo数据库（之前不懂MongoDB，看到很多人都使用Mongo数据库存储爬虫数据，特别学习了一下，感觉这个非关系型数据库还是很好用的）。爬取的首页文章数据包括：标题，作者，发表时间，阅读量，评论数，点赞数，打赏数，所投专题，代码的完成参考了loading_miracle的文章，他的文章思路清晰，图文并茂，很适合学习！下面是程序代码，每一句都加了注释说明，方便整理思路，代码的写法存在许多不规范的地方，还请大家留言指教，谢谢。
import requests
from lxml import etree
#import re
import pymongo
#构建爬取简书首页的类
class JianshuSpider(object):
#链接Mongo数据库
client = pymongo.MongoClient('localhost', 27017)
#创建数据库 mydb (应该叫连接数据库，比较创建数据库更合适)
mydb = client['mydb']
#创建数据表 jianshu
jianshu = mydb['jianshu']
#请求头
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
#创建一个数组，用以存储文章的id，作为异步加载的请求参数
params = []
#Class的构造函数(我习惯这么称呼它)
def __init__(self):
pass
#获取异步加载的url的函数(15页),并请求数据
def totalpage(self):
for i in range(0,15):
data = '&'.join(self.params)
url = 'http://www.jianshu.com/?' + data + '&page={}'.format(i)
self.get_data(url)
#爬取数据,并插入Mongo数据库的函数
def get_data(self,url):
#模拟浏览器访问网页
html = requests.get(url,self.headers).text
#etree.HTML解析网页内容返回给respone
response = etree.HTML(html)
#获取请求文章的ID并存入数组并作为请求携带参数
ids = response.xpath('//*[@id="list-container"]/ul/li')
for one in ids:
one = 'seen_snote_ids[]=' + one.xpath('@data-note-id')[0]
self.params.append(one)
#xpath得到所有包含目标内容的div的集合
div_list = response.xpath('//*[@id="list-container"]/ul/li/div')
#for循环分别读取d集合中的目标数据
for div in div_list:
#定位获取文章标题数据-->text()
title = div.xpath('a/text()')[0]
#定位获取作者名字数据-->text()
author = div.xpath('div[1]/div/a/text()')[0]
#定位获取发表时间数据-->非文本text()而是属性@
release_time = div.xpath('div[1]/div/span/@data-shared-at')[0]
#定位获取文章阅读量(用XPath无法定位获取数据)
#reading_num = div.xpath('div[2]/a[2]/text()')[0]
#定位获取文章评论数(用XPath无法定位获取数据)
#comment_num = div.xpath('div[2]/a[3]/text()')
#定位获取点赞数量
like_num = div.xpath('div[2]/span/text()')[0]
#打赏数和所投专题可能为None,顾需特别处理
#判断所投专题
flg1 = div.xpath('div[2]/a[1]/text()')[0]
topic = div.xpath('div[2]/a[1]/text()')[0] if flg1!=None else ""
#判断打赏数
flg2 = div.xpath('div[2]/span[2]/text()')
play_num = div.xpath('div[2]/span[2]/text()')[0] if len(flg2)>0 else 0
#爬取数据后,构建数据字典
data = {
'标题':title,
'作者':author,
'发布时间':release_time,
#'阅读数':reading_num,
#'评论数':comment_num,
'点赞数':like_num,
'所投专题':topic,
'打赏数':play_num
}
#向数据库插入数据
self.jianshu.insert_one(data)
if __name__ == '__main__':
#初始化简书爬虫这个类
jssy_spider = JianshuSpider()
#调用简书爬虫类的totalpage()函数
jssy_spider.totalpage()
插入MongDB效果：
简书mongo.png
除文章的阅读数和评论数没有爬到，其他都插入到Mongo数据库中了，很奇怪不知道为什么用XPath无法定位获取这两类数据，尝试参照loading_miracle的文章改用正则表达式获取，但是发现自己使用正则获取数据后，分页异步加载的数据不正确。第一次使用XPath，很多定位技巧都不掌握，还请大神帮忙解决用XPath定位这两类数据。
