爬取糗事百科基本信息


艾玛,补作业啊补作业。迫不及待的进入到爬数据阶段,这时候真的是发现条条大路通罗马,想抓个数据方法是在是太多了。第一个简单的爬虫折腾了一个下午,Mark一下。

作业题目:

爬取糗百 http://www.qiushibaike.com/text/
包括:作者,性别,年龄,段子内容,好笑数,评论数

对于一个爬虫来说,我们先理解清楚最小系统:

  • Url管理器
  • HTML下载器
  • HTML解析器

1.URL管理器比较好理解,页面中存在链接套链接,只有这样我们的小爬虫才能发挥巨大作用,我们需要把所有的url进行管理,去除重复的url,还有一些高阶提高效率的功能。
2.HTML下载器,大约就是模拟浏览器去请求需要访问的页面,存放在本地。
3.HTML解析器,就是把请求下来的HTML数据进行分析,获取自己想要的有效数据。

OK,大约就是这个套路,开始爬坑~~~
老规矩,直接上代码:

import urllib2
import bs4

from bs4 import BeautifulSoup

url = 'http://www.qiushibaike.com'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
headers = {'User-Agent':user_agent}

#enter headers
request = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(request).read()
# print response.decode('utf-8').encode('gbk')

#create beautiful soap object
soup = BeautifulSoup(response, 'lxml')
for link in soup.find_all('div', class_='article block untagged mb15'):
    # 
    print 'author : %s'%link.find('h2').text
    # print 'gender : %s'%link.select('.articleGender')
    # <div class="articleGender womenIcon">22</div>
    print 'age : %s'%link.find('div',class_='articleGender').text
    #fun number 
    print 'fun number : %s'%link.select('div.stats > span.stats-vote > i')[0].text
    # comments num
    print 'comments num : %s'%link.select('div.stats > span.stats-comments > a > i')[0].text
    # content
    print 'content : %s \n'%link.select('a > div.content > span')[0].text

小白就是小白,一开始报这个错:

url format problem

我天真的不把url带协议头,就丢到了urllib2.request()当中去了,记得要带着http://

下面这个问题,貌似是比较常见的,我请求baidu的时候没有个问题,但是糗百就不行。还是得伪装一下,各种网站都应该会防止这样的爬数据行为,所以以后的hack行为还是得高级一些。

User-agent problem
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
headers = {'User-Agent':user_agent}

再来就是显示中文乱码问题,电脑开不动虚拟机了,又买不起MAC。win做开发真的不喜欢。

 print response.decode('utf-8').encode('gbk')
#来回倒一下编码方式咯,费劲的很

关键的地方就是解析这下载下来的HTML内容,BS4就是利用DOM的结构,一层层的剥开,找到有效数据的规律。

soup = BeautifulSoup(response, 'lxml')
for link in soup.find_all('div', class_='article block untagged mb15'):
    # 
    print 'author : %s'%link.find('h2').text
    # print 'gender : %s'%link.select('.articleGender')
    # <div class="articleGender womenIcon">22</div>
    print 'age : %s'%link.find('div',class_='articleGender').text
    #fun number 
    print 'fun number : %s'%link.select('div.stats > span.stats-vote > i')[0].text
    # comments num
    print 'comments num : %s'%link.select('div.stats > span.stats-comments > a > i')[0].text
    # content
    print 'content : %s \n'%link.select('a > div.content > span')[0].text

这个里面各种小技巧,针对不同的特点的数据使用不同判断方法,思路就是找出规律定位数据。

总结一下

啊~~~~真心不容易,总的来说,还是利用Beautiful Soup4把一些基础的数据爬出来的。但是也仅限于了解最基本的原理。后面还有很多的路要走。
明天还有一天休息,真心谢谢屈原(其实叫芈原,楚国人大多都是姓这个)
明天打算把爬简书的任务做了,学一些正则,用一下Xpath。
另外还有最好把代码重构为面向对象的方式。~T T,好多事情,加油啦。

推荐阅读更多精彩内容