大众点评数据爬取

之前准备把大众点评商户和评价信息都抓取下来,遇到两个问题就搁下来。

  1. 分类(菜系)、地点都不限制,不能搜到全部信息,分页也只有50页数据(750条),而在首页显示的餐厅是15万多家(上海地区)。
  • 选定一个分类后,如“本帮江浙菜”,发现显示数据也是50页。

基本可以断定,不限制分类和地点,或者限定条件比较少,最多是显示50页数据。是不是考虑到没有人会无聊地一页一页翻看。

解决的方式,就是先按分类和地点进行组合,构建出所有的url,爬取时再爬过所有分页的页面。于是今早就开干。

1. 先把分类和地点的基础数据抓取下来

把上图蓝色框中的基础数据先抓取下来,就是分类地点,地点包括,热门商区、行政区。分类是都是以g开头的加上数字,如川菜是g102,地点是以r开头的加上数字,如浦东新区是r5,人民广场是r860

location=['r5', 'r2', 'r6', 'r1', 'r3', 'r4', 'r12', 'r10', 'r7', 'r9', 'r13', 'r8', 'r5937', 'r5938', 'r5939', 'r8846', 'r8847', 'c3580', 'r801', 'r802', 'r804', 'r865', 'r860', 'r803', 'r835', 'r812', 'r842', 'r846', 'r849', 'r806', 'r808', 'r811', 'r839', 'r854']

foodtype=['g101', 'g113', 'g132', 'g112', 'g117', 'g110', 'g116', 'g111', 'g103', 'g114', 'g508', 'g102', 'g115', 'g109', 'g106', 'g104', 'g248', 'g3243', 'g251', 'g26481', 'g203', 'g107', 'g105', 'g108', 'g215', 'g247', 'g1338', 'g1783', 'g118']

常见的菜系,本帮江浙菜g101、川菜g102、火锅g110、东北菜g106、海鲜g251、日料g113,哪一种是你的最爱。

2.组合出所有的URL,包括分页

在组合出所有的URL时,发现也可以把分页加上,就是直接在url后跟上如p2,就是第二页,如 “g102r5p2”,这个就表示点评上“浦东新区 川菜 餐厅 第2页的 url”,完整的URL是这样的:

http://www.dianping.com/search/category/1/10/g102r5p2

当然需要先获取组合的每个URL的有多少页。

3. 其他就是解析页面数据,写入数据库

我之前的文章都写得比较详细。
页面数据的提取,可以参考,《Scrapy 抓取数据提取对象小技巧》
写入数据库可以参考,《Scrapy爬取数据存入MySQL数据库》

数据库信息字段

今天代码非常顺利,测试基本都是一次过。启动爬虫,数据顺利抓到写入数据库,很快,我看了一下超过了5000条。

我检查一下数据,发现代码中有个小错误,停下爬虫修改好,数据库Truncate一下。

再次启动爬虫,发现居然被Ban了,我设置了浏览器请求头(伪装),也设置了下载延迟(就是短了点,有点后悔)。这时的时间大概9:30,是不是攻城狮上班了啊,今天是周六啊。

2017-01-07 10:02:58 [scrapy] DEBUG: Crawled (403) <GET http://www.dianping.com/search/category/1/10/g3243r9> (referer: None)
2017-01-07 10:02:58 [scrapy] DEBUG: Ignoring response <403 http://www.dianping.com/search/category/1/10/g3243r9>: HTTP status code is not handled or not allowed
2017-01-07 10:02:58 [scrapy] INFO: Closing spider (finished)
Snip20170107_2.png

想着上周也被Ban过,把图也贴出来。爬取拉勾网招聘信息被Ban,换了一种入口请求,居然好了。


拉勾网被Ban

接下来,再怎么启动也不行。我只好找找设置IP代理的方法。一大早代码写得像在飞,现在...,干脆,先换个地方,换个IP试式看。

这次我把下载延时稍微设长一点,OK,现在下载了2万多数据。

吃货们,等着我的数据分析吧。

分析文章出来啦:献给吃货们的爱♡ -- 大众点评美食数据分析


Github: https://github.com/ppy2790/dianpingshop

推荐阅读更多精彩内容