Web Scraper 获取网页数据，秒杀八爪鱼
对于文科生来说，系统学习python爬虫的话时间成本太高，有没有简单的爬虫软件呢？
当然有，现在市面上最流行的八爪鱼采集器、后羿采集器等，就是相对简单的爬虫软件。不过，这些都不算最好用，可以爬取的网站有限，而且下载软件和学习软件也很麻烦。
今天，程序猿给大家介绍一款Google浏览器插件——Web Scraper，作为插件的它非常方便使用，爬取的内容质量一点也不输八爪鱼。话不多说，安装插件，一睹为快吧！
演示环境：Win10-64bit，Google Chrome
安装Web Scraper
进入Chrome 应用商店，选择在线安装；
-
如果下载时连接不上，也可以离线安装：
访问 www.gugeapps.net 这个国内浏览器插件网站，搜索 Web Scraper，下载插件压缩包到本地；(也可以公众号后台回复Web Scraper获取安装包)
将安装包解压缩；
打开支持 Chrome协议的浏览器（首选Google 浏览器），网址框输入 chrome://extensions/ ，点击"加载已解压的扩展程序"，选择解压的文件夹，将其导入浏览器插件中。
如果如下显示，即为安装成功。（错误可不用理会）
Web Scraper的基本原理和python爬虫相似，学会了爬虫，这些也都相应比较熟悉。这次数据猿公布两个案例，一个是爬取拉勾网的职位数据，一个是豆瓣电影评分Top250。前者在没有抓包的情况下不能实现翻页，后者可以通过理解url来来修改start_url以实现翻页。
案例一：爬取拉勾网职位
启动Web Scraper
打开目标网页
最近，正值找实习找工作的关头，数据猿想要知道全国招聘产品策划实习的情况。所以就上了拉勾网，限定检索关键词为产品策划，工作性质为实习。
找到Web Scraper菜单栏
按F12，查看网页代码。如果代码和网页是左右结构，请点击如下图所示的右上角，将左右结构换为上下结构。
就可以看到Web Scraper菜单栏了！
设置爬取起始网页
创建sitemap
填写sitemap的名称和start_url，名称可以自己拟定，起始页建议根据检索后结果后的第二页来定。
<pre spellcheck="false" class="md-fences md-end-block ty-contain-cm modeLoaded" lang="python" cid="n45" mdtype="fences" style="box-sizing: border-box; overflow: visible; font-family: var(--monospace); font-size: 0.9em; display: block; break-inside: avoid; text-align: left; white-space: normal; background-image: inherit; background-position: inherit; background-size: inherit; background-repeat: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(34, 34, 27); position: relative !important; border: 1px solid rgb(231, 234, 237); border-radius: 3px; padding: 2px 4px 0px; color: rgb(152, 159, 173); width: inherit; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">第2页
https://www.lagou.com/jobs/list_%E4%BA%A7%E5%93%81%E7%AD%96%E5%88%92?px=default&gx=%E5%AE%9E%E4%B9%A0&city=%E5%85%A8%E5%9B%BD&isSchoolJob=1#order
第3页
https://www.lagou.com/jobs/list_%E4%BA%A7%E5%93%81%E7%AD%96%E5%88%92?px=default&gx=%E5%AE%9E%E4%B9%A0&city=%E5%85%A8%E5%9B%BD&isSchoolJob=1#order
</pre>
这里通过观察发现，第2和第3页的网址完全一样，如上代码行所示。所以想要实现翻页效果的话，就需要采用抓包工具，抓取真实的url，这里暂不演示。
添加父级selector
在创建成功sitemap后（其实就类似于一个爬虫项目），添加selector，成为选择器吧，如果吧sitemap理解为第一文件夹，那么selector就是第二级文件，当然，可以是文件夹也可以是文件。
点击圈红的按钮
设置selector的ID和type
这里我们打算选择这一页的职位名称，然后点击进入职位名称后筛选信息，所以共需要两级selector，父级需要选中这些职位名称，并选中link（链接）以跳转到子级页面。
选择页面中的内容
按照下图步骤，先选中multiple（因为这里是多选），然后点击select，再点击选中要爬取的名称，注意这里点击两个或者三个名称即可自动识别，然后点击Done selecting，确定选择这些，再点击Data preview预览数据。
其他不需操作即可完成这个父级selector的爬取。
添加子级selector
打开需要爬取的二级网页。同样在二级页面中，如果新打开了链接，就如上文所示调出Web Scraper，找到创建的sitemap。
添加新的selector
点击父selector，进入父级selector中（点击selector的任意位置可进入其子级），如法炮制，添加新的selector作为子级selector。
如上图，数据猿在这里爬取实习薪资，格式是文本，所以type选text，然后不多选。
添加其他selector
这里就不需要进入实习薪资salary的子级了，其他数据和实习薪资salary是同级，所以就在同一级添加其他selector。
添加步骤和之前的一样，数据猿还选中了公司名称、公司规模、职位诱惑等数据。
如果需要修改，可以点击selector左侧的edit按钮修改。
开始爬取
直接选择本sitemap菜单栏下的Scrape
设置爬虫页面间隔时间（单位：毫秒），以免被封IP。不过这里的数据较少，可以设置1000,毫秒。
然后点击开始爬取。在爬取过程中会弹出新的网页，静待数据爬取即可。
保存所爬数据
点击本sitemap，然后选择导出为csv
在新的Web Scraper窗口中点击 Download now! 立即下载csv，保存到本地即可打开查看。
打开csv，发现最后得到的数据还比较整齐，薪资、城市、公司、公司规模可以简单清洗一下放到pandas里面可视化了。
案例二：豆瓣电影评分top250
找工作太苦逼，赶快刷电影来放松一下。作为电影迷的数据猿，很想知道还有哪些高分电影没有看过。这时候，Web Scraper就是一个非常方便的工具了，毕竟不用麻烦的写代码。
如上面案例，找到目标页面，建立一个sitemap，并且同样是包括一个父selector来获取名称和链接，多个子selector来获取详细的数据。
具体设置过程不再演示，重点说明一下翻页功能的实现。
案例一拉勾网的网页翻页之后网址不变，而豆瓣的网页会随着翻页而变化，而且变化是有规律的，这就给了我们翻页功能的实现提供了便利。
寻找翻页的规律
我们将第2页和第3页的网址列出来找规律（第1页的网址一般没有什么规律，建议从第2页开始找），发现start=后面有规律，都是递增25的。而删掉&后面的网址不影响结果。
<pre mdtype="fences" cid="n179" lang="python" class="md-fences md-end-block ty-contain-cm modeLoaded" spellcheck="false" style="box-sizing: border-box; overflow: visible; font-family: var(--monospace); font-size: 0.9em; display: block; break-inside: avoid; text-align: left; white-space: normal; background-image: inherit; background-position: inherit; background-size: inherit; background-repeat: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(34, 34, 27); position: relative !important; border: 1px solid rgb(231, 234, 237); border-radius: 3px; padding: 2px 4px 0px; color: rgb(152, 159, 173); width: inherit; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">第2页
https://movie.douban.com/top250?start=25&filter=
第3页
https://movie.douban.com/top250?start=50&filter=</pre>
所以这时候，Web Scraper就提供了解决方案，将start=后面加个[]，数据分别为0-终点数据，间隔为25。
<pre mdtype="fences" cid="n187" lang="python" class="md-fences md-end-block ty-contain-cm modeLoaded" spellcheck="false" style="box-sizing: border-box; overflow: visible; font-family: var(--monospace); font-size: 0.9em; display: block; break-inside: avoid; text-align: left; white-space: normal; background-image: inherit; background-position: inherit; background-size: inherit; background-repeat: inherit; background-attachment: inherit; background-origin: inherit; background-clip: inherit; background-color: rgb(34, 34, 27); position: relative !important; border: 1px solid rgb(231, 234, 237); border-radius: 3px; padding: 2px 4px 0px; color: rgb(152, 159, 173); width: inherit; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">https://movie.douban.com/top250?start=[0-249:25]</pre>
最后，我们还可以保存我们的sitemap到本地。
下次使用的时候，直接在创建sitemap的窗口选择import，将sitemap代码粘贴进去即可。
最后获取的数据如下
小结
Web Scraper对没有python爬虫基础的同学非常友好，简单易上手，可以自定义的采集方式非常便利，极大地减轻了后面数据清洗的压力，同时，作为插件的它很轻便，还完全免费。但不足之处也很明显，抓取网页需要翻页的时候，就要考抓包获取真实网址，但这也是一般采集器的缺陷（要啥自行车）。
如果需要本文演示的sitemap和Web Scraper离线包，请到文科数据员公众号后台回复Web Scraper
参考资料
