requests和元素定位 requests requests：HTTP for Humans相比之前使用的urllib2,requests称得...

元素定位 requests返回的response是html格式，我们需要把需要的数据提取出来，那么就需要元素定位。常用的元素定位方式有xpath...

抓包分析 抓包分析是爬虫必不可少的技能之一，常用的工具有Fiddler4，Charles, whareshark或者浏览器的debug.什么时候...

supervisor进程管理 supervisor就是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，...

验证码识别 验证码识别是爬虫必不可少的一项技能，但是目前的验证码花样百出，此教程只能做到识别较简单的，那些人眼都很难识别，或者字符扭曲混合在一起...

日志 在任何一个完整的程序中，日志都是必不可少的一部分。日志的作用无需细说，下面是一个封装了发送日志到本地和syslog服务器的接口。

反反爬虫 通常通过如下方法来进行反爬虫 检查User-Agent 验证码 一个IP访问的频次或总的访问次数 cookie有效时间 数据存储为图片...

增量爬取和去重 增量爬取 当一个站点有数据更新的时候，需要进行增量爬取，通常有以下集中情况 某个特定页面数据更新 新增了页面 情况1的时候，我们...

消息队列 在构建一个松耦合或是异步的系统时，消息队列是最常用的方法。在爬虫中使用消息队列有哪些好处呢？ 通过消息队列实现线程安全的去重 多进程消...