• python中的装饰器

    python中的装饰器 1. @property ['prɑpɚti] @property装饰器就是负责把一个方法变成属性调用。 上面的birt...

  • 爬虫:1. requests

    requests和元素定位 requests requests:HTTP for Humans相比之前使用的urllib2,requests称得...

  • 爬虫:2. 元素定位

    元素定位 requests返回的response是html格式,我们需要把需要的数据提取出来,那么就需要元素定位。常用的元素定位方式有xpath...

  • 爬虫:3. selenium

    selenium 很多页面元素的生成都是通过与后台交互生成,就是常说的动态页面。使用requests抓取动态页面返回的结果通常包含很多javas...

  • 爬虫:6. 抓包分析

    抓包分析 抓包分析是爬虫必不可少的技能之一,常用的工具有Fiddler4,Charles, whareshark或者浏览器的debug.什么时候...

  • 爬虫:10. supervisor进程管理

    supervisor进程管理 supervisor就是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,...

  • 爬虫:9. 验证码识别

    验证码识别 验证码识别是爬虫必不可少的一项技能,但是目前的验证码花样百出,此教程只能做到识别较简单的,那些人眼都很难识别,或者字符扭曲混合在一起...

  • 爬虫:8.日志

    日志 在任何一个完整的程序中,日志都是必不可少的一部分。日志的作用无需细说,下面是一个封装了发送日志到本地和syslog服务器的接口。

  • 爬虫:7.反反爬虫

    反反爬虫 通常通过如下方法来进行反爬虫 检查User-Agent 验证码 一个IP访问的频次或总的访问次数 cookie有效时间 数据存储为图片...