爬虫的步骤

爬虫代码基本步骤

第一步:

分析网站,寻找目标URL

第二步:

分析目标URL参数(get,post)

get和post请求的区别:

get请求参数部分:把?后面的参数写在字典中,然后使用parse.urlencode(字典参数),得到了url编码格式的字符串

post请求参数部分:是处理表单数据,将变淡u数据放在字典中,然后使用parse.urlencode(字典参数),得到了url编码格式的字符串使用encode方法将字符串转为bytes类型

第三步(发起请求):

(1):设置请求头,添加UA(cookie,referer)
(2):实例化一个Request对象(request.Request)
(3):根据实例化的Request对象,使用request.urlopen()方法发起请求

第四步(处理响应结果):

(1):Ajax请求得到的一般是json数据,使用json模块处理,使用json.loads将json字符串,转为python数据类型
(2):对于飞非结构化数据(数据在html页面中),可以使用re正则模块提取数据(xpath,BeautifulSoup,pyquery)
(3):如果还有其他url需要发起请求则继续发起请求

第五步(数据的持久化):

(1):文件存储(json,csv,txt。。。。。。)
(2):数据库存储(mongodb,MySQL,redis。。。。。。)

推荐阅读更多精彩内容

  • Getting Started Burp Suite 是用于攻击web 应用程序的集成平台。它包含了许多工具,并为...
    Eva_chenx阅读 25,707评论 0 13
  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 29,309评论 2 89
  • 利用HTTP协议向服务器传参的几种途径、响应、Cookie、Session、类视图、中间件 注意: 1>Dja...
    Cestine阅读 636评论 0 2
  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 9,976评论 1 29
  • 晨曦作镜赶梳妆,俏丽羞涩似新娘。身边戏蝶翩翩舞,不知何时逢君郎。
    兵雨阅读 167评论 0 2
  • 树下比式争峰高,一景一人一美人。 谁人不晓无不知,春风点水凤凰兴, 望山映城永川市,芳归路转是她徒。 我心隐阅似江...
    春城怡景阅读 123评论 0 2