1.requests库安装
pip install requests
举例：
>>> import requests
>>> r = requests.get("http://www.baidu.com")
>>> r.status_code
200 #200表示成功
>>> r.encoding = "utf-8"
>>> r.text #打印网页内容
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">登录</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号 <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n
这样，百度的主页已经成功被抓取下来了。
requests的7个主要的方法
image.png
2.requests库的get()方法
image.png
image.png
requests库get方法的源代码
image.png
所以，requests库的get()方法实际上是调用requests库的request的方法来实现的
所以，虽然requests库有7中方法，但是实际上可以把它理解成一种方法，也就是request的方法。
image.png
重点看一下response对象
image.png
image.png
image.png
image.png
原则上，r.apparent_encoding 是比r.encoding更为准确的一种形式
3.爬取网页的通用代码框架
6种常见的requests库的连接异常
image.png
image.png
image.png
image.png
通用代码框架使得用户爬取网页更加可靠，有效，稳定
3.HTTP协议以及request库方法
HTTP协议：超文本传输协议
image.png
简单的说，就是用户发起请求，服务器发生响应，这就是简单的请求与响应模式
image.png
image.png
image.png
image.png
image.png
image.png
image.png
r.headers反馈得到的头部信息
当试图展示全部内容，用r.text,结果为空
image.png
image.png
image.png
4.requests库主要方法的解析
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
5.爬取实例
（1）京东商品页面的爬取
image.png
（2）亚马逊商品页面的爬取
image.png
image.png
image.png
亚马逊的服务器识别了这次访问是由requests库的爬虫引起的
所以
先构建一个键值对
image.png
重新定义了user-agent，使它等于Mozilla/5.0
image.png
对headers进行修改
image.png
这时候，user-agent就变成了Mozilla/5.0
返回的结果
image.png
image.png
(3)百度360搜索关键词提交
image.png
image.png
image.png
image.png
（4）网络图片的爬取和储存
image.png
image.png
（5）IP地址归属地的自动查询
6.Beautiful Soup库的安装
pip install beautifulsoup4
image.png
image.png
两种方式获取源代码
1是可以直接浏览器上查看网页源代码
image.png
2是可以用requests
image.png
除了给出demo，还需要给出一个解析demo的解释器，这里的解释器是html.parser，也就是说我们这里是对demo进行html的解析
image.png
beautifulsoup库只需要2行代码
image.png
7.Beautiful Soup库的基本元素
image.png
任何的html文件都是由一组尖括号组成的标签组织起来的，每一对尖括号构成一个标签，而标签之间存在上下游关系，形成一个标签树
image.png
image.png
image.png
image.png
image.png
image.png
image.png
使用soup.title可以获得title信息
使用soup.a获得a标签的tag
当html中包含多个相同的tag时，使用soup.tag是会获得第一个tag信息
image.png
soup.a.name获得a标签的名字
soup.a.parent.name获得a标签的父亲的名字，也就是包含a标签的上一级标签的名字
soup.a.parent.parent.name同理，获得的是上上级标签的名字
image.png
tag.attrs获取tag的属性信息，可以看出来它是一个字典，存在键值对
因此，可以用
tag.attrs['class']来获得class属性的值
tag.attrs['href']来获得href属性的值
type（tag.attrs）可以获得属性的类型，它是一个dict
type（tag），获取tag的类型信息
image.png
soup.a.string获得tag a的NavigableString
可以看出，p标签中还包含一个b标签
因此，soup.tag.string可以跨标签获得标签的NavigableString
比如
image.png
image.png
beautiful soup的comment信息
8.基于bs4库的HTML内容的遍历方法
image.png
image.png
image.png
要注意的是，contents返回的是列表，而children和descendants返回的是迭代类型，需要for循环输出
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
9.基于bs4库的HTML格式输出
image.png
image.png
image.png
print之后都分行显示
image.png
image.png
10.信息标记的三种形式
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
11.三种信息标记形式的比较
image.png
image.png
image.png
image.png
image.png
12.信息提取的一般方法
image.png
image.png
image.png
image.png
image.png
13.基于bs4库的HTML内容查找方法
image.png
image.png
image.png
如果给find_all的参数是True，将返回所有的标签信息
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
14.中国大学排名定向爬虫实例
（1）实例介绍
image.png
image.png
image.png
image.png
image.png
image.png
（2）中国大学排名定向爬虫实例代码编写
import requests
import bs4
import requests
import bs4
import requests
import bs4
from bs4 import BeautifulSoup
def getHTMLText(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html):
soup = BeautifulSoup(html,'html.parser')
for tr in soup.find('tbody').children:
if isinstance(tr,bs4.element.Tag):
tds = tr("td")
ulist.append([tds[0].string,tds[1].string,tds[2].string])
def printUnivList(ulist,num):
print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
for i in range (num):
u = ulist[i]
print ("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
def main():
uinfo = []
url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html"
html = getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20)
main()
结果如下
排名 学校名称 总分
1 清华大学 北京市
2 北京大学 北京市
3 浙江大学 浙江省
4 上海交通大学 上海市
5 复旦大学 上海市
6 南京大学 江苏省
7 中国科学技术大学 安徽省
8 哈尔滨工业大学 黑龙江省
9 华中科技大学 湖北省
10 中山大学 广东省
11 东南大学 江苏省
12 天津大学 天津市
13 同济大学 上海市
14 北京航空航天大学 北京市
15 四川大学 四川省
16 武汉大学 湖北省
17 西安交通大学 陕西省
18 南开大学 天津市
19 大连理工大学 辽宁省
20 山东大学 山东省
(3)中国大学排名定向爬虫实例优化
问题：
image.png
结果的中文不对齐
image.png
image.png
