第一章 Requests库

1.1 Requests库方法介绍

requests.request() : 构造一个请求,支持下面方法(其它方法基础)

Requests 库的六种方法和HTTP协议的六种方法一致:
requests.get(): 获取HTML网页的主要方法,对于与HTTP的GET
requests.head(): 获取HTML页头信息,对应于与HTTP的HEAD
requests.post(): 向网页提交POST请求方法,对应于HTTP的POST
requests.put():向网页提交PUT请求方法,对应于HTTP的PUT
requests.patch():向网页提交局部修改请求,对应于HTTP的PATCH
requests.delete():向网页提交删除请求,对应于HTTP的DELETE

用户通过 requests.get(), requests.head() 访问 Internet,获取资源
用户通过 requests.put(),requests.post(), requests.patch(), requests.delete() 修改Internet网络信息

假设:URL位置有一组数据 UserInfo, 包括UserID, UserName等20个字段
需求: 用户修改了UserName,其它不变
方法: 1. 采用Patch, 仅向URL提交UserName局部修改信息
    2. 采用PUT, 必须将所有20个字符一起提交URL,未提交字符会删除

1.2 Response对象属性

r.status_code: HTTP请求的返回状态,200表示访问成功
r.text: HTTP响应内容的字符串格式
r.encoding: HTTP header的编码方式
r.apparent_encoding: HTTP 内容中的编码方式
r.content: HTTP响应内容的二进制形式(还原图片)

主要注意 r.encoding 和 r.apparent_encoding 区别
r.encoding 如果header中不存在charset,则默认为 ISO-8859-1

import requests
r = requests.get('http://www.baidu.com')
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
r.encoding = 'utf-8'
print(r.text)

r.text: 一开始输入非常规码
r.encoding : 'ISO-8859-1'
r.apparent_encoding: 'utf-8'
r.text: 显示可读代码

Requests 返回的异常值

requests.ConnectionError: 网络连接错误异常,如DNS查询失败,拒绝连接等
requests.HTTPError: HTTP错误异常
requests.URLRequired: URL缺失异常
requests.tooManyRedirects: 超过最大定向次数,产生重定向异常
requests.ConnectTimeout: 连接远程服务器超时异常
requests.Timeout: 请求URL超时,产生超时异常

1.3 爬虫代码通用框架结构

import requests

def getHTMLText(url):
  try:
    r = requests.get(url, timeout = 30)
    r.raise_for_status() # not 200, raise error automatically
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return 'FINDING ERRORS!'

if __name__ = '__main__':
  url = 'http://www.baidu.com'
  print(getHTMLText(url))

1.4 requests.request(method, url, **kwargs)

请求方法
r = requests.request('GET', url, **kwargs)
r = requests.request('HEAD', url, **kwargs)
r = requests.request('POST', url, **kwargs)
r = requests.request('PUT', url, **kwargs)
r = requests.request('PATCH', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('OPTIONS', url, **kwargs)

**kwarges 控制访问参数,均为可选项

params: 字典或者字节序列,作为参数增加到url中

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', params =kv)
print(r.url)
# http://python123.io/ws?key1=value1&key2=value2

data:字典或者字符串,向data域赋值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', data=kv)

json:字典,向json域赋值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', json=kv)

其它还有headers,cookies, auth, files, timeout, proxis等

1.5 requests.get(url)

r = requests.get(url, params = None, **kwargs)
url: 获取页面的url链接
params: url中的额外参数,字典或字节流格式,可选
**kwargs: 12个控制访问的参数

获取HTML网页的主要方法,对于与HTTP的GET
首先构造一个向服务器请求资源的Request对象
结果返回一个包含服务器资源的Response类

import requests
r = response.get(''http://www.baidu.com'')
print(r.status_code)
print(r.headers)
print(type(r))

status_code :如果返回 200,表示访问成功
type(r): requests.models.Response
r.headers: 显示头文件

1.6 requests.head(url)

只是显示头部信息,所花费流量信息比较少

import requests
r = requests.head('http://www.baidu.com')
print(r.headers)
print(r.text)

结果显示print(r.text)为None

1.7 requests.post(url)

向URL POST一个字典自动编码为form(表单)
向URL POST一个字符串自动编码为data

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = payload)
print (r.text)
{
'form':{
  'key2': 'valu2'
  'key1' : 'value1'
 }
}
import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = 'ABC')
print (r.text)
{
  'data': 'ABC'
  'form':{
 }
}


推荐阅读更多精彩内容