1，概述
opener是 urllib.request.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。
但是基本的urlopen()方法不支持代理、Cookie等其他的 HTTP/HTTPS高级功能。所以要支持这些功能：
1,使用相关的 Handler处理器 来创建特定功能的处理器对象；
2,然后通过 urllib.request.build_opener()方法使用这些处理器对象，创建自定义opener对象；
3,使用自定义的opener对象，调用open()方法发送请求。
4,注意：如果程序里所有的请求都使用自定义的opener，可以使用urllib.request.install_opener() 将自定义的 opener 对象 定义为 全局opener，表示如果之后凡是调用urlopen，都将使用这个opener（根据自己的需求来选择）。
2,简单的自定义opener()案例
from urllib import request
def loadPage():
# 1. 创建指定功能的handler处理器对象,也可以是HTTPSHandler
# 指定debuglevel = 1参数，还会将Debug_Log打开，
# 这样程序在执行的时候，会把收包和发包的报头在屏幕上自动打印出来，方便调试，有时可以省去抓包的工作。
http_handler = request.HTTPHandler(debuglevel=1)
# 2. 使用处理器对象，返回自定义opener对象，这个opener发送请求时就具有opener的功能
opener = request.build_opener(http_handler)
# 3. 使用opener.open() 发送请求
response = opener.open("http://www.baidu.com/")
return response.read()
if __name__ == "__main__":
html = loadPage()
print(html)
3，ProxyHandler处理器（代理设置）
使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。
很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
urllib2中通过ProxyHandler来设置使用代理服务器。
匿名度：通常情况下，使用免费代理是可以看到真实IP的，所以也叫透明代理。透明代理的请求报头有X-Forwarded-For部分，值是原始客户端的 IP。
所以，专业爬虫工程师或爬虫公司会使用高品质的私密代理，这些代理通常需要找专门的代理供应商购买，再通过用户名/密码授权使用。
import os
from urllib import request
def loadPage():
# 获取指定环境变量的值
# 代理用户名
proxy_user = os.environ.get('proxy_user')
print(proxy_user)
# 代理密码
proxy_password = os.environ.get("proxy_password")
print(proxy_password)
# 代理服务器IP
proxy_server = os.environ.get("proxy_server")
# 请求报头
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
# 1. 免费代理，直接使用,但是不稳定，可能用不了
# proxy = {"http" : "121.232.147.178:9000"}
# 2. 私密代理，需要配置用户名和密码，有两种配置方式如下：
# proxy = {"http": "197681237:jed7abcgtpc@122.124.189.110:16516"}
# 在ubuntu环境变量中配置
# 配置路径：用户变量：~/.bashrc
proxy = {"http": proxy_user + ":" + proxy_password + "@" + proxy_server}
# 可以处理代理的handler处理器，参数是字典类型
proxy_handler = request.ProxyHandler(proxy)
# 构建自定义opener对象，可以处理代理
opener = request.build_opener(proxy_handler)
# 构建Request请求
req = request.Request("http://www.baidu.com/", headers=headers)
# 使用自定义opener发送请求，同时附加代理处理
response = opener.open(req)
print(response.read())
if __name__ == "__main__":
loadPage()
4，HTTPPasswordMgrWithDefaultRealm()不建议使用，推荐使用ProxyHandler（）
HTTPPasswordMgrWithDefaultRealm()类将创建一个密码管理对象，用来保存 HTTP 请求相关的用户名和密码，主要应用两个场景：
验证代理授权的用户名和密码 (ProxyBasicAuthHandler())
验证Web客户端的的用户名和密码 (HTTPBasicAuthHandler())
ProxyBasicAuthHandler(代理授权验证)
如果我们使用之前的代码来使用私密代理，会报 HTTP 407 错误，表示代理没有通过身份验证：
HTTP Error 407: Proxy Authentication RequiredHTTPBasicAuthHandler处理器（Web客户端授权验证）
有些Web服务器（包括HTTP/FTP等）的有些页面并不想提供公共访问权限，或者某些页面不希望公开，但是可以让特定的客户端访问。那么用户在访问时会要求进行身份认证。
爬虫直接访问会报HTTP 401 错误，表示访问身份未经授权：
HTTP Error 401: Unauthorized
from urllib import request
# 用户名
user = "test"
# 密码
passwd = "123456"
# Web服务器 IP
webserver = "http://192.168.105.29"
# 1. 构建一个密码管理对象，用来保存需要处理的用户名和密码
passwdmgr = request.HTTPPasswordMgrWithDefaultRealm()
# 2. 添加账户信息，第一个参数realm是与远程服务器相关的域信息，一般没人管它都是写None，后面三个参数分别是 Web服务器、用户名、密码
passwdmgr.add_password(None, webserver, user, passwd)
# 3. 构建一个HTTP基础用户名/密码验证的HTTPBasicAuthHandler处理器对象，参数是创建的密码管理对象
httpauth_handler = request.HTTPBasicAuthHandler(passwdmgr)
# 4. 通过 build_opener()方法使用这些代理Handler对象，创建自定义opener对象，参数包括构建的 proxy_handler
opener = request.build_opener(httpauth_handler)
# 5. 可以选择通过install_opener()方法定义opener为全局opener
request.install_opener(opener)
# 6. 构建 Request对象
req = request.Request("http://192.168.105.29")
# 7. 定义opener为全局opener后，可直接使用urlopen()发送请求
response = request.urlopen(req)
# 8. 打印响应内容
print(response.read())
5，Cookie
1，cookie概述
HTTP是无状态的面向连接的协议，服务器和客户端的交互仅限于请求/响应过程，结束之后便断开，在下一次请求时，服务器会认为新的客户端。为了维护他们之间的链接，让服务器知道这是之前某个用户发送的请求，则必须在一个地方保存客户端的信息。
Cookie：通过在 客户端 记录的信息确定用户的身份。
Session：通过在 服务器端 记录的信息确定用户的身份。
Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
2，cookielib库 和 HTTPCookieProcessor处理器
在Python处理Cookie，一般是通过cookielib模块和 urllib.request模块的HTTPCookieProcessor处理器类一起使用。
cookielib模块：主要作用是提供用于存储cookie的对象
HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。
cookielib 库
该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
FileCookieJar (filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。
MozillaCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。
LWPCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。
其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar() 或 LWPCookieJar()
3，cookie属性
Cookie是http请求报头中的一种属性，包括：
Cookie名字（Name）
Cookie的值（Value）
Cookie的过期时间（Expires/Max-Age）
Cookie作用路径（Path）
Cookie所在域名（Domain），
使用Cookie进行安全连接（Secure）。
前两个参数是Cookie应用的必要条件，另外，还包括Cookie大小（不同浏览器对Cookie个数及大小限制是有差异的）。
Cookie由变量名和值组成，根据 Netscape公司的规定，Cookie格式如下：
Set－Cookie: NAME=VALUE;Expires=DATE;Path=PATH;Domain=DOMAIN_NAME；SECURE
4，cookie应用
案例一：获取登录过的百度的cookie
from urllib import request
from http import cookiejar
# 创建CookieJar()对象，可以在内存中存储Cookie
cookiejar = cookiejar.CookieJar()
# 构建Cookie处理器对象，用来处理Cookie请求
cookie_handler = request.HTTPCookieProcessor(cookiejar)
# 构建自定义opener，发送请求后可以自动记录cookie到cookiejar
opener = request.build_opener(cookie_handler)
# 发送请求
opener.open("http://www.baidu.com/")
print(cookiejar)
cookie_str = ""
for cookie in cookiejar:
cookie_str += cookie.name + "=" + cookie.value + "; "
print(cookie_str)
# 第一次打印结果如下：
# <CookieJar[
# <Cookie BAIDUID=7851A9154CA33452B13341B793E2DD682DB:FG=1 for .baidu.com/>,
# <Cookie BIDUPSID=7851A91554CA32B13341B793E2DD682DB for .baidu.com/>,
# <Cookie H_PS_PSSID=1437_251108_1677001_20718 for .baidu.com/>,
# <Cookie PSTM=150036721731 for .baidu.com/>,
# <Cookie BDSVRTM=0 for www.baidu.com/>,
# <Cookie BD_HOME=0 for www.baidu.com/>
# ]>
# 第二次打印结果
# BAIDUID=D02C0083135C6986F65CC7E74846F2962:FG=1;
# BIDUPSID=D02C0058313C69865F65CC7E74846F2962;
# H_PS_PSSID=14569_21114_17001_20927;
# PSTM=1550037625191;
# BDSVRTM=0;
# BD_HOME=0;
案例二，访问网站获得cookie，并把获得的cookie保存在cookie文件中
from urllib import request
from http import cookiejar
# 保存cookie到本地磁盘文件名
filename = 'cookie.txt'
# 声明一个MozillaCookieJar(有save实现)对象实例来保存cookie，之后写入文件
cookiejar = cookiejar.MozillaCookieJar(filename)
# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象
handler = request.HTTPCookieProcessor(cookiejar)
# 通过 build_opener() 来构建自定义opener
opener = request.build_opener(handler)
# 创建一个请求
response = opener.open("http://www.baidu.com")
# 保存cookie到本地文件，使用save（）方法即可保存cookie
cookiejar.save()
案例三，从文件中获取cookies，做为请求的一部分去访问
from urllib import request
from http import cookiejar
# 创建MozillaCookieJar(有load实现)实例对象
cookiejar = cookiejar.MozillaCookieJar()
# 从文件中读取cookie内容到变量
cookiejar.load('cookie.txt')
# 使用HTTPCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象
handler = request.HTTPCookieProcessor(cookiejar)
# 通过 build_opener() 来构建opener
opener = request.build_opener(handler)
response = opener.open("http://www.baidu.com")
with open('xiaoke.html','wb') as f:
f.write(response.read())
案例四，利用cookiejar和post模拟登录人人网
from urllib import request, parse
from http import cookiejar
def login(opener):
"""
模拟登录，返回保存了登录状态的opener
opener: 没有登录状态Cookie 的 opener对象
"""
# 登录需要的数据，不同的网站登录参数会不一样
# 这是人人网，老接口，只需要用户名和密码
"email": "abcdef@163.com",
"password": "123456"
# "token" : "xxxxxx",
}
# 转为url编码
data = parse.urlencode(fromdata).encode('utf-8')
# 登录页面的url地址
url = "http://www.renren.com/PLogin.do"
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
# 发送post请求，登录人人网，并且获取登录状态的cookie
request_1 = request.Request(url, data=data, headers=headers)
# 发送请求，获取Cookie
opener.open(request_1)
# 返回具有登录状态的opener
return opener
def after_login(login_opener):
"""
附带登录状态的Cookie，发送其他页面的请求
login_opener: 附带登录状态Cookie 的 opener对象
"""
headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Trident/5.0)"}
# 构建人人网随便一个用户主页的请求
request_2 = request.Request("http://www.renren.com/882178992/profile", headers=headers)
# 直接访问这个页面
response = login_opener.open(request_2)
with open("renren.html", "wb") as f:
f.write(response.read())
if __name__ == "__main__":
# 用来存储Cookie，可以动态更新Cookie
cookiejar = cookiejar.CookieJar()
# 构建Cookie处理器对象，用来处理Cookie请求
cookie_handler = request.HTTPCookieProcessor(cookiejar)
# 构建自定义opener，发送请求后可以自动记录cookie到cookiejar
opener = request.build_opener(cookie_handler)
# 自己账户先登录，登录之后可以拿到带有cookie信息的opener
login_opener = login(opener)
# 通过这个带有cookie信息的opener，去访问其他用户的信息
after_login(login_opener)
