在做爬取网站信息的时候，通常网站都会这反爬虫设计，如果一个ip访问太过频繁，会被列入黑名单或者出现验证码需要输入。星期天在爬取58同城信息的时候也遇到这个问题，百度了一下，发现以下两个方法最为省心省力。
1.设置时间间隔
既然一个ip访问太过频繁会被列入黑名单，那就不频繁的访问，导入time包，每一次加载完成后就强制休眠2s。例如
import time
wb_data = requests.get("http://cn.58.com/bijibendiannao/33724988041130x.shtml")
time.sleep(2)
2.设置代理IP
方法1虽然很有效但是会浪费很多不必要的时间，既然同一个ip访问太频繁会被加入黑名单，那不同的ip访问也会解决这个问题。
代理ip获取地址
代理ip获取网站：http://www.xicidaili.com/nn/1
获取代理ip的时候一定要注意协议是http还是https，血泪教训，不然很可能发生狗血报错，找半天找不出原因，就是因为http与https的协议搞错。
def get_ip_list(url, headers):
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, 'lxml')
ips = soup.find_all('tr')
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[5].text+'://'+tds[1].text + ':' + tds[2].text)
return ip_list
验证代理ip
假如我们从上述代理ip的网站获取了如下ip:
IP_LIST ='''
HTTP://61.135.217.7:80
HTTPS://114.215.83.184:3128
HTTP://122.114.31.177:808
HTTP://123.56.89.238:60443
HTTPS://49.79.193.138:61234
HTTPS://183.159.93.28:18118
HTTPS://183.159.80.14:18118
HTTP://114.99.28.110:18118
HTTPS://183.159.88.201:18118
HTTPS://183.159.80.246:18118
HTTP://49.79.193.93:61234
HTTP://111.155.116.237:8123
HTTPS://117.68.194.66:18118
HTTPS://60.177.228.169:18118
HTTPS://183.159.87.2:18118
HTTPS://183.159.88.75:18118
HTTP://183.159.83.235:18118
HTTP://202.104.184.5:808
HTTP://14.120.181.241:61234
HTTP://14.118.254.216:6666
HTTP://124.235.121.216:8118
'''
(再说一遍，这个ip前的http还是https要与代理ip网站上的类型相同)
获取的ip可能不能用，所以我们需要验证可以用的ip
def cip(ip):
try:
if ip.keys()[0]=="http":
requests.get('http://ip.chinaz.com/getip.aspx',proxies={'http':ip["http"]},timeout=3)
else:
requests.get('http://ip.chinaz.com/getip.aspx', proxies={'https': ip["https"]}, timeout=3)
except:
# print("failure")
return False
else:
print(ip)
return True
而这个验证ip我一开始以为验证过的就可以一直用了，没想到刚验证过的，一秒之后就不能用了，所以我是在使用ip的时候才验证，而不是验证好了存一边使用的时候在抓取，例如。
def get_random_ip(ip_list):#从上文的IP_LIST随机获取ip的函数
proxy_list = []
for ip in ip_list.split():
proxy_list.append( ip)
proxy_ip = random.choice(proxy_list)
if proxy_ip[4] == "S":
proxies = {'https': proxy_ip}
else:
proxies = {'http': proxy_ip}
return proxies
proxy = get_random_ip(IP_LIST)#先随机获取一个ip
while (not cip(proxy)) :#验证ip,如果ip有效则不在继续获取ip
proxy = get_random_ip(IP_LIST)#如果无效则继续获得ip
wb_data =requests.get(url,proxies=proxy)#使用代理ip获取数据
3.补充
如果不出意外，上面两点就可以满足爬取需求了，但是还是会发生很多奇葩报错，所以建议把，wb_data = requests.get()换成如下代码，否则很容易因为http连接太多报出错误。
requests.adapters.DEFAULT_RETRIES = 5 #重试连接次数
s = requests.session()
s.keep_alive = False
wb_data =s.get(url,headers=header,proxies=proxy)
如果使用多进程去爬取数据，建议加上try....except去包裹request请求，虽然这样可能得不到出错原因，但是可以保证程序平稳运行下去，否则会出现wb_data的UnboundLocalError: local variable 'wb_data' referenced before assignment错误：
try:
s = requests.session()
s.keep_alive = False
wb_data = s.get(url, headers=header, proxies=proxy)
time.sleep(1)
soup = BeautifulSoup(wb_data.text,"lxml")
no_longer_exist = soup.find("p", attrs={'class':'et'})
if no_longer_exist:
print "nolonger"
none_list_info.insert_one({"url":url})
pass
else:
title = soup.select("head > title")[0].text if soup.find_all("title","") and soup.select("head > title").__len__()>0 else None
price = soup.select("span.price")[0].text if soup.find_all("span","price") and soup.select("span.price ").__len__()>0 else None
date =soup.select("li.time")[0].text if soup.find_all("li","time") and soup.select("li.time ").__len__()>0 else None
area = list(soup.select("span.c_25d ")[0].stripped_strings) if soup.find_all("span","c_25d") and soup.select("span.c_25d ").__len__()>0 else None
list_info.insert_one({"title":title,"price":price,"date":date,"area":area})
except:
time.sleep(2)
print "error "
多进程运行可以使用Pool
from multiprocessing import Pool
pool = Pool()#python根据你电脑的cpu数去决定开启几个进程
pool.map(get_list_info,urllist.split() )#get_list_info(url)是通过给定url获取相应界面信息的函数，urllist是目标url的字符串。
还有requests请求中的header也可以尝试更换，如果不经常更换我也忘了会不会报错，建议还是随机选取一个：
Headers='''
Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1 Safari/525.13:
Mozilla/5.0 (iPhone; U; CPU like Mac OS X) AppleWebKit/420.1 (KHTML, like Gecko) Version/3.0 Mobile/4A93 Safari/419.3:
Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1:
Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3:
Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12
'''
def Random_header(Headers):
header_list = []
for header in Headers.split(':'):
header_list.append(header.strip())
proxy_header = random.choice(header_list)
return proxy_header
header['User-Agent'] = Random_header(Headers)
s = requests.session()
s.keep_alive = False
wb_data = s.get(url, headers=header, proxies=proxy)
最后附上git地址，大家有兴趣的可以看一下：
https://github.com/lixiaozhe666/58project
