构建IP代理池爬取妹子图片

同一个目录下创建三个文件

Paste_Image.png

下载链接用的是haoIP网的ip，网址是http://haoip.cc/tiqu.htm
剩下一个ip池用的是西刺提供的ip构建的
这是meizi.py爬虫文件的代码

import os
import requests
import re
import time
from ip_request import html_request
from download import download_request
from bs4 import BeautifulSoup
class meizi2():
    def get_links(self,url):

        contnet = self.request(url)
        all_data = contnet.find('div', {'class': 'all'}).findAll('a')#找到每个套图的链接以及标题
        for data in all_data:
            title = data.get_text()#提取标题
            a = r"[\/\\\:\*\?\"\<\>\|]"  # 正则表达式去除不能写入文件名的符号
            title_clear1 = re.sub(a,'', title)

            self.mkir(title_clear1)#根据每套图创建文件夹
            os.chdir('C:\\Users\\admin\\Desktop\\mzitu\\{}'.format(title))#切换到这个文件夹
            url=data['href']
            self.img_urls(url)




    def img_urls(self,url):#获取每个图片链接的函数
        n=1

        html = self.request(url)
        max_page = html.find_all('span')[10].get_text()#每个最大的页数刚好在第十个span标签里面
        #print(max_page)
        for page in range(1,int(max_page)+1):#找出每个套图里面最大的页数，这里真的不得不佩服我曹哥的想法
            link = url+'/'+ str(page)

            data=self.request(link)

            img_link=data.find('div', class_='main-image').find('img')['src']

            #img_link = data.select('body > div.main > div > div > p > a > img')[0]['src']#找到每张图片的链接
            #因为返回的是list，所以要先用【0】选取，在提取src地址
            #print(img_link)
            self.download(img_link)
            print('成功下载{}张'.format(n))
            n+=1#提醒下载了多少张
    def download(self,url):#针对每个图片地址的下载函数
        f=open(url[-9:-4]+'.jpg','ab')
        #必须以二进制写进去
        f.write(download_request.get(url,3))



        f.close()
    def request(self,url):#请求函数，这里用了很多次情况，封装一下比较方便
        #headers={
            #'User-Agent':'Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5'
        #}
        html=html_request.get(url,3)
        data=BeautifulSoup(html,'lxml')
        return data
    def mkir(self,path):#创建文件函数
        isExist = os.path.exists(os.path.join('C:\\Users\\admin\\Desktop\\mzitu',path))#检验这个目录下，path这个文件夹存在吗，
        #不存在就创建
        if not isExist:
            print('创建一个{}的文件'.format(path))
            os.makedirs(os.path.join('C:\\Users\\admin\\Desktop\\mzitu',path))
            return True
        else:
            print('文件{}已经存在'.format(path))
            return  False
meizi=meizi2()
meizi.get_links('http://www.mzitu.com/all')

这个是download构建的ip代理池

import requests
import re
import random
import time

class download():
    def __init__(self):
        self.ip_list=[]
        html = requests.get('http://haoip.cc/tiqu.htm')
        all_ip = re.findall(r'r/>(.*?)<b', html.text, re.S)
        for i in all_ip:
            ip = re.sub('\n', '', i)
            self.ip_list.append(i.strip())
            #print(ip.strip())
        self.user_agent_list=[
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]
    def get(self,url,timeout,proxy=None,num_retries=6):
        ran_agent=random.choice(self.user_agent_list)
        headers={'User-Agent':ran_agent}
        if proxy ==None:
            try:

                return requests.get(url, headers=headers, timeout=timeout).content

            except:
                if int(num_retries)>0:

                    time.sleep(8)
                    print(u'获取网页出错，8S后将获取倒数第：', num_retries, u'次')
                    return self.get(url,timeout,int(num_retries)-1)
                else:
                    print(u'开始使用代理')
                    time.sleep(8)
                    ip=''.join(str(random.choice(self.ip_list)).strip())
                    proxy={'http':ip}
                    return self.get(url,timeout,proxy=proxy)
        else:

            try:

                return requests.get(url,headers=headers,proxies=proxy,timeout=timeout).content
            except:
                if num_retries>0:
                    time.sleep(8)
                    ip=''.join(str(random.choice(self.ip_list)).strip())
                    proxy = {'http': ip}
                    print(u'正在更换代理，8S后将重新获取倒数第', num_retries, u'次')
                    print(u'当前代理是：', proxy)
                    return self.get(url, timeout, proxy, int(num_retries)-1)
                else:
                    print(u'代理也不好使了！取消代理')
                    return self.get(url, 3)


download_request=download()

最后这个是利用西刺代理的IP构造的IP池

import re
import requests
import random
import time
# all_ip=[]
# html = requests.get('http://api.xicidaili.com/free2016.txt')
# #all_ip = re.findall(r'r/>(.*?)<b', html.text, re.S)
# #print(html.text.split('\n'))
# for ip in html.text.split('\n'):
#     all_ip.append(ip.replace('\r',''))
#
# #all_ip.append(html.text.replace('\r','').replace('\n',''))
# print(all_ip)
class download():
    def __init__(self):
        self.all_ip = []
        html = requests.get('http://api.xicidaili.com/free2016.txt')
        for ip in html.text.split('\n'):
            self.all_ip.append(ip.replace('\r', ''))
        self.user_agent_list = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]
    def get(self,url,timeout,proxy=None,num_retries=6):
        ran_user=random.choice(self.user_agent_list)
        headers={'User-Agent':ran_user}

        if proxy == None:
            try:

                return requests.get(url,headers=headers,timeout=timeout).text
            except:
                if num_retries>0:
                    time.sleep(10)
                    print(u'获取网页出错，剩余尝试',num_retries ,u'次')
                    return self.get(url,timeout,int(num_retries)-1)
                else:
                    print(u'开始使用代理IP')
                    ip=''.join(str(random.choice(self.all_ip)).strip())
                    proxy={
                        'http':ip
                    }
                    return self.get(url,timeout,proxy=proxy,)

        else:
            try:
                return requests.get(url,headers=headers,timeout=timeout,proxy=proxy).text
            except:
                if num_retries>0:
                    time.sleep(10)
                    print(u'正在更换ip,剩余',num_retries,u'次')
                    ip=''.join(str(random.choice(self.all_ip)).strip())
                    print(u'当前代理是：', proxy)
                    proxy = {
                        'http': ip
                    }
                    #num_retries-=1
                    return self.get(url, timeout, proxy, int(num_retries) - 1)
                    #return self.get(url,timeout,proxy=proxy)
                else:
                    print(u'代理也不好用了啊，取消代理')
                    return self.get(url,10)
html_request=download()

还有我不懂，我只构造一个IP代理池的时候中间老是断，不知道什么原因，希望大神解答，代码注释等有时间再打上去吧
效果图展示，这次真的好多套了，目前还在爬

Paste_Image.png

最后编辑于：2017.12.05 01:55:27

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 159,569评论 4赞 363
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,499评论 1赞 294
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 109,271评论 0赞 244
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 44,087评论 0赞 209
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,474评论 3赞 287
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,670评论 1赞 222
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,911评论 2赞 313
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,636评论 0赞 202
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,397评论 1赞 246
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,607评论 2赞 246
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,093评论 1赞 261
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,418评论 2赞 254
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,074评论 3赞 237
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,092评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,865评论 0赞 196
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,726评论 2赞 276
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,627评论 2赞 270

构建IP代理池爬取妹子图片

推荐阅读更多精彩内容