[python]使用pyspider下载meizitu的图片

96
柯西君_BingWong
2017.05.28 09:03* 字数 801

混金融圈混久了,感觉金融就是一个坑,越陷越深。学习分析,除了会报表外,还要懂得数据处理,所以学习编程是跑不了的。然后上半年不断学习python的数据分析用法,然后。。。又发现没有数据你什么都分析不了。。。于是乎又要学习网站爬虫。感觉自己越学越杂了。

前段时间学习了用Python 的Urllib 和BeautifulSoup爬虫,感觉效率不高。于是又去学了pyspider。鉴于网上对pyspider的教学不多,我就按照崔庆才的个人博客上分享的“小白进阶之Scrapy第四篇(图片下载管道篇)“ 进行了分析。教程里面是用到scrapy的,鉴于本人不会scrapy,于是自己按照之前学的知识用pyspider爬了下来,代码中的"文件保存部分"是直接用了崔庆才的代码,感谢崔庆才。

  • 首先,先建立一个项目,并输入网址:www.mzitu.com/all, 然后点击运行。

  • 然后“follows”后面会出现红点, 证明了获取链接www.mzitu.com/all 成功。


    0C3DDAAE-294B-47CE-90F3-00F74CB8B7D1.png

  • 然后再点击绿色的图标获取www.mzitu.com/all 下的所有链接。成功了。 但问题是有些链接我们是不需要的,所以我们要定义获取的范围。

  • 虽然pyspider本身已经提供了很好的css selector,但有时候获取效果不大理想,所以我们可以直接用chrome的F12进行分析获取。 先点击要获取的范围,然后在代码处右键选取css selector。 本教程只是为了练习,没有必要将全部链接都获取,所以我只选取了05月份的链接作为获取范围。


  • 回到代码处添加刚才的选取范围,是不是发现多余的链接都没有了呢? #提取指定div.all > ul:nth-child(3) > li:nth-child(1)里面的部分连接

  • 获取对应链接后,再随便点击左图上绿色的箭头,然后选择“web”, 接下来会看到每个页面只显示一张图片,接下来要处理的问题是利用循环遍历57个页面并获取图片。


    QQ20170526-194138.png
  • 首先分析页面的规律会发现,最大页数通常在底部页码链接中的倒数第二个,或者是顺数第七个。既然是固定的话,那么直接获取css selector就可以了。


  • 然后用while循环就能获取对应页面了。


全部代码直接复制到pyspider里面就可以运行了:

# -*- encoding: utf-8 -*-
# Created on 2017-05-22 09:13:19
#柯西君_BingWong , 瘾金融
# Project: meizitu
 
from pyspider.libs.base_handler import *
import os
 
DIR_PATH = '/mm'
 
class Handler(BaseHandler):
    crawl_config = {
    }
    
    def __init__(self):
        self.deal = Deal()
    
        
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://www.mzitu.com/all', callback=self.index_page)
        self.deal=Deal()
 
    #提取指定div.all > ul:nth-child(3) > li:nth-child(1)里面的部分连接
    #如果想获取全站的图片,只需要改为'div.all a[href^="http"]'
    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('div.all > ul:nth-child(3) > li:nth-child(1) a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)
    #获取某一页面后,每页只显示一张图片,所以要循环获取所有连接
    @config(priority=2)
    def detail_page(self, response):   
        self.page_num = 1
        self.page_total = int(response.doc('div.pagenavi > a:nth-child(7)').text()) #获取总图片页面数
        self.base_url = response.url + '/'
 
        #循环获取所有连接
        while self.page_num <= self.page_total:
            url = self.base_url + str(self.page_num)
            self.crawl(url, callback=self.domain_page)
            self.page_num += 1        
        
    def domain_page(self, response):    
        name = response.doc('.main-title').text()   #获取网页标题
        dir_path = self.deal.mkDir(name)            #建立目录
        if dir_path:
            imgs = response.doc('p img').items()    #获取页面图片
            count = 1
            for img in imgs:
                url = img.attr.src
                if url:
                    extension = self.deal.getExtension(url)
                    file_name = name + str(count) + '.' + extension
                    count += 1
                    self.crawl(img.attr.src, callback=self.save_img,
                               save={'dir_path': dir_path, 'file_name': file_name})
        return {"name":name,}
    #保存图片                
    def save_img(self, response):
        content = response.content
        dir_path = response.save['dir_path']
        file_name = response.save['file_name']
        file_path = dir_path + '/' + file_name
        self.deal.saveImg(content, file_path)                    
                    
        
class Deal:
    def __init__(self):
        self.path = DIR_PATH
        if not self.path.endswith('/'):
            self.path = self.path + '/'
        if not os.path.exists(self.path):
            os.makedirs(self.path)
 
    def mkDir(self, path):
        path = path.strip()
        dir_path = self.path + path
        exists = os.path.exists(dir_path)
        if not exists:
            os.makedirs(dir_path)
            return dir_path
        else:
            return dir_path
 
    def saveImg(self, content, path):
        f = open(path, 'wb')
        f.write(content)
        f.close()
 
    def saveBrief(self, content, dir_path, name):
        file_name = dir_path + "/" + name + ".txt"
        f = open(file_name, "wb+")
        f.write(content.encode('utf-8'))
 
    def getExtension(self, url):
        extension = url.split('.')[-1]
        return extension

别忘了在 def on_start 继承Deal()这个类,要不然保存不了。其实要beautifulsoup和urllib都可以达到同样的效果,不过会改用正则表达式获取相应内容。

文章来自 瘾金融:http://www.enalpha.com/archives/411

个股分析
Web note ad 1