scrapy抓取图片时,通常情况下所有图片都会被保存到
IMAGES_STORE指定路径下的full这个目录下,但是很多情况下我们抓取的图片都需要根据不同的属性分类,创建相关目录保存,所以scrapy这种默认统一的保存形式就跟不上需求了,研究后,解决这一问题,废话不多说,直接上代码(求各位大神轻喷)spider.py文件
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from renti.items import RentiItem
class RtSpider(CrawlSpider):
name = 'rt'
allowed_domains = ['www.666rt.co']
start_urls = ['http://www.666rt.co/ArtZG/']
rules = (
Rule(LinkExtractor(allow=r'list\d+.html')),
Rule(LinkExtractor(allow=r'ArtZG/\d+/$')),
Rule(LinkExtractor(allow=r'www.666rt.co/ArtZG/\d+/\d+.html'), callback='parse_item', follow=True),
)
def parse_item(self, response):
item = RentiItem()
item['img_path'] = response.xpath("//title/text()").extract()[0].split('-')[0]
item['img_name'] = response.xpath("//div[@class='imgbox']/a/img/@alt").extract()[0]
item['img_url'] = 'http://www.666rt.co%s'%response.xpath("//div[@class='imgbox']/a/img/@src").extract()[0]
yield item
- items.py
# -*- coding: utf-8 -*-
import scrapy
class RentiItem(scrapy.Item):
img_path = scrapy.Field()
img_name = scrapy.Field()
img_url = scrapy.Field()
- pipelines.py
# -*- coding: utf-8 -*-
# 导入这个包为了移动文件
import shutil
# 这个包不解释
import scrapy
# 导入项目设置
from scrapy.utils.project import get_project_settings
# 导入scrapy框架的图片下载类
from scrapy.contrib.pipeline.images import ImagesPipeline
# 这个包不解释
import os
class ImagesPipeline(ImagesPipeline):
# 从项目设置文件中导入图片下载路径
img_store = get_project_settings().get('IMAGES_STORE')
# 重写ImagesPipeline类的此方法
# 发送图片下载请求
def get_media_requests(self, item, info):
img_url = item['img_url']
yield scrapy.Request(img_url)
# 重写item_completed方法
# 将下载的文件保存到不同的目录中
def item_completed(self, results, item, info):
image_path = [x["path"] for ok, x in results if ok]
# 定义分类保存的路径
img_path = "%s%s"%(self.img_store, item['img_path'])
# 目录不存在则创建目录
if os.path.exists(img_path) == False:
os.mkdir(img_path)
# 将文件从默认下路路径移动到指定路径下
shutil.move(self.img_store + image_path[0], img_path + "\\" + item["img_name"] + '.jpg')
item["img_path"] = img_path + "\\" + item["img_name"] + '.jpg'
return item
- settings.py的设置这里就不写了,因为没有什么好写的,主要就是
IMAGES_STORE,其他的根据自己的项目需求设置
这里实现图片保存到不同目录下的功能,只要作用函数就是shutil.move(),将图片从原始的默认路径移动到指定的目录下,实现需求
