scrapy 中的 ItemLoader
优点
ItemLoader最大的好处是作为一个容器，可以多个spider复用提取规则。
可以把规则动态添加，因为规则可以放入数据库或者文件中。
ItemLoader不用考虑是否为空，是否是0的值。
初步
在spider中
from scrapy.loader import ItemLoader
# 通过 ItemLoader 加载 item
item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)
item_loader.add_css("title", ".entry-header h1::text")
# item_loader.add_xpath()
item_loader.add_value("url", response.url)
item_loader.add_value("front_image_url", get_md(response.url))
item_loader.add_css("create_date", ".entry-meta-hide-on-mobile::text")
item_loader.add_value("front_image_url", [front_image_url])
item_loader.add_css("praise_nums", "div.post-adds h10::text")
item_loader.add_css("fav_nums", ".bookmark-btn::text")
item_loader.add_css("comment_nums", "a[href='#article-comment'] span::text")
item_loader.add_css("tags", "p.entry-meta-hide-on-mobile a::text")
item_loader.add_css("content", ".entry")
article_item = item_loader.load_item()
问题：
-
article_item里面的_value的值都是list - 带了空格的文字内容，都要进行正则表达式处理。
解决方法: input_processor=MapCompose
在items.py中解决。
值传入时，进行预处理。
from scrapy.loader.processors import MapCompose
可以在item传入值预处理的时候，连续调用两个函数进行处理。
例子：string拼接
只调用一个匿名函数，就在title后面加上了-jobbole。
class JobBoleArticleItem(scrapy.Item):
title = scrapy.Field(
# input_processor = MapCompose(add_jobbole)
input_processor = MapCompose(lambda x:x+"-jobble")
调用两个函数的例子。同时加上了-jobbole和-bobby。
def add_jobbole(value):
return value + "-bobby"
class JobBoleArticleItem(scrapy.Item):
title = scrapy.Field(
# input_processor = MapCompose(add_jobbole)
input_processor = MapCompose(lambda x:x+"-jobble", add_jobbole)
)
例子：string转化成date
def date_convert(value):
try:
create_date = datetime.datetime.strptime(value, "%Y/%m/%d").date()
except Exception as e:
create_date = datetime.datetime.now().date()
return create_date
class JobBoleArticleItem(scrapy.Item):
create_date = scrapy.Field(
input_processor = MapCompose(date_convert)
)
数组中提取值：TakeFirst
from scrapy.loader.processors import TakeFirst
class JobBoleArticleItem(scrapy.Item):
create_date = scrapy.Field(
input_processor = MapCompose(date_convert),
output_processor = TakeFirst()
)
自定义 ItemLoader
时间一次性TakeFirst。
from scrapy.loader import ItemLoader
继承ItemLoader，把原来的default_output_processor替换掉
class ArticleItemLoader(ItemLoader):
# 自定义 itemloader
default_output_processor = TakeFirst()
把TakeFirst()删除掉。
class JobBoleArticleItem(scrapy.Item):
title = scrapy.Field(
# input_processor = MapCompose(add_jobbole)
input_processor = MapCompose(lambda x:x+"-jobble", add_jobbole)
)
create_date = scrapy.Field(
input_processor = MapCompose(date_convert),
# output_processor = TakeFirst()
)
在spider中，
from ArticleSpider.items import JobBoleArticleItem, ArticleItemLoader
在spider中实例化的时候，使用ArticleItemLoader。
item_loader = ArticleItemLoader(item=JobBoleArticleItem(), response=response)
正则提取三个item中的数字
import re
def get_nums(value):
match_re = re.match(".*?(\d+).*", value)
if match_re:
nums = int(match_re.group(1))
else:
nums = 0
return nums
class JobBoleArticleItem(scrapy.Item):
#...
praise_nums = scrapy.Field(
input_processor=MapCompose(get_nums),
)
comment_nums = scrapy.Field(
input_processor=MapCompose(get_nums),
)
fav_nums = scrapy.Field(
input_processor=MapCompose(get_nums),
)
最后得到三个变量为数字。
对 tags 进行 join
from scrapy.loader.processors import Join
class JobBoleArticleItem(scrapy.Item):
#...
tags = scrapy.Field(
output_processor=Join(",")
)
tag中的评论几个字要去掉
def remove_comment_tags(value):
# 去掉 tags 中提取的评论
if "评论" in value:
return ""
else:
return value
class JobBoleArticleItem(scrapy.Item):
tags = scrapy.Field(
input_processor = MapCompose(remove_comment_tags),
output_processor=Join(",")
)
front-image-url 变成 list
def return_value(value):
return value
front_image_url = scrapy.Field(
output_processor=MapCompose(return_value)
)
可以覆盖掉原来的
default_output_processor = TakeFirst()
同时保持原来的值。原来就是一个list，要原封不动的传递出去。就不要让default的output_processor 去 TakeFirst()。
但是sql中要取出 list 中的值。
另外在pipeline中，要对item中是否有 front_image_url进行判断。
class ArticleImagePipeline(ImagesPipeline):
def item_completed(self, results, item, info):
if "front_image_url" in item:
for ok, value in results:
image_file_path = value["path"]
item["front_image_path"] = image_file_path
return item
