自己写python爬虫框架(一)

前言

作为一个爬虫框架,与其他爬虫差异为:灵活扩展以及入门简单

整体架构

image
  • 调度器
    从请求管理器中取请求,然后调用下载器进行下载,调度解析器进行解析,对解析出的请求再次加入到请求管理器中;解析出的数据进行缓存,最后写入到文本中
    调度器为爬虫框架的核心,也是爬虫的入口,其成员变量为下载器、解析器、请求管理器、文件写入类、日志类,对于不同的爬虫需求,可以对以上接口有不同的实现。
    核心方法:
    从请求管理器中取用 request,采用模板设计模式,不可被子类重写
def run(self, request):
    '''
    运行爬虫方法,从requestManager中取出可用的request,然后扔进下载器中进行下载,通过解析器对下载到的文档进行解析;
    需要传入一个或者一组request作为初始request进行抓取

        @param :: request : Request类型请求
        return : None
    '''
    self.__start_icon()
    self.__logger.info('\tStart crawl...')
    self.__requestManager.add_new_request(request)
    while self.__requestManager.has_new_request():
        request = self.__requestManager.get_new_request()
        print(request.__dict__)
        self.crawl(request)
    self.__logger.info('\tEnd crawl...')
  • 调度下载器与解析器,可被子类继承扩展,可扩展为多线程、多进程等
def crawl(self, request):
    '''
    对request进行请求进行爬取并解析结果的运行单元,子类可对该方法重写进行多线程、多进程运行或异步抓取与解析;也可装饰该方法,进行多线程、多进程抓取。
    下载器对传入的request进行下载,解析器解析下载到的文档,并将解析出的request扔进requestManager中进行管理,以进行深度爬取;将解析出的data扔进writter中,将数据存储到磁盘上

        @param :: request : Request类型请求
        return None
    '''
    try:
        self.__logger.info('\t'+request.url)
        response = self.__downloader.download(request)
        if response.status_code == 200:
            requests, data = self.__parser.parse(response)
            self.__requestManager.add_new_requests(requests)
            self.__writter.write_buffer(data)
        else:
            self.__logger.warn(
                'crawled data is None and response_status is ' + str(response.status_code))
    except Exception as e:
        self.__logger.exception('\tCrawling occurs error\n' + e.__repr__())

  • 下载器
    对传入的请求进行请求下载
    抽象方法:
def download(self, request):
  '''
  对request进行请求下载,需要将请求到的response返回

      @param :: request : 请求对象
      return response
  '''
  raise NotImplementedError("未实现的父类方法: %s.%s" % (
      self.__class__.__name__, get__function_name()))

  • 解析器
    对传入的文本进行解析
    抽象方法:
def parse(self, response):
    '''
    对response进行解析,需要将解析到的requests与data返回

        @param :: response : 响应对象
        return requests,data
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

  • 请求管理器
    管理所有的请求
    抽象方法:
def add_new_requests(self, requests):
    '''
    模板方法,不需要子类重写
    添加requests序列到requestManager中进行管理

        @param :: requests : request对象列表
        return None
    '''
    for request in requests:
        self.add_new_request(request)

def add_new_request(self, request):
    '''
    添加request对象到requestManager中进行管理

        @param :: request : request对象
        return None
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

def has_new_request(self):
    '''
    判断requestManager中是否还有新的请求,返回布尔类型结果

        return Bool
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

def get_new_request(self):
    '''
    从requestManager中取新的请求

        return request
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))
  • 数据写入类
    将数据以特定格式写入到磁盘中
    抽象方法:
def write(self, data):
     '''
     将数据data写入磁盘

         return None
     '''
     raise NotImplementedError("未实现的父类方法: %s.%s" % (
         self.__class__.__name__, get__function_name()))

 def write_buffer(self, data):
     '''
     缓存数据

         return None
     '''
     raise NotImplementedError("未实现的父类方法: %s.%s" % (
         self.__class__.__name__, get__function_name()))

 def flush_buffer(self):
     '''
     刷新缓存数据到磁盘上

         return None
     '''
     raise NotImplementedError("未实现的父类方法: %s.%s" % (
         self.__class__.__name__, get__function_name()))

  • 日志
    记录爬虫运行
    抽象方法:
def debug(self, message):
    '''
    debug级别日志
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

def info(self, message):
    '''
    info级别日志
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

def warn(self, message):
    '''
    warn级别日志
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

def exception(self, message):
    '''
    exception级别日志
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

def error(self, message):
    '''
    error级别日志
    '''
    raise NotImplementedError("未实现的父类方法: %s.%s" % (
        self.__class__.__name__, get__function_name()))

设计思想

在 Abstract Factory 模式为将’抽象零件’组装为’抽象产品’,因此对于下载器、解析器、请求管理器、数据写入类、日志类仅是限定其抽象接口,在调度器中分别调用其每个零件的具体实现。

调度器则参照了模板方法设计模式,将开始爬取方法(startcrawl)固定,对于调度器的多线程多进程扩展可继承该调度器,并重写调度爬取方法(crawl),提供多线程多进程爬取方法

在爬虫整体框架设计中,主体未调度器、下载器、解析器、请求管理器、数据写入类、日志类,满足了基本爬虫的需求,在实际中爬虫进行爬取数据时,需要设置网络代理、设置不同的 cookie 身份、以及分布式爬取调度任务等,可对以上基本组件运用装饰者模式进行装饰,已达到扩展功能的需求

小白文章,还请各位多多请教!

推荐阅读更多精彩内容