240 发简信
IP属地:河南
  • urllib、xpath、bs4的语法和使用

    Handler处理器 和 自定义Opener opener是 urllib.request.OpenerDirector 的实例,我们之前一直都...

  • DRF组件总结

    认证&权限 认证和权限是一起配合使用的。可以再配置文件中settings配置全局默认的认证&权限 也可以在每个视图中通过设置authentica...

  • Resize,w 360,h 240
    分布式爬虫总结和使用

    使用scrapy-redis:Scrapy_redis在scrapy的基础上实现了更多,更强大的功能,具体体现在:reqeust去重,爬虫持久化...

  • scrapy——crawlspider的使用和总结

    CrawlSpider它是Spider的派生类,Spider类的设计原则是只爬取start_url列表中的网页,而CrawlSpider类定义了...

  • seleinum

    Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Se...

  • 协程

    协程是什么? 协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因...

  • 多进程、进程池

    多进程 什么是进程 一个程序运行起来后,代码+用到的资源 称之为进程,它是操作系统分配资源的基本单元。不仅可以通过线程完成多任务,进程也是可以的...

  • 多线程、线程池

    多线程 多任务的概念 什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务。 单核CPU如何执行多任务? 多核CPU如何执行多任务? ...

  • xpath,bs4总结

    Xpath解析器: 什么是XPath? XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 X...