240 发简信
IP属地:浙江
  • 大哥你的网站404了

    【编程】kSpider谷歌浏览器爬虫插件

    直接用JavaScript代码批量处理浏览器全部页面,批量向每个页面注入JS脚本甚至JQuery脚本,支持批量保存为文件的函数调用。 这是一个插件中的插件!它是一个支持JS批...

  • 作者大大你好,我想请问一下
    close_spider() 里面能够传item吗,
    我写了close_spider(self, spider, item)
    然后报错close_spider() missing 1 required positional argument: 'item'

    爬虫课堂(二十)|编写Spider之使用Item Pipeline处理数据

    在前面的章节中,讲解了提取数据和使用Item封装数据,接下来讲解如何处理爬取到的数据。在Scrapy框架中,Item Pipeline是处理数据的组件,如下图20-1所示,当...

  • 感谢作者!!!!!!!!!!!

    用crontab定时执行scrapy任务

    crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。下面是简单使用crontab进行定时循环执行scrapy爬虫的操作: 安装cronta...

  • Scrapy中的各种管道保存类型

    1.保存到csv格式表中 2.保存到mysql数据库 3.保存到mogodb数据库

  • 我使用的是 Django 2.0 版本,在按第一章所说的做,出现了三个大问题,并找了答案,现在贴上来,希望能给大家小小帮助:
    1)
    写 models.py 的时候,执行“python manage.py makemigrations blog”时出错:“TypeError: __init__() missing 1 required positional argument: 'on_delete'”
    解决:
    author = models.ForeignKey(User,related_name='blog_posts',on_delete=models.CASCADE)
    即在外键值的后面加上 on_delete=models.CASCADE

    2)编辑你的项目中的mysite文件夹中的urls.py 时,“url(r'^blog/', include('blog.urls',namespace='blog',app_name='blog')),”这句会出错“TypeError: include() got an unexpected keyword argument 'app_name'”

    解决:
    在此删除 ",app_name='blog'",
    在文件夹“blog"下的urls.py文件里, 在 "urlpatterns = [" 的上一行,输入“app_name='blog'”

    3)修改 models.py的时候,加这句“from django.core.urlresolvers import reverse” 会出错“ModuleNotFoundError: No module named 'django.core.urlresolvers'”
    解决:
    因为Django 升至2.0后, 把这个移到了另一模块,改用这句“from django.urls import reverse”代替“from django.core.urlresolvers import reverse”即可

  • @MingSha 那还需要配置supervisor这个不,我目前只能用runserver开启django项目或者使用uwsgi命令开启django项目,不开启就访问不了。所以我想我使用uwsgi的话,是不是也像你那样配置一下supervisor

    宝塔面板部署Django运行环境

    曾经写过怎么部署Django(https://www.jianshu.com/p/b4f3aa5fc77c)运行环境,但操作麻烦,最近使用宝塔面板操作,操作上快捷容易多了。宝...

  • 博主您好,请问第五步,使用uwsgi的话,应该怎么写呀😅

    宝塔面板部署Django运行环境

    曾经写过怎么部署Django(https://www.jianshu.com/p/b4f3aa5fc77c)运行环境,但操作麻烦,最近使用宝塔面板操作,操作上快捷容易多了。宝...