Scrapy 框架的安装(Windows10)

Scrapy框架官方网址:http://doc.scrapy.org/en/latest
Scrapy中文维护站点:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

在windows10下的安装流程:

Scrapy框架是基于python语言的,因此要先安装python2或这python3
这里以python3为例:

1、去python官网下载python3,安装完成后配置下环境变量
2、cmd打开window控制台,输入pip install scrapy

好了,搞定!

天真的你不会真的以为到这一步就结束了吧?

当然不是!

由于环境问题,你可能会遇到各种问题,比如下载缓慢等

首先我们需要更改下pip安装源,改用国内镜像,当然如果你自备梯子当我没说

windows下,直接在user目录中创建一个pip目录,如:C:\Users\xx\pip,新建文件pip.ini。

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com

国内常用的源有:

清华:https://pypi.tuna.tsinghua.edu.cn/simple

阿里云:http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学:http://pypi.hustunique.com/

山东理工大学:http://pypi.sdutlinux.org/

豆瓣:http://pypi.douban.com/simple/

当然,如果你想临时使用的话只需在安装时加上-i参数:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

好了,环境配好了我们要开始安装了,cmd输入上面的pip指令,回车发现已经开始安装了,并且速度很快,
然后就报错了:
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cp

解决办法是:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是Python版本,amd64代表64位,下载后运行命令:
pip install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl
然后再次执行安装scrapy的pip指令即可安装成功

好了,over

推荐阅读更多精彩内容