windows下安装scrapy做数据采集

点击链接加入群【python技术交流】:https://jq.qq.com/?_wv=1027&k=44cX7Ag

快来加入群【python技术交流】(群号214030345),发现精彩内容。


新手傻瓜教程,熟手请忽略。。。(windows折腾不止。。。)

1.安装环境

windows 10

python 2.7

pycharm(强烈推荐,必选,不用的请忽略此文!)

下载页面:https://www.jetbrains.com/pycharm/download/#section=windows

下载地址:https://download.jetbrains.com/python/pycharm-professional-2016.3.2.exe

2.安装配置python虚拟环境及scrapy安装

安装python 2.7最新版

下载地址:https://www.python.org/downloads/windows/

推荐使用32位(64位偶尔会有第三方包兼容问题):https://www.python.org/ftp/python/2.7.13/python-2.7.13.msi


安装 Microsoft Visual C++ for Python 2.7

下载地址:https://www.microsoft.com/en-in/download/details.aspx?id=44266


使用pycharm新建一个纯python项目test

配置view显示工具栏

打开settings配置project interpreter中的虚拟环境

选择create virtualenv(虚拟环境的好处是多个虚拟环境安装不同版本的依赖互不干扰,好处很多,别特么废话照做就行!),选择文件夹专门存放各种虚拟环境,虚拟环境名称自定义,但是千万别写成scrapy这种,容易出现导入问题。


将pip、setuptools、wheel升级至最新(选中点左边的向上的箭头。。。傻瓜教程。。。)

点加号,选择安装scrapy会发现报错,很多依赖无法自动安装成功

解决依赖问题:

安装OpenSSL

下载OpenSSL:https://pypi.python.org/pypi/pyOpenSSL#downloads

复制到项目目录

执行 pip install pyOpenSSL-16.2.0-py2.py3-none-any.whl

安装lxml:

下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

http://www.lfd.uci.edu/~gohlke/pythonlibs/dn4ksi39/lxml-3.7.2-cp27-cp27m-win32.whl

复制到项目目录,安装 pip install lxml-3.7.2-cp27-cp27m-win32.whl

安装Pywin32:

下载页面:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

下载地址:https://downloads.sourceforge.net/project/pywin32/pywin32/Build%20220/pywin32-220.win32-py2.7.exe?r=&ts=1486280826&use_mirror=nchc

复制到项目目录,安装 easy_install pywin32-220.win32-py2.7.exe


安装Twisted:

下载页面:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载链接:http://www.lfd.uci.edu/~gohlke/pythonlibs/dn4ksi39/Twisted-16.6.0-cp27-cp27m-win32.whl

复制到目录安装:pip install Twisted-16.6.0-cp27-cp27m-win32.whl

最后重新安装scrapy 

pip install scrapy

完活~~~

打包下载:http://pan.baidu.com/s/1kURbV9P


ps:安装方式还可以参考 https://scraper24x7.wordpress.com/2016/03/19/how-to-install-scrapy-in-windows/

本教程几乎未使用编译安装,基本都是用第三方编译好的wheel包,编译安装不同环境还会有不同问题,visual studio 2008/2013/2015等等。。。尽量安装2015。。。还有使用MinGW的同学(心疼1w次),编译出现各种问题的就不要过来互喷了,本文就是给小白看的,您自己爱咋折腾都行。。。滚犊子。。。

能用Mac的就别来折腾win了,看了别人的傻瓜教程还配置不好环境的赶紧转行!人生短暂,干点力所能及的活~~~

推荐阅读更多精彩内容