据不完全统计，世界上80%的爬虫都是基于Python开发的。Python简单易学，对编程初学者十分友好，而且具有丰富而强大的库，开发效率奇高，因此很多编程爱好者都对Python爬虫十分感兴趣。要知道学好爬虫对工作大有裨益，可为今后入门大数据分析、挖掘、机器学习等领域提供重要的数据源，从而奠定一定的技术根基。
那么究竟爬虫是什么？首先来看看官方定义：
网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫
换做通俗易懂的话术解释就是：通过程序在web页面上获取和筛选我们自己想要的数据，为我们所有，也就是自动抓取数据方式或者功能实现。
其实爬虫涉及的技术非常之广，包括但不仅限于熟练掌握Python一门编程语言，如： HTML知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用、涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。爬虫其实只是获取数据的手段，深入分析、挖掘这些数据才能收获更多的价值。
用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于Python爬虫需要学习哪些知识，为了方便大家学习，小编特意整理了一张Python爬虫学习线路图，希望对大家的学习能有一定的借鉴意义。（含配套学习视频教程**添加微信：15803464551 通过验证填写： AA 获取！！ **）
第一阶段：Python入门1：Python介绍特性版本问题应用范围2：Python下载安装配置第一行Python程序3：开发环境介绍_交互模式的使用_IDLE介绍和使用
4：IDLE开发环境的使用_建立Python源文件
5： Python程序格式缩进行注释_段注释
6：简单错误如何处理守破离学习法程序员修炼手册
7：海龟绘图坐标系问题画笔各种方法
8：海龟绘图_画出奥运五环图
.....
第二阶段：Python 深入与提高
1：引入异常处理
2：多个except的用法
3：except多个异常的用法
4：try-except-else-finally
5：异常处理的传递机制
6：抛出自定义异常
7：模块的引入
8：模块的使用
9：自定义9模块的定义以及使用
10：all的使用
11：package的使用
12：init.py的使用
13：怎么做到模块跨项目使用
14：自定义模块跨项目使用第一种解决方案
15：自定义模块跨项目使用的第二种方案-模块的发布
16：安装发布的模块到系统目录
17：自定义模块的暴力安装
18：模块引入问题(哪些模块可以被引入)
19：使用原生IDE解决模块重载的问题
20：==与is的使用
21：copy与deepcopy的使用
22：进制转换问题
23：原码反码补码的问题
24：位运算符的使用
25：属性私有化问题
26：使用property简化私有属性的访问方式
27：@property简化私有属性的访问方式
...
第三阶段：Python 网络与并发编程
...
第四阶段：数据库编程基础
...
第五阶段：Linux 环境编程基础
第六阶段：Python 核心特性
第七阶段：网页编程基础
第八阶段：Python_Django 框架
第九阶段：Python_Tornado 框架
第十阶段：Python_大型电商项目
第十一阶段：Python 爬虫开发
第十二阶段：面试和成功求职的秘技
第十三阶段：入职后快速成长到CTO
