网络数据采集，通俗点说即网络爬虫。现如今在互联网上，每时每刻都有搜索引擎的蜘蛛或其他网站在采集着大量的信息。
大部分网络爬虫程序的逻辑很简单，即向网络服务器发送请求，获取网页源码数据（即HTML），然后对数据进行解析，提取目标信息。所以大家不要被此专业术语吓到。
现如今大数据时代，作为采集网络数据的利器，爬虫所发挥的作用越来越大。
Python、Java、PHP等程序语言都可以实现网络数据采集的功能。由于本人只会Python，所以之后主要介绍Python爬虫。
实现网络爬虫的基本思路
大多时候，可以用下面的思路来进行爬虫的构建：
- 通过网站域名获取HTML数据
- 根据目标信息解析数据
- 存储目标信息
- 如有必要，再另一网页重复上面3点
作为入门级介绍，本文只针对前2步骤作出示例。
获取网页源码数据
当我们在浏览器中输入网址时，浏览器会向网址所在服务器发送请求，然后服务器便会将数据发送至浏览器，浏览器通过解析向我们展示友好的网页效果。
网络爬虫程序中，Python便是起到了浏览器的作用，下面两行代码便可轻松获取服务器上的数据源码：
import requests
print requests.get('http://www.jikeyuedu.com/').content
将这段代码保存为main.py，然后在终端运行如下命令：
python main.py
便可输出http://www.jikeyuedu.com/这个网页的全部HTML代码。
获得的是HTML源代码，这就要求你会些HTML的基础，所幸很简单。
从源码中提取目标信息
获取网页源代码之后，便需要提取目标信息。此时便需要借助利器正则表达式或BeautifulSoup。本文用后者作示例。不过正则表达式在我看来更加重要，建议大家自行学习。
BeautifulSoup通过定位HTML标签来使提取网页信息变得异常简单。
下面代码示例提取网页的标题：
import requests
from bs4 import BeautifulSoup
html = requests.get('http://www.jikeyuedu.com/').content
# html转化为BeautifulSoup对象
bsObj = BeautifulSoup(html)
# 输出网页标题
print bsObj.title
输出的结果是：
<title>jikeyuedu.com - 域名出售中</title>
上面例子仅是BeautifulSoup很简单的一个应用，其实任何HTML文件的任意节点内容或属性都可以被提取出来。
举例说明，提取斗鱼主播标题
目的很明确，目标网址为https://www.douyu.com/directory/all。首先必须通过浏览器打开此网页，然后通过源码分析，我们可以知道标题所在的HTML标签位置，是class为ellipsis的h3标签。
通过findAll函数，便可获得标题列表，下面是代码示例：
import requests
from bs4 import BeautifulSoup
html = requests.get('https://www.douyu.com/directory/all').content
bsObj = BeautifulSoup(html)
# findAll
titleList = bsObj.findAll('h3',{'class':'ellipsis'})
# 输出
for title in titleList:
print title.get_text()
上面仅是将获取到的标题在终端输出展示，以后会介绍将目标信息保存为文件或保存至数据库中。
程序输出部分截图如下：
补充
- 示例代码中所用到的requests和BeautifulSoup都不是Python标准库，需单独安装
- 示例代码Python环境为2.7
- Python基础和HTML基础对阅读本文有帮助
