环境安装
Mac系统默认安装了Python2，如果想安装Python3，执行以下命令：
brew install python3
brew link python3
这样就可以通过python访问python2版本，python3访问python3版本了
$ python3 --version
Python 3.6.3
$ python --version
Python 2.7.10
包安装
接下来安装抓包分析Html的利器
pip install beautifulsoup4
虽然用正则表达式也可以分析html，但是这个效率更高，也能避免去思考很多复杂的正则。这里Beautiful Soup 文档有关于这个工具的详细用法，下面我们用一个例子来简单介绍一下。
一个例子
下面以链家网的房屋列表页面为例，进行抓取分析：
以这个页面为例：https://bj.lianjia.com/zufang/pg/
我们需要抓取的是这个房屋列表信息，首先用chrome的检查工具找到这个列表的父容器：
所有的房屋信息列表都在这个ul里面了。
首选创建一个python文件，在顶部导入BeautifulSoup包：
#coding=utf-8
import urllib2
from bs4 import BeautifulSoup
然后是获取html地址中的文件内容方法：
def getHtml(url):
page = urllib2.urlopen(url)
html = page.read().decode('utf-8')
return html
接下来我们编写一个getList方法来筛出html内容中的房屋列表信息：
def getList(page):
list = []
html = getHtml("https://bj.lianjia.com/zufang/pg" + str(page) + "/")
这里html就是网页的内容了，方法接收一个page参数，可以抓取不同的页面。
接下来需要调用BeautifulSoup方法，把html文本转换成一个对象：
soup = BeautifulSoup(html, 'html.parser')
根据刚才对html的分析，我们需要的列表藏在一个ul中，ul具有id是house-lst，class是house-lst的特征，ul下面的每个li都是一个房屋信息，我们首选获取到房屋信息的数组items：
items = soup.find(attrs={"id":"house-lst","class":"house-lst"}).children
然后遍历items，里面的每个元素就都是一个li了
for item in items:
接下来我们再具体对每个li进行分析
房屋的Id在li的data-id属性中：
hid = item["data-id"]
图片在li->div(pic-pannel)->a->img->data-img属性中：
pic = item.find(attrs={"class":"pic-panel"}).a.img["data-img”]
接下来的信息都藏在info-panel的div下，我们先定义出这个容器对象：
infoPanel = item.find(attrs={"class":"info-panel"})
然后再依照上面的方法，一个个取出来：
title = infoPanel.h2.a.string
url = infoPanel.h2.a["href"]
region = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).find(attrs={"class":"region"}).string.rstrip()
zone = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).find(attrs={"class":"zone"}).span.string.rstrip()
meters = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).find(attrs={"class":"meters"}).string.rstrip()
direction = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"where"}).contents[-1].string
area = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"other"}).find(attrs={"class":"con"}).a.string
floor = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"other"}).find(attrs={"class":"con"}).contents[2]
history = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"other"}).find(attrs={"class":"con"}).contents[4]
subway = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"fang-subway-ex"})
subway = subway.span.string if subway else ""
hasKey = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"haskey-ex"})
hasKey = hasKey.span.string if hasKey else ""
decoration = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"decoration-ex"})
decoration = decoration.span.string if decoration else ""
heating = infoPanel.find(attrs={"class":"col-1"}).find(attrs={"class":"chanquan"}).find(attrs={"class":"heating-ex"})
heating = heating.span.string if heating else ""
price = infoPanel.find(attrs={"class":"col-3"}).find(attrs={"class":"price"}).find(attrs={"class":"num"}).string
priceUnit = infoPanel.find(attrs={"class":"col-3"}).find(attrs={"class":"price"}).contents[-1]
updateTime = infoPanel.find(attrs={"class":"col-3"}).find(attrs={"class":"price-pre"}).contents[0]
visited = infoPanel.find(attrs={"class":"col-2"}).find(attrs={"class":"square"}).find(attrs={"class":"num"}).string
visitedAction = infoPanel.find(attrs={"class":"col-2"}).find(attrs={"class":"square"}).find(attrs={"class":"col-look"}).string
上面的代码中增加了一些if判断，因为有的html节点不一定存在，有可能为空，所以需要判断一下再取值。最终形成我们想要的对象就是：
{
"hid": hid,
"image": pic,
"title": title,
"url": url,
"region": region,
"zone": zone,
"meters": meters,
"direction": direction,
"area": area,
"floor": floor,
"history": history,
"subway": subway,
"hasKey": hasKey,
"decoration": decoration,
"heating": heating,
"price": price,
"priceUnit": priceUnit,
"updateTime": updateTime,
"visited": visited,
"visitedAction": visitedAction
}
执行一下：
print getList(1)
就能看到我们想要的结果了
接下来的工作就是把这个数据持久化存储起来。
