这次作业总的而言就是一个理解代码，修改代码的过程。
老师给出的代码中，第一个函数download()是用来下载界面的html的。
第二个函数crawled_links()使用了遍历算法，把其中所有的内链遍历了以便。
第三个函数也通过遍历来实现了标题和文章内容的爬取，并进行了一定的清洗工作，最后存储到了本地。
该爬虫总体的思路是：
- 先调用所需要的包
- 设计一套函数，用来访问网站，并抓取网站中的HTML文件
- 如果需要抓取该网站相关的链接网站，建立一套遍历算法，利用前面设计好的一套函数抓取HTML中的url地址。
- 对抓取所有的链接通过调用函数，抓取HTML文件中需要的内容。
- 对抓取的内容进行清洗保存
我需要爬取的网页不需要爬取链接，只需要爬取当前界面的标题和内容，所以，对给出的爬虫做出了简化。
下面是我进行修改过的爬虫：
import os
import time
import urllib2
import urlparse
from bs4 import BeautifulSoup
def download(url,retry=2):#定义一个下载页面的函数
print"downlanding: ",url
header = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36'
}#可以自由设置,相当于网名
try:
request = urllib2.Request(url,headers=header)#相当于输入网址并输入自己的登录名
html = urllib2.urlopen(request).read()#抓取这个网页的html文件
except urllib2.URLError as e:#服务器不存在（例如链接打不开，url链接写错了）
print "downland error: ", e.reason #输出异常原因
html = None#返回空值
if retry > 0:#还有重试次数，继续尝试爬取
if hasattr(e, 'code') and 500 <= e.code < 600:#错误码范围，只有在链接打不开的情况下才重新爬取，而链接写错了则不重新爬取。
print e.code
return dowland(url,retry -1)
time.sleep(1)#等待1s,避免对网站造成沉重负担，甚至对网站造成严重伤害或直接把网站拖垮
return html
def crawled_page(PageUrl):#爬取链接中的标题和正文部分，并保存到本地
html = download(PageUrl)
soup = BeautifulSoup(html,"html.parser")
title = soup.find('h1', {'class': 'title'}).text#返回class属性为title的h1标签，并且只包含文字。
content = soup.find('div', {'class': 'show-content'}).text#返回class属性为show-content的div标签，并且只包含文字。
if os.path.exists('spider_res/') == False: #检查保存文件的地址
os.mkdir('spider_res')#创建一个目录
file_name = 'spider_res/' + title + '.txt'#保存的文件名及文件格式
file = open('spider_res/' + title + '.txt', 'wb') #写文件
content = unicode(content).encode('utf-8', errors='ignore')#用UTF-8实现Unicode，并消除转义字符
file.write(content)
file.close()
调用函数
crawled_page("http://www.jianshu.com/p/1ea730c97aae")
运行该爬虫，得到结果：
downlanding: [http://www.jianshu.com/p/1ea730c97aae](http://www.jianshu.com/p/1ea730c97aae)
以及该txt文件
