课程作业
- 选择第二次课程作业中选中的网址
- 爬取该页面中的所有可以爬取的元素，至少要求爬取文章主体内容
- 可以尝试用lxml爬取
在完成这节课的过程中遇到许多问题：
- 环境问题：电脑安装的是python 3.x，老师的demo使用python2.7，如何在anaconda中进行环境切换。
在anaconda中切换py2和py3
conda create env_name list of packages
conda create -n py2 python=2.7 pandas
进入名为env_name的环境
source activate env_name
退出当前环境
source deactivate
在windows系统中，使用activate env_name 和 deactivate env_name进入和退出
删除名为env_name的环境
conda env romove -n env_name
显示所有环境
conda env list
使用pip安装对应的模块：
使用pip安装相关模块时，所有的模块都被安装到python3.x目录下面，网上查了很多资料，还是没有解决该问题，只好用一个很傻的方法，将python3.x卸载，只使用python2.7，这样使用pip安装模块时，所有模块会被安装到python2.7环境中。jupyter notebook环境切换：
创建python2.7环境
conda create -n ipykernel_py2 python=2 ipykernel # 创建Python2环境
source activate ipykernel_py2 # 进入该环境
python -m ipykernel install --user # 使python2 kernel 在jupyter中新建notebook时显示阅读beautifulsoup4文档：
- BeautifulSoup模块：第一个参数应该是要被解析的文档字符串或是文件句柄,第二个参数用来标识怎样解析文档.要解析的文档类型: 目前支持, “html”, “xml”, 和 “html5”
- 从文档中找到所有<a>标签的链接:
for link in soup.find_all('a'):
print link.get('href')
- find_all()与find()用法：
- find_all( name , attrs , recursive , text , **kwargs )
- name 参数，可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉.
- keyword 参数，如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性.
- text 参数，通过 text 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True
- recursive 参数，调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False
- find( name , attrs , recursive , text , **kwargs )
- 区别：find_all() 方法的返回结果是值包含一个元素的列表,而find()方法直接返回结果；find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None。
- find_all( name , attrs , recursive , text , **kwargs )
作业
导入库
import os ## os模块包含普遍的操作系统功能
import time ## time时间模块
import urllib2 ## 可用于页面下载，身份验证，提交表格等，支持非http协议
import urlparse ##
from bs4 import BeautifulSoup ## 解析网页，提供定位内容的便捷接口
下载指定页面的html函数download
def download(url, retry=2):
"""
下载页面的函数，会下载完整的页面信息
:param url: 要下载的url
:param retry: 重试次数
:reutrn: 原生html
"""
print "downloading:",url
# 设置header信息，模拟浏览器请求
header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36'
}
try: #爬去可能会失败，采用try-expect方式来捕获处理
request = urllib2.Request(url, headers = header)
html = urllib2.urlopen(request).read() #抓取url
# except urllib.error.URLError as e: #异常处理
except urllib2.URLError as e:
print "download error:", e.reason
html = None
if retry > 0: #未超过重试次数，可以继续爬取
if hasattr(e, 'code') and 500 <= e.code <600: #错误码范围，是请求出错才继续重试爬取
print e.code
return download(url, retry - 1)
time.sleep(1) #等待1s，避免对服务器造成压力，也避免被服务器屏蔽爬取
return html
下载指定页面的内容，并将其存入.txt
def crawled_page(crawled_url):
"""
爬取文章内容
param crawled_url: 需要爬取的页面地址集合
"""
html = download(crawled_url)
soup = BeautifulSoup(html, "html.parser")
title = soup.find('h1', {'class': 'title'}).text #获取文章标题
content = soup.find('div', {'class': 'show-content'}).text #获取文章内容
if os.path.exists('spider_res/') == False: #检查保存文件的地址
os.mkdir('spider_res')
file_name = 'spider_res/' + title + '.txt' #设置要保存的文件名
file = open(file_name, 'wb') #写文件
content = unicode(content).encode('utf-8', errors='ignore')
file.write(content)
file.close()
调用函数
url = "http://www.jianshu.com/p/4a8749704ebf"
download(url)
crawled_page(url)
结果
image.png
image.png
参考:
