这里只介绍方法,代码在链接内，代码中都有详细的注释
-
发送邮件，这里选择发送网页邮件，其他邮件发送可以看廖雪峰老师的教程
- 邮件协议为SMTP，端口为25
- 需要模块 email(构造邮件) smtplib(发送邮件)
- 代码传送门
- 无具体注意事项
- xpath爬取豆瓣音乐
不利用框架，网页解析可以用正则(re),lxml或者bs,正则爬虫确实比较费劲，需要仔细点，其中lxml解析快，语法也简单，因此选用lxml
-
/ 从根节点开始扫描
// 从当前节点开始向后扫描
/text() 获取该节点的文本内容
. 选择当前节点
.. 选取当前节点的父节点
选取豆瓣音乐的前250条(豆瓣图书类似）
安装xpth helper插件可以copy xpth,能检查自己写的对不对
需要模块 lxml 一般都利用其中的etree.HTML
-
爬取猪八戒数据并切防止ip被封,并把数据存入excel中
-
模拟登录知乎
-
分析朋友QQ空间状态
- 需要用到的模块selenium lxml wordcloud(词云） matplotlib(生成词云图片) jieba分词
- 需要注意利用webdriver选取ifame，否则出现可能找不到控件问题，具体代码有注释driver.switch_to.frame
- 需要的ttf字体传送门
- 代码传送门
- 上述代码是对指定的QQ好友空间内容获取，写入文件，然后才用词云进行分析
- 词云分析传送门其实用不用结巴分词都可以，词云分析这里就简单的展示了一下，没有对数据进行清洗
-
爬取指定人微博数据
- 需要的模块 Selenium lxml
- 需要模拟登录微博,然后再对指定人的微博页进行爬取数据，不登录微博只能爬取一页数据，貌似现在第一次在浏览器登录微博后会有个手机验证,此时模拟不是第一次在该浏览器登录
- 爬取完后再通过之前的词云分析代码分析
- 代码传送门
-
根据输入条件爬取相亲网站上的美女并下载对应美图和记录详细信息
- 需要用到的模块 Selenium
- 没有下一页，往下滑能一直加载，需要F12到network中查看，对应有page属性的其实
- 代码传送门
-
爬取前程无忧上的招聘信息
