×

爬取小说(步骤一)python

96
肥宅_Sean
2018.01.13 01:32* 字数 227

假设各位老哥已经安装好了bs4 requests这些库了
这个小说是随便挑的,各位也就不用太介意(仅供各位学习)
python3 实现,网上用python2做爬虫的太多了,但用python3的还是比较少

  • 爬取的链接是https://www.qu.la/book/12763/10664294.html
  • 代码长度:20行(包括了为了好看而做的东西)
  • 主要问题是:gbk编码问题
  • 注意看下一个with那,调一个自己一个有的地址就好了(至于txt文件,那个是可以自动新建的,不用担心)

第一步 实现了对单一章节的网页的爬取并存储

代码如下:

import requests
from bs4 import BeautifulSoup
url = "https://www.qu.la/book/12763/10664294.html"
req = requests.get(url)
req.encoding = 'utf-8'
soup = BeautifulSoup(req.text, 'html.parser')
content = soup.find(id='content')
with open('E:/Code/Python/Project/txtGet/1.txt', 'w') as f:
    string = content.text.replace('\u3000', '').replace('\t', '').replace('\n', '').replace('\r', '').replace('『', '“')\
        .replace('』', '”')  # 去除不相关字符
    string = string.split('\xa0')  # 编码问题解决
    string = list(filter(lambda x: x, string))
    for i in range(len(string)):
        string[i] = '    ' + string[i]
        if "本站重要通知" in string[i]:  # 去除文末尾注
            t = string[i].index('本站重要通知')
            string[i] = string[i][:t]
    string = '\n'.join(string)
    print(string)
    f.write(string)

进阶文章:
爬取小说(步骤二)python
爬取小说(步骤三)python
爬取小说(步骤四)python
爬取小说(步骤五)python
爬取小说(步骤六)python

Python笔记
Web note ad 1