×
广告

爬取小说(步骤五)python

96
肥宅_Sean
2018.01.14 12:51* 字数 387

假设各位老哥已经安装好了bs4 requests这些库了
这个小说是随便挑的,各位也就不用太介意(仅供各位学习)
python3 实现,网上用python2做爬虫的太多了,但用python3的还是比较少

  • 通过步骤四中 寻找到的那些url来对逐步访问,获取txt并写入(这个在之前也都讲过了)

  • 没有看过 步骤一 的朋友们可以点击下面的链接看看步骤一先
    点击查看步骤一

  • 没有看过 步骤二 的朋友们可以点击下面的链接看看步骤二先
    点击查看步骤二

  • 没有看过 步骤三 的朋友们可以点击下面的链接看看步骤三先
    点击查看步骤三

  • 没有看过 步骤四 的朋友们可以点击下面的链接看看步骤四先
    点击查看步骤四

  • 本来代码是会很简单的,但为了不被禁什么的。就加了模拟人的休息(sleep)

  • 代码会自动下载到E:/txt/这个文件夹中(没有的话,会自动添加这个文件夹)

  • 会自动寻找到这个小说的名字(并存储下来,以这个名字作为文件名)

  • 通过步骤四的筛选使得这些链接都是包括有小说内容的(一般会有作者发一些公告的章节,对于这个进行了一定的筛选)

下载过程的效果
import requests
from bs4 import BeautifulSoup
import os
import time
import random
urls = []
title = []
content_url = "http://www.biquge.com.tw/4_4038"
kv = {'user_agent': 'Mozilla/5.0'}  # 表示是一个浏览器
root = 'E:/txt/'     # 设置根目录,将会把txt文件放到这个文件夹中的
book_name = '1.txt'  # 设置一个Default书名(虽然在后来肯定是会找到一个名字的)
count = 0
try:
    r = requests.get(content_url, headers=kv)  # 表示自己是一个浏览器
    r.raise_for_status()   # 如果有问题就会raise一个问题
    r.encoding = r.apparent_encoding  # 根据网页返回的编码 进行调整
    soup = BeautifulSoup(r.text, 'html.parser')
    content_list = soup.find(id='list')
    chapter_list = soup.find_all('dd')
    meta = soup.find('head').find(attrs={'property': "og:novel:book_name"})
    book_name = meta['content'] + '.txt'
    print(book_name[:book_name.index('.txt')] + '写入中')
    for chapter in chapter_list:  # 整合得到所有跟内容有关的链接(会有哪些跟内容无关的章节的)
        if '第' in chapter.find('a').text and '章' in chapter.find('a').text:
            title.append(chapter.find('a').text)
            urls.append(content_url[:content_url.rindex('/')] + chapter.find('a')['href'])
    first = True
    for i, url in enumerate(urls):
        r = requests.get(url, headers=kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        soup = BeautifulSoup(r.text, 'html.parser')
        content = soup.find(id='content')
        string = content.text.replace('\u3000', '').replace('『', '“').replace('』', '”').replace('\ufffd', '').replace('\u30fb', '')  # 去除不相关字符
        string = string.split('\xa0')  # 编码问题解决
        string = list(filter(lambda x: x, string))
        for ii in range(len(string)):
            string[ii] = '    ' + string[ii]
            if "本站重要通知" in string[ii]:  # 去除文末尾注
                t = string[ii].index('本站重要通知')
                string[ii] = string[ii][:t]
        string = '\n'.join(string)
        string = '\n' + title[i] + '\n' + string + '\n'
        string = string.replace('\ufffd', '').replace('\u30fb', '').replace('\u3000', '')
        if not os.path.exists(root):
            os.mkdir(root)  # 如果没有这个文件夹,就会创建一个
        if first:  # 如果是第一次写入的话,会将原来的内容清空,然后再写入
            first = False
            with open(root + book_name, 'w') as f:
                f.write(string)
                f.close()
        else:  # 反之,则直接在文章末尾处添加
            with open(root + book_name, 'a') as f:
                f.write(string)
                f.close()
        print(title[i].replace('\ufffd', ''), '写入成功')  # 这是因为我担心这个字符是在title中的
        ti = random.randint(0, 2)
        if ti == 0:
            count += 1
        else:
            count = 0
        if count < 3:
            time.sleep(ti)
        else:
            time.sleep(30)
except:
    pass

爬取小说(步骤六)python

Python笔记
Web note ad 1