中秋爬取诗文数据制作词云

正好中秋节,为了应景,便利用Python来网上爬些中秋诗句来制作词云,词云可基于文本内容的词频进行可视化研究,是比较常见的文本分析可视化方法。

按照惯例,先上效果图。


中秋词云.png

一、制作步骤

  • 1.数据爬取及清洗
  • 2.数据加载制作词云,主要包括分词-统计词频-去停用词-制作词云

二、数据爬取及清洗

2.1 诗句标题列表爬取

爬虫目标是古诗文网,选择中秋主题,跳转到https://so.gushiwen.org/gushi/zhongqiu.aspx链接,要先把这个列表页面的所有诗句爬取下来。

古诗列表.png

看看响应结果内容,有两个数据是我们需要的,分别是href中的属性内容,需要用它来请求后续的具体诗句,还有就是诗句标题。

古诗返回结果.png

定位在divtypecont的标签,爬取的结果如下:

/shiwenv_632c5beb84eb.aspx
水调歌头·明月几时有(苏轼)
/shiwenv_e38b61012996.aspx
中秋月(晏殊)
/shiwenv_4d2028af6aed.aspx
西江月·世事一场大梦(苏轼)
/shiwenv_2e73c8b1e52f.aspx
天竺寺八月十五日夜桂(皮日休)
/shiwenv_76c8331c8937.aspx
...

2.2 诗句内容爬取

在拿到所有的诗句标题列表之后,根据其请求规律https://so.gushiwen.org/shiwenv_632c5beb84eb.aspx,也就是https://so.gushiwen.org/+href进行拼接来请求具体诗句内容,我们要做的对诗文列表进行遍历爬下所有数据即可。

诗句内容.png

定位divsons标签下的divcontson 标签,就可取出,拿到后把诗文合并为一行即可。
具体爬取内容打印如下:

水调歌头·明月几时有(苏轼)::丙辰中秋,欢饮达旦,大醉,作此篇,兼怀子由。明月几时有?把酒问青天。不知天上宫阙,今夕是何年。我欲乘风归去,又恐琼楼玉宇,高处不胜寒。起舞弄清影,何似在人间?(何似 一作:何时;又恐 一作:惟 / 唯恐)转朱阁,低绮户,照无眠。不应有恨,何事长向别时圆?人有悲欢离合,月有阴晴圆缺,此事古难全。但愿人长久,千里共婵娟。(长向 一作:偏向)
中秋月(晏殊)::十轮霜影转庭梧,此夕羁人独向隅。未必素娥无怅恨,玉蟾清冷桂花孤。
...

2.3 具体代码示例

Python爬虫需要两个工具,

  • Requests 库,一款比较好用的HTTP库,用于网络请求。
  • BeautifulSoup 库 ,一款优秀的HTML/XML解析库。

这些库安装方式为pip install bs4pip install requests

from bs4 import BeautifulSoup
import requests

def Get_url():
   
    url = 'https://so.gushiwen.org/gushi/zhongqiu.aspx'
    head = {}
    head['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
    req = requests.get(url, headers=head)
    soup = BeautifulSoup(req.content)
#         print(req.text)

    file=r'mid-autumn.txt'
    # 获取textarea标签中的内容
    for i in soup.find_all('div',class_='typecont'):
        a = i.find_all('a')
        span = i.find_all('span')
        
        for index in range(0, len(a)):
            print(a[index].attrs['href'])
            print(span[index].text)
            
            url2 = 'https://so.gushiwen.org/'
            url3 = url2 + a[index].attrs['href']
            req2 = requests.get(url3, headers=head)
            soup2 = BeautifulSoup(req2.content)
        
            song = soup2.find_all('div',class_='sons')
            content = song[0].find_all('div',class_='contson')
            print(content[0].text)

            file=r'yongshi3.txt'
            with open(file,'a+') as f:
                # 以[题目::诗]的格式写入文件
                f.write(span[index].text.strip()+"::"+content[0].text.replace("\n", "")+'\n')
                f.close()
        
 
if __name__ == '__main__':
    Get_url()

三、词云制作

要先进行分词才能对每个词进行频数统计, Python下安装分词器命令为pip install jieba,安装后直接import jieba即可。

import jieba

content = '丙辰中秋,欢饮达旦,大醉,作此篇,兼怀子由。明月几时有?把酒问青天。不知天上宫阙,今夕是何年。我欲乘风归去,又恐琼楼玉宇,高处不胜寒。起舞弄清影,何似在人间?(何似 一作:何时;又恐 一作:惟 / 唯恐)转朱阁,低绮户,照无眠。不应有恨,何事长向别时圆?人有悲欢离合,月有阴晴圆缺,此事古难全。但愿人长久,千里共婵娟。(长向 一作:偏向)'
segs = jieba.lcut(content)
print("/".join(segs))

可以看看分词结果:

丙辰/中秋/,/欢饮/达旦/,/大醉/,/作此/篇/,/兼怀子/由/。/明月/几时/有/?/把酒/问青天/。/不知/天上/宫阙/,/今夕/是/何年/。/我/欲/乘风/归去/,/又/恐/琼楼玉宇/,/高处不胜/寒/。/起舞/弄清/影/,/何似/在/人间/?/(/何似/ /一作/:/何时/;/又/恐/ /一作/:/惟/ /// /唯恐/)/转朱阁/,/低绮户/,/照无眠/。/不/应有/恨/,/何事/长向/别时圆/?/人有/悲欢离合/,/月/有/阴晴圆/缺/,/此事/古难全/。/但愿人长久/,/千里/共/婵娟/。/(/长向/ /一作/:/偏向/)

然后我们还需要的是制作词云用的库,也要先安装pip install wordcloud,对数据进行分词和去停用词后的操作其实就是对这个工具的使用了,完整的示例如下:

import jieba
import pandas as pd
import numpy as np
from imageio import imread
from wordcloud import WordCloud,ImageColorGenerator
import matplotlib.pyplot as plt
from gensim import corpora, models, similarities
import gensim

#定义停用词
stopwords=pd.read_csv("./stopwords.txt",index_col=False,quoting=3,sep="\t",names=['stopword'], encoding='utf-8')
#stopwords=stopwords['stopword'].values
#加载语料
df = pd.read_csv('./mid-autumn.csv', encoding='utf-8')
print(df.head(5))
#删除nan行
df.dropna(inplace=True)
lines = df.content.values.tolist()
print(lines[0].split('::')[1])
#用jieba进行分词操作
segment=[]
#分词
for line in lines:
    try:
        line = line.split('::')[1]
        segs = jieba.lcut(line)
        segs = [v for v in segs if not str(v).isdigit()] #过滤数字
        segs = list(filter(lambda x:x.strip(), segs)) #过滤空格
        #segs = list(filter(lambda x:x not in stopwords, segs)) #去掉停用词
        for seg in segs:
            if len(seg)>1 and seg!='\r\n':
                segment.append(seg)
    except Exception:
        print(line)
        continue
#分词后加入一个新的DataFrame
words_df=pd.DataFrame({'segment':segment})
#安装关键字groupby分组统计词频,并按照计数降序排序
words_stat=words_df.groupby(by=['segment'])['segment'].agg({"计数":np.size})
words_stat=words_stat.reset_index().sort_values(by=["计数"],ascending=False)
#分组之后去掉停用词
words_stat=words_stat[~words_stat.segment.isin(stopwords.stopword)]
#print(words_stat)

#下面是重点,绘制wordcloud词云,这一提供2种方式
#第一种是默认的样式
#定义wordcloud中字体文件的路径
simhei = "./car.ttf"
wordcloud=WordCloud(font_path=simhei,background_color="white",max_font_size=80)
word_frequence = {x[0]:x[1] for x in words_stat.head(1000).values}
wordcloud=wordcloud.fit_words(word_frequence)
plt.imshow(wordcloud)
wordcloud.to_file(r'wordcloud_1.jpg')  #保存结果

#第二种是自定义图片
text = " ".join(words_stat['segment'].head(100).astype(str))
abel_mask = imread(r"./china.jpg")  #这里设置了一张中国地图
wordcloud2 = WordCloud(background_color='white',  # 设置背景颜色 
                     mask = abel_mask,  # 设置背景图片
                     max_words = 3000,  # 设置最大现实的字数
                     font_path = simhei,  # 设置字体格式
                     width=2048,
                     height=1024,
                     scale=4.0,
                     max_font_size= 100,  # 字体最大值
                     random_state=42).generate(text)

# 根据图片生成词云颜色
image_colors = ImageColorGenerator(abel_mask)
wordcloud2.recolor(color_func=image_colors)
# 以下代码显示图片
plt.imshow(wordcloud2)
plt.axis("off")
plt.show()
wordcloud2.to_file(r'wordcloud_2.jpg') #保存结果

第二种自定义的效果如下图:


wordcloud_2.png

代码已经对应爬取的数据都已上传github,对应链接为WordCloud
因为爬取的古诗文网的数据,如有违规请通知删掉。

推荐阅读更多精彩内容