前言
- 蛋肥已基本掌握页码分页类型的数据爬取，这次尝试对“查看更多”瀑布流分页类型的数据进行爬取。
准备
爬取时间：2021/01/27
系统环境：Windows 10
所用工具：Jupyter Notebook\Python 3.0
涉及的库：selenium\time\pandas\matplotlib\jieba\stylecloud
获取基础数据
蛋肥想法：借助selenium，实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据。
36氪|职场资讯
https://36kr.com/information/web_zhichang
参考资料
安装chromedriver
Selenium元素定位的30种方式
Selenium处理js行为的方法
Selenium之定位相同元素的第二个元素
from selenium import webdriver
import time
def getinfo():
driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
driver.get("https://36kr.com/information/web_zhichang")
#循环点击查看更多按钮，直到日期出现2019
while (driver.find_elements_by_xpath('//span[@class="kr-flow-bar-time"]')[-1].text)>"2019-12-31":
element=driver.find_element_by_xpath('//div[@class="kr-loading-more-button show"]')
driver.execute_script("arguments[0].click();",element)
time.sleep(1)
#获取文章相关元素
title_list=driver.find_elements_by_xpath('//a[@class="article-item-title weight-bold"]')
author_list=driver.find_elements_by_xpath('//a[@class="kr-flow-bar-author"]')
date_list=driver.find_elements_by_xpath('//span[@class="kr-flow-bar-time"]')
#获取元素文本内容
target_list=[]
for i in range(len(title_list)):
target=[title_list[i].text,author_list[i].text,date_list[i].text]
target_list.append(target)
return(target_list)
#完成后退出驱动
driver.quit()
#执行函数
info=getinfo()
数据预处理
蛋肥想法：36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存。
import pandas as pd
#筛选2020年的数据并保存
df=pd.DataFrame(info,columns=["题目","作者","日期"])
df_final=df[(df["日期"]<="2020-12-31")&(df["日期"]>"2019-12-31")]
df_final.to_excel(r"C:\Users\Archer\Desktop\爬取数据.xlsx",index=False)
保存到本地的部分数据
数据可视化
蛋肥想法：此次重点是学习selenium，所以只简单做一下数据可视化。
import matplotlib.pyplot as plt
#画图四件套：显示、矢量、中文、负号
%matplotlib inline
%config InlineBackend.figure_format="svg"
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
绘制作者发文量TOP10
#作者发文量TOP10
df_read=df_final.groupby("作者").count().sort_values("题目")[-10:]
#绘制画布
plt.figure(figsize=(10,8))
#绘制作者-发文量TOP10
plt.subplot(1,1,1)
plt.title("作者发文量TOP10",fontsize=15)
x=list(df_read.index)
y=list(df_read["题目"])
plt.barh(x,y)
for a,b in zip(x,y):
plt.text(b,a,b,ha="left",va="center",fontsize=10)
#隐藏xticks，节约空间
plt.xticks([])
#保存图片
plt.savefig(r"C:\Users\Archer\Desktop\作者发文量TOP10.png",bbox_inches="tight")
绘制题目热词词云
import jieba
from stylecloud import gen_stylecloud
#去掉中文停用词
textc=list(df_final["题目"])
file_stop=open(r"C:\Users\Archer\Desktop\stop.txt","r",encoding='utf-8')
textstop=[x.replace("\n","") for x in list(file_stop)]
file_stop.close()
for i in range(len(textc)):
for j in range(len(textstop)):
textc[i]=textc[i].replace(textstop[j],"")
#保存成txt
file=open(r"C:\Users\Archer\Desktop\题目词云.txt","a+",encoding='utf-8')
for i in range(len(textc)):
s=str(textc[i])
file.write(s)
file.close()
#直接复制词云代码，icon_name对应词云轮廓，palette对应配色
def jieba_cloud(file_name):
with open(file_name,'r',encoding='utf8') as f:
word_list = jieba.cut(f.read())
result = " ".join(word_list)
#制作中文云词
gen_stylecloud(text=result,palette='tableau.BlueRed_6',icon_name='fas fa-comment',font_path='C:\\Windows\\Fonts\\simhei.ttf',output_name=file_name.split('.')[0] + '.png')
if __name__ == "__main__":
file_name = r"C:\Users\Archer\Desktop\题目词云.txt"
jieba_cloud(file_name)
总结
- selenium大法好啊，有很多想象空间。
- ⊙△⊙？好像可以用selenium来打卡给。
