现在大家的生活中，已经越来越离不开B站了，
2020年的第一季度，B站月活跃用户达到了1.72亿，日活跃用户也已经突破了5000万个用户。
而B站的弹幕区一直是人才圣地。今天我们就用户python来爬取B站排行榜热门视频弹幕'我和高中时喜欢的女孩子在一起了'
看完视频只想说“好羡慕哦”！
工作原理
那么我们该如何获取此视频10000+弹幕呢？
在B站中，只要视频中有弹幕，就会有一个 cid 参数。cid 用来表示某个视频对应的弹幕池。每个弹幕都有一个对应的 XML 文件，我们可以通过解析 XML 文件获取到 B 站视频的弹幕。
所以，只要知道了 cid 参数值，就可以找到视频弹幕数据的位置了。
那我们在观看视频的时候该如何拿到这个 XML 文件呢？
B 站的弹幕是在 XML 文件里，每个视频都有其对应的 cid 和 aid，我们取到 cid 中的数字放入 http://comment.bilibili.com/cid.xml，即可得到该视频对应的弹幕 XML 文件。
思路分析
b站是提供弹幕接口的，所以我们的整体操作进行如下：
1.到B站获取cid
2.将cid与网站固定格式进行链接
3.用python请求网页
4.进行简单的单词处理
5.生成词云
接下来我们就按照刚才说的顺序进行详细解释
网站分析
我们要抓取得视频链接地址：
https://www.bilibili.com/video/BV1u34y1y7tY
先来思考一个问题，B站一个视频的弹幕最多会有多少？
比较多的会有2000条吧，这么多数据，B站肯定是不会直接把弹幕和这个视频绑在一起的。
也就是说，有一个视频地址为https://www.bilibili.com/video/BV1u34y1y7tY
你如果直接去requests.get这个地址，里面是不会有弹幕的，因为B站的弹幕是先加载当前视频的界面，然后再异步填充弹幕的。
接下来我们可以打开谷歌浏览器(平常可以火狐谷歌控制台都使用，因为谷歌里面因为插件被拦截下来的包在火狐可以抓到，同理谷歌也是)的控制台来观察网络请求了。
首先我们打开视频播放地址，F12打开浏览器开发者模式，如下图找到视频对应的cid就可以构造出弹幕链接
http://comment.bilibili.com/512470713.xml
到此可为止，有了弹幕文件，后面将通过爬虫方式解析弹幕，并进行弹幕内容分析。
请求发送
我们使用request模拟浏览器发送请求获取弹幕数据
url =f'http://comment.bilibili.com/{cid}.xml'
headers = {
'referer':'xxxxxxxx',
'User-Agent':'xxxxxxxx',
'cookie':"xxxxxxxx"
}
resp = requests.get(url, headers = headers)
print(resp.text)
成功获取到了数据但是全部都是乱码，这里我们不用设置字符的编码格式，
只需要让request获取到的编码格式和网页的编码格式相等即可
一行代码即可搞定
# 调用.encoding属性获取requests模块的编码方式
# 调用.apparent_encoding属性获取网页编码方式
# 将网页编码方式赋值给response.encoding
resp.encoding = resp.apparent_encoding
信息提取
数据已经给成功的获取到，接下来我们要提取出所有的弹幕信息，
我们从获取到网站的响应信息后可以看出，所有的弹幕文字信息其实都是在
<d></d>标签之内的
痛！太痛了
所以我们选择使用正则提取。
# 获取所有评论内容
content_list = re.findall('<d p=".*?">(.*?)</d>', resp.text)
数据保存
我们使用函数将所有的弹幕数据存储在'B站弹幕1.csv'文件中
ifos.path.exists(comment_file_path):
os.remove(comment_file_path)
foritemincontent_list:
withopen(comment_file_path,'a', encoding ='utf-8')asfin:
fin.write(item +'\n')
print(item)
print('-------------弹幕获取完毕！-------------')
数据处理
接下来就是对数据去重和去空处理了,然后随机抽取五条数据展示如下：
# 读取数据
rcv_data = pd.read_csv('./B站弹幕1.csv', encoding='gbk', header=None, sep='\t')
# 删除重复记录
rcv_data = rcv_data.drop_duplicates()
# 删除缺失值
rcv_data = rcv_data.dropna()
# 抽样展示5条数据
print(rcv_data.sample(5))
精彩弹幕
388葫芦娃葫芦娃一根藤上七朵花,
95彻骨伤,
646气死我啦,
11太甜了，大叔祝你们幸福,
272一个单身狗看的津津有味,
词频展示
文章评论出现频率最高的前十个词分别如下:
defvisual_cipin():
# 词频设置
all_words = [wordforwordinresult.split(' ')iflen(word) >1andwordnotinstop_words]
wordcount = Counter(all_words).most_common(10)
x1_data, y1_data = list(zip(*wordcount))
'''
('幸福', '恭喜', '祝福', '太痛', '一起', '这么', '哈哈哈', '你们', '呜呜', '两个')
(29, 27, 26, 18, 17, 17, 16, 16, 14, 14)
'''
词云展示
我们使用结巴分词
最后使用stylecloud绘制漂亮的词云图展示
# 词云展示
defvisual_ciyun():
pic ='./img.jpg'
gen_stylecloud(text=result,
icon_name='fas fa-heart',
font_path='msyh.ttc',
background_color='white',
output_name=pic,
custom_stopwords=stop_words
)
print('词云图绘制成功！')
