1.《前任3》为什么这么火爆
截止发文时《前任3》票房15.50亿，成为一匹黑马，我习惯性的去豆瓣看了评分
豆瓣上8万多人只打出了5.8的评分，其中1星-3星占比72.6%，那么问题来了，在绝大多数豆瓣粉丝都认为是“烂片”的情况下，究竟是什么让《前任3》票房意外火爆呢？
为了更能说明问题，通过一些舆情监测软件，我参考了一些社交圈的一些数据
-
搜索微信公众号前任3相关的文章，我们可以看到相关结果2w多，总阅读数6006w+
我查看了点赞数最多的，竟然是蕊希的推文 <前任3>：谢谢和你爱过，也不遗憾最终错过。点赞数22956 阅读量10w+，这里为什么用竟然，是因为我也是蕊希忠实的听众啊，多少个成长的夜晚，是这个电台陪我入睡，多少个... 跑题了跑题了，此处省略一万字
点进去仔细看了一遍，这篇文章主要还是以一些经典的情感语录和分手的撕心裂肺来引起读者的共鸣或者是往事，蕊希的文章总是写的很成功，因为她知道什么样的内容可以打动读者的内心情感，看评论就知道了
所以前任三之所以火爆的原因也许是因为：分手？毕竟“分手”是感情世界里永不褪色的话题，也是最能触发观影者内心情感的话题，不过这只是我们的猜测。
作为一名程序员，我们当然不能只靠这些来说话，数据是最有说服力的，于是我爬取了一下豆瓣的影评。
2.采集豆瓣影评
有朋友私我说之前没怎么写过使用框架采集数据的教程，回过头想了想好像是很少使用框架去爬虫了，最早的一篇还是Python网络爬虫（六）- Scrapy框架，戳我复习，发现突然让自己用Scrapy还的确忘记从哪开始了，于是对着电脑开始发呆，大概度过了十分钟的贤者时间一下子重新掌握了Scrapy的整体思路，(明明复习了一两个小时)。
戳我学习Scrapy
流程如下：
- 创建一个Scrapy项目；
- 定义提取的Item；
- 编写爬取网站的 spider 并提取 Item；
- 编写 Item Pipeline 来存储提取到的Item(即数据)。
- 提取数据库数据，处理展示
- 创建项目，终端输入
# 创建项目
scrapy startproject douban_qrs
# 进入项目目录
cd douban_qrs
# 创建爬虫文件
scrapy genspider douban https://movie.douban.com
- 项目结构(不包括后续配置)
|-- douban_qrs/ # 项目文件夹
|-- scrapy.cfg # 项目发布配置
|-- spiders/ # 项目模块存储了实际的爬虫代码
|-- __init__.py # 模块描述文件
|-- items.py # 定义了待抓取域的模型
|-- pipelines.py # 项目pipelines定义文件
|-- settings.py # 项目全局配置，定义了一些设置，如用户代理、爬取延时等。
|-- spiders/ # 爬虫模块<开发>
|-- __init__.py # 模块描述文件
|-- douban.py # 爬虫代码
难题：scrapy实现模拟登录
这里我又重新去翻了一遍文档，发现文档中是有描述的
参考文档
- scrapy中cookies的写法，可以与request中cookie的写法对比下
这里我用了两种方法解决这个问题，第一个是加cookie，效果不太理想，我换了第二种采用登录的方式。
- 由于在登录过程中可能需要输入验证码，目前采用把验证码图片保存至本地手动输入
(借助一些打码平台可以实现自动识别验证码输入，收费)
def logged_in(self, response):
img_code = response.xpath("//img[@id='captcha_image']/@src").extract()
if len(img_code) > 0:
print("请输入验证码登录")
localpath = "/home/xsl/imgcode.jpg"
# 将图片下载到本地
urllib.request.urlretrieve(img_code[0], filename=localpath)
print("请查看本地验证码图片并输入验证码")
img_code_value = input()
data = {
"form_email": "你的账号",
"form_password": "您的密码",
"captcha-solution": str(img_code_value),
}
else:
print("此时没有验证码")
data = {
"form_email": "你的账号",
"form_password": "您的密码",
}
print("登录中.(ง •̀_•́)ง")
return [scrapy.FormRequest('https://www.douban.com/login',
formdata=data,
callback=self.movie)]
3.词云和分布图展示
def word_cloud(comment):
logger.info('制作词云图...word_cloud')
comment_text = ''
back_coloring = imread("static/zzb.jpg")
cloud = WordCloud(font_path='static/simhei.ttf', # 若是有中文的话，这句代码必须添加，不然会出现方框，不出现汉字
background_color="white", # 背景颜色
max_words=2000, # 词云显示的最大词数
mask=back_coloring, # 设置背景图片
max_font_size=100, # 字体最大值
random_state=42,
width=360, height=591, margin=2, # 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
)
for li in comment:
comment_text += ' '.join(jieba.cut(li, cut_all=False))
wc = cloud.generate(comment_text)
image_colors = ImageColorGenerator(back_coloring)
plt.figure("wordc")
plt.imshow(wc.recolor(color_func=image_colors))
wc.to_file('前任三词云图.png')
def snowlp_analysis(comment):
logger.info('自然语言处理NLP...snow_analysis')
sentimentslist = []
for li in comment:
s = SnowNLP(li)
# logger.debug(li)
# logger.debug(li, s.sentiments)
print(li, s.sentiments)
sentimentslist.append(s.sentiments)
fig1 = plt.figure("sentiment")
plt.hist(sentimentslist, bins=np.arange(0, 1, 0.02))
plt.show()
本来是想用至尊宝做一个词云图的，找了好久没找到素材，就用了之前我的一张壁纸
话说，词云图好像并不能看出什么～而分布图表达的结果也并不直观，那就代表本次的结果没有什么卵用，个人觉得是因为数据量太小了，而且词云图本身对数据展示的结果只能看出高频词而已...我就不分析什么了(我真的尽力了(ง •̀_•́)ง)
我也想像其他大佬一样机器学习，数据分析啊
源码已上传Github。
