python知乎话题数据爬取及关系图谱可视化

一、前言

学习python大半年,也算基本入门。python作为一个简单易学且具有强大生产力的工具,在工作和生活中都提供了极大的助力,项目中写写脚本、爬爬数据,生活中帮朋友水水论文做做实验都还是能够勉强应付。虽然深知姿势水平还需极大提高,但是方向太多,不知如何着手。一直都对知乎数据很感兴趣,想做点什么,但始终没有静下心来付诸行动,最近忙里偷闲,琢磨着也许可以借此机会逼着自己开始去系列化的学习来提高自己。本次练手项目是基于知乎话题数据的简单可视化,包括知乎数据的搜集(共获取到33586个话题数据,不包含未分类话题以及丢失部分话题)和可视化两个部分。数据在文末。

二、数据可视化:

可视化部分采用pyecharts包处理,chenjiandongx/pyecharts

1、关注人数维度分析

本次采集到知乎话题总数33586个,所有话题关注人数总量为592,534,475人,平均每个话题关注人数为17642人。其中关注人数最多的话题是【电影】话题,关注人数为17,839,771人;话题关注人数TOP10,如下图所示:

知乎话题关注数TOP10

按照关注人数维度,将话题按照关注人数1000W以上、100W~1000W、10W~100W、1W~10W、0~1W、0 六个等级进行划分,其所占比例如下图所示:

各关注度数量级上话题所占比例

从话题关注量来看,90%以上的话题其关注量都在1W以下,这些话题中,又有70%的话题关注量集中在1K以下。

2、话题关系可视化:

话题关系图谱以知乎话题为节点,父话题与子话题关系为连接线,节点越大表示关注度越高,按照节点关注量分布,将话题颜色标识为7个等级。

话题关系网络的产生,是输入一个话题,然后逐级迭代,直至最后一级,关系网络将是该话题下的整个话题树的关系展示。越是顶级的话题,其关系图谱会越复杂

【电影】话题关系图。先直观感受以下,关注量最多的【电影】话题的子话题关系图。点击图片会清晰一点(不知道如何在知乎上传高清大图...o(╯□╰)o)

电影 话题关系图谱

下面列表是关注度最高的TOP20电影。

【明星】话题关系图


明星 话题关系图谱

明星关注度列表TOP20。哎哟,周杰伦排第一哟。我渤哥关注量也过万了:-D

【演员】话题关系图,演员节点旁边的仓井优看成了苍井空(o(╯□╰)o)

演员 话题关系图谱

演员列表top20

【旅行】话题关系图

旅行 话题关系图谱

旅行话题关注列表top20,自助游和穷游名列前茅Σ( ° △ °|||)︴,知乎穷游群体真这么大?

【知乎】和【豆瓣】话题关系图

豆瓣 话题关系图谱
知乎 话题关系图谱

【数据】话题关系图

【数据】话题关系图谱

【数据库】话题关系图

【数据库】话题关系图

【数据分析】话题关系图

【数据分析】话题关系图

以及【Python】话题关系图

【Python】话题关系图

最后,老司机要开车了

【性生活】 话题关系图

数据地址http://pan.baidu.com/s/1i46uCZz密码 2m9p

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,290评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,399评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,021评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,034评论 0 207
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,412评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,651评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,902评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,605评论 0 199
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,339评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,586评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,076评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,400评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,060评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,083评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,851评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,685评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,595评论 2 270

推荐阅读更多精彩内容