爬取简书26万+用户信息:数据可视化

一、前言

简书上有哪些优质用户?有多少大V粉丝数上万,获赞数上万?小透明的自己能排到多少位?大V之间相互关注情况如何?签约作者有多少人......

我想要了解这些问题,于是便有了本文。

二、爬虫思路

《简书=鸡汤?爬取今日看点数据:1916篇简书热门文章可视化》项目里获取的,贡献了1916篇热门文章的共计799名用户的ID,作为种子ID,爬取各自关注列表里的用户信息,再爬取关注者的关注者,如此几层下去,便能获取到几十万乃至上百万条用户信息及彼此的关注情况。

由于简书官方对数据有所保护和限制,仅能获取单个用户的900名关注者(粉丝亦然)。对于关注数小于900的自然能全部获取;而大于900的就只有不完整的数据。

在通过2-3层数据爬取后,共获得261277条用户信息,具体数据有:用户名、主页url、是否为签约作者、粉丝数、获赞数、关注数、文章数、总字数等等

三、数据可视化

1、获取的ID分布情况

爬取799个种子ID(记为第0层,图中由于数量级偏小,所以看不到出来柱形图的图案)各自的关注者,得到第1层47601条总ID数据(含重复ID),新增19526个净ID;再根据第1层新增的净ID,爬取其关注者,得到第2层1239366(约124w+)条总ID数据,新增189921个净ID;再根据第2层新增的净ID,爬取了部分ID的关注者,得到第3层391762条总ID数据,新增53677个净ID

由于时间限制,没有再继续爬取下去,仅获取了上述共261277条数据。由上图可知,虽然一层层的爬取关注者,总ID数在第2层便突破了百万级别,但新增的用户ID增长并没有那么快,这说明被关注的用户重复出现,他/她们获得了广泛的关注,因而可以视为较优质的用户。

2、26w+简书用户粉丝情况

2.1 金字塔图

有了26万多条数据后,先来看看这些用户各自都有多少粉丝,借此来看看每一个人大概的排名是多少。

绘制成金字塔图后可知,这26w+用户里:粉丝数大于10w+的有5人,依次为:@刘淼、@简黛玉、@彭小六、@简书播客、@江昭和,均是万中挑一的人物;其他各梯度人数看图即可,不再赘述。值得一提的是粉丝数10-100区间的人数占比最大,为40.38%,而非0粉或1粉的用户,这进一步说明了本次本次爬取的数据较为优质。与《爬取张佳玮138w+知乎关注者:数据可视化》一文中张佳玮138w+知乎关注者中0粉占比29.18%,1-10粉占比55.49%,两者相加用户数已超过116w+,两相对比,更能说明上述问题:

另外这26w+用户里0粉的有784人,论理本次爬取时能被爬取到的都起码有一个粉丝,要不然不符合上述爬取的思路,但这里却发现不仅有0粉的,甚至有十来个用户粉丝数为负数,不知道是不是简书的BUG,去他们的主页查看,发现确实显示的是负数,但是又明明有粉丝???

2.2 瀑布图

知道了各个梯度(区间)用户的数量和占比,自然也就能知道每个人的大致排名。以我自身为例,粉丝数480人,排名4140,为前1.6%。还有很大的努力空间。再将所有用户粉丝分布情况绘制成瀑布图,更能给所有奋笔疾书、努力写作和输出的人不断涨粉后跃迁、上升的直观感觉。

3、TOP 10系列

接下来再看看各种TOP 10的榜单:

3.1 粉丝数前十

全部用户平均粉丝数为79人。全靠下面的大V带飞。

1、刘淼:178262;2、简黛玉:177047;

3、彭小六:139994;4、简书播客:138836;

5、江昭和:133940;6、简叔:89629;

7、韩大爷的杂货铺:88845;8、Sir电影:88840;

9、饱醉豚:86540;10、我带爸爸看世界:77153;

3.2 获赞数前十

全部用户平均获赞数为102个。大V天天见。

1、彭小六:222734;2、韩大爷的杂货铺:131250;

3、简黛玉:124723;4、Sir电影:83485;

5、衷曲无闻:81205;6、怀左同学:80567;

7、剽悍一只猫:79558;8、安梳颜:74808;

9、顾一宸:69015;10、陶瓷兔子:66527;

3.3 关注数前十

活捉十只关注狂魔!全部用户平均关注数为25人。拖后腿系列

1、临川人:12878;2、桐子树下:10624;

3、阿立斯本:7807;4、陈三白:6651;

5、WEFG_jakerfenG:6174;6、欣悦生化:6168;

7、Athena79:5434;8、曾培然:5107;

9、有领uullnn:5086;10、MasterKang:5035;

3.4 文章数前十

所有用户平均文章数为14篇。刚好达标。

1、絕塵:2150;2、幸运的贝壳:1834;

3、孤鸟差鱼:1731;4、淡定之龍的傳人:1587;

5、Sir电影:1582;6、郭相麟:1455;

7、鸭梨山大哎:1364;8、炫彬:1360;

9、葡萄喃喃呓语:1354;10、军旗猎猎:1330;

3.5 总字数前十

所有用户平均总字数为16750。emmmmmm.

1、爱可可_爱生活:5953371;2、絕塵:4357012;

3、Sir电影:3948118;4、王邑尘:3566126;

5、Sting:3412810;6、诗之源:3337821;

7、优雅爱敌:2716884;8、柳志儒:2512482;

9、掘金官方:2483024;10、军旗猎猎:2429342;

3.6 获赞数/文章数前十

1、一棵花白:7517.5;2、冰冷钻戒:4650;

3、Gosmy:3917;4、该号已废:3751;

5、二十初仲夏的树:3616.85;6、米洛在波士顿:3483;

7、Gibson:2973;8、Mr楠先生:2540;

9、南调北征:2419;10、她好酷的:2391;

4、126名签约作者

很多人都以成为签约作者作为自己写作努力的方向,那么简书到底有多少名签约作者呢?在这26w+较优质用户里,共有126人的主页上明确地挂有“签约作者”的标签。为什么这么说呢,是签约作者就是,不是就不是,难道主页上没有标签的用户也可能是“签约作者”不成?!

这个好像还真的有可能。具体有待探究。后续会继续研究下“签约作者”这个群体。目前已经另外爬取@签约作者文章合集专题里的3141篇文章,发现该专题里签约作者依旧小于150人,其中不少人目前主页上并没有显示标签。去掉和上面126名重复的用户后也不到200人,因此推测简书总共的签约作者不到200人,虽然根据爬取的数据显示,很多人的粉丝数、喜欢数、文章数等都已经符合申请要求了。

四、小结

1、后续会继续研究下“签约作者”这一群体;

2、学习下用D3.js怎么绘制大V们相互关注的情况;

3、同样的会用《爬取张佳玮138w+知乎关注者:数据可视化》中获取的较优质的用户ID作为种子ID,用本文相同的爬取思路,去获取更多知乎大V的数据。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容