关于

最近爬取了知乎1000万的用户数据，耗时一周。

使用 ElasticSearch + Kibana 实现数据存储，可视化。

数据爬取时间为 2019年7月(3-9)日

抓到的数据大部分都是资料不完善，以下分析会过滤掉资料为空的那部分。

涉及到性别：-1：未知，0：女， 1；男

本文思路参考 这里

数据分析

现居城市分布

【知乎】城市性别分布-直方图.jpg

可以看到北京上海用户数量领跑其它城市，所有城市都是男用户稍占多一点。出现了深圳，深圳市 还有 广州，广州市，因为在知乎的个人资料中，居住地这个选项是手动填写而不是选择。
（这里由于kibana用的不熟，暂时不知道怎么把合并，欢迎知道的朋友告知）

行业分布

【知乎】行业性别分布-直方图.jpg

可以看出互联网行业一骑绝尘，领先第二名一倍；而第二名计算机软件也是兄弟行业。比较有意思的是以行业划分的话，有比较多行业女性数量占优（高等教育、临床医学、创意艺术、财务、法律、基础教育、教育、广播电视、广告、培训）。而反观计算机软件、电子游戏、机械设备、电子电器、计算机硬件这些行业男性数量大幅占优。比较意外的是有这么多人从事电子游戏行业，超过了很多传统行业（当然有可能这个职业的人在知乎上比较活跃）。

职业分布

【知乎】职业性别分布-直方图.jpg

有了行业分布，我们顺便再看看按照职业划分如何。与参考文章不同的是，现在知乎上学生占比最多，可能是知乎当前目标群体为学生，加大校园推广力度。这里我理解是资本入股后的营收压力，使知乎选择了这样的战略。（另外软件工程师，前端，程序员和算法工程师那夸张的男女比例是什么鬼=.=）

学校分布

【知乎】学校性别分布-直方图.jpg

可以看到各高校间的差距并不是特别明显，跟现居城市相对应，北京的清北在前三占据两个席位。杭州在城市中排第三，浙大的学子功不可没。比较有意思的是 克莱登大学（“克莱登大学”原本是钱钟书先生小说《围城》里虚构的骗子学校），另外 中国传媒大学 是前50里边唯一女生数量比男生多的学校。

专业分布

【知乎】专业性别分布-直方图.jpg

看完学校，我们最后来看一下专业分布。计算机相关行业占据绝对优势，我想到原因有二：近年来市场对计算机相关人才需求巨大；同时计算机相关人员玩知乎占比较大。法学在前排是让我比较意外的。

关注者数量与回答数量

看了那么多各种类型的分布，我们来关注一些不一样的

关注者数量与回答数量.jpg

这里列出了关注者数量前30的用户，第一知乎日报应该是知乎官方推荐的账号，张佳伟，丁香医生紧随其后。刘看山也是知乎官方账号，关注者数量似乎还在猛涨，从拉取数据到我写此文几天时间，关注数量涨了20w。轮子哥惊人的22k+回答数显得格外活跃（或许是机器人回答的，谁知道呢。另外经统计轮子哥是目前知乎上回答数量最多的）。

被赞数量与回答数量

再来看一下被赞的数量最多的有哪些人

【知乎】被赞数量与回答数量.jpg

可以看到张佳伟，丁香医生还是前排，轮子哥屈居第三。后面又好多用户回答数量并不多，同样收获了好多赞。看看这里面有没有你关注的人吧~

高校被赞与被收藏数量

【知乎】高校被赞与被收藏数量.jpg

再来对比一下哪些高校被赞数量最多。可以看出清北，浙大，复旦，上交，武大等Top N 学校影响力还是比较大的。另外克莱登大学很顽皮的排到的第三。

被关注者数量分布

看了那么多柱状图，搞个饼图来看一下被关注者数量分布，看看自己在知乎属于什么水平

【知乎】关注者数量分布-饼图.jpg

可以看到大部分知乎用户是没人关注的，如果你拥有一个以上关注者，那么恭喜你打败了75.37%的知乎用户。看来还是很多人跟我一样，是一个知乎小透明~

来一个具体的表格

用户活跃比率

数据里边有个is_active字段，看起来是一个时间戳。我猜这个字段记录的是用户最后一次登录时间，就这么拿来用咯。

【知乎】活跃用户分布-饼图.jpg

这里从红色开始，逆时针依次是10天，一个月，三个月，半年，一年，两年，三年以上。
可以看出三个月内活跃用户大概占比30%，另外有30%用户近三年没登录过了。

专业分布词云

最后我们以一张词云结束本文，大伙可以看看自己专业在图中什么位置

【知乎】专业分布前200-词云.jpg

结语

截止目前抓取了 9433740 条数据。今天7小时抓了不到5k条数据，数据增长已经非常缓慢了。带宽占用有10M左右，说明还是在不停的爬取，只是爬到的重复率已经很高了。余下的用户可能在不同的一片森林里，与目前爬取数据没有交集，或者根本就是0关注；也有可能数据接近爬完了。目前程序占了6G内存。今晚再观察一下，如果增长速率还是如此缓慢，明天就把它停掉了~

想了解更多爬取心路历程 请看这篇

这是我第一次搞数据爬取，不足之处请各大神多多指导。另外关于数据分析，各位可以想想更多不同的维度，得更有多有趣的内容。结尾附上一条抓取的数据样本。

{
  "id": "0970f947b898ecc0ec035f9126dd4e08",
  "url_token": "excited-vczh",
  "name": "vczh",
  "use_default_avatar": false,
  "avatar_url": "https://pic1.zhimg.com/v2-1bea18837914ab5a40537d515ed3219c_is.jpg",
  "avatar_url_template": "https://pic1.zhimg.com/v2-1bea18837914ab5a40537d515ed3219c_{size}.jpg",
  "is_org": false,
  "type": "people",
  "url": "https://www.zhihu.com/people/excited-vczh",
  "user_type": "people",
  "headline": "专业造轮子，拉黑抢前排。gaclib.net",
  "is_active": 1,
  "description": "微博也看图（逃：<a href=\"https://link.zhihu.com/?target=http%3A//weibo.com/vczh\" class=\" external\" target=\"_blank\" rel=\"nofollow noreferrer\"><span class=\"invisible\">http://</span><span class=\"visible\">weibo.com/vczh</span><span class=\"invisible\"></span></a><br/>长期开发跨三大PC平台的GUI库<a href=\"https://link.zhihu.com/?target=http%3A//www.gaclib.net\" class=\" external\" target=\"_blank\" rel=\"nofollow noreferrer\"><span class=\"invisible\">http://www.</span><span class=\"visible\">gaclib.net</span><span class=\"invisible\"></span></a><br/>讨论QQ群：231200072（不闲聊）<br/>不再更新的技术博客：<a href=\"https://link.zhihu.com/?target=http%3A//www.cppblog.com/vczh\" class=\" external\" target=\"_blank\" rel=\"nofollow noreferrer\"><span class=\"invisible\">http://www.</span><span class=\"visible\">cppblog.com/vczh</span><span class=\"invisible\"></span></a>",
  "gender": 1,
  "is_advertiser": false,
  "vip_info": {
    "is_vip": false,
    "rename_days": "60"
  },
  "badge": [],
  "account_status": [],
  "message_thread_token": "4874924000",
  "allow_message": true,
  "is_following": false,
  "is_followed": false,
  "is_blocking": false,
  "is_blocked": false,
  "is_force_renamed": false,
  "follower_count": 797772,
  "following_count": 3059,
  "mutual_followees_count": 0,
  "answer_count": 22811,
  "question_count": 559,
  "commercial_question_count": 0,
  "articles_count": 128,
  "columns_count": 6,
  "favorite_count": 1,
  "favorited_count": 389697,
  "pins_count": 5244,
  "logs_count": 2845,
  "voteup_count": 2636286,
  "thanked_count": 278948,
  "hosted_live_count": 0,
  "participated_live_count": 10,
  "included_answers_count": 6,
  "included_articles_count": 2,
  "included_text": "编辑推荐和知乎日报",
  "following_columns_count": 103,
  "following_topic_count": 49,
  "following_question_count": 39070,
  "following_favlists_count": 11,
  "vote_to_count": 0,
  "vote_from_count": 0,
  "thank_to_count": 0,
  "thank_from_count": 0,
  "business": {
    "id": "19619368",
    "type": "topic",
    "url": "https://www.zhihu.com/topics/19619368",
    "name": "计算机软件",
    "avatar_url": "https://pic4.zhimg.com/e82bab09c_is.jpg"
  },
  "locations": [
    {
      "id": "19583552",
      "type": "topic",
      "url": "https://www.zhihu.com/topics/19583552",
      "name": "西雅图（Seattle）",
      "avatar_url": "https://pic1.zhimg.com/161f6ece791a4950ded3278fb74a2f9b_is.jpg"
    }
  ],
  "employments": [
    {
      "job": {
        "id": "19578588",
        "type": "topic",
        "url": "https://www.zhihu.com/topics/19578588",
        "name": "Developer",
        "avatar_url": "https://pic4.zhimg.com/e82bab09c_is.jpg"
      },
      "company": {
        "id": "19557307",
        "type": "topic",
        "url": "https://www.zhihu.com/topics/19557307",
        "name": "Microsoft Office",
        "avatar_url": "https://pic4.zhimg.com/v2-d3a9ee5ba3a2fe711087787c6169dcca_is.jpg"
      }
    }
  ],
  "educations": [
    {
      "school": {
        "id": "19599737",
        "type": "topic",
        "url": "https://www.zhihu.com/topics/19599737",
        "name": "华南理工大学",
        "avatar_url": "https://pic1.zhimg.com/4d0d193a9_is.jpg"
      },
      "major": {
        "id": "19590324",
        "type": "topic",
        "url": "https://www.zhihu.com/topics/19590324",
        "name": "软件学院",
        "avatar_url": "https://pic3.zhimg.com/v2-b9bfb60588338c348cc23576ad6243bb_is.jpg"
      }
    }
  ],
  "cover_url": "https://pic2.zhimg.com/v2-67b965aa94a92ed49b1a4205145b5cf4_r.jpg",
  "avatar_hue": "",
  "is_bind_sina": true,
  "sina_weibo_name": "GeniusVczh",
  "sina_weibo_url": "https://weibo.cn/u/1916825084",
  "is_privacy_protected": false
}

以上，完...