又到了一年一度的金三银四，应该有不少小伙伴换工作吧，那么本人出于好奇，利用Python爬虫结合Power BI 分析了2021年热门岗位情况。这篇文章的主要目的是教大家如何用 BI 做一个完整的分析实战项目，从为什么用 BI、到如何设计好的BI报表；从分析目的、获取数据、清洗加工、可视化、到结果落地。如果大家，能够消化整个流程，那可以套用到你的实际业务中。
今天分享给大家：
一、为什么用 BI 做可视化 ？
说到这个可视化，大家之前可能用过Excel、Python 做过基础的图表。那么如果说现在业务场景十分复杂，基础图表满足不了我们怎么办 ？来咱们 举个栗子：
某APP产品的D A U（用户日活跃度）
突然下降了，请你分析原因并提出解决方案。
数据分析师通过日活跃趋势图发现3月3日用户下降了10%，3月4日下降了15%，3月5日下降了20%，…… ，最后结论DAU下降到20%， 你兴奋地把结果告诉老板。
这时老板肯定揍你，这是现象。具体原因要结合更深入的分析，比如渠道、同类竞品、新老用户情况、产品迭代等等。
我们看以上这个业务场景市机实际上非常复杂，如果我们用 Excel 和 Python，至少得用一天时间，而且单一表意义不大，可能只看到现象，或者监测。那如果非常熟悉BI,可能两个小时就搞定了。所以说有时候使用BI会很大程度上提高我们的工作效率，能够把所有的问题统一的结合起来。那么还有哪些好处呢 ？
1、可以连接多个数据源分析出具体的原因
2、任意维度、实时监控、快速定位、交互式
3、免费，学习成本低，提高分析能力
4、能实时更新，有新的数据源直接追加
二、如何设计好的BI报表？
那么，上面我们知道了用BI的原因，那么图大家都能画，那么如何设计一个另人满意的dashboard（仪表盘）呢，下面我们来探讨一下：
1、主次分明
2、贴合场景
3、指标明确
主次分明很好理解对吧，将所有问题分主次，把最重要的、最想突出展现的放在dashboard中间。那么，还有一点注意的是，一张清晰明了的仪表板，一般五、六张图就够了，不需要把能画的图全怼dashboard。要保证每张图表都是有价值的。
贴合场景，要考虑三点，第一点是 WHO ，也就是对象、受众是谁，给谁用？第二点是 WHAT 目的是什么；第三点是 HOW ，让人怎么使用。举个栗子：假如说我们的受众是老板，可能更关心的是利润、销售额等；如果运营人员可能更关心运营效果，拉新率、付费率怎么样。所以说一定要清楚视角，再去做。
指标明确，指标是一切可以用数值衡量的，比如我们的销售额、复购率、留存率、薪资的四分位数等等。其实关键指标都在我们确定分析思路时，应该已经制定好的。
三、实战项目（分析2021年热门岗位报告）
1、 分析目的
1）热门岗位的月薪情况（四分位）
2）不同城市间月薪(中位数)对比
3）不同工作年限薪酬分布情况
4）热门岗位对学历的招聘需求
5）热门岗位所属领域分布情况
6）不同岗位的必备技能有哪些
2、 数据获取
爬虫框架 ： Scrapy ； 存储数据库：mongoDB。爬虫代码片段 ，如下：
以下数据是采集完成后的结果，由MongoDB里导出的 CSV 数据格式。
3、 清洗加工
清洗加工这部分，主要是利用Excel完成的，包括：去除空值、重复值、删除空字段所在行，并对薪资列进行数据处理，对岗位要求提取关键词。因为涉及用BI完成，所以这里特意设计了三张表结构，如下：
岗位类别表：
岗位技能词云表：
岗位详情表：
4、数据可视化
数据可视化这部分，在实际业务中是都需要写图表说明的。更好的让人们理解你的图表核心想要表达什么，这里给大家以数据分析岗位，举了一个栗子。
图表说明：25分位值为9000，说明市场上有25%的人小于此数值，反映市场的低端水平；50分位值表示市场上有50%的人薪酬小于15000，反映市场的中等水平；75分位值表示市场有75%的人小于22500，反映市场的较高端水平；
5、结论与建议
1）业内数据分析岗位的薪资水平，大部分应该都处于14000左右，这个薪资水平相对较高，如果要想获得更高的薪资，还是需要有更多的技能
2）数据分析这一岗位，有大量的工作机会集中在北上广深以及新一线城市，如果将来去这些城市找工作，可以提高求职成功概率；
3）从待遇上看，数据分析师留在北京，上海发展是个不错的选择，其次是杭州、深圳；
4）从经验来看1~5年和5到10年经验的人群几乎是各占一半。对于数据分析师来说，5年似乎是个瓶颈期，如果在5年之内没有提升自己的能力，大概以后的竞争压力会比较大；
5）在移动互联网和电商领域，数据分析师需求量最大；
6）技能要求主要是经验、业务、SQL、Python，BI。
代码数据获取方式：关注"Python之每日一课"，后台回复"2021热门岗位"。
希望本文的内容对大家的学习或者工作能带来一定的帮助，每天进步一点点，加油♥。
