数据来源
爬虫抓取前程无忧1500多条深圳UI设计师岗位发布信息.
原始数据
处理后数据
说明:
cate是企业给的福利,text是发布信息的文本,稍后提取.
发布信息中的工资和工作经验是一个范围，本次取均值来探索。
可视化
1,经验和工资正相关,其中学历越高工资基数越高(我们还可以看观察斜率得到一些结论)
**注:职位硕士要求的样本只有一个,剔除.
2,约40%的发布只要求大专,该职业对学历要求不高.
3,发布地区基本在南山和福田
4,80%发布单位为民营公司,其次为上市公司仅占5%
5,以中小企业为主
6,岗位相关行业以计算机软件和电子商务居多,电子商务也占一小部分.
7,工资多分布在四个段人数较多分别是6k,7.5k,9k,1.2w
8,大多数不要求工作经验,想要你们来打杂,2-3年工作经验要求最多,招来干活.
9,招一个人的占多数
文本特征提取
我们有两部分文本,一部分是公司可以给的福利,第二部分是岗位的要求:
对公司福利直接用"|"分词统计,对岗位要求采用最简单的TF-IDF提取关键词.
可视化
公司福利
他们最爱给的就是五险一金了😂
公司福利关键字后20
这个真的是有啥说啥
工作要求
探索影响工资的因素
关键字特征是由朋友挑选的.
处理后字段如下
总共90维
集成器树回归特征重要性
这里我使用python中sklearn的random forest,特征重要性以该特征作为分裂点的频率和加入该特征给模型带来的成本的上升来界定.
毕竟我们不是为了最小化损失函数,稍微调一下超参数即可.
rf = RandomForestRegressor(n_estimators=400,max_features = 0.2,bootstrap = True,max_depth = 20)
我们的目标值是工资,最后得到如下特征重要度排名
排名第一的是工作经验,对工资的多少来说是最重要的,而第二名就是本科的学位了,有本科学位要求的公司会开出更高的工资.
双休这个关键字的出现也是一个影响工资的重要特征,不过树回归探索不到该特征对工资是正相关还是负相关.我们可以画下相关系数热力图来看.
维度过多了,我们提取特征重要度前20的特征
我们看最后一列
哈哈~双休和中专学位都让工资下降了,往下看带补贴关键字的也会给少工资.其实这张图虽然看起来好看,但是辨识起来还是不方便的,我们换个梯度的颜色来观察
这样就清晰多了．这种信息量会比较大，他包含特征重要性的排行和他们间的相关性大小，慢慢看会有一些有意思的点．(比如"产品"和"体验"相关性挺高的，其实这是分词的问题，我们在没有添加语料库的情况下，使用"贪婪"的分词，就会把"产品体验"给分成两个词．"交互体验"也是如此．）
探讨到此为止了吗?没~
在这里有没发现对工具要求对工资来说并没有什么用?在排行前的只有一个Illustrator，大家都要结果，管你用啥工具的意思？？？
进一步探索
我们回到这张图，我们来做一个不同经验要求下哪些特征对工资影响大
1，无工作经验要求
结论：
1，无经验求的的发布不希望给你休息，你想双休就得低工资。
2，在盐田和珠海这两个地区会给你高一些工资
3，学历还是硬伤，中专就会拿少工资。
2，1年工作经验要求
1，保安区和招5人的发布给低工资。
3，3年工作经验要求
1，就算有了3年工作经验，学历还是很重要的
2，发布要求会更强调"体验"，即可以提升用户体验，还有"美术"、”交互“等。说明各发布更强调可以达到的实际效果。
5年工作经验要求
1，五年工作经验的人在大企业更容易拿高薪。
2，给补贴的企业更爱给高薪。
3，中型（150-500）公司也爱又经验的人，不过给的相对大公司来说没那么阔气。
4，小公司（50-150）会给更低的薪资，注意啦。
对自己说的
这是针对挖掘技术上的总结。
1，样本仅限于前程无忧深圳UI设计师，其他网站和地区以及职业不具代表性。
2，TF-IDF那部分还要改进。
3，数据源的增加，可以加入智联招聘、拉勾网等网站。
4，这个分析是针对买方（购买劳动力）的。
5，可以加入聚类。
6，再做一个“数据分析师”为自变量的岗位分析作为对比，对比这个分析流程是否合理，两个不同的岗位有什么区别。
7，能否帮助到朋友找工作和确定未来要怎么学习来加薪这两个问题，这篇文章可能并不能很好的回答，有点惭愧。
8，说到底还是工作时间最有用，当然这是表面上的，HR会衡量你工作时间和工作能力、作品来给你开薪。
