python 金融网贷数据,pandas进行数据分析并可视化系列 (明白需求)

终于盼来了不是前言部分的前言,相当于杂谈,算得上闲扯,我觉得很多东西都是在闲扯中感悟的,比如需求这东西,一个人只有跟自己沟通好了,总结出某些东西了,才能更好的和别人去聊,去说。

今天这篇写的是明白需求,其实更多的是想和大家聊天,只有把这个聊开了,后面的东西做起来才有意义,才有价值,在聊天中,思考中发现价值(化身为话唠了?)

有时候你自以为某些东西很重要,其实那只是站在自己的角度觉得很重要,更需要的是站在别人,站在市场的角度去思考这个问题,特么的到底重不重要。

需求我觉得可以分为两类:自己主动去做的和别人要求你去做的。别人要求你做的,你完成的很快,大部分人都是走走肾就能搞定。但是自己主动去做的,我觉得没人会只走肾不走心的。 当你真正主动去做一件事的时候,那件事才能带来价值,不然对你来说无非就是浪费时间浪费生命浪费撩妹的好时光,可是人生不就是用来浪费的吗?(好矛盾)

感悟一:做数据相关的工作,如果只是一味被动的去出一些数据报表,完成一些没有自己想法的数据报告,不带有任何感情色彩去做,不把自己的想法和思维附在那一堆枯燥的数据上,那终究是一件浪费时间浪费生命浪费撩妹的好时光的工作。如果给一家企业这么干活,永远只会是人手,不会成为人才,最终可能会发展成为奇葩。

所以,对待需求,不能只走肾,不走心~ 去挖掘,去发现,去好奇,去探索,去尝试着犯错。主动给自己揽活干,把被动变主动,养成了主动的习惯,不仅仅只对你手头的工作有好处,对整个人的思维都是有帮助的,这是一辈子的事。只有去不断思考了,需求才会出来。

说个真事儿,年初的时候总监让我出报表,需求就是:一周起码要产出5张新数据报表。如果是你,你会怎么做呢?

我还真那么去做了,几周下来,居然好神奇的出了几十张数据报表,后来我发现不对劲,出了这么多数据报表,意义何在?除了走量,好像然并卵啊。呵呵,我承认我走肾了。

感悟二:搞数据,最重要的不是你使用什么工具,而是你的数据思维,让手上的数据产生价值。武功再高,也怕菜刀。你用excel 计算 1+1 和 python 计算 1+1 ,都是等于2。具体使用什么工具,你得看自己手上的需求和数据规模,几千上万的数据,就别来问用什么工具了,你玩得溜,用excel照样切菜。

举个例子:现在手上有一客户基本信息数据(user表),给他们按区域统计一下人数。

2W条的量:excel透视表一下,就行了,你说你要搞个hadoop来跑2W量的数据,why not?

10W条的量:用excel就吃力了,用sql是ok的 (select area as '区域',count(area) as '人数' from user group by area

100W条的量:用python的pandas库就好了 (user.area.value_counts()

1000W以上的量:pandas可以做,但是分布式的做起来就更ok了。

所以,别一上来就是哪个工具哪个工具,这个不是最重要的,最重要的是你怎么让那堆数据对业务产生价值,这才是重中之重。当然咯,并不是说会一种就行了,需要不断地学习。

感悟三:如果你的工作就是数据分析,但是领导没数据这方面意识,要不改变他要不就放弃,change or giveup,这和追妹子一个道理,热脸贴冷屁股,没意思。

这次写这些文章,我先把自己需求弄懂了,决定从(获取数据--读取数据--清洗整理数据--统计分析数据--数据报告产出--总结) 这一条龙过程中用到的知识梳理一下,也算来个全套咯,嘿嘿嘿。

仅针对中小企业日常数据统计分析所涉及的工作内容,半桶子水,能力有限,其他级别的的可以绕行了:

获取数据:打算从网上抓取XX金融网站的投资贷款数据用来作为数据源,基本上每个维度每个格式的数据都有,便于后期的操作

读取数据:这里我会把获取的数据分为xls,csv,sql,还有pandas的DataFrame格式的数据,分别进行操作,以应对各式的数据源格式

清洗整理数据:excel,sql,python,javascript都会用到

统计分析数据:主用python的pandas 和 sql。

数据报告产出:我会用到django的web开发用来做可视化(html,css,javascript),以及手上现有的报表系统,word,pdf,ppt都是可行的

总结:将用到的方法和遇到的问题进行概括总结

明白需求,再去开始你接下来的任务,走肾是可耻的。不求赞同,只求理解,大家一起进步,在工作过程中任何感触和问题,都可以一起分享一起讨论交流。欢迎大家加我QQ1749061919,一起交流与学习。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,835评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,598评论 1 295
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,569评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,159评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,533评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,710评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,923评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,674评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,421评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,622评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,115评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,428评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,114评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,097评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,875评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,753评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,649评论 2 271

推荐阅读更多精彩内容