Python数据分析从0到1:面朝大海春暖花开的地方

海子有一首诗:

从明天起,做一个幸福的人
喂马,劈柴,周游世界
从明天起,关心粮食和蔬菜
我有一所房子,面朝大海,春暖花开

尤其是最后一句,我有一所房子,面朝大海,春暖花开,无论你是不是文艺青年,这样的海边都会让你魂牵梦萦。

然而我们国内的海边往往并没有诗人笔下的面朝大海美丽,这也与中国的地质构造有关。实际上,“海”和“洋”是有区别的,海,在洋的边缘,是大洋的附属部分。从下图中可以看出,中国黄海、渤海、东海都是比较浅的蓝色,水较浅,容易形成冲击的沙滩,在这样的海边,想建一座房子也不容易。

9345d688d43f8794e95801f1d51b0ef41ad53a4d.jpg

然而,从这张图可以看到,在台湾省的东边,便是深色的“洋”。在这里,有个美丽的地方,叫花莲。

花莲.jpg

这里似乎是最契合“我有一所房子,面朝大海,春暖花开 ”的地方了,那么,还有个问题,花莲靠近热带,会不会太热,失去了“春暖花开”的意境呢?

为了弄清楚这个问题,我最近学习了点Python,从0到1进行数学分析,完整走完了:数据获取>数据处理>数据分析>数据呈现四个步骤。整个过程其实不算难,甚至完整代码都不到100行,但对于初学者来说还是有一些坑。

分析问题

我想知道花莲这个地方到底是不是“春暖花开”,所以我最好能弄到花莲的历史气温。在网上搜了下,搜到的要么是过去一个月的气温,要么是分散的数据,需要手工处理,类似这样:

天气数据

这当然是我们不屑于做的,我们只做更有逼格的事情,于是,我找到了这个:https://market.aliyun.com/products/57096001/cmapi010812.html?spm=5176.2020520132.101.17.38547218ytXzkm#sku=yuncode481200005

API接口

花一分钱在阿里云市场购买这个API接口,就可以根据地名查询历史天气了(当然也可以实时)。买好之后,控制台可以看到AppKey、AppSecret和AppCode,我们后面会用到。

各种Key

数据获取&处理

接下里,我们要通过这个API接口获取花莲的历史数据。先看下接口文档:

接口文档

这里主要用到了urllib2库,其实它并不好用,完全可以用requests库代替。Requests全称叫:

Requests:HTTP for Humans

微信截图_20180904010708.png

我觉得这个名字起的特别好。实际上,我们每天上网,打开的各种网页、APP,无时无刻都在用到http协议。但是,那都是给程序用的,而这个Requests库却非常人性化,并且还有丰富的中文文档(其实一共就一大页)

OK,接下来我们上用Python调用这个API的代码:

def getWeather(appcode,areaid,month):
    url = 'https://ali-weather.showapi.com/weatherhistory'
    payload = {'areaid':areaid,'month':month}
    headers = {'Authorization': 'APPCODE {}'.format(appcode)}

    r = requests.get(url,params = payload,headers = headers)
    weatherjson = json.loads(r.content)['showapi_res_body']['list']
    weathermatrix = pd.DataFrame(weatherjson)
    return weathermatrix

简单来说,我们要用requests.get()方法去get一下这个API,并传入url、params和headers三个参数,其中params会传入地区(areaid)和月份(month),headers里包含了appcode。

这样会得到一个response对象,赋值给r。关于这个response对象,我理解有点类似于前端用DOM方法获取的对象是DOM对象,用jquery方法获取的对象是jquery对象。

这里先用python内置的json.loads()方法将r.content处理成json格式,观察一下发现:

image.png

得到的json中,“showapi_res_body”对应的value值里面的“list”对应的value值才是我们想要的,所以加上两层key值:

weatherjson = json.loads(r.content)['showapi_res_body']['list']

获取到的变量我们用pandas的DataFrame()方法处理一下,让它变成列表数据:

image.png

这时候有个问题,requests.get()一次只能获取一个城市一个月的数据,为了方便我们获取多个月的数据,我们把获取一个城市一个月的数据写成函数,然后一次性传入n个城市n个月作为参数,调用这个函数。

前面我已经写成函数了,这里需要注意的是,这个函数执行一次就会调用一次API,如果是n个城市m个月,就会调用n*m次,默认1分钱的接口只支持100次。

获取多次数据的函数如下:

def getMonthsWeather(appcode,areaid,months):
    weather =[]
    for month in months:
        temp_weather = getWeather(appcode,areaid,month)
        weather.append(temp_weather)
    weathers = pd.concat(weather)
    return weathers

由于我不打算处理多个城市, 所以第二个函数我只嵌套了一层循环。传入一个有多个month组成的months列表,每执行一次,就把数据添加到一个空列表的末尾,这样一来这个空列表就成了多次执行的结果的集合。

但是每个月的数据之间仍然是隔离的,所以我们要用pandas的concat()方法把每一个个数据框沿着纵轴(默认)连接在一起。

万事俱备,只需要把参数写到变量传进去就好:

image.png

这里,appcode我打了马赛克,areaid在接口文档页面可以下载到一份Excel表格,里面可以查询到中国所有城市的areaid,month可以根据实际需要传入多个,但是需要注意很早之前的历史数据数据源可能没有。

数据可视化

先上代码再展开说。

weathers = getMonthsWeather(appcode,areaid,months)
weatherstime = pd.to_datetime(weathers.time)
min_temperature = pd.to_numeric(weathers.min_temperature)
max_temperature = pd.to_numeric(weathers.max_temperature)

plt.figure(figsize=(20,8),dpi=80)
plt.title('Temperature in Hualian')
plt.plot(weatherstime,max_temperature,label="Maximum temperature")
plt.plot(weatherstime,min_temperature,label="Minimum temperature")
plt.ylim(-10,40)
plt.show()

我们通过前面的函数获取的数据,赋值给weathers。这是一个DataFrame数据,将其中的time转化为时间格式,将min_temperature、max_temperature转化为数值类型。

然后就开始画图。

由于Python对中文支持较差,还需要引入一些库,这里我就只写英文标题。用figure()创建一个画布,然后将weatherstime作为横坐标,min_temperature、max_temperature分别作为纵坐标,这样会画出两条折线。

需要注意的是,Python默认会根据数据维度画纵坐标范围,比如说气温都在20到30度之间,那么纵坐标就只有20-30,如果要拉长坐标范围,就需要手动处理。

这里我用plt.ylim(-10,40)将纵坐标设置成0到40。

最终得到的结果如下:

image.png

看起来,坐标轴根本不需要设置到-10,因为根本没有出现过零下的气温。另外2017年7月左右出现的一个突出的低温,很可能是接口的数据源有误,这里就当它不存在好了。

整体来看,花莲全年气温波折较平稳,虽然地处亚热带,最高气温也不超过35°C,一年里有大量的时间处于【20°C,30°C】这个区间内,可以说一年大部分时间都是“春暖花开”了!

为了验证一下,我将areaid设置成我的家乡——一个北纬30度的华东城市,得到的结果如下:

image.png

整体来看,我的家乡全年气温的波动不仅更加距离,冬天更冷(最冷零下5°C以下),夏天也更热。

至此,我们完成了从0到1的数据分析过程。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 162,050评论 4 370
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,538评论 1 306
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 111,673评论 0 254
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,622评论 0 218
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 53,047评论 3 295
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,974评论 1 224
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,129评论 2 317
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,893评论 0 209
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,654评论 1 250
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,828评论 2 254
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,297评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,619评论 3 262
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,326评论 3 243
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,176评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,975评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,118评论 2 285
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,909评论 2 278

推荐阅读更多精彩内容