Python数据分析从0到1:面朝大海春暖花开的地方

海子有一首诗:

从明天起,做一个幸福的人
喂马,劈柴,周游世界
从明天起,关心粮食和蔬菜
我有一所房子,面朝大海,春暖花开

尤其是最后一句,我有一所房子,面朝大海,春暖花开,无论你是不是文艺青年,这样的海边都会让你魂牵梦萦。

然而我们国内的海边往往并没有诗人笔下的面朝大海美丽,这也与中国的地质构造有关。实际上,“海”和“洋”是有区别的,海,在洋的边缘,是大洋的附属部分。从下图中可以看出,中国黄海、渤海、东海都是比较浅的蓝色,水较浅,容易形成冲击的沙滩,在这样的海边,想建一座房子也不容易。

9345d688d43f8794e95801f1d51b0ef41ad53a4d.jpg

然而,从这张图可以看到,在台湾省的东边,便是深色的“洋”。在这里,有个美丽的地方,叫花莲。

花莲.jpg

这里似乎是最契合“我有一所房子,面朝大海,春暖花开 ”的地方了,那么,还有个问题,花莲靠近热带,会不会太热,失去了“春暖花开”的意境呢?

为了弄清楚这个问题,我最近学习了点Python,从0到1进行数学分析,完整走完了:数据获取>数据处理>数据分析>数据呈现四个步骤。整个过程其实不算难,甚至完整代码都不到100行,但对于初学者来说还是有一些坑。

分析问题

我想知道花莲这个地方到底是不是“春暖花开”,所以我最好能弄到花莲的历史气温。在网上搜了下,搜到的要么是过去一个月的气温,要么是分散的数据,需要手工处理,类似这样:

天气数据

这当然是我们不屑于做的,我们只做更有逼格的事情,于是,我找到了这个:https://market.aliyun.com/products/57096001/cmapi010812.html?spm=5176.2020520132.101.17.38547218ytXzkm#sku=yuncode481200005

API接口

花一分钱在阿里云市场购买这个API接口,就可以根据地名查询历史天气了(当然也可以实时)。买好之后,控制台可以看到AppKey、AppSecret和AppCode,我们后面会用到。

各种Key

数据获取&处理

接下里,我们要通过这个API接口获取花莲的历史数据。先看下接口文档:

接口文档

这里主要用到了urllib2库,其实它并不好用,完全可以用requests库代替。Requests全称叫:

Requests:HTTP for Humans

微信截图_20180904010708.png

我觉得这个名字起的特别好。实际上,我们每天上网,打开的各种网页、APP,无时无刻都在用到http协议。但是,那都是给程序用的,而这个Requests库却非常人性化,并且还有丰富的中文文档(其实一共就一大页)

OK,接下来我们上用Python调用这个API的代码:

def getWeather(appcode,areaid,month):
    url = 'https://ali-weather.showapi.com/weatherhistory'
    payload = {'areaid':areaid,'month':month}
    headers = {'Authorization': 'APPCODE {}'.format(appcode)}

    r = requests.get(url,params = payload,headers = headers)
    weatherjson = json.loads(r.content)['showapi_res_body']['list']
    weathermatrix = pd.DataFrame(weatherjson)
    return weathermatrix

简单来说,我们要用requests.get()方法去get一下这个API,并传入url、params和headers三个参数,其中params会传入地区(areaid)和月份(month),headers里包含了appcode。

这样会得到一个response对象,赋值给r。关于这个response对象,我理解有点类似于前端用DOM方法获取的对象是DOM对象,用jquery方法获取的对象是jquery对象。

这里先用python内置的json.loads()方法将r.content处理成json格式,观察一下发现:

image.png

得到的json中,“showapi_res_body”对应的value值里面的“list”对应的value值才是我们想要的,所以加上两层key值:

weatherjson = json.loads(r.content)['showapi_res_body']['list']

获取到的变量我们用pandas的DataFrame()方法处理一下,让它变成列表数据:

image.png

这时候有个问题,requests.get()一次只能获取一个城市一个月的数据,为了方便我们获取多个月的数据,我们把获取一个城市一个月的数据写成函数,然后一次性传入n个城市n个月作为参数,调用这个函数。

前面我已经写成函数了,这里需要注意的是,这个函数执行一次就会调用一次API,如果是n个城市m个月,就会调用n*m次,默认1分钱的接口只支持100次。

获取多次数据的函数如下:

def getMonthsWeather(appcode,areaid,months):
    weather =[]
    for month in months:
        temp_weather = getWeather(appcode,areaid,month)
        weather.append(temp_weather)
    weathers = pd.concat(weather)
    return weathers

由于我不打算处理多个城市, 所以第二个函数我只嵌套了一层循环。传入一个有多个month组成的months列表,每执行一次,就把数据添加到一个空列表的末尾,这样一来这个空列表就成了多次执行的结果的集合。

但是每个月的数据之间仍然是隔离的,所以我们要用pandas的concat()方法把每一个个数据框沿着纵轴(默认)连接在一起。

万事俱备,只需要把参数写到变量传进去就好:

image.png

这里,appcode我打了马赛克,areaid在接口文档页面可以下载到一份Excel表格,里面可以查询到中国所有城市的areaid,month可以根据实际需要传入多个,但是需要注意很早之前的历史数据数据源可能没有。

数据可视化

先上代码再展开说。

weathers = getMonthsWeather(appcode,areaid,months)
weatherstime = pd.to_datetime(weathers.time)
min_temperature = pd.to_numeric(weathers.min_temperature)
max_temperature = pd.to_numeric(weathers.max_temperature)

plt.figure(figsize=(20,8),dpi=80)
plt.title('Temperature in Hualian')
plt.plot(weatherstime,max_temperature,label="Maximum temperature")
plt.plot(weatherstime,min_temperature,label="Minimum temperature")
plt.ylim(-10,40)
plt.show()

我们通过前面的函数获取的数据,赋值给weathers。这是一个DataFrame数据,将其中的time转化为时间格式,将min_temperature、max_temperature转化为数值类型。

然后就开始画图。

由于Python对中文支持较差,还需要引入一些库,这里我就只写英文标题。用figure()创建一个画布,然后将weatherstime作为横坐标,min_temperature、max_temperature分别作为纵坐标,这样会画出两条折线。

需要注意的是,Python默认会根据数据维度画纵坐标范围,比如说气温都在20到30度之间,那么纵坐标就只有20-30,如果要拉长坐标范围,就需要手动处理。

这里我用plt.ylim(-10,40)将纵坐标设置成0到40。

最终得到的结果如下:

image.png

看起来,坐标轴根本不需要设置到-10,因为根本没有出现过零下的气温。另外2017年7月左右出现的一个突出的低温,很可能是接口的数据源有误,这里就当它不存在好了。

整体来看,花莲全年气温波折较平稳,虽然地处亚热带,最高气温也不超过35°C,一年里有大量的时间处于【20°C,30°C】这个区间内,可以说一年大部分时间都是“春暖花开”了!

为了验证一下,我将areaid设置成我的家乡——一个北纬30度的华东城市,得到的结果如下:

image.png

整体来看,我的家乡全年气温的波动不仅更加距离,冬天更冷(最冷零下5°C以下),夏天也更热。

至此,我们完成了从0到1的数据分析过程。

推荐阅读更多精彩内容