pandas进阶

  • 数据的分组和聚合
    • pandas groupby 方法
    • pandas agg 方法
    • pandas apply 方法

我们往往需要在将数据拆分,在每一个特定的组里进行运算。这就需要分组。

pandas中的groupby提供了一个高效的数据的分组运算。

我们通过一个或多个分类变量将数据拆分,然后分别在拆分以后的数据上进行需要的计算。

  • 执行单个操作可以直接使用内置函数 如max求没组最大值 size查看每组大小
  • 执行多个操作聚合运算 可以使用agg方法,返回的标量结果
  • 更广泛的分组运算 使用apply更一般化

我们可以把上述过程理解为三个步骤:

  1. 拆分数据 split
  2. 应用某个函数 apply
  3. 汇总结算结果 appregate
  • 主要思想是分拆-应用-汇总。
  • 对于一些简单的计算,比如最大值最小值的计算,我们可以直接使用groupby之后采用相应的内置方法。
  • 对于一些更为复杂的计算,我们需要自己定义函数然后应用到拆分后的子数据上。根据具体要求来决定使用agg方法还是apply方法。

groupby常用方法

df.groupby(['','']).size() #内置函数 统计分组大小
df.groupby(['','']).agg(['max','自定义函数']) # agg聚合运算 使用的函数返回标量
df.groupby(['','']).apply(['自定义函数']) #apply聚合运算 使用的函数返回 和调用者一个数据结构

其他操作

df新增一列时 不要使用点语法,而要使用括号表示法
比如:
df['pct'] = df.frequency / df.frequency.sum() * 100
se.sum()对series中的数据求和
se.size()计算有多少行数据
se.count()也是计数,用在df中会对每个属性进行计数
使用rank方法 参数ascending表示升序还是降序 其结果是从1开始递增的数据

baby_names['ranked'] = baby_names.groupby(['year','gender']).frequency.rank(ascending=False)

series转DataFrame

使用 to_frame函数 转为 DataFrame 但是会保持原来的索引
重置索引 需要使用 DataFrame的reset_index方法

name_count = baby_names.groupby(['year','gender']).size()
# 将year gender 作为属性而非索引
# 将series转为DataFrame并重置索引
name_count = name_count.to_frame(name='name_count').reset_index()

使用matplotlib画图

  1. 导入包 import matplotlib.pyplot as plt
  2. 简要配置
    • 设置行内显示 %matplotlib inline
    • 设置清晰度 %config InlineBackend.figure_format='retina'

使用plt的plot()函数绘图
绘制的折线图 参数分别是 横坐标数据 纵坐标数据 颜色 ...
plt.plot(rank1m.year,rank1m.pct,color='blue')
使用 plt.fill_between()填充区域
plt.fill_between(rank1m.year,rank1m.pct,color='blue',alpha=0.1)
使用plt.xlim() 和 plt.ylim()设置 横纵坐标的范围
使用plt.title()设置标题
使用plt.xlabel() plt.ylabel()设置横纵坐标的标题
参数中 size 用来设置文字大小 alpha设置透明度 color 设置颜色 linewidth设置线宽


# 导入 pandas 包
import pandas as pd

# 导入鸢尾花数据
iris = pd.read_csv('iris.txt')

# 统计每个品种的数据量
iris.species.value_counts()

# 按品种划分,每个品种的花萼,花瓣的长度和宽度的最大值分别是多少?
# 使用上述groupby的思想,我们可以将数据划分为3个小块,每个小块包含50个观测数据。然后使用max函数得到各个测量值的最大值,然后进行汇总。
# 通过species分组,对每组分别求最大值
iris.groupby('species').max()

# 通过size方法查看每个分组的大小
iris.groupby('species').size()

使用自定义函数进行聚合运算 -- agg 方法

  • 当计算变得复杂时,内置函数可能无法处理
  • 我们需要自定义一个函数来进行计算, 传入一个数组做参数,返回一个标量的结果。
  • groupby对象的agg/aggregate方法可以实现上述功能。
  • 如果需要聚合多个函数,需要给agg传入一个list 内置函数需要用引号引起来
  • 如果需要针对不同的列应用不同的函数,需要传入字典
# 计算每个品种所有属性(花瓣、花萼的长度和宽度)数值的跨度范围,即最大值减去最小值
def range_iris(arr):
    return arr.max() - arr.min()

# 可以使用agg或者aggregate(两者等价)
iris.groupby('species').agg(range_iris)
# 我们还可以同时应用多个函数,将函数名字放入一个列表即可,内置函数名需要用引号
iris.groupby('species').agg(['mean','max',range_iris])

iris.groupby('species').agg({
    'petal_width':['min'],
    'petal_length':[range_iris]
})

更广泛的分组运算 -- apply方法

  • agg 方法将一个函数使用在一个数列上,然后返回一个标量的值。
  • apply 是一个更一般化的方法:将一个数据分拆-应用-汇总
# 提取每个品种前n个观测值作为一个样本
def first_n(df,n=3):
    return df[0:n]

# 如果提取的样本数n>1, 则不能使用agg方法,因为agg方法必须生成一个标量数值,所以这里会出错
iris.groupby("species").agg(first_n)

# 所以必须考虑更一般化的apply方法
# 注意:n是参数,我们可以直接在函数名称后加上需要的参数
iris.groupby('species').apply(first_n,n=5)

读取 包括1880至2016所有年份出生的婴儿名数据

  1. 使用循环构造函数名
  2. 创建列表用来存储每一年的数据
  3. 使用concat方法将列表中的DataFrame整合在一起
years = range(1880,2017)
pieces = []
columns = ['name','gender','frequency']

for year in years:
    path = 'names/yob%d.txt' % year
    frame = pd.read_csv(path,names = columns)
#     增加一个year列
    frame['year'] = year
    pieces.append(frame)

#     使用concat整合所有的frame到一个DataFrame 忽略原有的索引 生成新的索引
baby_names = pd.concat(pieces,ignore_index=True)

# 根据多个属性来分组计算数据大小
baby_names.groupby(['year','gender']).size()

# 在不同的年份不同性别中,计算每个名字所占的百分比
# 每一个名字的频次除以总的频次乘以100
# 使用向量化计算
def add_pct(group):
    group['pct'] = group.frequency / group.frequency.sum() * 100
    return group
baby_names = baby_names.groupby(['year','gender']).apply(add_pct)
# 我们可以自己增加一个变量rank,这个是根据年份性别依据名字出现频率所产生的次序 排序 从高到低
baby_names['ranked'] = baby_names.groupby(['year','gender']).frequency.rank(ascending=False)

绘图

# 每年最流行的男孩女孩名字所占的百分比变化趋势如何
import matplotlib.pyplot as plt
%matplotlib inline
%config InlineBackend.figure_format='retina'

# 获取男孩女孩
dfm = baby_names[baby_names.gender == 'M']
dff = baby_names[baby_names.gender == 'F']

# 获取每年最流行的男孩名
rank1m = dfm[dfm.ranked == 1]
rank1m.head()

plt.plot(rank1m.year,rank1m.pct,color='blue')
# 填充区域
plt.fill_between(rank1m.year,rank1m.pct,color='blue',alpha=0.1)
# 设置坐标范围
plt.xlim(1880,2020)
plt.ylim(0,9)
# 添加标题
plt.title("Popularity of #1 boys' name by year",size=18,color='blue')
plt.xlabel('Year',size=15)
plt.ylabel('% of male births',size=15)

为什么历史上最流行的男孩女孩名字所占的比重逐年降低?
# 查看每年可选的名字,按性别分类
# size方法返回一个series
name_count = baby_names.groupby(['year', 'gender']).size() 
# 使用to_frame 将series转换为DataFrame
# reset_index将year和gender作为两个变量而非索引
name_count = name_count.to_frame(name="name_count").reset_index()   

# 和上面最流行名字比重类似,我们来画出每年可选名字个数的图

# 获取男孩的数据
name_count_m = name_count[name_count.gender == "M"]
# 绘制折线图
plt.plot(name_count_m.year, name_count_m.name_count, color="blue", linewidth = 2)
# 填充颜色
plt.fill_between(name_count_m.year, name_count_m.name_count, color="blue", alpha = 0.1)
# 设置左边区间范围
plt.xlim(1880,2016)
plt.ylim(0,21000)
# 添加标题,字体大小由size调整,颜色由color调整
plt.title("Number of boy's names by year", size=18, color="blue")
plt.xlabel('Year', size=15)
plt.ylabel('Number of names', size=15)

推荐阅读更多精彩内容