Python数据科学(六)- 资料清理(Ⅰ)


传送门:

成功爬取到我们所需要的数据以后,接下来应该做的是对资料进行清理和转换, 很多人遇到这种情况最自然地反应就是“写个脚本”,当然这也算是一个很好的解决方法,但是,python中还有一些第三方库,像Numpy,Pandas等,不仅可以快速简单地清理数据,还可以让非编程的人员轻松地看见和使用你的数据。接下来就让我们一起学习使用Pandas!

1.Pandas

什么是Pandas?
百度百科:Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。

以下我们主要通过一些范例进行学习。

1.资料筛选

#存储元素与切割
import pandas as pd
df = pd.DataFrame(info)
df.ix[1]
# 查看特定的列
df[['name', 'age']]
# 查看特定列的特定内容
df.ix[1:2, ['name', 'age'] ]
  • 使用 & 取条件交集
df[(df['gender'] == 'M')&(df['age'] >= 30)]
  • 使用 | 取条件集合
df[(df['gender'] == 'M')|(df['age'] >= 30)]
  • 新增/删除栏位


 # 新增栏位
df['employee'] = True

# 删除栏位
del df['employee']    OR   df = df.drop('employee', 1)

# 新增第六列
df.loc[6] = {'age':20, 'gender':'F', 'name':'qoo'}
OR
df.append(pd.DataFrame([{'age':20, 'gender':'F', 'name':'qoo'}]), ignore_index=True)

# 删除第六列
df = df.drop(6)
  • 设定新的索引
# 新增的栏位
df['userid'] = range(101, 107) 

# 设置新的索引
df. set_index('userid', inplace=True)
  • 根据位置取值
# iloc可以根据位置取值
df.iloc[1]
# 查看1,3,5 列的数据
df.iloc[[1,3,5]]
  • 根据索引取值
# 使用ix取值,通过行号索引 
df.ix[[101,103,105]]

# 使用loc取值,即使用标签索引行数据
df.loc[[101,103,105]]

2.侦测遗失值

  • 缺失值是指数据中有特定或者一个范围的值是不完全的
  • 缺失值可能会导致数据分析时产生偏误的推论
  • 缺失值可能来自机械的缺失或者人为的缺失
    • 机械缺失 例: 机械故障,导致数据无法被完整保存
    • 人为缺失 例:受访者拒绝透露部分信息
import pandas as pd
import numpy as np
df = pd.DataFrame([\
                  ['frank', 'M', np.nan],\
                  ['mary', np.nan, np.nan],\
                  ['tom', 'M', 35],\
                  ['ted', 'M', 33],\
                  ['jean', np.nan, 21],\
                  ['lisa', 'F', 20]]
)
df. columns = ['name', 'gender', 'age']
df 
  • 检查序列是否有缺失值
# 检查非缺失值数据
df['gender'].notnull()

# 检查缺失值资料
df['gender'].isnull()
  • 检查字段是否含有缺失值
# 检查字段是否含有缺失值
df['age'].isnull().values.any()

# 检查DataFrame 是否还有缺失值 返回True/False
df.isnull().values.any()
  • 计算缺失值的数量
# 检查某个字段缺失值的数量
df['age'].isnull().sum()

# 检查字段缺失值的数量
df.isnull().sum()

# 计算所有缺失值的数量
df.isnull().sum().sum()
分开计算每一栏缺失值的数量

3.补齐遗失值

处理缺失值常规的有以下几种方法

  • 舍弃缺失值
    • 这种情况适用于当缺失值占数据比例很低时
  • 使用平均数、中位数、众数等叙述性统计补齐缺失值
  • 使用内插法补齐缺失值
    • 如果字段数据成线性规律

1.舍弃缺失值

  • 舍弃含有任意缺失值的行
df.dropna()
  • 舍弃所有字段都含有缺失值的行
df.dropna(how='all')
  • 舍弃超过两栏缺失值的行
df.dropna(thresh=2)

2.舍弃含有缺失值的列

  • 增加一包含缺失值的列
df['employee'] = np.nan
  • 舍弃皆为缺失值的列
df.dropna(axis=1, how = 'all')
  • 使用0值表示沿着每一列或行标签\索引值向下执行方法
  • 使用1值表示沿着每一行或者列标签模向执行对应的方法

下图代表在DataFrame当中axis为0和1时分别代表的含义(axis参数作用方向图示):


3.填补缺失值

  • 用0填补缺失值
df.fillna(0)
  • 用平均数缺失值
    df['age'].mean()是age这个字段平均值
df['age'].fillna(df['age'].mean())  
  • 用各性别年龄平均填缺失值
df['age'].fillna(df.groupby('gender')['age'].transform('mean'), inplace = True)

4.向前/向后填值

  • 向后填补缺失值
df.fillna(method='pad')
  • 向前填补缺失值
df.fillna(method='bfill', limit=2)
  • pad/ffill:往后填值
  • bfill/backfill:往前填值

注意:这里的往前往后是指的从上往下

5.使用内插法填补缺失值

df2 = pd.DataFrame([[1,870],\
                   [2,900],\
                   [np.nan,np.nan],\
                   [4,950],\
                   [5,1080],\
                   [6,1200]])
df2.columns = ['time', 'val']
df2.interpolate()
按照线性规律填补完的结果

6.总结

上一阶段我们已经爬取了房天下的二手房信息,这里对我们抓取到的二手房信息进行处理

# 把暂无资料替换成物业费
df[df['物业费'] == ‘暂无资料’, ‘物业费’] = np.nan

# 在打开文件的时候,直接把暂无资料替换成缺失值
df = pandas.read_csv('data/house_data.csv', na_values = '暂无资料', index_col = 0)

# 检视前三行数据
df.head(3)

# 检视后三行资料
df.tail(3)
  • 检视DataFrame信息
df.info()
  • 检视字段名称
df.columns
  • 检视字段型态
df.dtypes
  • 取得叙述性统计
df.describe()
  • 判断栏位是否有缺失值的存在
df.isnull().any()
  • 统计栏位缺失值的数量
df.isnull().sum()
  • 舍弃参考月供这一列
df = df.drop('参考月供', axis = 1)
  • 筛选字段,筛选出产权性质中各种产权所占的数量
df['产权性质'].value_counts()
  • 筛选出建筑面积大于100且总价大于2000万的房产信息
    注意:ix[ ,]中,前是条件,,是栏位
df.ix[(df['建筑面积'] > 100) & (df['总价'] > 2000), ].head(1)
  • 筛选出产权性质为个人产权的房产信息
df = df[df['产权性质'] == ‘个人产权’]
  • 对总价中缺失值进行合理的补全
df['总价'] = df['总价'].fillna(df['建筑面积'] * (df['总价'] / df['建筑面积']).mean())
  • 将数据写入CSV中
df.to_csv('house_final.csv', index_label = False)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249