python数据分析(八)

# -*- coding: utf-8 -*-

import numpy as np

import pandas as pd

import sys

from pandas import Series, DataFrame

###pandas

#Series

obj = Series([4, 7, -5, 3])

obj

obj.values

obj.index

obj2 = Series([4, 7, -5, 3], index=['d', 'b', 'a', 'c'])

obj2

obj2.index

obj2['a']

obj2['d'] = 6

obj2[['c', 'a', 'd']]

obj2[obj2 > 0]

obj2 * 2

np.exp(obj2)

'b' in obj2

'e' in obj2

sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}

obj3 = Series(sdata)

obj3

states = ['California', 'Ohio', 'Oregon', 'Texas']

obj4 = Series(sdata, index=states)

obj4

pd.isnull(obj4)

pd.notnull(obj4)

obj4.isnull()

obj3

obj4

obj3 + obj4

obj4.name = 'population'

obj4.index.name = 'state'

obj4

obj.index = ['Bob', 'Steve', 'Jeff', 'Ryan']

obj

#dataframe

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],

'year': [2000, 2001, 2002, 2001, 2002],

'pop': [1.5, 1.7, 3.6, 2.4, 2.9]}

frame = DataFrame(data)

frame

DataFrame(data, columns=['year', 'state', 'pop'])

frame2 = DataFrame(data, columns=['year', 'state', 'pop', 'debt'],

index=['one', 'two', 'three', 'four', 'five'])

frame2

frame2.columns

frame2['state']

frame2.year

frame2.ix['three']

frame2['debt'] = 16.5

frame2

frame2['debt'] = np.arange(5.)

frame2

val = Series([-1.2, -1.5, -1.7], index=['two', 'four', 'five'])

frame2['debt'] = val

frame2

frame2['eastern'] = frame2.state == 'Ohio'

frame2

del frame2['eastern']

frame2.columns

pop = {'Nevada': {2001: 2.4, 2002: 2.9},

'Ohio': {2000: 1.5, 2001: 1.7, 2002: 3.6}}

frame3 = DataFrame(pop)

frame3

frame3.T

DataFrame(pop, index=[2001, 2002, 2003])

pdata = {'Ohio': frame3['Ohio'][:-1],

'Nevada': frame3['Nevada'][:2]}

DataFrame(pdata)

frame3.index.name = 'year'; frame3.columns.name = 'state'

frame3

frame3.values

frame2.values

#索引对象

obj = Series(range(3), index=['a', 'b', 'c'])

index = obj.index

index

index[1:]

index[1] = 'd'

index = pd.Index(np.arange(3))

obj2 = Series([1.5, -2.5, 0], index=index)

obj2.index is index

frame3

'Ohio' in frame3.columns

2003 in frame3.index

###数据读取

#读取文本格式数据

df = pd.read_csv('d:data/ex1.csv')

df

pd.read_table('d:data/ex1.csv', sep=',')

pd.read_csv('d:data/ex2.csv', header=None)

pd.read_csv('d:data/ex2.csv', names=['a', 'b', 'c', 'd', 'message'])

names = ['a', 'b', 'c', 'd', 'message']

pd.read_csv('d:data/ex2.csv', names=names, index_col='message')

parsed = pd.read_csv('d:data/csv_mindex.csv', index_col=['key1', 'key2'])

parsed

list(open('d:data/ex3.txt'))

result = pd.read_table('d:data/ex3.txt', sep='\s+')

result

pd.read_csv('d:data/ex4.csv', skiprows=[0, 2, 3])

result = pd.read_csv('d:data/ex5.csv')

result

pd.isnull(result)

result = pd.read_csv('d:data/ex5.csv', na_values=['NULL'])

result

sentinels = {'message': ['foo', 'NA'], 'something': ['two']}

pd.read_csv('d:data/ex5.csv', na_values=sentinels)

#逐行读取文本文件

result = pd.read_csv('d:data/ex6.csv')

result

pd.read_csv('d:data/ex6.csv', nrows=5)

chunker = pd.read_csv('d:data/ex6.csv', chunksize=1000)

chunker

chunker = pd.read_csv('d:data/ex6.csv', chunksize=1000)

tot = Series([])

for piece in chunker:

tot = tot.add(piece['key'].value_counts(), fill_value=0)

tot = tot.order(ascending=False)

tot[:10]

#文件写出

data = pd.read_csv('d:data/ex5.csv')

data

data.to_csv('d:data/out.csv')

data.to_csv(sys.stdout, sep='|')

data.to_csv(sys.stdout, na_rep='NULL')

data.to_csv(sys.stdout, index=False, header=False)

data.to_csv(sys.stdout, index=False, columns=['a', 'b', 'c'])

dates = pd.date_range('1/1/2000', periods=7)

ts = Series(np.arange(7), index=dates)

ts.to_csv('tseries.csv')

Series.from_csv('tseries.csv', parse_dates=True)

#手工处理分隔符格式

import csv

f = open('d:data/ex7.csv')

reader = csv.reader(f)

for line in reader:

print(line)

lines = list(csv.reader(open('d:data/ex7.csv')))

header, values = lines[0], lines[1:]

data_dict = {h: v for h, v in zip(header, zip(*values))}

data_dict

class my_dialect(csv.Dialect):

lineterminator = '\n'

delimiter = ';'

quotechar = '"'

quoting = csv.QUOTE_MINIMAL

with open('mydata.csv', 'w') as f:

writer = csv.writer(f, dialect=my_dialect)

writer.writerow(('one', 'two', 'three'))

writer.writerow(('1', '2', '3'))

writer.writerow(('4', '5', '6'))

writer.writerow(('7', '8', '9'))

pd.read_table('mydata.csv', sep=';')

#Excel数据

#生成xls工作薄

import xlrd, xlwt

path = 'd:data/'

wb = xlwt.Workbook()

wb

wb.add_sheet('first_sheet', cell_overwrite_ok=True)

wb.get_active_sheet()

ws_1 = wb.get_sheet(0)

ws_1

ws_2 = wb.add_sheet('second_sheet')

data = np.arange(1, 65).reshape((8, 8))

data

ws_1.write(0, 0, 100)

for c in range(data.shape[0]):

for r in range(data.shape[1]):

ws_1.write(r, c, data[c, r])

ws_2.write(r, c, data[r, c])

wb.save(path + 'workbook.xls')

#生成xlsx工作薄

#从工作薄中读取

book = xlrd.open_workbook(path + 'workbook.xls')

book

book.sheet_names()

sheet_1 = book.sheet_by_name('first_sheet')

sheet_2 = book.sheet_by_index(1)

sheet_1

sheet_2.name

sheet_1.ncols, sheet_1.nrows

cl = sheet_1.cell(0, 0)

cl.value

cl.ctype

sheet_2.row(3)

sheet_2.col(3)

sheet_1.col_values(3, start_rowx=3, end_rowx=7)

sheet_1.row_values(3, start_colx=3, end_colx=7)

for c in range(sheet_1.ncols):

for r in range(sheet_1.nrows):

print '%i' % sheet_1.cell(r, c).value,

print

#使用pandas读取

xls_file=pd.ExcelFile(path + 'workbook.xls')

table=xls_file.parse('first_sheet')

#JSON数据

obj = """

{"name": "Wes",

"places_lived": ["United States", "Spain", "Germany"],

"pet": null,

"siblings": [{"name": "Scott", "age": 25, "pet": "Zuko"},

{"name": "Katie", "age": 33, "pet": "Cisco"}]

}

"""

import json

result = json.loads(obj)

result

asjson = json.dumps(result)

siblings = DataFrame(result['siblings'], columns=['name', 'age'])

siblings

#二进制数据格式

#pickle

frame = pd.read_csv('d:data/ex1.csv')

frame

frame.to_pickle('d:data/frame_pickle')

pd.read_pickle('d:data/frame_pickle')

#HDF5格式

store = pd.HDFStore('mydata.h5')

store['obj1'] = frame

store['obj1_col'] = frame['a']

store

store['obj1']

store.close()

os.remove('mydata.h5')

#使用HTML和Web API

import requests

url = 'https://api.github.com/repos/pydata/pandas/milestones/28/labels'

resp = requests.get(url)

resp

data=json.loads(resp.text)

issue_labels = DataFrame(data)

issue_labels

#使用数据库

import sqlite3

query = """

CREATE TABLE test

(a VARCHAR(20), b VARCHAR(20),

c REAL,        d INTEGER

);"""

con = sqlite3.connect(':memory:')

con.execute(query)

con.commit()

data = [('Atlanta', 'Georgia', 1.25, 6),

('Tallahassee', 'Florida', 2.6, 3),

('Sacramento', 'California', 1.7, 5)]

stmt = "INSERT INTO test VALUES(?, ?, ?, ?)"

con.executemany(stmt, data)

con.commit()

cursor = con.execute('select * from test')

rows = cursor.fetchall()

rows

cursor.description

DataFrame(rows, columns=zip(*cursor.description)[0])

import pandas.io.sql as sql

sql.read_sql('select * from test', con)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 143,906评论 1 305
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 61,698评论 1 257
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 95,242评论 0 213
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 41,257评论 0 182
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 49,076评论 1 260
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,912评论 1 178
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,509评论 2 274
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,255评论 0 168
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 29,145评论 6 235
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,613评论 0 214
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,376评论 2 216
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,733评论 1 231
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,287评论 0 32
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,196评论 2 213
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,644评论 3 211
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,651评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,059评论 0 169
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,644评论 2 233
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,789评论 2 237

推荐阅读更多精彩内容