Pandas_Select_Data_query()

Pandas_Select_Data_query()

查询数据除了[ ]、loc、iloc、where外,还有另外一个简洁高效的查询方法——query()。

了解了一下相关操作,简直惊呆了,完全就是英语白话,容易掌握,语句也短,称为短小精悍一点儿都不为过。

学了之后,再也不用写辣么长的查询语句了。

本文就简单介绍一下query()方法的相关操作。

import pandas as pd
import numpy as np
​
data = pd.DataFrame(np.random.randn(5,4), columns=list('abcd'))
data

out:
    a   b   c   d
0   -0.055029   1.376917    -0.228314   1.595987
1   -0.259330   -0.114194   1.252481    0.386451
2   0.873330    -1.279337   2.390891    -0.044016
3   -1.190554   -1.359401   -0.191798   1.742165
4   -0.750102   0.143094    0.742452    -1.577230

pandas一般做法

data[(data.a < data.b) & (data.c > data.d)]

out:
    a   b   c   d
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230
data.loc[(data.a < data.b) & (data.c > data.d)]

out:
    a   b   c   d
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230

使用query()

data.query('(a < b) and (c > d)')

out:
    a   b   c   d
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230
data.query('a < b < c')

out:
    a   b   c   d
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230

query()可以使用索引

直接使用'index':

data.query('index > 2')

out:
    a   b   c   d
i               
3   -1.190554   -1.359401   -0.191798   1.742165
4   -0.750102   0.143094    0.742452    -1.577230

也可以先命名仔使用:

data.index.name= 'i'
data.query('i > 2')

out:
    a   b   c   d
i               
3   -1.190554   -1.359401   -0.191798   1.742165
4   -0.750102   0.143094    0.742452    -1.577230

如果索引的名称与列名称重叠,则列名称优先。

data.index.name= 'a'
data.query('a > .5')

out:
    a   b   c   d
a               
2   0.87333 -1.279337   2.390891    -0.044016

MultiIndex query()语法

companies = np.random.choice(['apple', 'huawei'], size = 6)
products = np.random.choice(['mobile', 'pad'], size = 6)
companies

out:
array(['apple', 'apple', 'huawei', 'huawei', 'huawei', 'huawei'],
      dtype='<U6')
products

out:
array(['pad', 'mobile', 'mobile', 'mobile', 'pad', 'pad'], dtype='<U6')
index = pd.MultiIndex.from_arrays([companies, products], names=['company', 'product'])
data_mul = pd.DataFrame(np.random.randn(6, 3), index=index)
data_mul

out:
                0   1   2
company product         
apple   pad -0.968198   -0.619911   1.134541
        mobile  -0.608740   -0.909656   -0.027498
huawei  mobile  1.016521    1.882203    -1.001023
        mobile  0.841595    0.065712    1.732188
        pad 0.540195    -0.762794   0.549758
        pad -2.613445   -0.387707   -0.780770
data_mul.query('product == "mobile"')


out:
                0   1   2
company product         
apple   mobile  -0.608740   -0.909656   -0.027498
huawei  mobile  1.016521    1.882203    -1.001023
        mobile  0.841595    0.065712    1.732188
data_mul.query('company == "huawei"')

out:
                0   1   2
company product         
huawei  mobile  1.016521    1.882203    -1.001023
        mobile  0.841595    0.065712    1.732188
        pad 0.540195    -0.762794   0.549758
        pad -2.613445   -0.387707   -0.780770

如果MultiIndex未命名的级别,您可以使用特殊名称引用它们:

data_mul.index.names = [None, None]
data_mul.query('ilevel_0 == "huawei"')

out:
                0   1   2
huawei  mobile  1.016521    1.882203    -1.001023
        mobile  0.841595    0.065712    1.732188
        pad 0.540195    -0.762794   0.549758
        pad -2.613445   -0.387707   -0.780770
data_mul.query('ilevel_1 == "pad"')

out:
            0   1   2
apple   pad -0.968198   -0.619911   1.134541
huawei  pad 0.540195    -0.762794   0.549758
        pad -2.613445   -0.387707   -0.780770

query()与pandas语法比较

  • 完全类似numpy的语法;
  • 可以直接删除括号;
  • 使用英语而不是符号;
  • 最大程度接近自然语言。

有括号

data.query('(a < b) and (c > d)')

out:
    a   b   c   d
a               
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230

无括号

data.query('a < b and c > d')

out:
    a   b   c   d
a               
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230

使用符号

data.query('a < b & c > d')

out:
    a   b   c   d
a               
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230

使用英语

data.query('a < b or c > d')

out:
    a   b   c   d
a               
0   -0.055029   1.376917    -0.228314   1.595987
1   -0.259330   -0.114194   1.252481    0.386451
2   0.873330    -1.279337   2.390891    -0.044016
4   -0.750102   0.143094    0.742452    -1.577230

接近自然语言

data.query('a < b < c')

out:
    a   b   c   d
a               
1   -0.259330   -0.114194   1.252481    0.386451
4   -0.750102   0.143094    0.742452    -1.577230

使用 in 与 not in 操作符

df = pd.DataFrame({'a': list('aabbccddeeff'), 'b': list('aaaabbbbcccc'),
                   'c': np.random.randint(5, size=12),
                   'd': np.random.randint(9, size=12)})
df

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7
5   c   b   3   3
6   d   b   4   1
7   d   b   1   1
8   e   c   4   6
9   e   c   4   3
10  f   c   2   5
11  f   c   0   0

in

df.query('a in b')

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7
5   c   b   3   3

一般方法

df[df.a.isin(df.b)]

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7
5   c   b   3   3

not in

df.query('a not in b')

out: 
    a   b   c   d
6   d   b   4   1
7   d   b   1   1
8   e   c   4   6
9   e   c   4   3
10  f   c   2   5
11  f   c   0   0

一般方法:

df[~df.a.isin(df.b)]

out:
    a   b   c   d
6   d   b   4   1
7   d   b   1   1
8   e   c   4   6
9   e   c   4   3
10  f   c   2   5
11  f   c   0   0

与其他表达式结合

df.query('a in b and c < d')

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7

一般方法:

df[(df.a.isin(df.b)) & (df.c < df.d)]

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7

== 运算符与list的特殊用法

==、!=相当于in 、not in。

== 运算符

df.query('a == ["a", "b", "c"]')

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7
5   c   b   3   3
df.query('a in ["a", "b", "c"]')

out:
    a   b   c   d
0   a   a   3   8
1   a   a   2   6
2   b   a   4   6
3   b   a   4   8
4   c   b   2   7
5   c   b   3   3

!= 运算符

df.query('a != ["a", "b", "c"]')

out:
    a   b   c   d
6   d   b   4   1
7   d   b   1   1
8   e   c   4   6
9   e   c   4   3
10  f   c   2   5
11  f   c   0   0
df.query('a not in ["a", "b", "c"]')

out:
    a   b   c   d
6   d   b   4   1
7   d   b   1   1
8   e   c   4   6
9   e   c   4   3
10  f   c   2   5
11  f   c   0   0

布尔运算符

可以使用单词not或~运算符否定布尔表达式。

df['bools'] = df.d > df.d.mean()
df.query('bools')

out:
    a   b   c   d   bools
0   a   a   3   8   True
1   a   a   2   6   True
2   b   a   4   6   True
3   b   a   4   8   True
4   c   b   2   7   True
8   e   c   4   6   True
10  f   c   2   5   True
df.query('d > d.mean()')

out:
    a   b   c   d   bools
0   a   a   3   8   True
1   a   a   2   6   True
2   b   a   4   6   True
3   b   a   4   8   True
4   c   b   2   7   True
8   e   c   4   6   True
10  f   c   2   5   True
df.query('not bools')

out:
    a   b   c   d   bools
5   c   b   3   3   False
6   d   b   4   1   False
7   d   b   1   1   False
9   e   c   4   3   False
11  f   c   0   0   False
df.query('~bools')

out:
    a   b   c   d   bools
5   c   b   3   3   False
6   d   b   4   1   False
7   d   b   1   1   False
9   e   c   4   3   False
11  f   c   0   0   False
​

推荐阅读更多精彩内容