熟悉数据分析行业，python 栈，基本都会使用numpy pandas sklearn ，使用sklearn 在做特征工程时，其操作对象是 numpy 的数组，而不是 pandas 的dataframe，但是 长期以来 我们多维数据承装 的容器都是选择dataframe，其安全可靠 便捷 灵活 轻巧 等特性 秒杀其他语言的任何容器。但是在对 dataframe做特征工程时 ，简单的使用pandas自带的是可以实现的，但是稍微复杂一些的，我们就要使用sklearn 了，但是sklearn 特征工程没有办法直接操作 dataframe ，要么把dataframe 转化为 numpy 的array数组，但是会丢失索引和 列名，也担心再次组装时 会出现问题，有没有 可以让sklearn 直接操作 dataframe的可能？
有，当然有 ，那就是 sklearn-pandas ！！ 而且现在 这个包已经集成到sklearn的包中，只要本机安装了 最新版的sklearn 组件就可以直接使用，按照 其 GitHub 上的tutorial ，简单尝试 ，感觉还是非常好用的。
https://github.com/scikit-learn-contrib/sklearn-pandas
有一种冲动就是 直接汉译了 他的tutorial 方便 大家使用
首先使用前 导包
from sklearn_pandas import DataFrameMapper, cross_val_score
import sklearn.decomposition
from sklearn.feature_extraction.text import CountVectorizer
当然还有其他包 我要使用的
%python
import pandas as pd
import numpy as np
import xgboost as xgb
import random
import os
from datetime import date,datetime
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.metrics import roc_curve,roc_auc_score
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import StandardScaler as SS
from sklearn.preprocessing import MinMaxScaler as MM
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import LabelBinarizer as LB
from sklearn.externals import joblib
创建一个dataframe 实例
data = pd.DataFrame({'pet': ['cat', 'dog', 'dog', 'fish', 'cat', 'dog', 'cat', 'fish'],
'children': [4., 6, 3, 3, 2, 3, 5, 4],
'salary': [90, 24, 44, 27, 32, 59, 36, 27]})
data
---out---
children pet salary
0 4.0 cat 90
1 6.0 dog 24
2 3.0 dog 44
3 3.0 fish 27
4 2.0 cat 32
5 3.0 dog 59
6 5.0 cat 36
7 4.0 fish 27
然后创建一个DataFrameMapper ，它是 其中最重要的转换器，其中我们在其声明中要配置好，针对哪些列做怎么样的特征转换操作,由于我对 sklearn 的几个转化类都做了 alias ，我们可以之间使用alias
%python
mapper = DataFrameMapper([
(['pet'], LB()),
(['children'],SS()),
(['children',"salary"],MM())
])
然后执行转化操作
np.round(mapper.fit_transform(data.copy()),2)
---out---
array([[ 1. , 0. , 0. , 0.21, 0.5 , 1. ],
[ 0. , 1. , 0. , 1.88, 1. , 0. ],
[ 0. , 1. , 0. , -0.63, 0.25, 0.3 ],
[ 0. , 0. , 1. , -0.63, 0.25, 0.05],
[ 1. , 0. , 0. , -1.46, 0. , 0.12],
[ 0. , 1. , 0. , -0.63, 0.25, 0.53],
[ 1. , 0. , 0. , 1.04, 0.75, 0.18],
[ 0. , 0. , 1. , 0.21, 0.5 , 0.05]])
另外你可以直接看到 featureName
mapper.transformed_names_
---out---
['pet_cat', 'pet_dog', 'pet_fish', 'children', 'children_salary_0', 'children_salary_1']
这个时候我们得到是只是一个numpy 的 narray 对象，可是我们需要的还是Dataframe，怎么办 ，当然最土的方法是这样的
dataArray=np.round(mapper.fit_transform(data.copy()),2)
featureList=mapper.transformed_names_
df4=pd.DataFrame(dataArray ,columns=featureList)
df4
---out---
pet_cat pet_dog pet_fish children children_salary_0 children_salary_1
0 1.0 0.0 0.0 0.21 0.50 1.00
1 0.0 1.0 0.0 1.88 1.00 0.00
2 0.0 1.0 0.0 -0.63 0.25 0.30
3 0.0 0.0 1.0 -0.63 0.25 0.05
4 1.0 0.0 0.0 -1.46 0.00 0.12
5 0.0 1.0 0.0 -0.63 0.25 0.53
6 1.0 0.0 0.0 1.04 0.75 0.18
7 0.0 0.0 1.0 0.21 0.50 0.05
我们的梦想就这么实现了
另外 本身 sklearn-pandas 在做转化的时候是可以配置 参数 直接生成 Dataframe，强大不强大
只要在 DataFrameMapper 声明时，配置
,df_out=True
那么 就可以直接生成对应的Dataframe来
比如
%python
mapper = DataFrameMapper([
(['pet'], LB()),
(['children'],ssd()),
(['children',"salary"],MM())
],df_out=True)
RealDF=np.round(mapper.fit_transform(data.copy()),2)
RealDF
---out---
pet_cat pet_dog pet_fish children children_salary_0 children_salary_1
0 1.0 0.0 0.0 0.21 0.50 1.00
1 0.0 1.0 0.0 1.88 1.00 0.00
2 0.0 1.0 0.0 -0.63 0.25 0.30
3 0.0 0.0 1.0 -0.63 0.25 0.05
4 1.0 0.0 0.0 -1.46 0.00 0.12
5 0.0 1.0 0.0 -0.63 0.25 0.53
6 1.0 0.0 0.0 1.04 0.75 0.18
7 0.0 0.0 1.0 0.21 0.50 0.05
---保留更新---
