缺失值插补2(转)

缺失值的处理有3种:不处理(做建模铁定不选),删除(可以考虑),数据补差(99%的同僚选择)
而补差的方式主要用下面的5类,重点是第五个,插值法
1. 补插均值/中位数/众数
2. 使用固定值 .
3. 最近邻补插
4. 回归方法
5. 插值法
插值法又包含好多种:(1)拉格朗日插值法(最容易看的懂的,用的人较多,用错的也多)(2)牛顿插值法(3)Hermite插值 (4)分段插值 (5)样条插值 (后三种相对用的较少)
(1)拉格朗日插值法(划重点)
其原理百度就是构建一个多项式,这个多项式很厉害,假如说我们的数据是城市里的银行位置坐标,那这个多项式就是一条过所有银行的公路,所以,当我们要问50km外的银行在哪儿时,我们顺着这条路算就可以算出来。当然,算出来的坐标只是一个近似值。(当给出的已知银行坐标点越多,近似误差越小)。
关于拉格朗日多项式的构建原理,这里不说了,百度各种解释,这里只说一下它的优缺点:优点就是过程简单,很容易找到插值,而且还是唯一的。缺点也明显,就是当已知的点很多时候,阶数也会很高,所以不适合插那些百十来个数据点的题。处理十来个的还是很好的。(我个人建议还是用牛顿)
(2)牛顿插值法8
相比较与拉格朗日,其优点是当新增加插值点时,得到的拟合函数变化不大。其原理解释还是看百度或者找老师问吧,我的理解就是从第一个插值点开始修路,每修到一个银行就进行一次校正(高阶差商我的理解),然后这样的话插未知点就准一点。所以用的比较多吧也。

举例1:向量类型判断缺失值is.na和缺失值的填补which

(x<-c(1,2,3,NA))

is.na(x) #返回一个逻辑向量,TRUE为缺失值,FALSE为非缺失值

table(is.na(x)) #统计分类个数

sum(x) #当向量存在缺失值的时候统计结果也是缺失值

sum(x,na.rm = TRUE) #很多函数里都有na.rm=TRUE参数,此参数可以在运算时移除缺失值

(x[which(is.na(x))]<-0) #可以用which()函数代替缺失值,which()函数返回符合条件的响应位置

举例2:数据框类型判断缺失值is.na、缺失值的填补which、缺失值所在行的删除na.omit

(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))

is.na(test) #test中空值的判断

which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相应行列坐标

test[which(is.na(test),arr.ind = T)]<-0 #结合which进行缺失替代

(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函数可以直接删除值所在的行

举例3:识别缺失值的基本语法汇总

str(airquality)

complete.cases(airquality) #判断个案是否有缺失值

airquality[complete.cases(airquality),] #列出没有缺失值的行

nrow(airquality[complete.cases(airquality),]) #计算没有缺失值的样本量

airquality[!complete.cases(airquality),] #列出有缺失的值的行

nrow(airquality[!complete.cases(airquality),]) #计算有缺失值的样本量

is.na(airquality$Ozone) #TRUE为缺失值,FALSE为非缺失值

table(is.na(airquality$Ozone))

complete.cases(airquality$Ozone) #FALSE为缺失值,TRUE为非缺失值

table(complete.cases(airquality$Ozone))

可用sum()和mean()函数来获取关于缺失数据的有用信息

sum(is.na(airquality$Ozone)) #查看缺失值的个数

sum(complete.cases(airquality$Ozone)) #查看没有缺失值的个数

mean(is.na(airquality$Ozone)) #查看缺失值的占比

mean(is.na(airquality)) #查看数据集airquality中样本有缺失值的占比

举例4:探索缺失值模式

列表缺失值探索

library(mice)

md.pattern(airquality)

图形缺失值探索

library(VIM)

aggr(airquality,prop=FALSE,number=TRUE)

aggr(airquality,prop=TRUE,number=TRUE) #生成相同的图形,但用比例代替了计数

aggr(airquality,prop=FALSE,number=FALSE) #选项numbers = FALSE(默认)删去数值型标签

举例5:删除缺失值

airquality[complete.cases(airquality),] #方法一:删除缺失值行

na.omit(airquality) #方法二:删除缺失值的行

举例6:缺失值回归模型插补

newnhanes2<-nhanes2

sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2数据集中第4列NA的行标识

datatr<-newnhanes2[-sub,] #方法一:将第4列不为NA的数存入数据集datatr中

datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二:将第4列不为NA的数存入数据集datatr中

datate<-newnhanes2[sub,] #方法一:将第4列为NA的数存入数据集datate中

datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二:将第4列为NA的数存入数据集datate中

fit<-lm(chl~age,data = datatr) #利用datatr中age为自变量,chl为因变量构建线性回归模型lm

newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中数据按照模型fit对nhanes2中chl中的缺失数据进行预测

举例7:缺失值随机森林插补

library(missForest)

z<-missForest(airquality) #用随机森林迭代弥补缺失值

air.full<-z$ximp

zz<-missForest(nhanes2)

nhanes2.full<-zz$ximp

举例8:线性回归模型插补

mice::md.pattern(airquality)

index1<-is.na(airquality$Ozone) #对Ozone变量进行缺失值处理

dput(colnames(airquality)) #求出变量列名称

Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #训练集,需注意什么时候用!,什么时候用-

Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #测试集

fit<-lm(Ozone~.,data = Ozone_train) #建立线性回归模型

summary(fit)

airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )

index2<-is.na(airquality$Solar.R) #Solar.R变量进行缺失值处理,Ozone变量数据已补齐

Solar.R_train<-airquality[!index2,] #训练集

Solar.R_test<-airquality[index2,] #测试集

Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)

summary(Solar.R_fit)

airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)

mice::md.pattern(airquality)

举例:knn和bag缺失值插补(利用caret包中的preProcess函数,method参数有多种方式可选)

question<-read.csv("问卷调研数据.csv")

question<-question[,-1]

str(question)

for(i in 1:ncol(question)){

question[,i]<-as.factor(question[,i])

} #批量修改为因子类型

str(question)

举例9:利用KNN算法进行缺失值插补(只能对数值型变量处理)

question<-read.csv("问卷调研数据.csv")

question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索

library(caret)

knn.model<-preProcess(question,method = "knnImpute") #KNN处理数值型数据(欧式距离),不能处理因子型数据

question1<-predict(knn.model,newdata = question)

install.packages("RANN")

mice::md.pattern(question1)

table(question1$性别) #不是之前的1和2了

table(question$性别)

最后结果:knn不适合处理该数据,需要做哑变量处理,再套模型

举例10:利用袋装算法进行缺失值插补(只能对数值型变量处理)

question<-read.csv("问卷调研数据.csv")

question<-question[,-1]

mice::md.pattern(question) #列表缺失值探索

library(caret)

bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立

install.packages("ipred")

question2<-predict(bag.model,question) #预测结果

mice::md.pattern(question2) #列表缺失值探索

table(question2$性别)

最后结果:bag算法不适合处理该数据

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,108评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,699评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,812评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,236评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,583评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,739评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,957评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,704评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,447评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,643评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,133评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,486评论 3 256
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,151评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,108评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,889评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,782评论 2 277
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,681评论 2 272

推荐阅读更多精彩内容