缺失值被认为是预测建模的首要障碍，尽管一些机器学习算法声称能够从根本上解决这个问题，但是谁又能知道究竟在“黑盒子”里能解决得多好。
缺失值填补方法的选择，在很大程度上影响了模型的预测能力。一般处理方法是直接删除相关行，但这样并不好，因为会造成信息丢失。
Hmice是一个多用途的软件包，可用于数据分析、高级图形、缺失值处理、高级表格制作、模型拟合和诊断(线性回归、 Logit模型和cox回归)等。 该软件包包含的功能范围广泛，它提供了两个强大的函数，用于处理缺失值。分别为 impute ()和 aregImpute ()。
impute()函数使用用户定义的统计方法(中间值，最大值，平均值等)来估算缺失值。 默认是使用中位数。另一方面，aregImpute()允许使用加性回归、自举和预测平均匹配进行填补（additive regression, bootstrapping, and predictive mean matching）。
bootstrapping对替代原始数据的样本拟合了一个柔性可加模型(非参数回归方法) ，并利用非缺失值(自变量)对缺失值(因变量)进行了预测。然后，使用预测均值匹配(缺省值)来估算缺失值。
使用平均值填充：
使用随机值填充：
同样，还可以使用min,max,median来估算缺失值。
aregImpute ()自动识别变量类型并相应地处理它们：
输出显示预测缺失值的 R 2 值， 数值越高，预测的数值越好。还可以使用以下命令查看估算值：
画个好看一点的图：
估算缺失值：
pmm：预测均值匹配(PMM)-用于数值变量
logreg： (Logit模型)-二元变量
polyreg(Bayesian polytomous regression)：因子变量(>=2个水平)
polr：Proportional odds model(ordered, >= 2 levels)
查看估算的缺失值
由于生成有5个输入数据集，您可以使用 complete ()函数选择任何数据集：
还可以使用5个数据集构建模型，最后将结果合并：
对比一下：
使用生成的6个数据集合并后的回归系数与原始数据的回归系数还是非常接近的。
2016-08-23 05:17 砍柴问樵夫
数据缺失有多种原因，而大部分统计方法都假定处理的是完整矩阵、向量和数据框。
缺失数据的分类：
完全随机缺失 ：若某变量的缺失数据与其他任何观测或未观测变量都不相关，则数据为完全随机缺失（MCAR）。
随机缺失： 若某变量上的缺失数据与其他观测变量相关，与它自己的未观测值不相关，则数据为随机缺失（MAR）。
非随机缺失： 若缺失数据不属于MCAR或MAR，则数据为非随机缺失（NMAR） 。
处理缺失数据的方法有很多，但哪种最适合你，需要在实践中检验。
下面一副图形展示处理缺失数据的方法：
处理数据缺失的一般步骤：
1、识别缺失数据
2、检测导致数据缺失的原因
3、删除包含缺失值的实例或用合理的数值代替（插补）缺失值。
1、识别缺失数据：
R语言中， NA 代表缺失值， NaN 代表不可能值， Inf 和 -Inf 代表正无穷和负无穷。
在这里，推荐使用 is.na ， is.nan ， is.finite ， is.infinite 4个函数去处理。
x<-c(2,NA,0/0,5/0)
#判断缺失值
is.na(x)
#判断不可能值
is.nan(x)
#判断无穷值
is.infinite(x)
#判断正常值
is.finite(x)
推荐一个函数： complete.case() 可用来识别矩阵或数据框中没有缺失值的行！
展示出数据中缺失的行 （数据集sleep来自包VIM）
sleep[!complete.cases(sleep),]
判断数据集中有多少缺失
针对复杂的数据集，怎么更好的探索数据缺失情况呢？
mice包 中的 md.pattern() 函数可以生成一个以矩阵或数据框形式展示缺失值模式的表格。
备注：0表示变量的列中没有缺失，1则表示有缺失值。
第一行给出了没有缺失值的数目（共多少行）。
第一列表示各缺失值的模式。
最后一行给出了每个变量的缺失值数目。
最后一列给出了变量的数目（这些变量存在缺失值）。
在这个数据集中，总共有38个数据缺失。
图形化展示缺失数据：
aggr(sleep,prop=F,numbers=T)
matrixplot(sleep)
浅色表示值小，深色表示值大，默认缺失值为红色。
marginmatrix(sleep)
上述变量太多，我们可以选出部分变量展示：
x <- sleep[, 1:5]
x[,c(1,2,4)] <- log10(x[,c(1,2,4)])
marginmatrix(x)
为了更清晰，可以进行成对展示：
marginplot(sleep[c("Gest","Dream")])
在这里(左下角)可以看到，Dream和Gest分别缺失12和4个数据。
左边的红色箱线图展示的是在Gest值缺失的情况下Dream的分布，而蓝色箱线图展示的Gest值不缺失的情况下Dream的分布。同样的，Gest箱线图在底部。
2、缺失值数据的处理
行删除法： 数据集中含有缺失值的行都会被删除，一般假定缺失数据是完全随机产生的，并且缺失值只是很少一部分，对结果不会造成大的影响。
即：要有足够的样本量，并且删除缺失值后不会有大的偏差！
行删除的函数有 na.omit() 和 complete.case()
newdata<-na.omit(sleep)
sum(is.na(newdata))
newdata<-sleep[complete.cases(sleep),]
sum(is.na(newdata))
均值/中位数等填充： 这种方法简单粗暴，如果填充值对结果影响不怎么大，这种方法倒是可以接受，并且有可能会产生令人满意的结果。
方法1：
newdata<-sleep
mean(newdata$Dream,na.rm = T)
newdata[is.na(newdata$Dream),"Dream"]<-1.972
方法2：
Hmisc包更加简单，可以插补均值、中位数等，你也可以插补指定值。
library(Hmisc)
impute(newdata$Dream,mean)
impute(newdata$Dream,median)
impute(newdata$Dream,2)
mice包插补缺失数据： 链式方程多元插值，首先利用mice函数建模再用complete函数生成完整数据。
下图展示mice包的操作过程：
mice()：从一个含缺失值的数据框开始，返回一个包含多个完整数据集对象（默认可以模拟参数5个完整的数据集）
with()：可依次对每个完整数据集应用统计建模
pool()：将with()生成的单独结果整合到一起
library(mice)
newdata<-sleep
data<-mice(newdata,m = 5,method='pmm',maxit=100,seed=1)
在这里，m是默认值5，指插补数据集的数量
插补方法是pmm：预测均值匹配，可以用methods(mice)查看其他方法
maxit指迭代次数，seed指设定种子数（和set.seed同义）
概述插补后的数据：
summary(data)
在这上面可以看到数据集中变量的观测值缺失情况，每个变量的插补方法， VisitSequence 从左至右展示了插补的变量， 预测变量矩阵 （PredictorMatrix）展示了进行插补过程的含有缺失数据的变量，它们利用了数据集中其他变量的信息。（在矩阵中，行代表插补变量，列代表为插补提供信息的变量，1
和0分别表示使用和未使用。）
查看整体插补的数据：
data$imp
查看具体变量的插补数据：
data$imp$Dream
最后，最重要的是生成一个完整的数据集
completedata<-complete(data)
判断还有没有缺失值，如果没有，结果返回FLASE
anyNA(completedata)
针对以上插补结果，我们可以查看原始数据和插补后的数据的分布情况
library(lattice)
xyplot(data,Dream~NonD+Sleep+Span+Gest,pch=21)
图上，插补值是洋红点呈现出的形状，观测值是蓝色点。
densityplot(data)
图上，洋红线是每个插补数据集的数据密度曲线，蓝色是观测值数据的密度曲线。
stripplot(data, pch = 21)
上图中，0代表原始数据，1-5代表5次插补的数据，洋红色的点代表插补值。
下面我们分析对数据拟合一个线性模型：
完整数据：
library(mice)
newdata<-sleep
data<-mice(newdata,m = 5,method='pmm',maxit=100,seed=1)
model<-with(data,lm(Dream~Span+Gest))
pooled<-pool(model)
summary(pooled)
fim指的是各个变量缺失信息的比例，lambda指的是每个变量对缺失数据的贡献大小
缺失数据（在运行中，自动会行删除）：
lm.fit <- lm(Dream~Span+Gest, data = sleep，na.action=na.omit)
summary(lm.fit)
完整数据集和缺失数据集进行线性回归后，参数估计和P值基本一直。 缺失值是完全随机产生的 。如果缺失比重比较大的话，就不适合使用行删除法，建议使用多重插补法。
kNN插值法： knnImputation函数使用k近邻方法来填充缺失值。对于需要插值的记录，基于欧氏距离计算k个和它最近的观测。接着将这k个近邻的数据利用距离逆加权算出填充值，最后用该值替代缺失值。
library(DMwR)
newdata<-sleep
knnOutput <- knnImputation(newdata)
anyNA(knnOutput)
head(knnOutput)
>ID <- paste("A","00","q",1:5,sep = "+")
>ID
[1] "A+00+q+1" "A+00+q+2" "A+00+q+3" "A+00+q+4" "A+00+q+5"
>ID <- paste("A","00",1:5,sep = "")
>ID
[1] "A001" "A002" "A003" "A004" "A005"
>age<-c(24,NA,35,19,-20)
>age
[1] 24 NA 35 19 -20
>df1<-data.frame(ID,age)
>df1
ID age
1 A001 24
2 A002 NA
3 A003 35
4 A004 19
5 A005 -20
>#判别有无缺失值
>is.na(df1)
ID age
[1,] FALSE FALSE
[2,] FALSE TRUE
[3,] FALSE FALSE
[4,] FALSE FALSE
[5,] FALSE FALSE
>#将不合理的值定义为缺失值
>df1$age[df1$age<0] <- NA
>df1
ID age
1 A001 24
2 A002 NA
3 A003 35
4 A004 19
5 A005 NA
>#替换缺失值
>df1[is.na(df1)]<-mean(df1$age,na.rm = T)#rm是remove的意思，移除na值
>df1
ID age
1 A001 24
2 A002 26
3 A003 35
4 A004 19
5 A005 26
>#omit函数去除na值
>ID <- paste("A","00",1:5,sep = "")
>age<-c(24,NA,35,19,-20)
>df1<-data.frame(ID,age)
>df1
ID age
1 A001 24
2 A002 NA
3 A003 35
4 A004 19
5 A005 -20
>df1$age[df1$age<0] <- NA
>df1
ID age
1 A001 24
2 A002 NA
3 A003 35
4 A004 19
5 A005 NA
>na.omit(df1)#omit会将na值所有行都删除
ID age
1 A001 24
3 A003 35
4 A004 19
>#判断与转换函数
>a<-c(1,2,3)
>a
[1] 1 2 3
>b<-c("a","b","c“)
+ b
+ d<-c("1","2")
Error: unexpected numeric constant in:
"b
d<-c("1"
>c
age country
1 1 Chian
2 5 India
>e<-matrix(1:6,2,3)
>e
[,1] [,2] [,3]
[1,] 1 3 5
[2,] 2 4 6
>e<-matrix(1:6,ncol=2)
>e
[,1] [,2]
[1,] 1 4
[2,] 2 5
[3,] 3 6
>f<-c(1:10)
>f
[1] 1 2 3 4 5 6 7 8 9 10
>is.character(b)
[1] FALSE
>is.numeric(a)
[1] TRUE
>is.data.frame(df1)
[1] TRUE
>as.numeric(d)
[1] 1 2
>as.character(a)
[1] "1" "2" "3"
>df1
ID age
1 A001 24
2 A002 NA
3 A003 35
4 A004 19
5 A005 NA
>as.character(df1)
[1] "1:5" "c(24, NA, 35, 19, NA)"
>is.vector(a)
[1] TRUE
>is.matrix(e)
[1] TRUE
>as.matrix(f,nrow=2)
[,1]
[1,] 1
[2,] 2
[3,] 3
[4,] 4
[5,] 5
[6,] 6
[7,] 7
[8,] 8
[9,] 9
[10,] 10
