R语言缺失值处理

Python016

R语言缺失值处理,第1张

2016-08-23 05:17 砍柴问樵夫

数据缺失有多种原因,而大部分统计方法都假定处理的是完整矩阵、向量和数据框。

缺失数据的分类:

完全随机缺失 :若某变量的缺失数据与其他任何观测或未观测变量都不相关,则数据为完全随机缺失(MCAR)。

随机缺失: 若某变量上的缺失数据与其他观测变量相关,与它自己的未观测值不相关,则数据为随机缺失(MAR)。

非随机缺失: 若缺失数据不属于MCAR或MAR,则数据为非随机缺失(NMAR) 。

处理缺失数据的方法有很多,但哪种最适合你,需要在实践中检验。

下面一副图形展示处理缺失数据的方法:

处理数据缺失的一般步骤:

1、识别缺失数据

2、检测导致数据缺失的原因

3、删除包含缺失值的实例或用合理的数值代替(插补)缺失值。

1、识别缺失数据:

R语言中, NA 代表缺失值, NaN 代表不可能值, Inf 和 -Inf 代表正无穷和负无穷。

在这里,推荐使用 is.na , is.nan , is.finite , is.infinite 4个函数去处理。

x<-c(2,NA,0/0,5/0)

#判断缺失值

is.na(x)

#判断不可能值

is.nan(x)

#判断无穷值

is.infinite(x)

#判断正常值

is.finite(x)

推荐一个函数: complete.case() 可用来识别矩阵或数据框中没有缺失值的行!

展示出数据中缺失的行 (数据集sleep来自包VIM)

sleep[!complete.cases(sleep),]

判断数据集中有多少缺失

针对复杂的数据集,怎么更好的探索数据缺失情况呢?

mice包 中的 md.pattern() 函数可以生成一个以矩阵或数据框形式展示缺失值模式的表格。

备注:0表示变量的列中没有缺失,1则表示有缺失值。

第一行给出了没有缺失值的数目(共多少行)。

第一列表示各缺失值的模式。

最后一行给出了每个变量的缺失值数目。

最后一列给出了变量的数目(这些变量存在缺失值)。

在这个数据集中,总共有38个数据缺失。

图形化展示缺失数据:

aggr(sleep,prop=F,numbers=T)

matrixplot(sleep)

浅色表示值小,深色表示值大,默认缺失值为红色。

marginmatrix(sleep)

上述变量太多,我们可以选出部分变量展示:

x <- sleep[, 1:5]

x[,c(1,2,4)] <- log10(x[,c(1,2,4)])

marginmatrix(x)

为了更清晰,可以进行成对展示:

marginplot(sleep[c("Gest","Dream")])

在这里(左下角)可以看到,Dream和Gest分别缺失12和4个数据。

左边的红色箱线图展示的是在Gest值缺失的情况下Dream的分布,而蓝色箱线图展示的Gest值不缺失的情况下Dream的分布。同样的,Gest箱线图在底部。

2、缺失值数据的处理

行删除法: 数据集中含有缺失值的行都会被删除,一般假定缺失数据是完全随机产生的,并且缺失值只是很少一部分,对结果不会造成大的影响。

即:要有足够的样本量,并且删除缺失值后不会有大的偏差!

行删除的函数有 na.omit() 和 complete.case()

newdata<-na.omit(sleep)

sum(is.na(newdata))

newdata<-sleep[complete.cases(sleep),]

sum(is.na(newdata))

均值/中位数等填充: 这种方法简单粗暴,如果填充值对结果影响不怎么大,这种方法倒是可以接受,并且有可能会产生令人满意的结果。

方法1:

newdata<-sleep

mean(newdata$Dream,na.rm = T)

newdata[is.na(newdata$Dream),"Dream"]<-1.972

方法2:

Hmisc包更加简单,可以插补均值、中位数等,你也可以插补指定值。

library(Hmisc)

impute(newdata$Dream,mean)

impute(newdata$Dream,median)

impute(newdata$Dream,2)

mice包插补缺失数据: 链式方程多元插值,首先利用mice函数建模再用complete函数生成完整数据。

下图展示mice包的操作过程:

mice():从一个含缺失值的数据框开始,返回一个包含多个完整数据集对象(默认可以模拟参数5个完整的数据集)

with():可依次对每个完整数据集应用统计建模

pool():将with()生成的单独结果整合到一起

library(mice)

newdata<-sleep

data<-mice(newdata,m = 5,method='pmm',maxit=100,seed=1)

在这里,m是默认值5,指插补数据集的数量

插补方法是pmm:预测均值匹配,可以用methods(mice)查看其他方法

maxit指迭代次数,seed指设定种子数(和set.seed同义)

概述插补后的数据:

summary(data)

在这上面可以看到数据集中变量的观测值缺失情况,每个变量的插补方法, VisitSequence 从左至右展示了插补的变量, 预测变量矩阵 (PredictorMatrix)展示了进行插补过程的含有缺失数据的变量,它们利用了数据集中其他变量的信息。(在矩阵中,行代表插补变量,列代表为插补提供信息的变量,1

和0分别表示使用和未使用。)

查看整体插补的数据:

data$imp

查看具体变量的插补数据:

data$imp$Dream

最后,最重要的是生成一个完整的数据集

completedata<-complete(data)

判断还有没有缺失值,如果没有,结果返回FLASE

anyNA(completedata)

针对以上插补结果,我们可以查看原始数据和插补后的数据的分布情况

library(lattice)

xyplot(data,Dream~NonD+Sleep+Span+Gest,pch=21)

图上,插补值是洋红点呈现出的形状,观测值是蓝色点。

densityplot(data)

图上,洋红线是每个插补数据集的数据密度曲线,蓝色是观测值数据的密度曲线。

stripplot(data, pch = 21)

上图中,0代表原始数据,1-5代表5次插补的数据,洋红色的点代表插补值。

下面我们分析对数据拟合一个线性模型:

完整数据:

library(mice)

newdata<-sleep

data<-mice(newdata,m = 5,method='pmm',maxit=100,seed=1)

model<-with(data,lm(Dream~Span+Gest))

pooled<-pool(model)

summary(pooled)

fim指的是各个变量缺失信息的比例,lambda指的是每个变量对缺失数据的贡献大小

缺失数据(在运行中,自动会行删除):

lm.fit <- lm(Dream~Span+Gest, data = sleep,na.action=na.omit)

summary(lm.fit)

完整数据集和缺失数据集进行线性回归后,参数估计和P值基本一直。 缺失值是完全随机产生的 。如果缺失比重比较大的话,就不适合使用行删除法,建议使用多重插补法。

kNN插值法: knnImputation函数使用k近邻方法来填充缺失值。对于需要插值的记录,基于欧氏距离计算k个和它最近的观测。接着将这k个近邻的数据利用距离逆加权算出填充值,最后用该值替代缺失值。

library(DMwR)

newdata<-sleep

knnOutput <- knnImputation(newdata)

anyNA(knnOutput)

head(knnOutput)

par()函数是R里有关绘图的重要函数之一,以下是对par()函数说明内容的一些整理。描述:par函数用于设定或询问绘图参数。参数设定可通过par(参数名=取值)或par(赋值参数列表)的形式进行。用法:par(,no.readonly=FALSE)函数变量:“参数名=取值”或“赋值参数列表”形式的变量。no.readonly逻辑变量。如=TRUE且没有其他变量,则返回当前绘图设备下已设定好的绘图参数。参数:参数分为三类:一、仅仅用于询问不能被设定的参数:cin,cra,csi,cxy,dim。二、仅能通过par()设定参数:ask,fig,fin,lheight,mai,mar,mex,mfcol,mfrow,mfg,new,oma,omd,omi,pin,plt,ps,pty,usr,xlog,ylog。三、除了par(),也能在其他高级绘图函数中设定的参数。应用中,涉及这三类参数最多的是第三类,最少的是第一类。查看当前参数的赋值用par("参数名")第三类参数:adj调整函数text,mtext,title里文本串的位置。=0:文本串左对齐;=0.5(缺省):文本串居中;=1:文本串右对齐。ann=FALSE:不进行绘图解释标记(例如横轴标题等)。bg设置绘图区背景色。缺省为bg="transparent"。bty设置绘图边框的形式。="o"(缺省):四周边框;="l":左下边框;="7":右上边框;="c":上左下边框;="u":左下右边框;="]":上右下边框;="n";无边框。cex设置文本和符合的尺度。缺省为cex=1。cex.axis相对于当前的cex设置,放大坐标标记(坐标轴标记的数字)。缺省为cex.axis=1。cex.lab相对于当前的cex设置,放大坐标轴标题。缺省为cex.lab=1。cex.main相对于当前的cex设置,放大图标题。缺省为cex.main=1。cex.sub相对于当前的cex设置,放大图副标题。缺省为cex.sub=1。col设置绘图颜色。缺省为col="black"。col.axis设置坐标标记颜色。缺省为col.axis="black"。col.lab设置坐标轴标题颜色。缺省为col.lab="black"。col.main设置图标题颜色。缺省为col.main="black"。col.sub设置图副标题颜色。缺省为col.sub="black"。crt缺省为crt=0。err期望的错误报告程度(像该参数目前在R中未生效)。缺省为err=0。family设置文本字体字体族。缺省为family=""。fg设置前景色,主要用于坐标轴,边框,图形等,对坐标标记与坐标轴标题等外围无影响。缺省为fg="black"。font设置文本字体。=1(缺省):普通字体;=2:粗体;=3:斜体;=4:粗斜体;。font.axis设置坐标标记字体。font.lab设置坐标轴标题字体。font.main设置图标题字体。font.sub设置图副标题字体。lab设置坐标轴刻度数,lab=c(x,y,len)形式,目前len的设置在R中未生效。缺省为lab=c(5,5,7)。las设置坐标标记显示方向。=0(缺省):平行于坐标轴;=1:平行于x轴;=2:垂直于坐标轴;=3:平行于y轴。lend设置线结束端的形状(只有把线画很粗才能看出来)。=0(缺省):圆形;=1:“短”方形;=2:“长”方形。ljoin设置线交接处的性质(只有把线画很粗才能看出来)。=0(缺省):圆角;=1:方角;=2:切方角顶角。lmitre设置ljoin里方角向切方角顶角过渡的程度。缺省为lmitre=10。lty设置线的类型。=0:空白;=1:(缺省)实线;=2:短线虚线;=3:点虚线;=4:短线点虚线;=5:长线虚线;=6:长短线虚线。lwd设置线宽。缺省为lwd=1。mgp设置坐标轴标题,坐标标记和坐标轴边界宽度。mgp[1]影响坐标轴标题,mgp[2,3]影响坐标标记和坐标轴。缺省为mgp=c(3,1,0)。pch设置点的类型。缺省为pch=1。srt逆时针选择字符串,单位为°,只用于text函数。缺省srt=0。tck设置坐标刻度线长与方向(与图宽和高的较小者成比例)。缺省为tck="NA"。tcl设置坐标刻度线长与方向(与文本行高成比例)。缺省为tcl=-0.5。xaxs,yaxs设置坐标轴的范围。="r"(缺省):先将数据范围向双边扩大4%,然后绘图;="i":在原始数据范围内绘图。xaxt,yaxt设置坐标轴样式。="s"(缺省):标准样式;="n":不绘坐标轴。第二类函数:ask=TRUE:在新图绘制前进行提示。fig设定图在绘图设备中的位置,fig=c(x1,x2,y1,y2)的数值向量(0<=x1