R语言-均值填充缺失值

Python010

R语言-均值填充缺失值,第1张

在基因芯片数据或其他类型数据中,采用计算所有样本的平均值从而进行填充,如果需要用中位数或其他统计量填充时只需修改相应的方法即可

#1. 检查是否有缺失

which(is.na(mRNA),arr.ind = T)

#2. 计算行均值并填充

#该数据中探针(基因)为行(名),样本为列(名),(数据框内容为表达量数据值型数据数据)格式可见文章最后

row_mean <- apply(mRNA,1,mean,na.rm =T) #1是行,2是列,若用其他方法修改mean即可

mRNA$MEAN <- row_mean

ncol = 样本数

for (i in 1:nrow(mRNA)) {

  mRNA[i,is.na(mRNA[i,])] <- mRNA[i,ncol]

}

R语言中存在一些空值(null-able values),当我们进行数据分析时,理解这些值是非常重要的。

通常来说,R语言中存在:

这四种数据类型在R中都有相应的函数用以判断。

NA即Not available,是一个 长度为1的逻辑常数 ,通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量。

可以采用is.na()进行判断。另外,NA和“NA”不可以互换。

NULL是一个 对象(object) ,当 表达式或函数产生无定义的值 或者 导入数据类型未知的数据 时就会返回NULL。

可以采用is.null()进行判断。

NaN即Not A Number,是一个 长度为1的逻辑值向量

可以采用is.nan()进行判断。另外,我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的,而对NaN进行判断返回的结果都是False。

Inf即Infinity无穷大,通常代表一个很大的数或以0为除数的运算结果,Inf说明数据并没有缺失(NA)。

可以采用is.finite()或is.finite()进行判断。

理解完四种类型数值以后,我们来看看该采取什么方法来处理最最常见的缺失值NA。

小白学统计在推文《有缺失值怎么办?系列之二:如何处理缺失值》里说“ 处理缺失值最好的方式是什么?答案是:没有最好的方式。或者说,最好的方式只有一个,预防缺失,尽量不要缺失。

在缺失数很少且数据量很大的时候,直接删除法的效率很高,而且通常对结果的影响不会太大。

如数据框df共有1000行数据,有10行包含NA,不妨直接采用函数na.omit()来去掉带有NA的行,也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。

用其他数值填充数据框中的缺失值NA。

使用tidyr包的replace_na()函数。

使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。

除此之外,类似原理的填充法还有均值填充法(用该变量的其余数值的均值来填充)、LOCF(last observation carried forward)、BOCF(baseline observation carried forward)、WOCF(worst observation carried forward)等。

当分类自变量出现NA时,把缺失值单独作为新的一类。

在性别中,只有男和女两类,虚拟变量的话以女性为0,男性为1。如果出现了缺失值,可以把缺失值赋值为2,单独作为一类。由于将缺失值赋值,在统计时就不会把它当做缺失值删除,避免了由于这一个变量缺失而导致整个观测值被删除的情况。

假定有身高和体重两个变量,要填补体重的缺失值,我们可以把体重作为因变量,建立体重对身高的回归方程,然后根据身高的非缺失值,预测体重的缺失值。

参考资料:

缺失值被认为是预测建模的首要障碍,尽管一些机器学习算法声称能够从根本上解决这个问题,但是谁又能知道究竟在“黑盒子”里能解决得多好。

缺失值填补方法的选择,在很大程度上影响了模型的预测能力。一般处理方法是直接删除相关行,但这样并不好,因为会造成信息丢失。

Hmice是一个多用途的软件包,可用于数据分析、高级图形、缺失值处理、高级表格制作、模型拟合和诊断(线性回归、 Logit模型和cox回归)等。 该软件包包含的功能范围广泛,它提供了两个强大的函数,用于处理缺失值。分别为 impute ()和 aregImpute ()。

impute()函数使用用户定义的统计方法(中间值,最大值,平均值等)来估算缺失值。 默认是使用中位数。另一方面,aregImpute()允许使用加性回归、自举和预测平均匹配进行填补(additive regression, bootstrapping, and predictive mean matching)。

bootstrapping对替代原始数据的样本拟合了一个柔性可加模型(非参数回归方法) ,并利用非缺失值(自变量)对缺失值(因变量)进行了预测。然后,使用预测均值匹配(缺省值)来估算缺失值。

使用平均值填充:

使用随机值填充:

同样,还可以使用min,max,median来估算缺失值。

aregImpute ()自动识别变量类型并相应地处理它们:

输出显示预测缺失值的 R 2 值, 数值越高,预测的数值越好。还可以使用以下命令查看估算值:

画个好看一点的图:

估算缺失值:

pmm:预测均值匹配(PMM)-用于数值变量

logreg: (Logit模型)-二元变量

polyreg(Bayesian polytomous regression):因子变量(>=2个水平)

polr:Proportional odds model(ordered, >= 2 levels)

查看估算的缺失值

由于生成有5个输入数据集,您可以使用 complete ()函数选择任何数据集:

还可以使用5个数据集构建模型,最后将结果合并:

对比一下:

使用生成的6个数据集合并后的回归系数与原始数据的回归系数还是非常接近的。