R语言缺失数据处理2021.2.2

Python017

R语言缺失数据处理2021.2.2,第1张

统计学家通常将缺失数据分为三类。它们都用概率术语进行描述,但思想都非常直观。我们将用sleep研究中对做梦时长的测量(有12个动物有缺失值)来依次阐述三种类型。

在R中, NA代表缺失值, NA是不可用,not available的简称,用来存储缺失信息。这里缺失值NA表示没有,但注意没有并不一 定就是0 , NA是不知道是多少,也能是0 ,也可能是任何值,缺失值和值为零是完全不同的。

1.用NA remove条件语句即可,例如求和公式中添加na.rm=TRUE就可以把缺失值去除,向量个数也对应减少。

如果数据集中包含NA,那么所有的计算都会有问题。发现值为NA时,我们再使用 na.rm 进行处理,这样的操作是滞后的,所以需要在处理数据之前就知道数据集中是否包含了缺失值。R语言提供了 is.na() 来进行逻辑测试,如果数据集中含NA值,对应位置返回TRUE,其余位置返回FALSE。

2. na.rm 只是函数中的一个参数,如果想去掉数据集中的这些缺失值,生成一个没有缺失值的数据集,这时可以使用 na.omit 函数

处理完之后可以输入length来观察数据集omit函数处理前后的行数变化,并可以从中获得删除了多少行包含NA的数据

1、缺失数据NaN,代表不可能的值

2、Inf表示无穷,分为正无穷 Inf 和负无穷 -Inf ,代表无穷大或者无穷小。

1、NA是存在的值,但是不知道是多少

2、NaN是不存在的

3、Inf存在,是无无穷大后者无穷小,但是表示不可能的值。

缺失值被认为是预测建模的首要障碍,尽管一些机器学习算法声称能够从根本上解决这个问题,但是谁又能知道究竟在“黑盒子”里能解决得多好。

缺失值填补方法的选择,在很大程度上影响了模型的预测能力。一般处理方法是直接删除相关行,但这样并不好,因为会造成信息丢失。

Hmice是一个多用途的软件包,可用于数据分析、高级图形、缺失值处理、高级表格制作、模型拟合和诊断(线性回归、 Logit模型和cox回归)等。 该软件包包含的功能范围广泛,它提供了两个强大的函数,用于处理缺失值。分别为 impute ()和 aregImpute ()。

impute()函数使用用户定义的统计方法(中间值,最大值,平均值等)来估算缺失值。 默认是使用中位数。另一方面,aregImpute()允许使用加性回归、自举和预测平均匹配进行填补(additive regression, bootstrapping, and predictive mean matching)。

bootstrapping对替代原始数据的样本拟合了一个柔性可加模型(非参数回归方法) ,并利用非缺失值(自变量)对缺失值(因变量)进行了预测。然后,使用预测均值匹配(缺省值)来估算缺失值。

使用平均值填充:

使用随机值填充:

同样,还可以使用min,max,median来估算缺失值。

aregImpute ()自动识别变量类型并相应地处理它们:

输出显示预测缺失值的 R 2 值, 数值越高,预测的数值越好。还可以使用以下命令查看估算值:

画个好看一点的图:

估算缺失值:

pmm:预测均值匹配(PMM)-用于数值变量

logreg: (Logit模型)-二元变量

polyreg(Bayesian polytomous regression):因子变量(>=2个水平)

polr:Proportional odds model(ordered, >= 2 levels)

查看估算的缺失值

由于生成有5个输入数据集,您可以使用 complete ()函数选择任何数据集:

还可以使用5个数据集构建模型,最后将结果合并:

对比一下:

使用生成的6个数据集合并后的回归系数与原始数据的回归系数还是非常接近的。