R语言缺失数据处理2021.2.2

Python023

R语言缺失数据处理2021.2.2,第1张

统计学家通常将缺失数据分为三类。它们都用概率术语进行描述，但思想都非常直观。我们将用sleep研究中对做梦时长的测量(有12个动物有缺失值）来依次阐述三种类型。

在R中, NA代表缺失值, NA是不可用，not available的简称,用来存储缺失信息。这里缺失值NA表示没有，但注意没有并不一 定就是0 , NA是不知道是多少,也能是0 ,也可能是任何值，缺失值和值为零是完全不同的。

1.用NA remove条件语句即可,例如求和公式中添加na.rm=TRUE就可以把缺失值去除，向量个数也对应减少。

如果数据集中包含NA，那么所有的计算都会有问题。发现值为NA时，我们再使用 na.rm 进行处理，这样的操作是滞后的，所以需要在处理数据之前就知道数据集中是否包含了缺失值。R语言提供了 is.na（） 来进行逻辑测试，如果数据集中含NA值，对应位置返回TRUE，其余位置返回FALSE。

2. na.rm 只是函数中的一个参数，如果想去掉数据集中的这些缺失值，生成一个没有缺失值的数据集，这时可以使用 na.omit 函数

处理完之后可以输入length来观察数据集omit函数处理前后的行数变化，并可以从中获得删除了多少行包含NA的数据

1、缺失数据NaN，代表不可能的值

2、Inf表示无穷,分为正无穷 Inf 和负无穷 -Inf ，代表无穷大或者无穷小。

1、NA是存在的值,但是不知道是多少

2、NaN是不存在的

3、Inf存在,是无无穷大后者无穷小，但是表示不可能的值。

R语言中存在一些空值（null-able values），当我们进行数据分析时，理解这些值是非常重要的。

通常来说，R语言中存在：

这四种数据类型在R中都有相应的函数用以判断。

NA即Not available，是一个 长度为1的逻辑常数 ，通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量。

可以采用is.na()进行判断。另外，NA和“NA”不可以互换。

NULL是一个 对象（object） ，当 表达式或函数产生无定义的值 或者 导入数据类型未知的数据 时就会返回NULL。

可以采用is.null()进行判断。

NaN即Not A Number，是一个 长度为1的逻辑值向量 。

可以采用is.nan()进行判断。另外，我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的，而对NaN进行判断返回的结果都是False。

Inf即Infinity无穷大，通常代表一个很大的数或以0为除数的运算结果，Inf说明数据并没有缺失（NA）。

可以采用is.finite()或is.finite()进行判断。

理解完四种类型数值以后，我们来看看该采取什么方法来处理最最常见的缺失值NA。

小白学统计在推文《有缺失值怎么办？系列之二：如何处理缺失值》里说“ 处理缺失值最好的方式是什么？答案是：没有最好的方式。或者说，最好的方式只有一个，预防缺失，尽量不要缺失。 ”

在缺失数很少且数据量很大的时候，直接删除法的效率很高，而且通常对结果的影响不会太大。

如数据框df共有1000行数据，有10行包含NA，不妨直接采用函数na.omit()来去掉带有NA的行，也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。

用其他数值填充数据框中的缺失值NA。

使用tidyr包的replace_na()函数。

使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。

除此之外，类似原理的填充法还有均值填充法（用该变量的其余数值的均值来填充）、LOCF（last observation carried forward）、BOCF（baseline observation carried forward）、WOCF（worst observation carried forward）等。

当分类自变量出现NA时，把缺失值单独作为新的一类。

在性别中，只有男和女两类，虚拟变量的话以女性为0，男性为1。如果出现了缺失值，可以把缺失值赋值为2，单独作为一类。由于将缺失值赋值，在统计时就不会把它当做缺失值删除，避免了由于这一个变量缺失而导致整个观测值被删除的情况。

假定有身高和体重两个变量，要填补体重的缺失值，我们可以把体重作为因变量，建立体重对身高的回归方程，然后根据身高的非缺失值，预测体重的缺失值。

参考资料：