R语言中的特殊值及缺失值NA的处理方法

Python016

R语言中的特殊值及缺失值NA的处理方法,第1张

R语言中存在一些空值(null-able values),当我们进行数据分析时,理解这些值是非常重要的。

通常来说,R语言中存在:

这四种数据类型在R中都有相应的函数用以判断。

NA即Not available,是一个 长度为1的逻辑常数 ,通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量。

可以采用is.na()进行判断。另外,NA和“NA”不可以互换。

NULL是一个 对象(object) ,当 表达式或函数产生无定义的值 或者 导入数据类型未知的数据 时就会返回NULL。

可以采用is.null()进行判断。

NaN即Not A Number,是一个 长度为1的逻辑值向量

可以采用is.nan()进行判断。另外,我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的,而对NaN进行判断返回的结果都是False。

Inf即Infinity无穷大,通常代表一个很大的数或以0为除数的运算结果,Inf说明数据并没有缺失(NA)。

可以采用is.finite()或is.finite()进行判断。

理解完四种类型数值以后,我们来看看该采取什么方法来处理最最常见的缺失值NA。

小白学统计在推文《有缺失值怎么办?系列之二:如何处理缺失值》里说“ 处理缺失值最好的方式是什么?答案是:没有最好的方式。或者说,最好的方式只有一个,预防缺失,尽量不要缺失。

在缺失数很少且数据量很大的时候,直接删除法的效率很高,而且通常对结果的影响不会太大。

如数据框df共有1000行数据,有10行包含NA,不妨直接采用函数na.omit()来去掉带有NA的行,也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。

用其他数值填充数据框中的缺失值NA。

使用tidyr包的replace_na()函数。

使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。

除此之外,类似原理的填充法还有均值填充法(用该变量的其余数值的均值来填充)、LOCF(last observation carried forward)、BOCF(baseline observation carried forward)、WOCF(worst observation carried forward)等。

当分类自变量出现NA时,把缺失值单独作为新的一类。

在性别中,只有男和女两类,虚拟变量的话以女性为0,男性为1。如果出现了缺失值,可以把缺失值赋值为2,单独作为一类。由于将缺失值赋值,在统计时就不会把它当做缺失值删除,避免了由于这一个变量缺失而导致整个观测值被删除的情况。

假定有身高和体重两个变量,要填补体重的缺失值,我们可以把体重作为因变量,建立体重对身高的回归方程,然后根据身高的非缺失值,预测体重的缺失值。

参考资料:

(1)n=100,为大样本可用正态近似法,估计总体均数的95%可信区间。

(2)因成年男性血钙值服从正态分布,且过大或过小均属异常,应计算双测95%参考值范围:

若该名成年男性的血钙值包含在该参考值范围内,可认为正常,若为包含在该参考值范围内,可认为其血钙值偏大或偏小。

(3)该资料为成组设计的计量资料,已采用成组t检验。

1.建立检验假设,确定检验水准

H0:该地健康成年男性与女性的血清钙值无差别

H1:该地健康成年男性与女性的血清钙值有差别

a=0.05

2.计算检验统计量t值

3.确定P值做出统计推断

若P大于0.05,不拒绝H0,差异无统计学意义尚不能认为该地健康成年男性与女性的血清钙值含量有差异。

若P小于等于0.05,拒绝H0,接受H1,差异有统计学意义,可认为该地健康的成年男性与女性的血清钙含量有差异。

(4)

1.建立假设检验,确定检验水准

H0:该地男性血清钙值均数与一般成年男子血清钙值均数相同

H1:该地男性血清钙指均数,高于一般成年男子血清钙值均数

a=0.05

2.计算检验统计量t值

n=100

(手机打不出来)自由度=99

t=公式书上代手机打不出=0.25

3.确定P值做出统计推断

查t界值表得,P大于0.05,按a=0.05水准,不拒绝H0,差异无统计学一尚不能认为该地成年男性的血清钙质菌数高于一般成年男子的血清钙值均数。

(望采纳)