R语言中的特殊值及缺失值NA的处理方法

Python013

R语言中的特殊值及缺失值NA的处理方法,第1张

R语言中存在一些空值(null-able values),当我们进行数据分析时,理解这些值是非常重要的。

通常来说,R语言中存在:

这四种数据类型在R中都有相应的函数用以判断。

NA即Not available,是一个 长度为1的逻辑常数 ,通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量。

可以采用is.na()进行判断。另外,NA和“NA”不可以互换。

NULL是一个 对象(object) ,当 表达式或函数产生无定义的值 或者 导入数据类型未知的数据 时就会返回NULL。

可以采用is.null()进行判断。

NaN即Not A Number,是一个 长度为1的逻辑值向量

可以采用is.nan()进行判断。另外,我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的,而对NaN进行判断返回的结果都是False。

Inf即Infinity无穷大,通常代表一个很大的数或以0为除数的运算结果,Inf说明数据并没有缺失(NA)。

可以采用is.finite()或is.finite()进行判断。

理解完四种类型数值以后,我们来看看该采取什么方法来处理最最常见的缺失值NA。

小白学统计在推文《有缺失值怎么办?系列之二:如何处理缺失值》里说“ 处理缺失值最好的方式是什么?答案是:没有最好的方式。或者说,最好的方式只有一个,预防缺失,尽量不要缺失。

在缺失数很少且数据量很大的时候,直接删除法的效率很高,而且通常对结果的影响不会太大。

如数据框df共有1000行数据,有10行包含NA,不妨直接采用函数na.omit()来去掉带有NA的行,也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。

用其他数值填充数据框中的缺失值NA。

使用tidyr包的replace_na()函数。

使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。

除此之外,类似原理的填充法还有均值填充法(用该变量的其余数值的均值来填充)、LOCF(last observation carried forward)、BOCF(baseline observation carried forward)、WOCF(worst observation carried forward)等。

当分类自变量出现NA时,把缺失值单独作为新的一类。

在性别中,只有男和女两类,虚拟变量的话以女性为0,男性为1。如果出现了缺失值,可以把缺失值赋值为2,单独作为一类。由于将缺失值赋值,在统计时就不会把它当做缺失值删除,避免了由于这一个变量缺失而导致整个观测值被删除的情况。

假定有身高和体重两个变量,要填补体重的缺失值,我们可以把体重作为因变量,建立体重对身高的回归方程,然后根据身高的非缺失值,预测体重的缺失值。

参考资料:

由于数据中含有NA,if不能讲if()内的计算结果的NA识别为TRUE和FALSE中的任一个,因此会这样报错。

解决办法:

只需要使用na.omit去掉含有NA的行或列,就可以愉快地进行if循环了~

啊啊啊,这个坑了我好一会~

>ID <- paste("A","00","q",1:5,sep = "+")

>ID

[1] "A+00+q+1" "A+00+q+2" "A+00+q+3" "A+00+q+4" "A+00+q+5"

>ID <- paste("A","00",1:5,sep = "")

>ID

[1] "A001" "A002" "A003" "A004" "A005"

>age<-c(24,NA,35,19,-20)

>age

[1]  24  NA  35  19 -20

>df1<-data.frame(ID,age)

>df1

    ID age

1 A001  24

2 A002  NA

3 A003  35

4 A004  19

5 A005 -20

>#判别有无缺失值

>is.na(df1)

        ID   age

[1,] FALSE FALSE

[2,] FALSE  TRUE

[3,] FALSE FALSE

[4,] FALSE FALSE

[5,] FALSE FALSE

>#将不合理的值定义为缺失值

>df1$age[df1$age<0] <- NA

>df1

    ID age

1 A001  24

2 A002  NA

3 A003  35

4 A004  19

5 A005  NA

>#替换缺失值

>df1[is.na(df1)]<-mean(df1$age,na.rm = T)#rm是remove的意思,移除na值

>df1

    ID age

1 A001  24

2 A002  26

3 A003  35

4 A004  19

5 A005  26

>#omit函数去除na值

>ID <- paste("A","00",1:5,sep = "")

>age<-c(24,NA,35,19,-20)

>df1<-data.frame(ID,age)

>df1

    ID age

1 A001  24

2 A002  NA

3 A003  35

4 A004  19

5 A005 -20

>df1$age[df1$age<0] <- NA

>df1

    ID age

1 A001  24

2 A002  NA

3 A003  35

4 A004  19

5 A005  NA

>na.omit(df1)#omit会将na值所有行都删除

    ID age

1 A001  24

3 A003  35

4 A004  19

>#判断与转换函数

>a<-c(1,2,3)

>a

[1] 1 2 3

>b<-c("a","b","c“)

+ b

+ d<-c("1","2")

Error: unexpected numeric constant in:

"b

d<-c("1"

>c

  age country

1   1   Chian

2   5   India

>e<-matrix(1:6,2,3)

>e

     [,1] [,2] [,3]

[1,]    1    3    5

[2,]    2    4    6

>e<-matrix(1:6,ncol=2)

>e

     [,1] [,2]

[1,]    1    4

[2,]    2    5

[3,]    3    6

>f<-c(1:10)

>f

 [1]  1  2  3  4  5  6  7  8  9 10

>is.character(b)

[1] FALSE

>is.numeric(a)

[1] TRUE

>is.data.frame(df1)

[1] TRUE

>as.numeric(d)

[1] 1 2

>as.character(a)

[1] "1" "2" "3"

>df1

    ID age

1 A001  24

2 A002  NA

3 A003  35

4 A004  19

5 A005  NA

>as.character(df1)

[1] "1:5"                   "c(24, NA, 35, 19, NA)"

>is.vector(a)

[1] TRUE

>is.matrix(e)

[1] TRUE

>as.matrix(f,nrow=2)

      [,1]

 [1,]    1

 [2,]    2

 [3,]    3

 [4,]    4

 [5,]    5

 [6,]    6

 [7,]    7

 [8,]    8

 [9,]    9

[10,]   10