R语言中的特殊值及缺失值NA的处理方法

Python019

R语言中的特殊值及缺失值NA的处理方法,第1张

R语言中存在一些空值(null-able values),当我们进行数据分析时,理解这些值是非常重要的。

通常来说,R语言中存在:

这四种数据类型在R中都有相应的函数用以判断。

NA即Not available,是一个 长度为1的逻辑常数 ,通常代表缺失值。NA可以被强制转换为任意其他数据类型的向量

可以采用is.na()进行判断。另外,NA和“NA”不可以互换。

NULL是一个 对象(object) ,当 表达式或函数产生无定义的值 或者 导入数据类型未知的数据 时就会返回NULL。

可以采用is.null()进行判断。

NaN即Not A Number,是一个 长度为1的逻辑值向量

可以采用is.nan()进行判断。另外,我们可以采用is.finite()或is.infinite()函数来判断元素是有限的还是无限的,而对NaN进行判断返回的结果都是False。

Inf即Infinity无穷大,通常代表一个很大的数或以0为除数的运算结果,Inf说明数据并没有缺失(NA)。

可以采用is.finite()或is.finite()进行判断。

理解完四种类型数值以后,我们来看看该采取什么方法来处理最最常见的缺失值NA。

小白学统计在推文《有缺失值怎么办?系列之二:如何处理缺失值》里说“ 处理缺失值最好的方式是什么?答案是:没有最好的方式。或者说,最好的方式只有一个,预防缺失,尽量不要缺失。

在缺失数很少且数据量很大的时候,直接删除法的效率很高,而且通常对结果的影响不会太大。

如数据框df共有1000行数据,有10行包含NA,不妨直接采用函数na.omit()来去掉带有NA的行,也可以使用tidyr包的drop_na()函数来指定去除哪一列的NA。

用其他数值填充数据框中的缺失值NA。

使用tidyr包的replace_na()函数。

使用tidyr包的fill()函数将上/下一行的数值填充至选定列中NA。

除此之外,类似原理的填充法还有均值填充法(用该变量的其余数值的均值来填充)、LOCF(last observation carried forward)、BOCF(baseline observation carried forward)、WOCF(worst observation carried forward)等。

当分类自变量出现NA时,把缺失值单独作为新的一类。

在性别中,只有男和女两类,虚拟变量的话以女性为0,男性为1。如果出现了缺失值,可以把缺失值赋值为2,单独作为一类。由于将缺失值赋值,在统计时就不会把它当做缺失值删除,避免了由于这一个变量缺失而导致整个观测值被删除的情况。

假定有身高和体重两个变量,要填补体重的缺失值,我们可以把体重作为因变量,建立体重对身高的回归方程,然后根据身高的非缺失值,预测体重的缺失值。

参考资料:

R对命名了的数据结构进行操作。最简单的数据结构是数字向量;如,

>x <- c(10.4, 5.6, 3.1, 6.4, 21.7)c()是创建函数,赋值运算符是'<-',与函数assign()等价

>assign("x", c(10.4, 5.6, 3.1, 6.4, 21.7)) 也可以写成:

>c(10.4, 5.6, 3.1, 6.4, 21.7) ->x

如果一个表达式被当作一个完整的命令,它的值将被打印到终端但不被储存。

单独输入x则会将值打印出来。也可以打印倒数:

>1/x

>y <- c(x, 0, x) 也可以将向量作为元素。

2.2 向量运算

操作是按照向量中的元素一个一个进行的。同一个表达式中的向量并不需要具有相同的长度。如果它们的长度不同,表达式的结果是一个与表达式中最长向量有相同长度的向量。表达式中较短的向量会根据它的长度被重复使用若干次(不一定是整数次),直到与长度最长的向量相匹配。而常数很明显的将被不断重复。如,

>v <- 2*x + y + 1

常用运算有:

+,-,*,/,^(次方);

log, exp, sin, cos, tan,sqrt等;

max和min的作用是选出所给向量中最大的或最小的元素;

range函数的值是一个长度为2的向量,即c(min(x),max(x))

length(x)返回了向量x中元素的个数,也就是x的长度。

sum(x)给出了x中所有元素的总和;

prod(x)给出x中所有元素的乘积;

mean(x)和var(x),分别计算样本均值和样本方差,这两个函数分别相当于sum(x)/length(x),sum((x-mean(x)) \^2)/(length(x) -1)。如果var()的参数是一个n*p的矩阵,那么函数的值是一个p*p的样本协方差矩阵,认为每行是一个p变量的样本向量。

sort(x)返回一个与x具有相同长度的向量,其中的元素按招升序排列。还有其他更灵活的排序功能(参见order()和sort.list())。

pmax和pmin将返回一个与最长的向量长度相等的向量,向量中的元素由参数中所有向量在相应位置的最大值(最小值)组成;

如果要使用复数,需要直接给出一个复数部分。因此sqrt(-17)将会返回NaN(无效数值)和一个警告,而sqrt(-17+0i)将按照复数进行运算。

一、分析需求

1.对共享单车满意度评分数据进行清洗,去除空缺值等

2.对用户满意度分数的整体情况进行分析

3.对于收押金这一举措,用AB测试思路来检测收押金是否会影响用户满意度

二、数据情况(实验数据)

北京四个城区调研客户对共享单车的满意程度,并分为了对照组和实验组,分别对收押金前后的满意程度进行了统计

三、分析过程

1. 清洗数据填补空值

对数据进行整理清理,其中分数有些许空缺值,填补缺失值采用的统计量是去除空值后的分数的平均值,填补缺失值大小是5.458333,实现语句:

setwd("C:/Users/emera/Desktop/共享单车评分数据")

R_homework <-

read.csv("共享单车评分数据.csv",fileEncoding ="UTF-8-BOM")

#查看数据整体情况

str(R_homework)

#查看是否有空值

is.na(R_homework$城区)

is.na(R_homework$分数)

is.na(R_homework$组别)

is.na(R_homework$推荐者)

is.na(R_homework$年龄)

#填充空值

alternative_value<-

mean(R_homework$分数,na.rm = TRUE)

R_homework[is.na(R_homework$分数), "分数"] <-alternative_value

is.na(R_homework$分数)

2. 对分数整体显现情况进行初步分析

从直方图中可以看出,朝阳区和东城区给出8分的用户最多,西城区给出7分的用户最多。海淀区分数两级分化情况比较严重,给最多的分数是9分和3分,同时高分(分数7分以上)数量比其他区域高,但低分(3分以下)的数量也很高。

从箱型图中我们可以进一步看出,朝阳区、东城区、西城区用户的平均分相近,海淀区平均分最高,但是海淀区的分数也是最分散的。从小提琴图中,我们可以看到西城区高分面积最大,低分面积最小,海淀区呈现两极分化的葫芦形,东城区各分数段数量分布比较均匀,朝阳区数据离散度较小。

实现语句:

#直方图

library(ggplot2)

a <-

ggplot(R_homework,aes(分数))

a +geom_histogram(binwidth = 1)

facet_wrap(~城区,nrow=2,ncol=2)+

#箱型图

b <-

ggplot(R_homework,aes(城区,分数))

b + geom_boxplot()

#小提琴图

c <-

ggplot(R_homework,aes(城区,分数))

c +geom_violin(draw_quantiles = c(0.25,0.5,0.75))

3. 各个城区用户给分和年龄关系分析

我们对散点图进行线性拟合。从图中可以看出,各个区域的样本取样较为随机,不存在某一年龄段取样集中的不合理现象。对图形进行观察,发现拟合程度都近似,各个区域打分均表现出和年龄的正相关性。其中朝阳区和东城区的拟合情况最为集中,海淀区和西城区的拟合函数更为陡峭(斜率更高)。有趣的是,各个区域25-30岁的用户打分都在拟合函数之上,25岁以下和30岁以上大多在拟合函数之下。也就是说如果我们用拟合函数最各年龄段的满意度预估,25-30岁区间的满意度更有可能高于预估值,25岁以下和30岁以上区间的满意度更有可能低于预估值。

实现语句:

#散点图拟合年龄和分数关系

g <-

ggplot(R_homework,aes(年龄,分数))

g + geom_point(alpha =0.25)+

geom_smooth(method='lm',col='red')+

theme_bw(base_family= "Avenir",base_size = 15)+

  facet_wrap(~城区,nrow=2,ncol=2)+

  labs(x='年龄(age)')+

  labs(y='分数(score)')+

  labs(title='用户满意度调查(分数与年龄关系)')

4. 对“收押金”措施是否对西城区用户满意分有显著影响设计A/B测试

1.原假设H0,发红包对提升用户满意分没有影响,即未发红包对照组满意分均值X1=发红包实验组满意分均值X2

备选假设H1,发红包可对用户满意分有显著影响,即未发红包对照组满意分均值X1=!发红包实验组满意分均值X2

因为假设是问是否有显著影响,好的影响和不好的影响都包含在此假设内,因此采用双侧检测。

2.使用函数t.test()计算P值。

实现方式:

Ttestdata <-read.csv("Ttestdata.csv")

scoreA <-

Ttestdata[Ttestdata$"组别"=="对照组"&Ttestdata$"城区"=="西城区", "分数"]

scoreB <-

Ttestdata[Ttestdata$"组别"=="实验组"&Ttestdata$"城区"=="西城区", "分数"]

#进行T检测

t.test(scoreA,scoreB,alternative= ("two.sided"),conf.level = 0.95)

计算结果:

data:  scoreA and scoreB

t = 0.2778, df = 20.926,p-value = 0.7839

alternative hypothesis:true difference in means is not equal to 0

95 percent confidenceinterval:

 -2.079380 2.720406

sample estimates:

mean of x mean of y

 5.153846 4.833333

3.按照显著性水平α=0.05看,P值0.78大于0.05,所以原假设H0成立,不能证明收押金对用户满意分有显著影响