它可用来 生成 一个 类(class) 的 对象。
methods 提供class的名字,或 class 的定义,对象的具体参数数据等。
函数 返回对象的名字。
例如:
t1 <- new("track", x = seq_along(ydata), y = ydata)
t2 <- new("trackCurve", t1, smooth = ysmooth)
setMethod("initialize",
"track",
function(.Object, x = numeric(0), y = numeric(0)) {
if(nargs() >1) {
if(length(x) != length(y))
stop("specified x and y of different lengths")
.Object@x <- x
.Object@y <- y
}
.Object
})
2016-08-23 05:17 砍柴问樵夫
数据缺失有多种原因,而大部分统计方法都假定处理的是完整矩阵、向量和数据框。
缺失数据的分类:
完全随机缺失 :若某变量的缺失数据与其他任何观测或未观测变量都不相关,则数据为完全随机缺失(MCAR)。
随机缺失: 若某变量上的缺失数据与其他观测变量相关,与它自己的未观测值不相关,则数据为随机缺失(MAR)。
非随机缺失: 若缺失数据不属于MCAR或MAR,则数据为非随机缺失(NMAR) 。
处理缺失数据的方法有很多,但哪种最适合你,需要在实践中检验。
下面一副图形展示处理缺失数据的方法:
处理数据缺失的一般步骤:
1、识别缺失数据
2、检测导致数据缺失的原因
3、删除包含缺失值的实例或用合理的数值代替(插补)缺失值。
1、识别缺失数据:
R语言中, NA 代表缺失值, NaN 代表不可能值, Inf 和 -Inf 代表正无穷和负无穷。
在这里,推荐使用 is.na , is.nan , is.finite , is.infinite 4个函数去处理。
x<-c(2,NA,0/0,5/0)
#判断缺失值
is.na(x)
#判断不可能值
is.nan(x)
#判断无穷值
is.infinite(x)
#判断正常值
is.finite(x)
推荐一个函数: complete.case() 可用来识别矩阵或数据框中没有缺失值的行!
展示出数据中缺失的行 (数据集sleep来自包VIM)
sleep[!complete.cases(sleep),]
判断数据集中有多少缺失
针对复杂的数据集,怎么更好的探索数据缺失情况呢?
mice包 中的 md.pattern() 函数可以生成一个以矩阵或数据框形式展示缺失值模式的表格。
备注:0表示变量的列中没有缺失,1则表示有缺失值。
第一行给出了没有缺失值的数目(共多少行)。
第一列表示各缺失值的模式。
最后一行给出了每个变量的缺失值数目。
最后一列给出了变量的数目(这些变量存在缺失值)。
在这个数据集中,总共有38个数据缺失。
图形化展示缺失数据:
aggr(sleep,prop=F,numbers=T)
matrixplot(sleep)
浅色表示值小,深色表示值大,默认缺失值为红色。
marginmatrix(sleep)
上述变量太多,我们可以选出部分变量展示:
x <- sleep[, 1:5]
x[,c(1,2,4)] <- log10(x[,c(1,2,4)])
marginmatrix(x)
为了更清晰,可以进行成对展示:
marginplot(sleep[c("Gest","Dream")])
在这里(左下角)可以看到,Dream和Gest分别缺失12和4个数据。
左边的红色箱线图展示的是在Gest值缺失的情况下Dream的分布,而蓝色箱线图展示的Gest值不缺失的情况下Dream的分布。同样的,Gest箱线图在底部。
2、缺失值数据的处理
行删除法: 数据集中含有缺失值的行都会被删除,一般假定缺失数据是完全随机产生的,并且缺失值只是很少一部分,对结果不会造成大的影响。
即:要有足够的样本量,并且删除缺失值后不会有大的偏差!
行删除的函数有 na.omit() 和 complete.case()
newdata<-na.omit(sleep)
sum(is.na(newdata))
newdata<-sleep[complete.cases(sleep),]
sum(is.na(newdata))
均值/中位数等填充: 这种方法简单粗暴,如果填充值对结果影响不怎么大,这种方法倒是可以接受,并且有可能会产生令人满意的结果。
方法1:
newdata<-sleep
mean(newdata$Dream,na.rm = T)
newdata[is.na(newdata$Dream),"Dream"]<-1.972
方法2:
Hmisc包更加简单,可以插补均值、中位数等,你也可以插补指定值。
library(Hmisc)
impute(newdata$Dream,mean)
impute(newdata$Dream,median)
impute(newdata$Dream,2)
mice包插补缺失数据: 链式方程多元插值,首先利用mice函数建模再用complete函数生成完整数据。
下图展示mice包的操作过程:
mice():从一个含缺失值的数据框开始,返回一个包含多个完整数据集对象(默认可以模拟参数5个完整的数据集)
with():可依次对每个完整数据集应用统计建模
pool():将with()生成的单独结果整合到一起
library(mice)
newdata<-sleep
data<-mice(newdata,m = 5,method='pmm',maxit=100,seed=1)
在这里,m是默认值5,指插补数据集的数量
插补方法是pmm:预测均值匹配,可以用methods(mice)查看其他方法
maxit指迭代次数,seed指设定种子数(和set.seed同义)
概述插补后的数据:
summary(data)
在这上面可以看到数据集中变量的观测值缺失情况,每个变量的插补方法, VisitSequence 从左至右展示了插补的变量, 预测变量矩阵 (PredictorMatrix)展示了进行插补过程的含有缺失数据的变量,它们利用了数据集中其他变量的信息。(在矩阵中,行代表插补变量,列代表为插补提供信息的变量,1
和0分别表示使用和未使用。)
查看整体插补的数据:
data$imp
查看具体变量的插补数据:
data$imp$Dream
最后,最重要的是生成一个完整的数据集
completedata<-complete(data)
判断还有没有缺失值,如果没有,结果返回FLASE
anyNA(completedata)
针对以上插补结果,我们可以查看原始数据和插补后的数据的分布情况
library(lattice)
xyplot(data,Dream~NonD+Sleep+Span+Gest,pch=21)
图上,插补值是洋红点呈现出的形状,观测值是蓝色点。
densityplot(data)
图上,洋红线是每个插补数据集的数据密度曲线,蓝色是观测值数据的密度曲线。
stripplot(data, pch = 21)
上图中,0代表原始数据,1-5代表5次插补的数据,洋红色的点代表插补值。
下面我们分析对数据拟合一个线性模型:
完整数据:
library(mice)
newdata<-sleep
data<-mice(newdata,m = 5,method='pmm',maxit=100,seed=1)
model<-with(data,lm(Dream~Span+Gest))
pooled<-pool(model)
summary(pooled)
fim指的是各个变量缺失信息的比例,lambda指的是每个变量对缺失数据的贡献大小
缺失数据(在运行中,自动会行删除):
lm.fit <- lm(Dream~Span+Gest, data = sleep,na.action=na.omit)
summary(lm.fit)
完整数据集和缺失数据集进行线性回归后,参数估计和P值基本一直。 缺失值是完全随机产生的 。如果缺失比重比较大的话,就不适合使用行删除法,建议使用多重插补法。
kNN插值法: knnImputation函数使用k近邻方法来填充缺失值。对于需要插值的记录,基于欧氏距离计算k个和它最近的观测。接着将这k个近邻的数据利用距离逆加权算出填充值,最后用该值替代缺失值。
library(DMwR)
newdata<-sleep
knnOutput <- knnImputation(newdata)
anyNA(knnOutput)
head(knnOutput)
R语言XML文件XML是万维网上使用标准ASCII文本,内部网和其他地方共享文件格式和数据的文件格式。 它代表可扩展标记语言(XML)。 与HTML类似,它包含标记标签。但与标记标签描述页面结构的HTML不同,标记标签描述了文件中包含的数据的含义。
可以使用“XML”包读取R中的xml文件,使用以下命令安装此软件包。
install.packages("XML")
R
准备XML文件数据
通过将以下数据复制到文本编辑器(如记事本)中来创建XMl文件。 使用.xml扩展名保存文件,并将文件类型选为所有文件(*.*)。创建一个XML文件:input.xml,内容如下 -
<RECORDS>
<EMPLOYEE>
<ID>1</ID>
<NAME>Rick</NAME>
<SALARY>623.3</SALARY>
<STARTDATE>1/1/2012</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>2</ID>
<NAME>Dan</NAME>
<SALARY>515.2</SALARY>
<STARTDATE>9/23/2013</STARTDATE>
<DEPT>Operations</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>3</ID>
<NAME>Michelle</NAME>
<SALARY>611</SALARY>
<STARTDATE>11/15/2014</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>4</ID>
<NAME>Ryan</NAME>
<SALARY>729</SALARY>
<STARTDATE>5/11/2014</STARTDATE>
<DEPT>HR</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>5</ID>
<NAME>Gary</NAME>
<SALARY>843.25</SALARY>
<STARTDATE>3/27/2015</STARTDATE>
<DEPT>Finance</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>6</ID>
<NAME>Nina</NAME>
<SALARY>578</SALARY>
<STARTDATE>5/21/2013</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>7</ID>
<NAME>Simon</NAME>
<SALARY>632.8</SALARY>
<STARTDATE>7/30/2013</STARTDATE>
<DEPT>Operations</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>8</ID>
<NAME>Guru</NAME>
<SALARY>722.5</SALARY>
<STARTDATE>6/17/2014</STARTDATE>
<DEPT>Finance</DEPT>
</EMPLOYEE>
</RECORDS>
XML
读取XML文件
R使用xmlParse()函数来读取xml文件,它作为列表存储在R中。
# Load the package required to read XML files.
library("XML")
# Also load the other required package.
library("methods")
# Give the input file name to the function.
result <- xmlParse(file = "input.xml")
# Print the result.
print(result)
R
当我们执行上述代码时,会产生以下结果 -
<?xml version="1.0"?>
<RECORDS>
<EMPLOYEE>
<ID>1</ID>
<NAME>Rick</NAME>
<SALARY>623.3</SALARY>
<STARTDATE>1/1/2012</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>2</ID>
<NAME>Dan</NAME>
<SALARY>515.2</SALARY>
<STARTDATE>9/23/2013</STARTDATE>
<DEPT>Operations</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>3</ID>
<NAME>Michelle</NAME>
<SALARY>611</SALARY>
<STARTDATE>11/15/2014</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>4</ID>
<NAME>Ryan</NAME>
<SALARY>729</SALARY>
<STARTDATE>5/11/2014</STARTDATE>
<DEPT>HR</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>5</ID>
<NAME>Gary</NAME>
<SALARY>843.25</SALARY>
<STARTDATE>3/27/2015</STARTDATE>
<DEPT>Finance</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>6</ID>
<NAME>Nina</NAME>
<SALARY>578</SALARY>
<STARTDATE>5/21/2013</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>7</ID>
<NAME>Simon</NAME>
<SALARY>632.8</SALARY>
<STARTDATE>7/30/2013</STARTDATE>
<DEPT>Operations</DEPT>
</EMPLOYEE>
<EMPLOYEE>
<ID>8</ID>
<NAME>Guru</NAME>
<SALARY>722.5</SALARY>
<STARTDATE>6/17/2014</STARTDATE>
<DEPT>Finance</DEPT>
</EMPLOYEE>
</RECORDS>
Shell
获取XML文件中存在的节点数
# Load the packages required to read XML files.
library("XML")
library("methods")
# Give the input file name to the function.
result <- xmlParse(file = "input.xml")
# Exract the root node form the xml file.
rootnode <- xmlRoot(result)
# Find number of nodes in the root.
rootsize <- xmlSize(rootnode)
# Print the result.
print(rootsize)
R
当我们执行上述代码时,会产生以下结果 -
output
[1] 8
R
第一个节点的详细信息
下面来看看如何解析文件的第一条记录,它将给出对顶级节点中存在的各种元素的详细信息。
# Load the packages required to read XML files.
library("XML")
library("methods")
# Give the input file name to the function.
result <- xmlParse(file = "input.xml")
# Exract the root node form the xml file.
rootnode <- xmlRoot(result)
# Print the result.
print(rootnode[1])
R
当我们执行上述代码时,会产生以下结果 -
$EMPLOYEE
<EMPLOYEE>
<ID>1</ID>
<NAME>Rick</NAME>
<SALARY>623.3</SALARY>
<STARTDATE>1/1/2012</STARTDATE>
<DEPT>IT</DEPT>
</EMPLOYEE>
attr(,"class")
[1] "XMLInternalNodeList" "XMLNodeList"
Shell
获取节点的其它元素
# Load the packages required to read XML files.
library("XML")
library("methods")
# Give the input file name to the function.
result <- xmlParse(file = "input.xml")
# Exract the root node form the xml file.
rootnode <- xmlRoot(result)
# Get the first element of the first node.
print(rootnode[[1]][[1]])
# Get the fifth element of the first node.
print(rootnode[[1]][[5]])
# Get the second element of the third node.
print(rootnode[[3]][[2]])
R
当我们执行上述代码时,会产生以下结果 -
<ID>1</ID>
<DEPT>IT</DEPT>
<NAME>Michelle</NAME>
Shell
XML转到数据帧
为了在大文件中有效处理数据,我们以xml文件的形式读取数据作为数据帧。然后处理数据帧进行数据分析。
# Load the packages required to read XML files.
library("XML")
library("methods")
# Convert the input xml file to a data frame.
xmldataframe <- xmlToDataFrame("input.xml")
print(xmldataframe)
R
当我们执行上述代码时,会产生以下结果 -
ID NAME SALARY STARTDATE DEPT
1 1 Rick 623.3 1/1/2012 IT
2 2 Dan 515.2 9/23/2013 Operations
3 3 Michelle611 11/15/2014 IT
4 4 Ryan729 5/11/2014 HR
5 5 Gary 843.25 3/27/2015Finance
6 6 Nina578 5/21/2013 IT
7 7Simon 632.8 7/30/2013 Operations
8 8 Guru 722.5 6/17/2014Finance
Shell
由于数据现在已经转为数据帧,所以我们可以使用数据帧相关函数来读取和操作文件。