R语言数据对象与运算 笔记整理

2.1 数据对象及类型

R语言创建和控制的实体被称为对象（object）

ls()命令来查看当前系统里的数据对象

R对象的名称必须以一个英文字母打头，并由一串大小写字母、数字或钟点组成

注意：R区分大小写

不要用R的内置函数名称作为数据对象的名称，如c、length等

2.2 数据对象类型

R语言的对象包括

数值型（numeric）：实数， 可写成整数（integers）、小数（decimal fractions）、科学记数（scientific notation）

逻辑型（logical）：T(true)或F（FALSE）

字符型（character）：夹在" "或之间

复数型（complex）：形如a+bi

原味型（raw）：以二进制形式保存数据

缺省型（missing value）：有些统计资料是不完整的，当一个元素或值在统计的时候是“不可得到（not available）”或“缺失值（missing value）”的时候，相关位置可能会被保留并赋予一个特定的NA（not available）值，任何NA的运算结果都是NA。

辨别和转换数据对象类型的函数：

辨别 转换

character is.character() as,character()

complex

double

integer

logical

NA

numeric

2.3 数据对象构造

R语言里的数据对象主要有六种构造：向量（vector）、矩阵（matrix）、数组（array）、列表（list）、数据框（data frames）、因子（factor）

2.3.1 向量（vector）是由有相同基本类型元素组成的序列，相当于一维数组

5个数值组成的向量x，这是一个用函数c()完成的赋值语句，这里c()可以有任意多个参数，而它输出的值则是一个把这些参数首尾相连形成的一个向量

R的赋值符号除了“<-”外，还有"->""="

例如：

>c(1,3,5,7,9) ->y

>y

[1] 2 5 8 3

>z = c(1,3,5,7,9)

>z

[1] 1 3 5 7 9

assign（）函数对向量进行赋值

length（）：可返回向量的长度

mode（）可返回向量的数据类型

正则序列 用 “：”符号，可产生有规律的正则序列（： 的运算级别最高）

函数seq（）产生有规律的各种序列

seq（from,to ,by） from 给序列的起始值，to表示序列的终止值，by表示步长（by 省略时，表示步长值为1）

>seq(1,10,2)

[1] 1 3 5 7 9

>seq(1,10)

[1] 1 2 3 4 5 6 7 8 9 10

有时关注的是数列的长度，利用句法：seq（下界，by=，length=）

>seq(1,by=2,length=10)

[1] 1 3 5 7 9 11 13 15 17 19

rep(x,times，……)x表示要重复的对象，times表示重复的次数

>rep(c(1,3),4)

[1] 1 3 1 3 1 3 1 3

>rep(c(1,3),each=4)

[1] 1 1 1 1 3 3 3 3

对每个元素进行重复

R中的内置函数：

mean（）来示向量的均值

median（）求是位数

var（）求方差

sd（）求标准差

sort（）对向量排序

rev（）将向量按原方向的反方向排列

rank（）给求出向量的秩

prod（）求向量连乘积

append（）为向量添加元素

对向量运算常见函数表

函数 用途

sum（） 求和

max（） 求最大值

min（） 求最小值

range（） 求极差（全矩）

mean（） 求均值

median 求中位数

var（） 求方差

sd（） 求标准差

sort（） 排序

rev（） 反排序

rank（） 求秩

append（） 添加

replace（） 替换

match（） 匹配

pmatch（） 部分匹配

all（） 判断所有

any（） 判断部分

prod（） 积

2.3.2 矩阵

矩阵（matrix)是将数据用行和列排列的长方形表格，它是二维的数组，其单元必须是相同的数据类型，通常用列来表示不同的变量，用行表示各个对象。

其句法是：

matrix（data=NA,ncol=1,byrow-=FALSE,dimnames=NULL）

data是必须的，其它几个选择参数。

nrow表示矩阵的行数

ncol表示矩阵的列数

byrow默认为FALSE,表示矩阵按列排列，如设置为T,表示按行排列；

dimnames可更改矩阵行列名字

diag()函数生成对角矩阵

diag（）这个函数比较特别，当数据是向量时则生成对角矩阵，但当数据是矩阵时，则返回对角元素

也可用函数diag（）生成单位矩阵

当我们生成了某个矩阵后，若要访问矩阵的某个元素或某行（列），可以利用形如A[i,j]的形式得到相应的索引矩阵

矩阵可进行相应的加减乘除运算，但运算过程中要注意行数和列数的限制条件

R里A*B并不是表示矩阵相乘，只表示矩阵对应的元素相乘

矩阵相乘应用A%*%B

dim（）返回矩阵的行数和列数

nrow（）返回矩阵的行数

ncol（）返回矩阵的列数

solve（）返回矩阵的逆矩阵

对矩阵运算的常见函数

函数 用途

as.matrix() 把非矩阵的转换成矩阵

is.matrix() 辨别是否矩阵

diag() 返回对角元素或生成对角矩阵

eigen() 求特征值和特征向量

solve() 求逆矩阵

chol() Choleski分解

svd() 奇异值分解

qr() QR分解

det() 求行列式

dim() 返回行列数

t() 矩阵转置

apply() 对矩阵应用函数

R语言还提供了专门针对矩阵的行或列计算的函数

如 colSUms（）对矩阵各列求和colMeans（）求矩阵各列的均值

类似的有 rowSums（）rowMeans（）

更一般的方法：

apply（）函数来对各行各列进行运算

句法是：apply（X,MARGIN,FUN,……）

X表示要处理的数据

MARGIN表示函数作用的范围

取1表示对行运用函数

取2表示对列运用函数

FUN表示要运用的函数

rbind（）、cbind（）将两个或两个以上的矩阵合并起来

rbind（）表示按行合并，cbind（）则表示按列合并

2.3.3 数组

数组（array）可以看作是带有多个下标的类型相同的元素的集合。

数组的生成函数是array（），其句法是

array（data=NA,dim=length(data),dimnames-NULL）

data表示数据，可以为空

dim 表示维数

dimnames可以更改数组难度的名称

2.3.4 列表

向量、矩阵和的单元必须是同一类型的数据，若一个数据对象需要含有不同的数据类型，可采用列表（list）这种数据对象的形式。

列表是一个对象的有序集合构成的对象，列表中包含的对象又称为它的分量（components），分量可以是不同的模式或（和）类型

语法式为：list （变量1=分量1，变量2=分量2,……）

若要访问列表的某一成分，可以用LST[[1]],LST[[2]]的形式访问

因分量可以被命名，故可以在列表名称后加$符号，再写上成分名称来访问列表分量

函数length（）、mode（）、names（）可以分别返回列表的长度（分量的数目）、数据类型、列表里成分的名字

2.3.5 数据框

数据框（data frame）是一种矩阵形式的数据，但数据框中各列可以是不同类型的数据。数据框每列是一个变量，每行是一个观测 。

对可能列入数据框中的列表有如下的一些限制：

1．分量必须是向量（数值，字符，逻辑），因子，数值矩阵，列表或者其他数据框。

2．矩阵，列表和数据框为新的数据框提供了尽可能多的变量，因为它们各自拥有列、元素或者变量。

3．数值向量、逻辑值、因子保持原有格式，而字符向量会被强制转换成因子并且它的水平就是向量中出现的独立值。

4．在数据框中以变量形式出现的向量结构必须长度一致，矩阵结构必须有一样的行数。

R中用函数data.frame()生成数据框，其句法是：data.frame（data1,data2,……）

数据框的列名默认为变量名，也可对列名进行重新命名

也可以对数据框的行名进行修改

2.3.6 因子和有序因子

分类型数据经常要把数据分成不同的水平或因子（factor）

生成因子的命令是factor（），其句法是：factor（data,levels,labels,……）

其中data表示数据

levels是因子水平向量

labels是因子的标签向量

levels，labels是备选项，可以不选

若上面的每个因子并不表示因子的大小，要表达因子之间有大小顺序（考虑因子之间的顺序），则可以用 ordered（）函数产生

2.4 数据的录入及编辑

c函数：c函数是把各个值联成一个向量或列表，可以形成数值型向量、字符型向量或其它类型向量

scan函数：功能类似于c函数，实际上是一种键盘输入数据函数。当输入scan（），然后按回车键，这时将等待输入数据，数据之间只要空格分开即可（c函数要用逗号分开）。输入完数据，再按回车键，这时数据录入完毕。

scan函数还可以读入外部文本文件，若现有一个文本文件，data.txt，读入这个文件的命令是：>x=scan(file="dat.txt")

若原文件的数据之间有逗号等分隔符，用scan读入应该去掉这些分隔符，其命令是：>x=scan(file="dat.txt"，sep=",")

编辑数据

data.entry命令

xx原先未被定义，现在赋予其一个空值，这时会出现一个电子表格界面，等待输入数据：>data.entry(xx=c(NA))

当电子表格关闭后，数据会自动保存

edit命令用来编辑函数，也可用来编辑数据，但不会自动保存

fix函数与edit类似，但它可以自动保存

从外部文件读入数据

从文本文件读取：

>s1=read.table("student.txt")

>s1

V1V2V3

1class sexscore

2 1 女80

3 1 男85

4 2 男92

5 2 女76

6 3 女61

7 3 女95

8 3 男83

读入表格数据的命令是：read.table

忽略掉标签而直接使用默认的行标签

>s2=read.table("student.txt",header=T)

>s2

class sexscore

1 1 女80

2 1 男85

3 2 男92

4 2 女76

5 3 女61

6 3 女95

7 3 男83

从网络读入数据

url可以从网页上读入正确格式的数据，要借助read.table函数

> address=http://www.the-data-mine.com/bin/view/Misc/WebHome

/sample.txt

>read.table(file=url(address))

读入其他格式的数据库

要读入其他格式的数据库，必须先安装"foreign"模块，它不属于R的8个内置模块，需在使用前安装。 library(foreign)

SAS：R只能诗篇SAS Transport format（XPORT）文件，需要把普通的SAS数据文件（.ssd和.sas7bdat）转换成Transport format(XPORT)文件，再用命令：read.xport()

SPSS数据库：read.spss()可读入SPSS数据文件

Epi info数据库：

要给数据集一个名字，则是read.epiinfo("文件名.rec")->名称

Stata数据库：

R可读入Stata5,6,7的数据库

读入数据文件后，使用数据集名$变量名，即可使用各个变量

>read.dta(“文件名.dta”)

读入数据文件后，使用数据集名$变量名，即可使用各个变量。

>mean(data$age)

便是计算数据集 data中的变量age的均数。

2.5 函数、循环与条件表达式

2.5.1 编写函数

句法是：

函数名 = function (参数1，参数2…)

{

函数体

函数返回值

}

对于这类只有一个算术式的简单函数，也要不要{}

>mean(data$age)

便是计算数据集 data中的变量age的均数。

若不使用圆括号，直接输入函数名，按回车键将显示函数的定义式：

单参数：使函数个性化，可使用单参数，函数将会根据参数的不同，返回值不同

> welcome.sb = function(names) print(paste("welcome",names,"to

use R"))

>welcome.sb("Mr fang")

[1] "welcome Mr fang to use R"

>welcome.sb("Mr Wang")

[1] "welcome Mr Wang to use R"

默认参数：即不输入任何参数

函数的默认参数

> welcome.sb=function(names="Mr fang")print(paste("welcome",

names,"to use R"))

>welcome.sb()

[1] "welcome Mr fang to use R"

当函数体的表达式超过一个时，要用｛｝封起来

2.5.2 for循环

for循环的句法是：

for (变量 in取值向量) {

表达式…

}

是一个预测模型，分为回归决策树和分类决策树，根据已知样本训练出一个树模型，从而根据该模型对新样本因变量进行预测，得到预测值或预测的分类

从根节点到叶节点的一条路径就对应着一条规则．整棵决策树就对应着一组表达式规则。叶节点就代表该规则下得到的预测值。如下图决策树模型则是根据房产、结婚、月收入三个属性得到是否可以偿还贷款的规则。

核心是如何从众多属性中挑选出具有代表性的属性作为决策树的分支节点。

最基本的有三种度量方法来选择属性

1. 信息增益（ID3算法）

信息熵

一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。不确定性函数f是概率P的 减函数 。两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即

在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。因此，信息熵被定义为

决策树分类过程

2、增益率（C4.5算法）

由于信息增益的缺点是：倾向于选择具有大量值的属性，因为具有大量值的属性每个属性对应数据量少，倾向于具有较高的信息纯度。因此增益率使用【信息增益/以该属性代替的系统熵（类似于前面第一步将play换为该属性计算的系统熵】这个比率，试图克服这种缺点。

g(D,A)代表D数据集A属性的信息增益，

3. 基尼指数（CART算法）

基尼指数：

表示在样本集合中一个随机选中的样本被分错的概率。越小表示集合中被选中的样本被分错的概率越小，也就是说集合的纯度越高。

假设集合中有K个类别，则：

说明:

1. pk表示选中的样本属于k类别的概率，则这个样本被分错的概率是(1-pk)

2. 样本集合中有K个类别，一个随机选中的样本可以属于这k个类别中的任意一个，因而对类别就加和

3. 当为二分类是，Gini(P) = 2p(1-p)

基尼指数是将属性A做二元划分，所以得到的是二叉树。当为离散属性时，则会将离散属性的类别两两组合，计算基尼指数。

举个例子：

如上面的特征Temperature，此特征有三个特征取值： “Hot”，“Mild”， “Cool”，

当使用“学历”这个特征对样本集合D进行划分时，划分值分别有三个，因而有三种划分的可能集合，划分后的子集如下：

对于上述的每一种划分，都可以计算出基于 划分特征= 某个特征值 将样本集合D划分为两个子集的纯度：

决策数分类过程

先剪枝 ：提前停止树的构建对树剪枝，构造树时，利用信息增益、统计显著性等，当一个节点的划分导致低于上述度量的预定义阈值时，则停止进一步划分。但阈值的确定比较困难。

后剪枝 ：更为常用，先得到完全生长的树，再自底向上，用最下面的节点的树叶代替该节点

CART使用代价复杂度剪枝算法 ：计算每个节点剪枝后与剪枝前的代价复杂度，如果剪去该节点，代价复杂度较小（复杂度是树的结点与树的错误率也就是误分类比率的函数），则剪去。

C4.5采用悲观剪枝 ：类似代价复杂度，但CART是利用剪枝集评估代价复杂度，C4.5是采用训练集加上一个惩罚评估错误率

决策树的可伸缩性

ID3\C4.5\CART都是为较小的数据集设计，都限制训练元祖停留再内存中，为了解决可伸缩性，提出了其它算法如

RainForest(雨林）：对每个属性维护一个AVC集，描述该结点的训练元组，所以只要将AVC集放在内存即可

BOAT自助乐观算法：利用统计学，创造给定训练数据的较小样本，每个样本构造一个树，导致多颗树，再利用它们构造1颗新树。优点是可以增量的更新，当插入或删除数据，只需决策树更新，而不用重新构造。

决策树的可视化挖掘

PBC系统可允许用户指定多个分裂点，导致多个分支，传统决策树算法数值属性都是二元划分。并且可以实现交互地构建树。

rpart是采用cart算法，连续型“anova”离散型“class”

2）进行剪枝的函数：prune()

3）计算MAE评估回归树模型误差，这里将样本划分成了训练集和测试集，testdata为测试集

rt.mae为根据训练集得到的决策树模型对测试集因变量预测的结果与测试集因变量实际值得到平均绝对误差

主成分分析（PCA）是一种将数据降维技巧，它将大量相关变量转化成一组很少的不相关变量，这些无相关变量称为主成分。

探索性因子分析（EFA）是一系列用来发现一组变量的潜在结构的方法。

R基础安装包提供了PCA和EFA的函数，分别是princomp()和factanal()。本章重点介绍psych包中提供的函数，该包提供了比基础函数更丰富和有用的选项。

最常见步骤

1、数据预处理，在计算前请确保数据没有缺失值；

2、选择因子模型，是选择PCA还是EFA，如果选择EFA，需要选择一种估计因子模型，如最大似然法估计；

3、判断要选择的主成分/因子数目；

4、选择主成分/因子；

5、旋转主成分/因子；

6、解释结果；

7、计算主成分或因子得分。

加载psych包

library(ggplot2)

library(psych)

展示基于观测特征值的碎石检验、根据100个随机数据矩阵推导出来的特征值均值、以及大于1的特征值准则（Y=1的水平线）

fa.parallel(USJudgeRatings[, -1], fa = "pc", n.iter = 100, show.legend = FALSE, main = 'Scree plot with parallel analysis')

对数据USJudgeRatings进行主成分分析

pc<-principal(USJudgeRatings[, -1],nfactors=1)

pc