R语言之决策树和随机森林

2023-02-25 04:38:02Python015

R语言之决策树和随机森林,第1张

R语言之决策树和随机森林

总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。

一、特征生成：

特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。

二、特征选择

特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。

过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等

包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？

常用的算法是分步回归包括向前搜索、向后删除、双向搜索

向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；

向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；

双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；

这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）

内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选取。

三、决策树

决策的几个要点：1、如何决策？（也就是如何树如何分叉）------熵和信息增益---这里面包含的就是特征的选择？哪个特征变量包含的信息量大，就排在前面，至于最后树的深度就决定特征变量的个数。

当然不同的算法使用的衡量的标准不同，还有：信息增益比、基尼不纯系数

2、如何剪枝？-----一般是事后剪枝

3、连续性变量如何离散化？-----阈值的选择

熵：是指信息的混合程度（混乱程度），熵【0-1】越大表示该集合中混合的信息越多，也就表明这次的分叉效果不好还是有很多不同类的信息混在一起

信息增益：熵值的减少量，越大越好

决策树模型特点：模型易于解释；存储空间较小，以树的形式存储，决策树是一个弱分类器，不能完全分类，需要把多个弱分类器通过多数投票法组合在一起。

四、R包实现决策树

library(rpart)

library(rpart.plot)

## rpart.control对树进行一些设置

## xval是10折交叉验证

## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止

## minbucket：叶子节点最小样本数

## maxdepth：树的深度

## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度

ct <- rpart.control(xval=10, minsplit=20, cp=0.1)

## kyphosis是rpart这个包自带的数据集

## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。

## method：树的末端数据类型选择相应的变量分割方法:

## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”

## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）

## cost是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”

data("Kyphosis")

fit <- rpart(Kyphosis~Age + Number + Start,data=kyphosis, method="class",control=ct,parms = list(prior = c(0.65,0.35), split = "information"))

## 作图有2种方法

## 第一种：

par(mfrow=c(1,3))plot(fit)text(fit,use.n=T,all=T,cex=0.9)

## 第二种，这种会更漂亮一些：

rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,

shadow.col="gray", box.col="green",

border.col="blue", split.col="red",

split.cex=1.2, main="Kyphosis决策树")

## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少

## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstd

printcp(fit)

## 通过上面的分析来确定cp的值

##调用CP（complexity parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应

#的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。

plotcp(fit)

##利用以下方法进行修剪：

## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

fit2 <- prune(fit, cp=0.01)

#利用模型预测

ndata=data.frame(...)

predict(fit,newdata=ndata)

#案例

str(iris)

set.seed(1234)#设置随机数种子--使每次运行时产生的一组随机数相同，便于结果的重现

#抽样：从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集（常用）

#这里是对行抽样,ind是一个只含1和2的向量

ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))

trainData <- iris[ind==1,]

testData <- iris[ind==2,]

f<-Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

#训练数据

fit<-rpart(f,trainData)

#预测

re<-predict(fit,testData)

#******************或者用其他包********************

library(party)

#建立决策树模型预测花的种类

myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

iris_ctree <- ctree(myFormula, data=trainData)

# 查看预测的结果

z<-table(predict(iris_ctree), trainData$Species)

#可以根据以上列联表求出预测的正确率---评估模型

#计算准确度

q<-sum(diag(z))/sum(z)

五、机器集成与随机森林法则

前面说过，决策树的一个特点是：弱分类器，分类不完全，需要利用集成投票的方式来增加精确度和稳健性。

机器集成算法：对于数据集训练多个模型，对于分类问题，可以采用投票的方法，选择票数最多的类别作为最终的类别，而对于回归问题，可以采用取均值的方法，取得的均值作为最终的结果。主要的集成算法有bagging和adaboost算法。

随机森林：随机森林就是利用机器集成多个决策树，主要有两个参数，一个是决策树的个数，一个是每棵树的特征变量个数。

随机森林特点：精确度高、稳健性好，但可解释性差。(可以知道各个变量的重要性)

R包实现机器集成算法：

#adabag包均有函数实现bagging和adaboost的分类建模

#利用全部数据建模

library(adabag)

a<-boosting(Species~.,data=iris)

z0<-table(iris[,5],predict(a,iris)$class)

#计算误差率

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

barplot(a$importance)

b<-errorevol(a,iris)#计算全体的误差演变

plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图

a<-bagging(Species~.,data=iris)

z0<-table(iris[,5],predict(a,iris)$class)

#计算误差率

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

barplot(a$importance)

b<-errorevol(a,iris)#计算全体的误差演变

plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图

#5折交叉验证

set.seed(1044) #设定随机种子

samp=c(sample(1:50,25),sample(51:100,25),sample(101:150,25)) #进行随机抽样

a=boosting(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模

z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果

z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

E1<-(sum(z0)-sum(diag(z0)))/sum(z1)

a=bagging(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模

z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果

z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

E1<-(sum(z0)-sum(diag(z0)))/sum(z1)

R包实现随机森林：

#随机森林法则

library(randomForest)

library(foreign)

data("iris")

#抽样数据

ind<-sample(2,nrow(iris),replace = TRUE,prob=c(0.7,0.3))

traning<-iris[ind==1,]

testing<-iris[ind==2,]

#训练数据

rf <- randomForest(Species ~ ., data=traning, ntree=100, proximity=TRUE)

#预测

table(predict(rf),traning$Species)

table(predict(rf,testing),testing$Species)

#查看预测的效果

print(rf)

plot(rf)

#查看重要性

importance(rf)

varImpPlot(rf)

logit=glm(y~x1+x2,data=data,family=binomial(link='logit')) glm表示广义线性回归，data表示y,x1,x2所在的数据集，family中的link用来选择回归类型，logit表示选择logistic回归

Bayes判别，它是基于Bayes准则的判别方法，判别指标为定量资料，它的判别规则和最大似然判别、Bayes公式判别相似，都是根据概率大小进行判别，要求各类近似服从多元正态分布。

1. Bayes准则：寻求一种判别规则，使得属于第k类的样品在第k类中取得最大的后验概率。

基于以上准则，假定已知个体分为g类，各类出现的先验概率为P（Yk），且各类均近似服从多元正态分布，当各类的协方差阵相等时，可获得由m个指标建立的g个线性判别函数Y1，Y2，…，Yg，分别表示属于各类的判别函数值：

其中Cjk即为判别系数，通过合并协方差阵代入即可计算得各个指标的判别系数，而C0k中则加以考虑了先验概率P（Yk）：

2. 先验概率的确定：若未知各类的先验概率时，一般可用：

（1）等概率（先验无知）：P（Yk）= 1/g（all groups equal）。

（2）频率：P（Yk）= nk/N （当样本较大且无选择偏倚时用，compute from sample size）

3. 判别规则：

（1）计算样品属于各类的判别函数值，把对象判别为Y值最大的类。

（2）根据所得Y值，我们亦可以进一步计算属于k类的后验概率，再将对象判给后验概率最大的一类。

以上两种判别规则的结果是完全一致的。

函数介绍

实现Bayes判别可以调用程序包klaR中NaiveBayes()函数，其调用格式为：

NaiveBayes(x，grouping，prior，usekernel =FALSE，fL = 0， ...)

复制

x为训练样本的矩阵或数据框，grouping表示训练样本的分类情况，prior可为各个类别指定先验概率，默认情况下用各个类别的样本比例作为先验概率，usekernel指定密度估计的方法，默认情况下使用标准的密度估计，设为TRUE时，则使用核密度估计方法；fL指定是否进行拉普拉斯修正，默认情况下不对数据进行修正，当数据量较小时，可以设置该参数为1，即进行拉普拉斯修正。

例子：利用Iris数据集进行Bayes判别

>install.packages("klaR")

>X<-iris[1:100,1:4]

>G<-as.factor(gl(2,50))

>library(klaR)

>x<-NaiveBayes(X,G)

>predict(x)

$class

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1