是常用的测试方法。将数据集分成十分,轮流将其中9份作为训练数据,1份作为测试数据,进行试验。每次试验都会得出相应的正确率(或差错率)。 10次的结果的正确率(或差错率)的平均值。
r语言svm怎样用交叉验证找到最优值1.1 C语言的发展过程
C语言是在 70 年代初问世的。一九七八年由美国电话电报公司(AT&T)贝尔实验室正式发表了C语言。同时由B.W.Kernighan和D.M.Ritchit合著了著名的“THE C PROGRAMMING LANGUAGE”一书。通常简称为《K&R》,也有人称之为《K&R》标准。但是,在《K&R》中并没有定义一个完整的标准C 语言,后来由美国国家标准协会(American National Standards Institute)在此基础上制定了一个C 语言标准,于一九八三年发表。通常称之为ANSI C。
1.2 当代最优秀的程序设计语言
早期的C 语言主要是用于UNIX系统。由于C语言的强大功能和各方面的优点逐渐为人们认识,到了八十年代,C开始进入其它操作系统,并很快在各类大、中、小和微型计算机上得到了广泛的使用,成为当代最优秀的程序设计语言之一。
1.3 C语言版本
目前最流行的C语言有以下几种:
?Microsoft C 或称 MS C
?Borland Turbo C 或称 Turbo C
?AT&T C
这些C语言版本不仅实现了ANSI C标准,而且在此基础上各自作了一些扩充,使之更加方便、完美。
R语言利用caret包比较ROC曲线我们之前探讨了多种算法,每种算法都有优缺点,因而当我们针对具体问题去判断选择那种算法时,必须对不同的预测模型进行重做评估。为了简化这个过程,我们使用caret包来生成并比较不同的模型与性能。
操作
加载对应的包与将训练控制算法设置为10折交叉验证,重复次数为3:
library(ROCR)
library(e1071)
library("pROC")
library(caret)
library("pROC")
control = trainControl(method = "repaetedcv",
number = 10,
repeats =3,
classProbs = TRUE,
summaryFunction = twoClassSummary)
使用glm在训练数据集上训练一个分类器
glm.model = train(churn ~ .,
data= trainset,
method = "glm",
metric = "ROC",
trControl = control)
使用svm在训练数据集上训练一个分类器
svm.model = train(churn ~ .,
data= trainset,
method = "svmRadial",
metric = "ROC",
trControl = control)
使用rpart函数查看rpart在训练数据集上的运行情况
rpart.model = train(churn ~ .,
data = trainset,
method = "svmRadial",
metric = "ROC",
trControl = control)
使用不同的已经训练好的数据分类预测:
glm.probs = predict(glm.model,testset[,!names(testset) %in% c("churn")],type = "prob")
svm.probs = predict(svm.model,testset[,!names(testset) %in% c("churn")],type = "prob")
rpart.probs = predict(rpart.model,testset[,!names(testset) %in% c("churn")],type = "prob")
生成每个模型的ROC曲线,将它们绘制在一个图中:
glm.ROC = roc(response = testset[,c("churn")],
predictor = glm.probs$yes,
levels = levels(testset[,c("churn")]))
plot(glm.ROC,type = "S",col = "red")
svm.ROC = roc(response = testset[,c("churn")],
predictor = svm.probs$yes,
levels = levels(testset[,c("churn")]))
plot(svm.ROC,add = TRUE,col = "green")
rpart.ROC = roc(response = testset[,c("churn")],
predictor = rpart.probs$yes,
levels = levels(testset[,c("churn")]))
plot(rpart.ROC,add = TRUE,col = "blue")
三种分类器的ROC曲线
说明将不同的分类模型的ROC曲线绘制在同一个图中进行比较,设置训练过程的控制参数为重复三次的10折交叉验证,模型性能的评估参数为twoClassSummary,然后在使用glm,svm,rpart,三种不同的方法建立分类模型。
从图中可以看出,svm对训练集的预测结果(未调优)是三种分类算法里最好的。