基于R语言的梯度推进算法介绍
通常来说，我们可以从两个方面来提高一个预测模型的准确性：完善特征工程（feature engineering）或是直接使用Boosting算法。通过大量数据科学竞赛的试炼，我们可以发现人们更钟爱于Boosting算法，这是因为和其他方法相比，它在产生类似的结果时往往更加节约时间。
Boosting算法有很多种，比如梯度推进（Gradient Boosting）、XGBoost、AdaBoost、Gentle Boost等等。每一种算法都有自己不同的理论基础，通过对它们进行运用，算法之间细微的差别也能够被我们所察觉。如果你是一个新手，那么太好了，从现在开始，你可以用大约一周的时间来了解和学习这些知识。
在本文中，笔者将会向你介绍梯度推进算法的基本概念及其复杂性，此外，文中还分享了一个关于如何在R语言中对该算法进行实现的例子。
快问快答每当谈及Boosting算法，下列两个概念便会频繁的出现：Bagging和Boosting。那么，这两个概念是什么，它们之间究竟有什么区别呢？让我们快速简要地在这里解释一下：
Bagging：对数据进行随机抽样、建立学习算法并且通过简单平均来得到最终概率结论的一种方法。
Boosting：与Bagging类似，但在样本选择方面显得更为聪明一些——在算法进行过程中，对难以进行分类的观测值赋予了越来越大的权重。
我们知道你可能会在这方面产生疑问：什么叫做越来越大？我怎么知道我应该给一个被错分的观测值额外增加多少的权重呢？请保持冷静，我们将在接下来的章节里为你解答。
从一个简单的例子出发假设你有一个初始的预测模型M需要进行准确度的提高，你知道这个模型目前的准确度为80%（通过任何形式度量），那么接下来你应该怎么做呢？
有一个方法是，我们可以通过一组新的输入变量来构建一个全新的模型，然后对它们进行集成学习。但是，笔者在此要提出一个更简单的建议，如下所示：
Y = M(x) + error
如果我们能够观测到误差项并非白噪声，而是与我们的模型输出（Y）有着相同的相关性，那么我们为什么不通过这个误差项来对模型的准确度进行提升呢？比方说：
error = G(x) + error2
或许，你会发现模型的准确率提高到了一个更高的数字，比如84%。那么下一步让我们对error2进行回归。
error2 = H(x) + error3
然后我们将上述式子组合起来：
Y = M(x) + G(x) + H(x) + error3
这样的结果可能会让模型的准确度更进一步，超过84%。如果我们能像这样为三个学习算法找到一个最佳权重分配，
Y = alpha * M(x) + beta * G(x) + gamma * H(x) + error4
那么，我们可能就构建了一个更好的模型。
上面所述的便是Boosting算法的一个基本原则，当我初次接触到这一理论时，我的脑海中很快地冒出了这两个小问题：
1.我们如何判断回归／分类方程中的误差项是不是白噪声？如果无法判断，我们怎么能用这种算法呢？
2.如果这种算法真的这么强大，我们是不是可以做到接近100％的模型准确度？
接下来，我们将会对这些问题进行解答，但是需要明确的是，Boosting算法的目标对象通常都是一些弱算法，而这些弱算法都不具备只保留白噪声的能力；其次，Boosting有可能导致过度拟合，所以我们必须在合适的点上停止这个算法。
试着想象一个分类问题请看下图：
从最左侧的图开始看，那条垂直的线表示我们运用算法所构建的分类器，可以发现在这幅图中有3/10的观测值的分类情况是错误的。接着，我们给予那三个被误分的“＋”型的观测值更高的权重，使得它们在构建分类器时的地位非常重要。这样一来，垂直线就直接移动到了接近图形右边界的位置。反复这样的过程之后，我们在通过合适的权重组合将所有的模型进行合并。
算法的理论基础我们该如何分配观测值的权重呢？
通常来说，我们从一个均匀分布假设出发，我们把它称为D1，在这里，n个观测值分别被分配了1/n的权重。
步骤1：假设一个α（t）；
步骤2：得到弱分类器h（t）；
步骤3：更新总体分布，
其中，
步骤4：再次运用新的总体分布去得到下一个分类器；
觉得步骤3中的数学很可怕吗？让我们来一起击破这种恐惧。首先，我们简单看一下指数里的参数，α表示一种学习率，y是实际的回应值（＋1或－1），而h（x）则是分类器所预测的类别。简单来说，如果分类器预测错了，这个指数的幂就变成了1 *α， 反之则是－1*α。也就是说，如果某观测值在上一次预测中被预测错误，那么它对应的权重可能会增加。那么，接下来该做什么呢？
步骤5：不断重复步骤1-步骤4，直到无法发现任何可以改进的地方；
步骤6：对所有在上面步骤中出现过的分类器或是学习算法进行加权平均，权重如下所示：
案例练习
最近我参加了由Analytics Vidhya组织的在线hackathon活动。为了使变量变换变得容易，在complete_data中我们合并了测试集与训练集中的所有数据。我们将数据导入，并且进行抽样和分类。
library(caret)rm(list=ls())setwd("C:Usersts93856DesktopAV")library(Metrics)complete <- read.csv("complete_data.csv", stringsAsFactors = TRUE)train <- complete[complete$Train == 1,]score <- complete[complete$Train != 1,]set.seed(999)ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40))trainData<-train[ind==1,]testData <- train[ind==2,]set.seed(999)ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50))trainData_ens1<-testData[ind1==1,]testData_ens1 <- testData[ind1==2,]table(testData_ens1$Disbursed)[2]/nrow(testData_ens1)#Response Rate of 9.052%
接下来，就是构建一个梯度推进模型（Gradient Boosting Model）所要做的：
fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4)trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No")set.seed(33)gbmFit1 <- train(as.factor(outcome1) ~ ., data = trainData[,-26], method = "gbm", trControl = fitControl,verbose = FALSE)gbm_dev <- predict(gbmFit1, trainData,type= "prob")[,2]gbm_ITV1 <- predict(gbmFit1, trainData_ens1,type= "prob")[,2]gbm_ITV2 <- predict(gbmFit1, testData_ens1,type= "prob")[,2]auc(trainData$Disbursed,gbm_dev)auc(trainData_ens1$Disbursed,gbm_ITV1)auc(testData_ens1$Disbursed,gbm_ITV2)
在上述案例中，运行代码后所看到的所有AUC值将会非常接近0.84。我们随时欢迎你对这段代码进行进一步的完善。在这个领域，梯度推进模型（GBM）是最为广泛运用的方法，在未来的文章里，我们可能会对GXBoost等一些更加快捷的Boosting算法进行介绍。
结束语笔者曾不止一次见识过Boosting算法的迅捷与高效，在Kaggle或是其他平台的竞赛中，它的得分能力从未令人失望，当然了，也许这要取决于你能够把特征工程（feature engineering）做得多好了。
以上是小编为大家分享的关于基于R语言的梯度推进算法介绍的相关内容，更多信息可以关注环球青藤分享更多干货
R语言特征：1. type.convert()函数主要用在read.table()函数中，返回向量和因子类型，当输入为double型时会丢失精度。
>type.convert(c('abc','bcd')) # 返回因子类型
[1] abc bcd
Levels: abc bcd
>type.convert(c(as.double(1.12121221111),'1.121')) # double型丢失精度
[1] 1.121212 1.121000
2. 如果一个文件包含有小数位的数据，通过read.table()函数读取时，会指定为numeric类型。
新建一个文件num.csv包括小数
1,2,1.11
2.1,3,4.5
用read.table读取文件，并查看列的类型。
>num<-read.table(file="num.csv",sep=",") # 读文件
>num
V1 V2 V3
1 1.0 2 1.11
2 2.1 3 4.50
>class(num)
[1] "data.frame"
>class(num$V1)# 查看列的类型为numeric
[1] "numeric"
3. tools包用Rdiff()函数的参数useDiff为FALSE时，与POSIX系统的diff -b命令类似。
新建文件num2.csv
3,2,1.11
2.1,3,4.5
用Rdiff()比较两个文件num.csv和num2.csv。
>Rdiff('num.csv','num2.csv',useDiff = FALSE)
1c1
<1,2,1.11
---
>3,2,1.11
[1] 1
4. 新函数anyNA()，结果与 any(is.na(.))一致，性能更好。
>is.na(c(1, NA))
[1] FALSE TRUE
>any(is.na(c(1, NA)))
[1] TRUE
>anyNA(c(1, NA))
[1] TRUE
5. arrayInd()和which()函数增加useNames参数，用于列名的匹配。我在测试过程，不太理解这个参数的意义。
>which
function (x, arr.ind = FALSE, useNames = TRUE)
6. is.unsorted()函数支持处理原始数据的向量。
>is.unsorted(1:10) # 排序的向量
[1] FALSE
>is.unsorted(sample(1:10)) # 无序的向量
[1] TRUE
7. 用于处理table的as.data.frame()函数和as.data.frame.table()函数，支持向provideDimnames(sep,base)函数传参数。我在测试过程中，也不理解具体是什么更新。
8. uniroot()函数增加新的可选参数extendInt，允许自动扩展取值范围，并增加返回对象参数init.it。
>f1 <- function(x) (121 - x^2)/(x^2+1) # 函数f1
>f2 <- function(x) exp(-x)*(x - 12) # 函数f2
>try(uniroot(f1, c(0,10))) # 在(0,10)的区间求f1函数的根
Error in uniroot(f1, c(0, 10)) :
f() values at end points not of opposite sign
>try(uniroot(f2, c(0, 2))) # 在(0,2)的区间求f2函数的根
Error in uniroot(f2, c(0, 2)) :
f() values at end points not of opposite sign
>str(uniroot(f1, c(0,10),extendInt="yes")) # 通过extendInt参数扩大取值搜索范围
List of 5
$ root : num 11
$ f.root: num -3.63e-06
$ iter : int 12
$ init.it : int 4
$ estim.prec: num 6.1e-05
>str(uniroot(f2, c(0,2), extendInt="yes")) # 通过extendInt参数扩大取值搜索范围
List of 5
$ root : num 12
$ f.root: num 4.18e-11
$ iter : int 23
$ init.it : int 9
$ estim.prec: num 6.1e-05
9. switch(f,)函数，当参数f是因子类型时，会出警告提示，需要转换字符串参数。
>switch(ff[1], A = "I am A", B="Bb..", C=" is C")# ->"A" # 警告提示
[1] "I am A"
Warning message:
In switch(ff[1], A = "I am A", B = "Bb..", C = " is C") :
EXPR is a "factor", treated as integer.
Consider using 'switch(as.character( * ), ...)' instead.
>switch(as.character(ff[1]), A = "I am A", B="Bb..", C=" is C") # 转型为字符串处理
[1] " is C"
10. 解析器已经更新，使用更少的内存。
如何更好地掌握机器学习Colorado是伯克利大学的在读博士，同时也是Metacademy的创始人。Metacademy是一个优秀的开源平台，许多专业人员共同在这个平台上编写wiki文章。目前，这些文章主要围绕着机器学习和人工智能这两个主题。
在Colorado的建议中，更好地学习机器学习的方法就是不断的通过书本学习。他认为读书的目的就是让心中有书。
一个博士在读生给出这样的建议并不令人惊讶，以前本站可能还推荐过类似的建议。这个建议还可以，但我不认为适用每个人。如果你是个开发者，想实现机器学习的算法。下面列出的书籍是一个很好的参考，可以从中逐步学习。
机器学习路线图
他的关于机器学习的路线图分为5个级别，每个级别都对应一本书必须要掌握的书。这5个级别如下：
Level 0（新手）：阅读《Data Smart: Using Data Science to Transform Information into Insight》。需要了解电子表格、和一些算法的高级数据流。
Level 1（学徒）：阅读《Machine Learning with R》。学习在不同的情况下用R语言应用不同的机器学习算法。需要一点点基本的编程、线性代数、微积分和概率论知识。
Level 2（熟练工）：阅读《Pattern Recognition and Machine Learning》。从数学角度理解机器学习算法的工作原理。理解并调试机器学习方法的输出结果，同时对机器学习的概念有更深的了解。需要有算法、较好的线性代数、一些向量积分、一些算法实现经验。
Level 3（大师）：阅读《Probabilistic Graphical Models: Principles and Techniques》。深入了解一些高级主题，如凸优化、组合优化、概率论、微分几何，及其他数学知识。深入了解概率图模型，了解何时应该使用以及如何解释其输出结果。
Leval 4（宗师）：随便去学吧，记得反馈社区。
Colorado针对每个级别中列出的书中章节阅读建议，并给出了建议去了解的相关顶级项目。
Colorado后来重新发布了一篇博客，其中对这个路线图做了一点修改。他移除了最后一个级别，并如下定义了新的级别：好奇者、新手、学徒、熟练工、大师。他说道，Level 0中的机器学习好奇者不应该阅读相关书籍，而是浏览观看与机器学习有关的顶级视频。
机器学习中被忽视的主题
Scott Locklin也阅读了Colorado的那篇博客，并从中受到了启发，写了一篇相应的文章，名为“机器学习中被忽视的想法”（文中有Boris Artzybasheff绘制的精美图片）。
Scott认为Colorado给出的建议并没有充分的介绍机器学习领域。他认为很少有书籍能做到这一点，不过他还是喜欢Peter Flach所著的《Machine Learning: The Art and Science of Algorithms that Make Sense of Data》这本书，因为书中也接触了一些隐晦的技术。
Scott列出了书本中过分忽视的内容。如下所示：
实时学习：对流数据和大数据很重要，参见Vowpal Wabbit。
强化学习：在机器人方面有过讨论，但很少在机器学习方面讨论。
“压缩”序列预测技术：压缩数据发现学习模式。参见CompLearn。
面向时间序列的技术。
一致性预测：为实时学习精确估计模型。
噪声背景下的机器学习：如NLP和CV。
特征工程：机器学习成功的关键。
无监督和半监督学习。
这个列表很好的指出了机器学习中没有注意到的领域。
最后要说明的是，我自己也有一份关于机器学习的路线图。与Colorado一样，我的路线图仅限于分类/回归类型的监督机器学习，但还在完善中，需要进一步的调查和添加所有感兴趣的主题。与前面的“读这些书就可以了”不同，这个路线图将会给出详细的步骤。
