本文分析利用IBM离职员工数据进行分析。在对离职率的影响因素进行观察的基础至上，建立模型并预测哪些员工更易离职。
一般而言，数据分析分为三个步骤：数据收集与清洗、探索性分析和建模预测。本文的数据集是IBM用于研究员工预测的 模拟数据 ，数据十分完整，无需清洗。因此，本文主要分为三个部分：
通过对IBM离职员工数据实践，本文希望发掘出影响员工流失的因素，并对利用R语言进行数据分析过程进行复习，深化对数据分析工作意义的理解。
IBM离职员工数据集共有35个变量，1470个观测个案。部分需要重点关注的变量如下：
上述变量可以分为三个部分：
载入分析包和数据集
通过描述性统计可以初步观测到：
分析结果：
基于对数据的探索性分析，员工离职有多方面因素的影响，主要有：
1.工作与生活的不平衡——加班、离家远和出差等；
2.工作投入如果不能获得相匹配的回报，员工更倾向离职；
3.优先股认购等福利是员工较为关注的回报形式；
4.年龄、任职过的公司数量的因素也会影响员工离职率；
删除需要的变量：EmployeeCount, EmployeeNumber, Over18, StandardHours
变量重新编码：JobRole, EducationFiled
分析结果表明：
随机森林所得的AUC值为0.5612，小于决策树模型。
GBM模型得到的AUC值为0.5915
对于对于随机森林和GBM的方法，AUC值小于单一决策树模型的AUC值的情况较少见，这显然说明单一的树拟合得更好或者更稳定的情况。（一般需要得到AUC值大于0.75的模型）
当结果分类变量之间的比列是1：10或者更高的时候，通常需要考虑优化模型。本例中，离职变量的比列是1：5左右，但仍然可能是合理的，因为在决策树中看到的主要问题是预测那些实际离开的人（敏感度）。
加权旨在降低少数群体中的错误，这里是离职群体。
向上采样（up-sampling）指从多数类中随机删除实例。
向下采样（down-sampling）指从少数类中复制实例。
分析结果表明：
加权调整的模型表现最好，相比较于单纯的随机森林和GBM模型，AUC值从0.5612上升至0.7803，灵敏度也达到了0.7276。据此，后续将采用加权调整后的模型进行预测。
已经训练出一个表现较好的模型。将其应用于实践时，需要注意以下几个方面：
可以观察到影响员工流失的前5个因素是：
因此，在实践中就需要注意：
本例中对工作投入高、收入低的员工进行预测。
本例分析仍有需要足够完善的地方，还可以往更多更有意义的地方探索：
R语言之决策树和随机森林总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。
一、特征生成：
特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。
二、特征选择
特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。
过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等
包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？
常用的算法是分步回归包括向前搜索、向后删除、双向搜索
向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；
向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；
双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；
这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）
内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选取。
三、决策树
决策的几个要点：1、如何决策？（也就是如何树如何分叉）------熵和信息增益---这里面包含的就是特征的选择？哪个特征变量包含的信息量大，就排在前面，至于最后树的深度就决定特征变量的个数。
当然不同的算法使用的衡量的标准不同，还有：信息增益比、基尼不纯系数
2、如何剪枝？-----一般是事后剪枝
3、连续性变量如何离散化？-----阈值的选择
熵：是指信息的混合程度（混乱程度），熵【0-1】越大表示该集合中混合的信息越多，也就表明这次的分叉效果不好还是有很多不同类的信息混在一起
信息增益：熵值的减少量，越大越好
决策树模型特点：模型易于解释；存储空间较小，以树的形式存储，决策树是一个弱分类器，不能完全分类，需要把多个弱分类器通过多数投票法组合在一起。
四、R包实现决策树
library(rpart)
library(rpart.plot)
## rpart.control对树进行一些设置
## xval是10折交叉验证
## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止
## minbucket：叶子节点最小样本数
## maxdepth：树的深度
## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度
ct <- rpart.control(xval=10, minsplit=20, cp=0.1)
## kyphosis是rpart这个包自带的数据集
## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。
## method：树的末端数据类型选择相应的变量分割方法:
## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”
## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）
## cost是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”
data("Kyphosis")
fit <- rpart(Kyphosis~Age + Number + Start,data=kyphosis, method="class",control=ct,parms = list(prior = c(0.65,0.35), split = "information"))
## 作图有2种方法
## 第一种：
par(mfrow=c(1,3))plot(fit)text(fit,use.n=T,all=T,cex=0.9)
## 第二种，这种会更漂亮一些：
rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,
shadow.col="gray", box.col="green",
border.col="blue", split.col="red",
split.cex=1.2, main="Kyphosis决策树")
## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少
## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstd
printcp(fit)
## 通过上面的分析来确定cp的值
##调用CP（complexity parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应
#的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。
plotcp(fit)
##利用以下方法进行修剪：
## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])
fit2 <- prune(fit, cp=0.01)
#利用模型预测
ndata=data.frame(...)
predict(fit,newdata=ndata)
#案例
str(iris)
set.seed(1234)#设置随机数种子--使每次运行时产生的一组随机数相同，便于结果的重现
#抽样：从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集（常用）
#这里是对行抽样,ind是一个只含1和2的向量
ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))
trainData <- iris[ind==1,]
testData <- iris[ind==2,]
f<-Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width
#训练数据
fit<-rpart(f,trainData)
#预测
re<-predict(fit,testData)
#******************或者用其他包********************
library(party)
#建立决策树模型预测花的种类
myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width
iris_ctree <- ctree(myFormula, data=trainData)
# 查看预测的结果
z<-table(predict(iris_ctree), trainData$Species)
#可以根据以上列联表求出预测的正确率---评估模型
#计算准确度
q<-sum(diag(z))/sum(z)
五、机器集成与随机森林法则
前面说过，决策树的一个特点是：弱分类器，分类不完全，需要利用集成投票的方式来增加精确度和稳健性。
机器集成算法：对于数据集训练多个模型，对于分类问题，可以采用投票的方法，选择票数最多的类别作为最终的类别，而对于回归问题，可以采用取均值的方法，取得的均值作为最终的结果。主要的集成算法有bagging和adaboost算法。
随机森林：随机森林就是利用机器集成多个决策树，主要有两个参数，一个是决策树的个数，一个是每棵树的特征变量个数。
随机森林特点：精确度高、稳健性好，但可解释性差。(可以知道各个变量的重要性)
R包实现机器集成算法：
#adabag包均有函数实现bagging和adaboost的分类建模
#利用全部数据建模
library(adabag)
a<-boosting(Species~.,data=iris)
z0<-table(iris[,5],predict(a,iris)$class)
#计算误差率
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
barplot(a$importance)
b<-errorevol(a,iris)#计算全体的误差演变
plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图
a<-bagging(Species~.,data=iris)
z0<-table(iris[,5],predict(a,iris)$class)
#计算误差率
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
barplot(a$importance)
b<-errorevol(a,iris)#计算全体的误差演变
plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图
#5折交叉验证
set.seed(1044) #设定随机种子
samp=c(sample(1:50,25),sample(51:100,25),sample(101:150,25)) #进行随机抽样
a=boosting(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模
z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果
z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
E1<-(sum(z0)-sum(diag(z0)))/sum(z1)
a=bagging(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模
z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果
z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果
E0<-(sum(z0)-sum(diag(z0)))/sum(z0)
E1<-(sum(z0)-sum(diag(z0)))/sum(z1)
R包实现随机森林：
#随机森林法则
library(randomForest)
library(foreign)
data("iris")
#抽样数据
ind<-sample(2,nrow(iris),replace = TRUE,prob=c(0.7,0.3))
traning<-iris[ind==1,]
testing<-iris[ind==2,]
#训练数据
rf <- randomForest(Species ~ ., data=traning, ntree=100, proximity=TRUE)
#预测
table(predict(rf),traning$Species)
table(predict(rf,testing),testing$Species)
#查看预测的效果
print(rf)
plot(rf)
#查看重要性
importance(rf)
varImpPlot(rf)
参考学习资料：菜鸟团生信专题
对统计学原理不太熟练的时候听到一个名词 随机森林 ，这是个什么鬼，这个森林里有啥，随机出现什么？这东西干啥的？啥也不知道啊，只好学习了。
根据搜到的结果终于知道了这个统计方法是怎么回事了。
果然是森林，由很多树组成的，很多什么树呢，决策树，厉害了，这个树是有决策能力的的，能预测森林的走向，那么怎么实现的呢，决策树又是怎么来的呢，是来源于一堆数据，理清楚了，就是一堆数据通过某种算法变成了由决策树的形式展现出来，然后很多树对这个数据进行了深度分析，然后形成了一个随机森林可以根据已有的这堆数据对某个现象或某个疾病的进展做一个预后的推测，通常情况下预测精度还是蛮精准的。
这不就是赋予机器以思想的过程吗，估计深度学习就是这么来的。高级！
以上是我脑补的，具体过程还请看前面的参考资料。
构建一个决策树是很简单的，分为3步：
决策树是一种有监督机器学习算法，所以需要一个已知数据用于计算，这种数据分为两部分：我们可以分别将其理解为“自变量”和“因变量”。
第一步——得到最佳的根节点
使用一种叫做 Gini 的方法， Gini 用于衡量每一个决策树的 impurity （不纯净度），Gini值越低越好，它的计算非常简单：
Gini impurity=1-(1-probability of "Yes")^2-(1-probability of "No")^2
第二步——限定根节点，同样方法找到最佳的内部节点
第三步——继续限定二级节点，完成最终的一侧分支
以此类推，直到完成全部的节点构建。（具体实例参考上述学习资料）
随机森林通过bootstrap和随机子集的方法可以产生大量的随机数据集，从而形成随机森林。而在bootstrap的过程中，由于是有放回的抽样，所以每一个boots数据集中绝大部分都会有重复样本，也就是说原始数据集中的一些样本不在bootstrap数据集中，这些样本称为 Out-of-bag Dataset 。
反过来说，假定一个随机森林有100个决策树，对于原始数据来说，每一个样本都有可能是某些树的 Out-of-bag 数据。
所以刚好就可以使用 Out-of-bag Dataset 数据集去评价随机森林的效果好坏。
具体如何评价呢？
方法就是将同 Out-of-bag 数据对应的决策树对 Out-of-bag 数据进行分类计算，看计算出来的分类结果和原始分类是否相符，计算不相符的 Out-of-bag Dataset 的比例，此比例就是随机森林的优劣程度评价。因此又叫做 Out-of-bag Error 。
由于我们已经知道了如何构建随机森林，也已经知道了随机森林的评价方法，所以寻找最优子集数目是一个非常简单的过程，多试试几个子集数目，寻找 Out-of-bag Error 最小的随机森林即可。
最优子集的选择是如下过程：
好，原理理清楚了，那就在R中进行随机森林的实践。
用到的R包为 ggplot2 、 randomForest 。
使用read.csv函数读取网络数据。
修改列名
修改数据格式
从官网可以知道14个数据变量的含义，他们分别是：
然后我们使用str(data)看一下此时的数据结构可以发现不规范的变量有，
按照上述情况，进行以下修改：
转换数据格式，这里注意 as. 的用法，以及函数 ifelse 的用法
填补缺失值
rfImpute 函数用于填补缺失值，随机森林的缺失值填补是根据相似度进行填补的一种迭代算法。
结果会输出每次迭代后的OOB值，越低越好。
构建随机森林
决策树的数量
默认是创建500棵决策树，此时的OOB（out of bag）值可以用于评价随机森林的模型如何。
我们可以看看此时从第1棵树到第500棵决策树时，OOB的变化趋势：
可以看出，大概从150以后的OOB的值趋于稳定了，默认的500是非常稳健的数值了。
我们可以改变不同的子集数目以确认最佳子集数目是多少，比如可以看一下子集数目分别为1-10时的结果：
可以发现最低的OOB确实是子集数目为3。
