本文分析利用IBM离职员工数据进行分析。在对离职率的影响因素进行观察的基础至上，建立模型并预测哪些员工更易离职。
一般而言，数据分析分为三个步骤：数据收集与清洗、探索性分析和建模预测。本文的数据集是IBM用于研究员工预测的 模拟数据 ，数据十分完整，无需清洗。因此，本文主要分为三个部分：
通过对IBM离职员工数据实践，本文希望发掘出影响员工流失的因素，并对利用R语言进行数据分析过程进行复习，深化对数据分析工作意义的理解。
IBM离职员工数据集共有35个变量，1470个观测个案。部分需要重点关注的变量如下：
上述变量可以分为三个部分：
载入分析包和数据集
通过描述性统计可以初步观测到：
分析结果：
基于对数据的探索性分析，员工离职有多方面因素的影响，主要有：
1.工作与生活的不平衡——加班、离家远和出差等；
2.工作投入如果不能获得相匹配的回报，员工更倾向离职；
3.优先股认购等福利是员工较为关注的回报形式；
4.年龄、任职过的公司数量的因素也会影响员工离职率；
删除需要的变量：EmployeeCount, EmployeeNumber, Over18, StandardHours
变量重新编码：JobRole, EducationFiled
分析结果表明：
随机森林所得的AUC值为0.5612，小于决策树模型。
GBM模型得到的AUC值为0.5915
对于对于随机森林和GBM的方法，AUC值小于单一决策树模型的AUC值的情况较少见，这显然说明单一的树拟合得更好或者更稳定的情况。（一般需要得到AUC值大于0.75的模型）
当结果分类变量之间的比列是1：10或者更高的时候，通常需要考虑优化模型。本例中，离职变量的比列是1：5左右，但仍然可能是合理的，因为在决策树中看到的主要问题是预测那些实际离开的人（敏感度）。
加权旨在降低少数群体中的错误，这里是离职群体。
向上采样（up-sampling）指从多数类中随机删除实例。
向下采样（down-sampling）指从少数类中复制实例。
分析结果表明：
加权调整的模型表现最好，相比较于单纯的随机森林和GBM模型，AUC值从0.5612上升至0.7803，灵敏度也达到了0.7276。据此，后续将采用加权调整后的模型进行预测。
已经训练出一个表现较好的模型。将其应用于实践时，需要注意以下几个方面：
可以观察到影响员工流失的前5个因素是：
因此，在实践中就需要注意：
本例中对工作投入高、收入低的员工进行预测。
本例分析仍有需要足够完善的地方，还可以往更多更有意义的地方探索：
1. 判断存在：一个元素是不是在向量中用 a%in%b>a="TT"
>b=c("AA","AT","TT")
>a %in% b
[1] TRUE
2. 判断某一元素这向量中的索引（第几个位置）： index.TT=which(b==”TT”)
>index.TT=which(b=="TT")#index.TT是想知道的索引号，which是判断函数，b是想知道的元素所在的向量
>index.TT
[1] 3
3. 相当于 python 中的字典， names 函数
>b
[1] "AA" "AT" "TT"
>names(b)=c("geno1","geno2","geno3")#geno mean genotype
>names(b)
[1] "geno1" "geno2" "geno3"
>names(b)[1]
[1] "geno1"
>names(b)[1]="test"
>names(b)
[1] "test""geno2" "geno3"
>names(b)=NULL
>b
[1] "AA" "AT"
>b["geno2"]
"AT"
pop_name=c(“CEU”,"YRI")
names(pop_name)=c(1,2)
names(pop_name[1])=1
4. 去除某一元素： b[-index.nu]
#想去除元素”TT”,如果你不知道是第几个索引，可以先判断索引，再删除。
>b=c("AA","AT","TT")
>names(b)=c("geno1","geno2","geno3")
>index.TT=which(b=="TT")
>b=b[-index.TT]
>b
geno1 geno2
"AA""AT"
5. 相当于 Python 中的 set() 函数 和 count() 函数： unique() ， table()
>b=c("TT","AT","AT","TT","AA")
>unique(b)#即相当于去除所有的重复，只保留一个
[1] "TT" "AT" "AA"
>table(b)#以元素为name,统计各元素的个数
b
AA AT TT
122
6. 字符串的分割： strsplit()
>test="AA"
>strsplit(test)
错误于strsplit(test) :缺少参数"split",也没有缺省值
>strsplit(test,split='')
[[1]]
[1] "A" "A"
>test=strsplit(test,split='')[[1]]
>test
[1] "A" "A"
7. 文本文档的写入： write.table()
write.table( res.matrix,file=new.file,sep='\t',quote=F,row.names=F,col.names=F,append=T)#quote=F去掉引号后写入，row.names=F去掉行的名字写入，否则会把名字写进去
##写入数据时候最好把数据存储成一个matrix然后直接写。要是每行每行写的话要注意数据的格式了。先建立一个空的matrix，见8，然后通过rbind或者cbind叠加上去。
方法一：
a=c()
b=c(“AA”,”TT”,”CC”)
for (i in 1:3){
a=c(a,b)
}
write.table(a,file=”test.txt”)#你会发现结果是
AA
TT
CC
….
##而且还有行和列的名字，因为没有设置参数。因为对于c向量来说，写的话默认是竖着写的，每个元素占一行。所以比较方便的就是rbind
方法二：
a=c()
b=c(“AA”,”TT”,”CC”)
for (i in 1:3){
a=rbind(a,b)
}
write.table(a,file=”test.txt”，quote=F,row.names=F,col.names=F)#你会发现结果是
AA TT CC
AA TT CC
AA TT CC
##原因是rbind把最总结果当做矩阵了。对于R数据的写入最好能生成最后的矩阵再写入。但是西面的梅一行写一次和方法二的效果是想通的，但是要用到append参数。
a=c()
b=c(“AA”,”TT”,”CC”)
for (i in 1:3){
a=rbind(a,b)
write.table(a,file=”test.txt”，quote=F,row.names=F,col.names=F,append=T)
}
8. 建立一个空的 matrix ：
res.matrix <- matrix( ,nrow=0,ncol=6 )##这样就建立了一个0行6列的空matrix了。
9. 如何将 R 运行结果输出到文件
>x=read.table("F:/my/work/chengxu/PValue/pc2jieguo/pc2302.txt")
>z=t(x)
>ks.test(y,z)
Two-sample Kolmogorov-Smirnov test
data:y and z
D = 0.207, p-value <2.2e-16
alternative hypothesis: two-sided
如上面运行结果，我想将p-value <2.2e-16自动保存到一个文件中，如何用R程序实现，谢谢！
sink("output.txt")
print(ks.test(y,z)$p.value)
sink()
http://cos.name/cn/topic/16300
10 降序排列：
>a=c(1,1.2,0.1,4,5,-0.1)
>a=sort(a,decreasing=T)
>a
[1]5.04.01.21.00.1 -0.1
11. 取前1％的数
>a=c(1:10,4:20,1:100,1:1000)
>a=sort(a,decreasing=T)#先降序
>sig=a[round(length(a)*0.01)]
>sig
[1] 990
12.在shell中直接执行R脚本
R CMD BATCH --argstest.R
13. R中高级作图的方法
http://qizhi502.blog.163.com/blog/static/11497002520120611451736/
14:设置字体类型：
par(family='Times New Roman')
15:控制图形四周的空白大小
par(mfrow=c(3,1),mar=c(0,0,0,0))
其中mar是四周的间距,分别为x,y上下的距离
16控制作图区域的大小layout
layout(c(1,2,3),height=c(1,1,0.5))
分成竖着三份， 其中三份比列依次为（高度依次为2：2：1）
17保留两位小数
round(0.123,digits=2)
18 在原有图的基础上画图：
par(fig=c(0.1,0.5,0.43,0.65), new=TRUE)
19 只显示y轴
plot(1:10,1:10,axes=F)
axis(2,at.....)
20 调节刻度方向 las
plot(1:10,1:10,las=1)
21 屏幕分割
layout(matrix(1:16,4,4))＃＃＃竖着plot
par(mfrow=c(4,4))##横着plot
22.逻辑表示或者
xor为异或，两值不等为真，两值相等为假。例：xor(0, 1)
23. 从向量中随机取几个数sample
sample(rep(1:1000),10)
23 字符串转换成小数浮点型
as.numeric("0.123")
24. 读取不规范的文本
f=readLines(afile,n=1)＃n表示读几行
f=strsplit(f,'\t')##分割
f[1][[1]]##第一行
f[1][[1]][1]##第一行 第一个字符串
25. write 写入文件
write(afile, "a\tb\t",append=T) #沿着每行一次 写入
26. 不需要循环，这直接对matrix没行或者每列进行筛选操作apply（）
apply（data,col2 or row1, max>0）
27.保留2位小数
a=2.300
a=as.numeric(sprintf(“%.3f”,a))
28。调出假设检验的p value
t.test(data1,data2)$p.value
%>%是管道符的意思，把左边的输出（不包括 <- 之前的）当成右边的输入。
都可以shift + alt + 上下 ：快速复制粘贴
alt + 上下 ：移动行
ctrl + alt + 上下 ：多重光标
首先选中要注释掉的行，然后按Ctrl+shift+C ，这样就注释掉了。
sessionInfo()
.libPaths()
一篇关于包的博客
library(installr)
updateR()
COS中文论坛 统计之都旗下的论坛网站(d.cosx.org),它和其主站(cosx.org)一 起，是一个致力于推广与应用统计学知识的网站和社区。
1 help("t.test")
2 ?t.test
3 help.search("t.test")
4 apropos("t.test")
5 RGui>Help>Html help
6 查看R包pdf手册
getwd() 显示工作目录
setwd() 设定工作目录
list.files() 列出目录或文件夹下的文件
demo( ) 显示R的基本程序包
example( ) 显示在线帮助的例子
example(barplot)
可以把若干行命令保存在一个文本文件（比如Eg3.R）中，然 后用source函数来运行整个文件： source("E:/R demo/Chapter1-Eg3.R")
sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量， sort，order，rank与排序有关， 其它还有ave，fivenum，mad，quantile， stem等
-1:1/0 当中/是优先级靠后的操作。相当于c(-1,0,1)/0
names(df) <- c("male", "female", "unknown")
对于矩阵，我们可以使用属性rownames和colnames来访问行名和列名。
我们也可以先定义矩阵x然后再为dimnames(x)赋值：
数值型数据 ：1.2345e30
复数常量就用3.5-2.1i
缺失值：NA（Not Available）
是否含有缺失值：
NaN表示不确定的数
• NaN属于NA的一种
• NA不是NaN
注意下面例子的比较 :
assign("x1", c(1, 2))
sort(x)返回x的元素从小到大排序的结果向量。
x=c(2,10,6,8,4,5)sort(x) [1] 2 4 5 6 8 10 order(x)返回使得x从小到大排列的元素下标向量(x[order(x)]等效于sort(x))。
此外numeric(n)可以产生一个长度为n的零向量（numeric(n)是一个 很好用的外部存储器）
paste函数用来把它的自变量连成一个字符串，中间用空格分开
Re( )计算实部，Im( )计算虚部， Mod( ) 计算复数模，Arg( )计算复数幅角。
v为一个向量，取值在－length(x)到－1之间，表示扣除相应 位置的元素。例如:
可以用x[]的写法：
R的对象有两个基本的属性：类型属性(mode)和长度属性(length)。
长度为零的向量 numeric( ) 或者 numeric(0) character( ) 或者 character(0)
数组(array): 带多个下标的类型相同的元素的集合，
函数matrix()：用于构造二维数组，即矩阵
函数factor( )用来把一个向量编码成为一个因子。
可以自行指定各离散取值水平（levels），不指定时由x的不同值来求得。
• labels可以用来指定各水平的标签，不指定时用各离散取值的对应字符串。
• exclude参数用来指定要转换为缺失值（NA）的元素值集合。
• ordered取真值时表示因子水平（Levels）是有次序的
因子可以用来作为另外的同长度变量的分类变量，使用tapply() 函数可以完成分类统计
nchar()这个函数简单，统计向量中每个元素的字符个数
tolower()和toupper()可以进行大小写字母的转换
chartr()把字符串里的元素，按要求进行转换
拆分字符串用strsplit()函数,strsplit得到的结果是列表，后面的处理要调用列表
其任何一个语句都可以看成是一个表达式。
表达式之间以分号分隔或用换行分隔。
表达式可以续行，只要前一行不是完整表达式，则下一行为上一行的继续。
线性回归模型：
lm()函数的返回值叫做模型拟合结果对象，本质上是一个列表， 有model 、coefficients、residuals等成员。lm()的结果显示十分 简单，为了获得更多的拟合信息，可以使用对lm类对象有特 殊操作的通用函数，这些函数包括：
add1 coef effects kappa predict residuals alias deviance family labels print summary anova drop1 formula plot proj
加号+或 者减号－，表示在模型中加入一项或去掉一项，第一项前面如果是加号可以 省略
在非交互运行（程序）中应使用print()来输出。
• digits参数指定每个数输出的有效数字位数；
• quote 参数指定字符串输出时是否带两边的撇号；
• print.gap参数指定矩阵或数组输出时列之间的间距
也用来输出，但它可以把多个参数连接起来再输出（具有paste() 的功能）。例如：
读取文件：
strsplit()得到的结果是 列表。
grep() 和 grepl()
sub()和gsub()
但严格地说R语言 没有字符串替换的函数，因为R语言不管什么操作对参数都是传值不传址，区别如下：
用substr()和substring() 可以通过位置进行字符串拆分或提取，两者的参数设置基本相同：
strtrim() 函数可以用于将字符串修剪到特定的显示宽度通过位置进 行字符串拆分或提取：
由于日期内部是用double存储的天数，所以是可以相减的。
weekdays ( )取日期对象所处的周几；
months ( )取日期对象的月份；
quarters ( )取日期对象的季度；
其任何一个语句都可以看成是一个表达式。
表达式之间以分号分隔或用换行分隔。
表达式可以续行，只要前一行不是完整表达式，则下一行为上一行的继续。
quantile(x, probs=seq(0,1,0.25), na.rm=FALSE, names=TRUE, type=7, …)
probs给出相应的百分位数，默认值是0，0.25，0.5，0.75，1；na.rm是处 理缺失数据的，na.rm=TRUE时，NA和NaN将从数据中移走，向量取值中 若有NA或NaN，要添加这一参数，否则会出错；names若为TRUE，返回 值当中有names这个属性"type是取值1-9的整数，选择了九种分位数算法 (具体算法见帮助文件)中的一种。
数据的分布主要考察分布函数(p), 密度函数(d), 分位数函数(q)及产生随机数(r)
以正态分布为例：
hist(x, breaks="Sturges", freq=NULL, probability=!freq,… )
break规定了直方图的组距(必须覆盖数据的范围)；freq是逻辑变量，TRUE是频率直方图， FALSE是密度直方图；probability和freq相反，TRUE是密度直方图，FALSE是频率直方图
其形式为 coplot(y ~ x | z)，其中x 和y是数值型向量，z是同长度的因子。 对z的每一水平，绘制相应组的x和y的散点图
R缺省的图形边空常常太大，以至于有时图形窗口较小时边空占了整个图形的很大一部分。
R可以在同一页面开若干个按行、列排列的窗格，在每个窗格中可以作一 幅图。每个图有自己的边空，而所有图的外面可以包一个“外边空”。
一页多图用 mfrow 参数或 mfcol 参数规定，如
函数 mtext 用来在外边空加文字标注。其用法为
在多图环境中还可以用 mfg 参数来直接跳到某一个窗格，比如
可以不使用多图环境而直接在页面中的任意位置产生一个窗格来绘图，参数为 fig ，如：
先用as.factor()转化成因子。因为levels()函数里面必须是因子。
dat$Genre没有转化成因子形式，as.factor(dat$Genre)就可以了
该消息表明文件的最后一行不以行尾 (EOL) 字符结尾（换行符 ( \n ) 或回车 + 换行符 ( \r\n )）。此消息的初衷是警告您该文件可能不完整；大多数数据文件都有一个 EOL 字符作为文件中的最后一个字符。
这是因为R读取文件的时候，是一整段character，所以它只会返回1，适当给他分一下段。
