method 1
1.创建file.R文件
2.文件首行
#!/path/to/Rscript
3.在下面的行中键入R代码
4.保存(如果有png(),jpeg()等函数代码最后一定要dev.off())
5.在file.R的工作目录下,在终端中输入以下命令
R CMD BATCH --args file.R
method 2
1.创建R脚本
2.文件首行
#!/usr/bin/env Rscript
3.终端输入以下命令
R CMD BATCH --args file.R
或者 Rscript file.R
chmod 755 file.R
./file.R
method 3
1.在file.sh文件中键入:
#!/bin/sh
R --slave [other option]<<EOF
R 代码
EOF
chmod 755 file.sh
./file.sh
method 4
回归R环境
>source("/homeR/file.R")
基于R语言的数据标准化处理脚本数据标准化(Normalization)
将数据按比例缩放,使之落入一个小的特定区间。去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。
数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。
数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。
数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。
min-max标准化(Min-max normalization)
也叫离差标准化,是对原始数据的线性变换,使结果落在[0,1]区间,转换函数如下:
正向指标:(x-min)/(max-min)
负向指标:(max-x)/(max-min)
其中max为样本数据的最大值,min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。
R语言实现
# 标准化处理
min.max.norm <- function(x){
((x-min(x))/(max(x)-min(x)))
} #正向指标
max.min.norm <- function(x){
((max(x)-x)/(max(x)-min(x)))
} #负向指标
data_1 <- apply(data[,-c(3,4)],2,min.max.norm) #正向指标处理
data_2 <- apply(data[,c(3,4)],2,max.min.norm) #负向指标处理
#注意array只能用在二维及以上
data_t <- cbind(data_1,data_2)
本文分析利用IBM离职员工数据进行分析。在对离职率的影响因素进行观察的基础至上,建立模型并预测哪些员工更易离职。
一般而言,数据分析分为三个步骤:数据收集与清洗、探索性分析和建模预测。本文的数据集是IBM用于研究员工预测的 模拟数据 ,数据十分完整,无需清洗。因此,本文主要分为三个部分:
通过对IBM离职员工数据实践,本文希望发掘出影响员工流失的因素,并对利用R语言进行数据分析过程进行复习,深化对数据分析工作意义的理解。
IBM离职员工数据集共有35个变量,1470个观测个案。部分需要重点关注的变量如下:
上述变量可以分为三个部分:
载入分析包和数据集
通过描述性统计可以初步观测到:
分析结果:
基于对数据的探索性分析,员工离职有多方面因素的影响,主要有:
1.工作与生活的不平衡——加班、离家远和出差等;
2.工作投入如果不能获得相匹配的回报,员工更倾向离职;
3.优先股认购等福利是员工较为关注的回报形式;
4.年龄、任职过的公司数量的因素也会影响员工离职率;
删除需要的变量:EmployeeCount, EmployeeNumber, Over18, StandardHours
变量重新编码:JobRole, EducationFiled
分析结果表明:
随机森林所得的AUC值为0.5612,小于决策树模型。
GBM模型得到的AUC值为0.5915
对于对于随机森林和GBM的方法,AUC值小于单一决策树模型的AUC值的情况较少见,这显然说明单一的树拟合得更好或者更稳定的情况。(一般需要得到AUC值大于0.75的模型)
当结果分类变量之间的比列是1:10或者更高的时候,通常需要考虑优化模型。本例中,离职变量的比列是1:5左右,但仍然可能是合理的,因为在决策树中看到的主要问题是预测那些实际离开的人(敏感度)。
加权旨在降低少数群体中的错误,这里是离职群体。
向上采样(up-sampling)指从多数类中随机删除实例。
向下采样(down-sampling)指从少数类中复制实例。
分析结果表明:
加权调整的模型表现最好,相比较于单纯的随机森林和GBM模型,AUC值从0.5612上升至0.7803,灵敏度也达到了0.7276。据此,后续将采用加权调整后的模型进行预测。
已经训练出一个表现较好的模型。将其应用于实践时,需要注意以下几个方面:
可以观察到影响员工流失的前5个因素是:
因此,在实践中就需要注意:
本例中对工作投入高、收入低的员工进行预测。
本例分析仍有需要足够完善的地方,还可以往更多更有意义的地方探索: