cronbach’s alpha系数，一般翻译成克隆巴赫alpha系数，效度用探索性因子分析(KMO和Bartlett)。

alpha等于 测验题目数/(测验题目数－1) 乘 {1 - 各被试在该题目上的方差的和 / 所有被试总分的方差 }

K即第一个公式的n，代表题目数量。

小sigma方即第一个公式的S方，代表方差。

然后直接调用就可以。

参考文献：

道客巴巴

qq_43157351. R语言与克朗巴哈alpha系数

用R语言实现Cronbach 值的计算

λi表示题目i在潜变量ξ上的负荷, δi是误差项, 误差之间不相关。整个测验分数X=x1+x2+…xp的合成信度如上图 (叶宝娟, 温忠麟, 2011Brown, 2006Yang&Green, 2010)

假设一个单维测验由p个题目组成, 测量了一个因子F, 测验施测后, p个题目的标准化变量为 (i=1, 2, ..., p) ，可以按照以下方式计算。

其中, εi是只和i有关的特殊因子 (也称为误差项) , λi是第i个变量i在因子F上的负荷。假设题目误差不相关, 如果整份测验的分数相加有意义, 则单维测验整份测验X=1+2+...+p的合成信度为：

其中, θi为i的误差方差, (2) 式也可计算多维测验单个维度的合成信度。如果用固定方差法指定因子测量单位, 即var (F) =1, 则上式变为:

因为X i 是标准化变量, 所以Σ θ=p-Σ λ2则 (3) 式变为:

上图这个表达式更易懂一些，也更容易计算。

λ为因子载荷量，p为题目个数。

计算出因子载荷量之后可以通过函数计算ρ

参考文献：

杨强 叶宝娟 温忠麟(2014). 用SPSS软件计算单维测验的合成信度. 中国临床心理学杂志: 22(03), 496-498

温忠麟(2011). 单维测验合成信度三种区间估计的比较.

一、内在效度(content related validity)：研究者的发现与事实相符合的程度，即研究结果是不是真的在测量事实的真相的能力。

二、内容效度的评估方法 ：1.专家判断法2.统计分析法(评分者信度\复本信度\折半信度\再测法)3.经验推测法 (实验检验)

提高内部效度的方法：

1．三角检定法：多元的搜集资料方式，包括不同的资料来源(报章、官方文件、会议记录)，访谈不同人员(如教师、行政人员、学者专家)，及采用不同资料的搜集方法(如访谈、观察、非正式讨论)等，来相互验证资料与实施的相符程度。

2．研究对象的核查：和被研究者一起讨论定稿，以确定自己记录的是其所叙的。

3．持续的观察

来自：qiuyaofeng2012. 信度和效度经典例子_第四节个案研究的效度与信度. CSDN

一、构想效度：测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，其解释的程度如何。

二、构想效度的估计方法：1. 对测验本身的分析（用内容效度来验证构想效度）；2. 测验间的相互比较：相容效度（与已成熟的相同测验间的比较）、区分效度（与近似或应区分测验间的比较）、因素分析法 ；3. 效标效度的研究证明 ；4. 实验法和观察法证实

衡量测验有效性的参照标准，指的是可以直接而且独立测量的我们感兴趣的行为。

又称 实证效度 ，反映的是测验对个体的预测在某种情境下的有效性程度(所测情况与实际情况之间的相关)。

根据效标资料是否与测验分数同时获得，又可分为 同时效度 (实际士气高和士气低的人在士气测验中的得分一致性。)和 预测效度 两类。

1.相关法：效度系数、效标效度常用方法。以皮尔逊积差相关系数来表示，反映测验分数与效标测量之间的相关程度。

当测验成绩是连续变量，而效标资料是二分变量时，计算效度系数可用点二列相关公式或二列相关公式；

当测验分数为连续变量，效标资料为等级评定时，可用贾斯朋多系列相关公式计算。

2.区分法：检验 测验分数 能否有效地区分 由效标所定义的团体 。

进行t检验，若差异显著，说明该测验能够有效地区分由效标定义的不同团体(如抑郁 测验得分 的高低可以区分出 真正的 高抑郁组和 真正的 低抑郁组)，

重叠百分比可以通过计算每一组内得分超过（或低于）另一组平均数的人数百分比得出；

另外，还可以计算两组分布的共同区的百分比。重叠量越大，说明两组分数差异越小，即测验的效度越差。

3.命中率法：是当测验用来做取舍的依据时，用其正确决定的比例作为效度指标的一种方法。命中率的计算有两种方法，一是计算总命中率，另一种是计算正命中率。

4、预期表法：是一种双向表格，预测分数排在表的左边，效标排在表的顶端。从左下至右上对角线上各百分数字越大，而其它的百分数字越小，表示测验的效标效度越高 ；反之，数字越分散，则效度越低。

命中率法和预期表法相似。详细可参照戴海琦，张锋<心理与教育测量>第五章：测量效度

一般在研究中用到的效度指标是结构效度，测量题与测量变量之间的对应关系。可以使用探索性因素分析(exploratory factor analysis，EFA)和验证性因子分析(comfirmatory factor analysis，CFA)

计算协方差矩阵/相关系数矩阵。可以利用cov2cor()将协方差转化为相关系数矩阵，也可利用cor2cov()转化回来

· KMO值：如果此值高于0.8，则说明效度高；如果此值介于0.7 0.8之间，则说明效度较好；如果此值介于0.6 0.7，则说明效度可接受，如果此值小于0.6，说明效度不佳

· 巴特球形检验：其对应巴特球形值，对应P值一定需要小于0.05，这样才能说明通过巴特球形检验

· 特征根：此值是判断因子（维度）个数的标准的信息量，由于已经设置好因子（维度）个数，因而此值意义较小可忽略；

· 方差解释率值：代表各维度可解释整体量表的信息量；

· 累积方差解释率值：所有维度可解释整体量表的信息量；

· 因子载荷系数值：分析项与维度之间的相关关系情况；此值非常非常重要，可用于判断分析项与维度的对应关系情况，下述会有说明；

· 共同度值：分析项可以被提取出的信息量情况，比如为0.617，可以理解为该项有61.7%的信息可被最终提取出来。

R语言泊松Poisson回归模型分析案例

这个问题涉及马蹄蟹研究的数据。研究中的每只雌性马蹄蟹都有一只雄性螃蟹贴在她的巢穴中。这项研究调查了影响雌蟹是否有其他男性居住在她附近的因素。被认为影响这一点的解释变量包括雌蟹的颜色（C），脊椎状况（S），体重（Wt）和甲壳宽度（W）。

数据文件：crab.txt。

我们将首先拟合仅具有一个自变量：宽度（W）的泊松回归模型

估计的模型是：$ log（ hat { mu_i}）$ = -3.30476 + 0.16405W ilog(μi^) = - 3.30476 + 0.16405W

估计的β= 0.164的ASE为0.01997，这是小的，并且该斜率在z值为8.216及其低p值的情况下在统计学上是显着的。

如果我们看一下W对Sa的散点图（见下文），我们可能会怀疑一些异常值

您可以考虑其他类型的残差，影响度量（如我们在线性回归中看到的）以及残差图。

以下是运行R代码其他部分的输出的一部分：

从上面的输出中，我们可以看到预测计数（“拟合”）和线性预测变量的值，即预期计数的对数值。

我们也可以看到，尽管预测是有意义的，但模型并不适合。考虑到剩余偏差统计值为567.88和171 df，p值为零，值/ DF = 567.88 / 171 = 3.321远大于1，因此该模型不适合。缺乏适合可能是由于缺少数据，协变量或过度分散。

更改模型

在上述模型中，我们检测到一个潜在的过分散问题，因为比例因子，例如残差偏差的值/ DF远大于1。

回想一下，过度分散的原因之一是异质性，其中每个协变量组合中的主体仍然差异很大。如果是这样的话，是否违背了Poisson回归模型的泊松模型的假设？

上述R程序的输出：

在这个模型中，随机分量在响应具有相同均值和方差的情况下不再具有泊松分布。根据给定的估计值（例如Pearson X 2 = 3.1822），随机分量的变化（响应）大约是平均值的三倍。

除了过度分散之外，如何忽略其他解释变量？我们可以通过添加其他变量来提高拟合度吗？

我们来比较一下这个输出和只有“W”作为预测的模型。我们将“虚拟变量”引入到模型中，以表示具有4级的颜色变量，其中4级作为参考级别。

此外，如果您运行anova（model.disp），从下面的输出中我们可以看到，在考虑宽度后，颜色几乎没有统计上显着的预测因子。

>anova（model.disp）

Df Deviance Resid。Df Resid。Dev

NULL 172 632.79

W 1 64.913 171 567.88

C1 1 3.130 170 564.75

C2 1 5.400 169 559.35

C3 1 0.004 168 559.34

此模型是否适合数据更好，是否适合过度分散？

R代码的这部分做以下更改：

将此输出的部分与上面的输出相比较，我们将颜色用作分类预测器。我们这样做只是为了记住同一个变量的不同编码会给你不同的拟合和估计值。

现在估计的模型是什么？$ log { hat { mu_i}} $ = -2.520 + 0.1496W - 0.1694C。logμi^ = -2.520 + 0.1496W - 0.1694C。

由于添加协变量没有帮助，过度分散似乎是由于异质性。我们可以用这些数据做些什么吗？

数据分组

我们考虑按宽度分组数据，然后拟合泊松回归模型。这里是按W排序的数据。

数据已分成8个区间，如下面的（分组）数据所示

请注意，“NumCases”是位于特定间隔内的雌性螃蟹的数量，这些雌性螃蟹的宽度由后面限定。“AverWt”是该分组内的平均背宽，“AverSa”是男性卫星总数除以组内的雌蟹总数，“SDSa”和“VarSa”是标准偏差，即“AverSa”的变化。

更改模型

我们还创建了一个变量lcases = log（个案），其中记录了个案数量的对数。这是输出。

模型现在比以前更好还是更差？它显然更适合。例如，剩余偏差统计值的值/ DF现在是1.0861。

残差分析也显示了良好的拟合度。

我们来比较下图中的观察值和拟合值（预测值）：

R中的最后两个陈述用于证明我们可以用速率数据的身份链接来拟合泊松回归模型。请注意，该模型不适合分组数据，因为与先前的模型相比，残差偏差统计的值/ DF约为11.649。

R语言之决策树和随机森林

总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。

一、特征生成：

特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。

二、特征选择

特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。

过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等

包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？

常用的算法是分步回归包括向前搜索、向后删除、双向搜索

向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；

向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；

双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；

这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）

内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选取。

三、决策树

决策的几个要点：1、如何决策？（也就是如何树如何分叉）------熵和信息增益---这里面包含的就是特征的选择？哪个特征变量包含的信息量大，就排在前面，至于最后树的深度就决定特征变量的个数。

当然不同的算法使用的衡量的标准不同，还有：信息增益比、基尼不纯系数

2、如何剪枝？-----一般是事后剪枝

3、连续性变量如何离散化？-----阈值的选择

熵：是指信息的混合程度（混乱程度），熵【0-1】越大表示该集合中混合的信息越多，也就表明这次的分叉效果不好还是有很多不同类的信息混在一起

信息增益：熵值的减少量，越大越好

决策树模型特点：模型易于解释；存储空间较小，以树的形式存储，决策树是一个弱分类器，不能完全分类，需要把多个弱分类器通过多数投票法组合在一起。

四、R包实现决策树

library(rpart)

library(rpart.plot)

## rpart.control对树进行一些设置

## xval是10折交叉验证

## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止

## minbucket：叶子节点最小样本数

## maxdepth：树的深度

## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度

ct <- rpart.control(xval=10, minsplit=20, cp=0.1)

## kyphosis是rpart这个包自带的数据集

## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。

## method：树的末端数据类型选择相应的变量分割方法:

## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”

## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）

## cost是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”

data("Kyphosis")

fit <- rpart(Kyphosis~Age + Number + Start,data=kyphosis, method="class",control=ct,parms = list(prior = c(0.65,0.35), split = "information"))

## 作图有2种方法

## 第一种：

par(mfrow=c(1,3))plot(fit)text(fit,use.n=T,all=T,cex=0.9)

## 第二种，这种会更漂亮一些：

rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,

shadow.col="gray", box.col="green",

border.col="blue", split.col="red",

split.cex=1.2, main="Kyphosis决策树")

## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少

## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstd

printcp(fit)

## 通过上面的分析来确定cp的值

##调用CP（complexity parameter）与xerror的相关图，一种方法是寻找最小xerror点所对应

#的CP值，并由此CP值决定树的大小，另一种方法是利用1SE方法，寻找xerror+SE的最小点对应的CP值。

plotcp(fit)

##利用以下方法进行修剪：

## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

fit2 <- prune(fit, cp=0.01)

#利用模型预测

ndata=data.frame(...)

predict(fit,newdata=ndata)

#案例

str(iris)

set.seed(1234)#设置随机数种子--使每次运行时产生的一组随机数相同，便于结果的重现

#抽样：从iris数据集中随机抽70%定义为训练数据集，30%为测试数据集（常用）

#这里是对行抽样,ind是一个只含1和2的向量

ind <- sample(2, nrow(iris), replace=TRUE, prob=c(0.7, 0.3))

trainData <- iris[ind==1,]

testData <- iris[ind==2,]

f<-Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

#训练数据

fit<-rpart(f,trainData)

#预测

re<-predict(fit,testData)

#******************或者用其他包********************

library(party)

#建立决策树模型预测花的种类

myFormula <- Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width

iris_ctree <- ctree(myFormula, data=trainData)

# 查看预测的结果

z<-table(predict(iris_ctree), trainData$Species)

#可以根据以上列联表求出预测的正确率---评估模型

#计算准确度

q<-sum(diag(z))/sum(z)

五、机器集成与随机森林法则

前面说过，决策树的一个特点是：弱分类器，分类不完全，需要利用集成投票的方式来增加精确度和稳健性。

机器集成算法：对于数据集训练多个模型，对于分类问题，可以采用投票的方法，选择票数最多的类别作为最终的类别，而对于回归问题，可以采用取均值的方法，取得的均值作为最终的结果。主要的集成算法有bagging和adaboost算法。

随机森林：随机森林就是利用机器集成多个决策树，主要有两个参数，一个是决策树的个数，一个是每棵树的特征变量个数。

随机森林特点：精确度高、稳健性好，但可解释性差。(可以知道各个变量的重要性)

R包实现机器集成算法：

#adabag包均有函数实现bagging和adaboost的分类建模

#利用全部数据建模

library(adabag)

a<-boosting(Species~.,data=iris)

z0<-table(iris[,5],predict(a,iris)$class)

#计算误差率

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

barplot(a$importance)

b<-errorevol(a,iris)#计算全体的误差演变

plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图

a<-bagging(Species~.,data=iris)

z0<-table(iris[,5],predict(a,iris)$class)

#计算误差率

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

barplot(a$importance)

b<-errorevol(a,iris)#计算全体的误差演变

plot(b$error,type="l",main="AdaBoost error vs number of trees") #对误差演变进行画图

#5折交叉验证

set.seed(1044) #设定随机种子

samp=c(sample(1:50,25),sample(51:100,25),sample(101:150,25)) #进行随机抽样

a=boosting(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模

z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果

z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

E1<-(sum(z0)-sum(diag(z0)))/sum(z1)

a=bagging(Species~.,data=iris[samp,]) #利用训练集建立adaboost分类模

z0<-table(iris[samp,5],predict(a,iris[samp,])$class)#训练集结果

z1<-table(iris[-samp,5],predict(a,iris[-samp,])$class)#测试集结果

E0<-(sum(z0)-sum(diag(z0)))/sum(z0)

E1<-(sum(z0)-sum(diag(z0)))/sum(z1)

R包实现随机森林：

#随机森林法则

library(randomForest)

library(foreign)

data("iris")

#抽样数据

ind<-sample(2,nrow(iris),replace = TRUE,prob=c(0.7,0.3))

traning<-iris[ind==1,]

testing<-iris[ind==2,]

#训练数据

rf <- randomForest(Species ~ ., data=traning, ntree=100, proximity=TRUE)

#预测

table(predict(rf),traning$Species)

table(predict(rf,testing),testing$Species)

#查看预测的效果

print(rf)

plot(rf)

#查看重要性

importance(rf)

varImpPlot(rf)

---