cronbach’s alpha系数，一般翻译成克隆巴赫alpha系数，效度用探索性因子分析(KMO和Bartlett)。

alpha等于 测验题目数/(测验题目数－1) 乘 {1 - 各被试在该题目上的方差的和 / 所有被试总分的方差 }

K即第一个公式的n，代表题目数量。

小sigma方即第一个公式的S方，代表方差。

然后直接调用就可以。

参考文献：

道客巴巴

qq_43157351. R语言与克朗巴哈alpha系数

用R语言实现Cronbach 值的计算

λi表示题目i在潜变量ξ上的负荷, δi是误差项, 误差之间不相关。整个测验分数X=x1+x2+…xp的合成信度如上图 (叶宝娟, 温忠麟, 2011Brown, 2006Yang&Green, 2010)

假设一个单维测验由p个题目组成, 测量了一个因子F, 测验施测后, p个题目的标准化变量为 (i=1, 2, ..., p) ，可以按照以下方式计算。

其中, εi是只和i有关的特殊因子 (也称为误差项) , λi是第i个变量i在因子F上的负荷。假设题目误差不相关, 如果整份测验的分数相加有意义, 则单维测验整份测验X=1+2+...+p的合成信度为：

其中, θi为i的误差方差, (2) 式也可计算多维测验单个维度的合成信度。如果用固定方差法指定因子测量单位, 即var (F) =1, 则上式变为:

因为X i 是标准化变量, 所以Σ θ=p-Σ λ2则 (3) 式变为:

上图这个表达式更易懂一些，也更容易计算。

λ为因子载荷量，p为题目个数。

计算出因子载荷量之后可以通过函数计算ρ

参考文献：

杨强 叶宝娟 温忠麟(2014). 用SPSS软件计算单维测验的合成信度. 中国临床心理学杂志: 22(03), 496-498

温忠麟(2011). 单维测验合成信度三种区间估计的比较.

一、内在效度(content related validity)：研究者的发现与事实相符合的程度，即研究结果是不是真的在测量事实的真相的能力。

二、内容效度的评估方法 ：1.专家判断法2.统计分析法(评分者信度\复本信度\折半信度\再测法)3.经验推测法 (实验检验)

提高内部效度的方法：

1．三角检定法：多元的搜集资料方式，包括不同的资料来源(报章、官方文件、会议记录)，访谈不同人员(如教师、行政人员、学者专家)，及采用不同资料的搜集方法(如访谈、观察、非正式讨论)等，来相互验证资料与实施的相符程度。

2．研究对象的核查：和被研究者一起讨论定稿，以确定自己记录的是其所叙的。

3．持续的观察

来自：qiuyaofeng2012. 信度和效度经典例子_第四节个案研究的效度与信度. CSDN

一、构想效度：测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，其解释的程度如何。

二、构想效度的估计方法：1. 对测验本身的分析（用内容效度来验证构想效度）；2. 测验间的相互比较：相容效度（与已成熟的相同测验间的比较）、区分效度（与近似或应区分测验间的比较）、因素分析法 ；3. 效标效度的研究证明 ；4. 实验法和观察法证实

衡量测验有效性的参照标准，指的是可以直接而且独立测量的我们感兴趣的行为。

又称 实证效度 ，反映的是测验对个体的预测在某种情境下的有效性程度(所测情况与实际情况之间的相关)。

根据效标资料是否与测验分数同时获得，又可分为 同时效度 (实际士气高和士气低的人在士气测验中的得分一致性。)和 预测效度 两类。

1.相关法：效度系数、效标效度常用方法。以皮尔逊积差相关系数来表示，反映测验分数与效标测量之间的相关程度。

当测验成绩是连续变量，而效标资料是二分变量时，计算效度系数可用点二列相关公式或二列相关公式；

当测验分数为连续变量，效标资料为等级评定时，可用贾斯朋多系列相关公式计算。

2.区分法：检验 测验分数 能否有效地区分 由效标所定义的团体 。

进行t检验，若差异显著，说明该测验能够有效地区分由效标定义的不同团体(如抑郁 测验得分 的高低可以区分出 真正的 高抑郁组和 真正的 低抑郁组)，

重叠百分比可以通过计算每一组内得分超过（或低于）另一组平均数的人数百分比得出；

另外，还可以计算两组分布的共同区的百分比。重叠量越大，说明两组分数差异越小，即测验的效度越差。

3.命中率法：是当测验用来做取舍的依据时，用其正确决定的比例作为效度指标的一种方法。命中率的计算有两种方法，一是计算总命中率，另一种是计算正命中率。

4、预期表法：是一种双向表格，预测分数排在表的左边，效标排在表的顶端。从左下至右上对角线上各百分数字越大，而其它的百分数字越小，表示测验的效标效度越高 ；反之，数字越分散，则效度越低。

命中率法和预期表法相似。详细可参照戴海琦，张锋<心理与教育测量>第五章：测量效度

一般在研究中用到的效度指标是结构效度，测量题与测量变量之间的对应关系。可以使用探索性因素分析(exploratory factor analysis，EFA)和验证性因子分析(comfirmatory factor analysis，CFA)

计算协方差矩阵/相关系数矩阵。可以利用cov2cor()将协方差转化为相关系数矩阵，也可利用cor2cov()转化回来

· KMO值：如果此值高于0.8，则说明效度高；如果此值介于0.7 0.8之间，则说明效度较好；如果此值介于0.6 0.7，则说明效度可接受，如果此值小于0.6，说明效度不佳

· 巴特球形检验：其对应巴特球形值，对应P值一定需要小于0.05，这样才能说明通过巴特球形检验

· 特征根：此值是判断因子（维度）个数的标准的信息量，由于已经设置好因子（维度）个数，因而此值意义较小可忽略；

· 方差解释率值：代表各维度可解释整体量表的信息量；

· 累积方差解释率值：所有维度可解释整体量表的信息量；

· 因子载荷系数值：分析项与维度之间的相关关系情况；此值非常非常重要，可用于判断分析项与维度的对应关系情况，下述会有说明；

· 共同度值：分析项可以被提取出的信息量情况，比如为0.617，可以理解为该项有61.7%的信息可被最终提取出来。

1 语言测试标准项回顾

谈到语言测试的标准，大凡都不能不谈到效度（validity）、信度（reliability）、难度（difficulty level）与区分度（differentiation）。各种语言测试，无论是在语言试题设计的前期的控制，或者是对其设计产品的评估，再或者是对后期测试工作流程结束后的评估分析，都有一个倾向，既要考虑主要影响前期操作的三大标准项，又需考虑考虑主要影响后期操作的两大标准项。即便是对于效度（语言测试的目的性）和信度（语言测试的可信程度）之间的关系的处理上，也经常呈现出一种必须以语言的真实使用来牺牲语言测试的客观量化的结果，具体体现在各类语言测试主观题量的增加和客观题量的降低方面。

究其原因，主要在于对各个语言测试标准项关系的不同理解。对于效度和信度的关系，一般的观点都认为他们是一对矛盾，即是一种跷跷板（seesaw）的关系：提高信度便意味着损失效度，反之亦然。李筱菊从影响因素以及构成因素的角度具体讨论了效度和信度，并在包括效度-信度关系在内的七大关系方面进行了深入的讨论（见李延林2005），并列举了常见的四大关系处理方案，然而，似乎并没有从根本上解决效度和信度的矛盾关系问题。中国大学英语四、六级英语考试和英语专业四、八级的改革似乎也主要停留在主观试题的增加、口语的增加和对测试结果的所谓解释方面（有借鉴IELTS考试的倾向）。语言测试并不只针对高校学生，从覆盖面上讲，中学乃至小学和幼儿语言教育在语言测试方面，尤其是测试标准方面的讨论在当前更应当受到重视。而对于测试效度和信度的普遍性处理方法和对难度与区分度的简单偏执显然不利于基础语言教育的改革，只能使考教越发分离，使教学与考试脱离的现象愈加严重。毫无疑问，如果难度和区分度对于高考而言还有一定意义，选拔研究生考试和出国考试应当考虑加大一些试题的难度，以造成一定的区分度，达到选拔人才的目的的话，那么，在任何考试中都必须让考生分出来个一二三的主观想法显然是幼稚的；仅仅认为主观题是高效度而客观题是低效度的看法也是偏激不合实际情况的。

2 效度和信度的关系

语言测试的效度必须首先考虑。因为它决定语言测试是否达到其目的。简单地说，听说技能的测试效度必须由听说试题来反映；读写试题的效度也必须由读写来实施。从这个道理上讲，它和我们汉语里的‘效果’虽然不存在对等关系，但还是有着不可分的内在关系。另外，期中考试作为一种提供信息的考试（informative），和主要目的在于总结语言学习的期末测试应当有相同点和不同点共存的特点，也会对语言测试的效度有影响。如果期中考试仅仅是以一篇作文甚至是一次作业作为考察的手段，那么期末考试理应在作文方面占据相当的比例。追求高信度是统计学的一大特点。把语言分解成若干单元从语言使用的角度看似

乎不可思议，但语言学习不可能是一蹴而就的，对于语境（这里指使用语言的情景而非语言学语境或上下文）也不可能是空中楼阁，它需要我们对语言的单句上下文掌握的前提下再进一步考虑，对于语言测试而言更是如此。一般认为，没有信度的测试是无用的；没有效度的测试谈不上信度。我们以为，这种理论上的关系讨论对于语言测试实践没有任何的意义。没有信度是零的语言测试，除非是大面积的作弊。也没有完全缺少效度的测试，除非出题人完全不懂语言教学规律和语言测试技术。因此，单个看待语言的效度和信度要比这种武断的矛盾一元论理论观点更加实在一些。李筱菊对于效度和信度的关系处理给我们提供了一个视角，即不仅仅从这两个词的定义入手，而是从其构成和影响因素着手。从她的讨论不难看出，影响信度的因素远比影响效度的因素要多。这样，从追求双高，即高效度和高信度的角度看，我们似乎看到了一丝希望。对于某些影响因素的改善如果可以提高效度或者信度而不至于影响到整体平衡（语言测试毕竟不同于跷跷板，不会稍有差异就会出现天壤之别的现象），那么语言测试实践就会减轻很多压力。解决这一对看似矛盾的另外一个办法在于从上一层系统来看待他们的关系，也就是需我们从一个系统角度而不是从对抗角度（trade-off）来关注这种关系。如果语言学习输入和输入强化对于初学者起到很大作用的话，如果学习者输入（learner input）在学习初期根本没有可能或者不现实的话，那么，语言测试的首要标准项就不应当以所谓的语言输出（或者称作语言生产）为主，而应当考虑以联想和激发回忆为主的语言识别的能力。这样，我们就可以借鉴应用语言学家给我们提供的连续体（continuum）的模式(见Bachman:1990)来考虑语言测试中效度和信度的关系（见表1）。在连续体的一端是高效度，在另外一端是高信度。对其不同的需要决定试题是高信度或者高效度，或者居中，但不存在好与不好的问题，或者，确切地说，它的好坏完全由测试的目的（不同于效度）和种类决定。

　A 语言输入 语言识别 B

高信度―――――┼―――――――高效度

　C 语言输出 语言生产 D

以上图表显示，比较理想的试题应当在D区和A区。虽然语言学习者终身都离不开语言输入，但对于初学者和低年级学习者而言，语言的识读能力的培养应当重于组织能力；体现在语言测试中，其高信度应当重于高效度。而对于语言水平较高的学习者而言，其语言组织能力的培养应当是重中之重，应当体现在语言生产的试题之中。当然，这里面还牵扯一个语言测试种类的问题和与教学课本相关的教学内容以及测试内容效度的问题，鉴于不是本文讨论的焦点，在此不再赘述。

3 难度与区分度的关系

语言测试在设计方面有一个常规，即试题在内容及试题题型方面应遵从从‘易’到‘适合’再到‘难’的规则。这在理想测试结果图上也有体现：两头小，中间大的弧形模式。这样做的目的在于让参加测试的语言学生能够熟悉、适应测试过程并最终形成所谓的理想弧度。

语言测试技术有一个原则，即不给考生设定陷阱。难度作为一个相对的概念，不应体现在试题的题型上，而更应体现在学生的所学内容方面。为了降低难度而将主观题变更为客观题的做法如果还算可以理解的话，那么，通过这种办法增加难度的做法就不可思议了；而为了增加难度将很少出现或使用的语言项目大量纳入试题的做法就更显得荒唐（除非是语言禀赋测试，即aptitude测试）。对于普通语言测试而言，应当和所学挂起钩来。只要课本选择合适，只要教学内容与方法合适，平时的小测验也好，期中考试也好，或者期末考试也好，都应当反映平时所学，以检测学生在该门课程方面的学习情况，更多地反映学习者的进步程度（progress或achievement），而不完全是其语言水平（proficiency test），更不是通过语言测试在学习者之间进行比较，形成竞争压力甚致于引起负面学习焦虑情绪。增加难度的目的在于区分，而区分度的本质在于把学习者分为不同等级，如果因此而进行动态班级调整施行分班或者分级教学的话还有一定的道理，但仅仅为了区分而忽略语言学习中竞争带来的负面影响，强化常模测试（norm-based testing）的作用，忽略语言标准测试（criteria-based testing）的存在，则对于语言教学与测试实践都不会带来很大的益处。对于语言试题难度和区分度，对于分数分布曲线的考虑或者对于偏态值和峰值的考虑在分班/级测试和常模测试的情况下必须涉及外，仅从标准测试角度看没有必要一定要考虑。另外，为了区分而影响到语言测试的反拨效度（wash-back effect），则在很大程度上会影响到语言学习这一主要矛盾，会损失语言学习和语言测试的主要方面。

语言测试的标准一致是应用语言学家关注的事情。对效度和信度之间的关系研究长期以来一直在语言教学与实践中徘徊，不是偏左就是偏右，再就是折中。我们认为，除了在平衡方面想办法，如可以考虑提高信度的完型填空题，还可以考虑从不同的角度分别考虑。本文在这个基础上提出了与测试种类相关的测试目的的老概念，试图从语言测试需求的角度，从Bachman提出的系统连续体的角度重新审视效度和信度之间的关系。至于语言的难度和区分度，本文以为，应当视需求而实施，而不应当盲目地甚至是无限制地推广，使之成为‘放之四海而皆准’的准绳。

语言教育教学和语言测试理论及实践的研究不会停止，对于语言测试的标准也会继续。如果我们在语言教学和测试方面能够找到一个好的契合点，如果我们能够逐步解决高考英语测试指挥棒和四/六级或四/八级指挥棒的问题，那么我们所倡导的减负和减压等措施便能真正落到实处，培养创新人才，而不是应试能手。无论对于语言教学或者对于语言测试实践而言，Leech在2001年第三届中国英语教学国际研讨会上所提交的主题报告Teach the Frequent before the Rare(教授常用语言项先于罕见语言项)无疑都具有一定的启发意义，而这也是包括中国在内的英语教学的一大症结所在。

分类

测试的效度一般可分为以下几类：

1）表面效度（face validity）

指测试应达到的卷面标准，即一套测试题从表面看来是否是合适的。例如，若一次阅读理解力的测试包括许多受试者没有学过的方言词汇，则可认为这次测试缺乏表面效度。表面效度是测试出受试者正常水平的一种保证因素。

2）内容效度（content validity）

指一套测试题是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求，即测试的代表性和覆盖面的程度。例如，如果某一套发音技能测试题仅仅考查发音所必须具备的某些技能，如只考单一音素的发音，而不考查重读、语调或音素在词语中的发音，那么，该测试的内容效度就很低。

3）编制效度（construct validity）

指一套测试题的诸项目对编制该测试所依据的理论的各个基本方面的反映程度。例如，以结构主义语言理论为基础，认为系统的语言习惯是通过句型而获得的，那么，强调词汇和语法环境的测试题目就失去了编制效度。

4）经验效度（empirical validity）

经验效度是一种衡量测试有效性的量度，通过把一次测试与一个或多个标准尺度相对照而得出。经验效度可分为两种：一是共时效度（concurrent validity），即将一次测试的结果同另一次时间相近的有效测试的结果相比较，或同教师的鉴定相比较而得出的系数；二是预测效度（predictive validity），即将一次测试的结果同后来的语言能力相比较，或是同教师后来对学生的鉴定相比较而得出的系数。

一般来说，对某次测试的效度进行检验时，除了要根据教学大纲的要求和观念有效性的理论对试卷的内容进行考查以外，还须采用计算相关系数的定量方法，即计算出本次试卷与另一份已被确定能正确反映受试者水平的试卷之间的相关系数。系数高则有效性大。课堂测试的效度应在0.4-0.7之间，规模较大的测试其效度应在0.7以上。

影响因素

测量的效度就是指测量的有效性，即能测量到所要测量目标的程度。一般来说，效度的作用比信度的作用更为重要。如果一个测验效度很低，无论它的信度有多高，这项测验都没有应用价值。较高的效度是一个良好的测验最重要的特性，是必要条件，也是选择和评鉴测验的重要依据。但是很多方面都在影响测量的效度，下面主要从测验本身、样本团体、效标因素进行具体分析。

测验的因素

由测验本身带来的影响因素有测验题目的质量、测验实施中的干扰、测验的长度、被试的因素等。

测验题目的质量

题目的指导语不明确、试题的表达不清晰、试题太难或太容易、题目中出现额外的线索、诱答设计不合理、题目过少、试题的安排和组织不恰当、试题不符合测验目的等因素，都会影响测验的效度，使效度降低。

实施测验时的干扰因素

测验的环境太差、被试不遵从指导语、记分错误，都会使测验的效度降低。

测验的长度

一般来说，增加测验的长度通常可以提高测验的信度，而效度系数能否达到最大值也受信度的影响，因此，增加测验的题目往往也能提高测验的效度。不过，效度增加的前提是这些增加的题目必须与测量的目标相关。

被试的影响因素

被试的反应定势、测验动机、情绪和身心状态都会对测量效度的影响。

样本团体性质

对效度的计算往往是通过对样本团体的分数进行各种分析而得到的，所以样本团体的性质也会对测验的效度产生影响。这些影响体现在三个方面。

（1） 同一测验对不同的团体所测量的功能可能是不同的；

（2） 对于同一个测验，样本团体的性质不同，效度也会有较大的差别；

（3） 样本团体的异质性对效度也会有影响。

效标性质

在采用效标关联效度时，效标的性质如何，会影响对测验效度的评价。一般来说，如果其他条件相同，所测量的行为或心理特质与效标行为或特质越相似，效度系数就越高。另外，效标与测验分数之间的关系是否线性也是一个很重要的影响因素。

测试信度(test reliability)也叫测试的可靠性，指的是测试结果是否稳定可靠。

也就是说，测试的成绩是不是反映了受试者的实际语言水平。例如，如果同一套测试在对同一测试对象（即受试者本身没有变化）进行的数次测试中，受试者的分数忽高忽低的话，则说明该测试缺乏信度。测试的信度与测试的效度有着密切的关系。

一般说来，只有信度较高的测试才能有较高的效度，但效度较高不能保证信度也一定较高。测试的信度主要涉及到试题本身的可靠性和评分的可靠性这两个方面。试题本身是否可靠主要取决于试题的范围、数量、试题的区分度等因素；评分是否可靠则要看评分标准是否客观和准确。

应用实例

测试的信度通常用一种相关系数（即两个数之间的比例关系）来表示，相关系数越大，信度则越高。当系数为1.00时，说明测试的可靠性达到最高程度；而系数是0.00时，则测试的可靠性降到最低程度。在一般情况下，系数不会高到1.00，也不会降到0.00，而是在两者之间。对信度指数的要求因测试类别的不同而不同，人们通常对标准化测试的信度系数要求在0.90以上，例如“托福”的信度大致为0.95，而课堂测试的信度系数则以0.70-0.80之间为可接受性系数。测试信度的计算方法有很多种，以下仅介绍三种易于操作的方法：

1）重测法

（the retesting method）。用同一套试卷在两个不同时间内来测试同一批受试者，这样便获得两组分数，然后计算出两组分数的相关系数。当然，在两次测试中，学生第二次的测试成绩理应比第一次的要高，因为在第二次测试时学生已经有了进步而且临场经验也更丰富了。但是若该试题是比较可靠的，每个学生在两次测试中的排名次序应该是基本不变的。

2）交替形式法

（the alternative method）。对同一批受试者使用试题类型完全相同，难易程度相当，但具体题目不同的两套对等试卷先后进行两次测试，然后计算出两次得分的相关系数。

3）对半法

（the split－half method）。测试只进行一次，但将整份试卷的题目按单、双数分成两组来分别计分，算出两组分数的相关系数，然后再用Spearman－Brown的公式计算整份试卷的信度系数。具体计算步骤是：将两组分数的相关系数乘以2，再除以1加两组分数的相关系数。

试题难度(item difficulty)衡量试题质量高低的指标之一测验(试卷)中试题(项目)的难度,是衡量该试题对被试者全体的适合程度.用d表示难度水平，0<=d<=1. d=1表示难度水平最高，即该试题没有一个被试者做对d=0，表示该试题全体被试者都做对，即难度水平最低.。

试题难度(item difficulty)衡量试题质量高低的指标之一测验(试卷)中试题(项目)的难度是衡量该试题对被试者全体的适合程度.用d表示难度水平，0镇d<1. d=1表示难度水平最高，该试题没有一个被试者做对d=。表示该试题全体被试者都做对，即难度水平最低.

试题的难度水平d值的大小必然会影响到区分度、信度、效度的大小.计算d值的主要方法是平均数法:用a表示试题的满分，厉表示全体被试者得分的平均值，则

若对某试题，答对得a分，答错得0分(无中间分数，例如，对选择题或是非题等)，则x/a为全体被试者在该试题的答对率，记p^}/a，则d一1-p.若被试者人数为N，该试题答对的被试者人数为R,

区分度是指试题对被试者情况的分辨能力的大小，主要用于评价以选拔为目的的选题。

试卷区分度反映试题区分不同水平受试者的程度，即考出学生的不同水平，把优秀、一般、差三个层次的学生真正分别开。区分度高的考试，优秀、一般、差三个层次的学生都有一定比例，如果某一分数区间学生相对集中，高分太多或不及格太多的考试，区分度则低。

计算

如果把成绩从高往低排序，前50%的考生为高分组，后50%为低分组。其计算公式为：D=2（XH—XL）/W，其中，D为区分度，XH为高分组平均分，XL为低分组平均分，W为试卷总分（一般为100分或150分）。

为了简单计算， 教师可以使用下面的一种方法进行计算区分度：

先将分数排序，P1=27%高分组的难度，P2=27%低分组的难度，区分度D=（27%高分组的平均分－27%低分组的平均分）÷满分值。

区分度一般在-1～+1之间，值越大区分度越好。试题的区分度在0.4以上表明此题的区分度很好，0.3～0.39表明此题的区分度较好，0.2～0.29表明此题的区分度不太好需修改，0.19以下表明此题的区分度不好应淘汰。

计算区分度的方法很多，需要特别注意的是对同一个试题的考试成绩采用不同的方法所得到的区分度的值是不同的。

在SPSS中，专门用来进行测验信度分析的模块为Scale下的Reliability Analysis；使用Data Reduction之下的Factor模块，可以利用因素分析的方法来进行测验的建构效度检验；至于项目分析则没有专门的模块可以之间进行计算分析，但是却可以利用Summar。

---