R语言-信度与效度

Python015

R语言-信度与效度,第1张

cronbach’s alpha系数,一般翻译成克隆巴赫alpha系数,效度用探索性因子分析(KMO和Bartlett)。

alpha等于 测验题目数/(测验题目数-1) 乘 {1 - 各被试在该题目上的方差的和 / 所有被试总分的方差 }

K即第一个公式的n,代表题目数量。

小sigma方即第一个公式的S方,代表方差。

然后直接调用就可以。

参考文献:

道客巴巴

qq_43157351. R语言与克朗巴哈alpha系数

用R语言实现Cronbach 值的计算

λi表示题目i在潜变量ξ上的负荷, δi是误差项, 误差之间不相关。整个测验分数X=x1+x2+…xp的合成信度如上图 (叶宝娟, 温忠麟, 2011Brown, 2006Yang&Green, 2010)

假设一个单维测验由p个题目组成, 测量了一个因子F, 测验施测后, p个题目的标准化变量为 (i=1, 2, ..., p) ,可以按照以下方式计算。

其中, εi是只和i有关的特殊因子 (也称为误差项) , λi是第i个变量i在因子F上的负荷。假设题目误差不相关, 如果整份测验的分数相加有意义, 则单维测验整份测验X=1+2+...+p的合成信度为:

其中, θi为i的误差方差, (2) 式也可计算多维测验单个维度的合成信度。如果用固定方差法指定因子测量单位, 即var (F) =1, 则上式变为:

因为X i 是标准化变量, 所以Σ θ=p-Σ λ2则 (3) 式变为:

上图这个表达式更易懂一些,也更容易计算。

λ为因子载荷量,p为题目个数。

计算出因子载荷量之后可以通过函数计算ρ

参考文献:

杨强 叶宝娟 温忠麟(2014). 用SPSS软件计算单维测验的合成信度. 中国临床心理学杂志: 22(03), 496-498

温忠麟(2011). 单维测验合成信度三种区间估计的比较.

一、内在效度(content related validity):研究者的发现与事实相符合的程度,即研究结果是不是真的在测量事实的真相的能力。

二、内容效度的评估方法 :1.专家判断法2.统计分析法(评分者信度\复本信度\折半信度\再测法)3.经验推测法 (实验检验)

提高内部效度的方法:

1.三角检定法:多元的搜集资料方式,包括不同的资料来源(报章、官方文件、会议记录),访谈不同人员(如教师、行政人员、学者专家),及采用不同资料的搜集方法(如访谈、观察、非正式讨论)等,来相互验证资料与实施的相符程度。

2.研究对象的核查:和被研究者一起讨论定稿,以确定自己记录的是其所叙的。

3.持续的观察

来自:qiuyaofeng2012. 信度和效度经典例子_第四节个案研究的效度与信度. CSDN

一、构想效度:测验能够测量到理论上的构想或特质的程度,即测验的结果是否能证实或解释某一理论的假设、术语或构想,其解释的程度如何。

二、构想效度的估计方法:1. 对测验本身的分析(用内容效度来验证构想效度);2. 测验间的相互比较:相容效度(与已成熟的相同测验间的比较)、区分效度(与近似或应区分测验间的比较)、因素分析法 ;3. 效标效度的研究证明 ;4. 实验法和观察法证实

衡量测验有效性的参照标准,指的是可以直接而且独立测量的我们感兴趣的行为。

又称 实证效度 ,反映的是测验对个体的预测在某种情境下的有效性程度(所测情况与实际情况之间的相关)。

根据效标资料是否与测验分数同时获得,又可分为 同时效度 (实际士气高和士气低的人在士气测验中的得分一致性。)和 预测效度 两类。

1.相关法:效度系数、效标效度常用方法。以皮尔逊积差相关系数来表示,反映测验分数与效标测量之间的相关程度。

当测验成绩是连续变量,而效标资料是二分变量时,计算效度系数可用点二列相关公式或二列相关公式;

当测验分数为连续变量,效标资料为等级评定时,可用贾斯朋多系列相关公式计算。

2.区分法:检验 测验分数 能否有效地区分 由效标所定义的团体

进行t检验,若差异显著,说明该测验能够有效地区分由效标定义的不同团体(如抑郁 测验得分 的高低可以区分出 真正的 高抑郁组和 真正的 低抑郁组),

重叠百分比可以通过计算每一组内得分超过(或低于)另一组平均数的人数百分比得出;

另外,还可以计算两组分布的共同区的百分比。重叠量越大,说明两组分数差异越小,即测验的效度越差。

3.命中率法:是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。命中率的计算有两种方法,一是计算总命中率,另一种是计算正命中率。

4、预期表法:是一种双向表格,预测分数排在表的左边,效标排在表的顶端。从左下至右上对角线上各百分数字越大,而其它的百分数字越小,表示测验的效标效度越高 ;反之,数字越分散,则效度越低。

命中率法和预期表法相似。详细可参照戴海琦,张锋<心理与教育测量>第五章:测量效度

一般在研究中用到的效度指标是结构效度,测量题与测量变量之间的对应关系。可以使用探索性因素分析(exploratory factor analysis,EFA)和验证性因子分析(comfirmatory factor analysis,CFA)

计算协方差矩阵/相关系数矩阵。可以利用cov2cor()将协方差转化为相关系数矩阵,也可利用cor2cov()转化回来

· KMO值:如果此值高于0.8,则说明效度高;如果此值介于0.7 0.8之间,则说明效度较好;如果此值介于0.6 0.7,则说明效度可接受,如果此值小于0.6,说明效度不佳

· 巴特球形检验:其对应巴特球形值,对应P值一定需要小于0.05,这样才能说明通过巴特球形检验

· 特征根:此值是判断因子(维度)个数的标准的信息量,由于已经设置好因子(维度)个数,因而此值意义较小可忽略;

· 方差解释率值:代表各维度可解释整体量表的信息量;

· 累积方差解释率值:所有维度可解释整体量表的信息量;

· 因子载荷系数值:分析项与维度之间的相关关系情况;此值非常非常重要,可用于判断分析项与维度的对应关系情况,下述会有说明;

· 共同度值:分析项可以被提取出的信息量情况,比如为0.617,可以理解为该项有61.7%的信息可被最终提取出来。

KMO小于0.5,不适合做因子分析。

KMO系数规定:当KMO值小于0.5时,表示题相变量间不适合进行因素分析;相对的,所示所有题项变量所呈现的KMO指标值大于0.8,表示题相变量间的关系式良好的,题项变量间适合进行因素分析;KMO指标值大于0.90,表示题项变量间的关系式极佳的

因子分析是指研究从变量群中提取共性因子的统计技术。最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性,一科成绩好的学生,往往其他各科成绩也比较好,从而推想是否存在某些潜在的共性因子,或称某些一般智力条件影响着学生的学习成绩。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子,可减少变量的数目,还可检验变量间关系的假设。

因子分析的方法约有10多种,如重心法、影像分析法,最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法,是以相关系数矩阵为基础的,所不同的是相关系数矩阵对角线上的值,采用不同的共同性□2估值。在社会学研究中,因子分析常采用以主成分分析为基础的反覆法。

因子旋转为了确定因子的实际内容,还须进一步旋转因子,使每一个变量尽量只负荷于一个因子之上。这就是简单的结构准则。常用的旋转有直角旋转法和斜角旋转法。作直角旋转时,各因素仍保持相对独立。在作斜角旋转时,允许因素间存在一定关系。

Q型因子分析 上述从变量群中提取共性因子的方法,又称R型因子分析和R型主要成分分析。但如果研究个案群的共性因子,则称Q型因子分析和Q型主成分分析。这时只须把调查的□个方案,当作变量,其分析方法与R型因子分析完全相同。

因子分析是社会研究的一种有力工具,但不能肯定地说一项研究中含有几个因子,当研究中选择的变量变化时,因子的数量也要变化。此外对每个因子实际含意的解释也不是绝对的。

在SPSS中,专门用来进行测验信度分析的模块为Scale下的Reliability Analysis;使用Data Reduction之下的Factor模块,可以利用因素分析的方法来进行测验的建构效度检验;至于项目分析则没有专门的模块可以之间进行计算分析,但是却可以利用Summarize下的Frequencies、Correlate下的Bivariate和Compare Mean下的Independent-Samples T Test来计算几个常用的项目分析指标。 3 m6 ]$ l8 a6 j w% K0 ^ 一、信度分析' M, k! n+ y# C Reliability Analysis模块主要功能是检验测验的信度,主要用来检验折半信度、库李及a系数以及Hoyt信度系数值。至于重测信度和复本信度,只需将样本在二次(份)测验的分数的数据合并到同一数据文件之后,利用Correlate之下的Bivariate求其相关系数,即为重测或复本信度;而评分者信度则就就是使用的Spearman等级相关及Kendall和谐系数。 表1 Reliability Analysis模块的Model选项的参数及对应中文术语3 V O/ m5 i% PN6 l' a : `. P- I/ c: J9 X/ ~ 关键字 功 能 R% v( ?! T8 L) q* L$ ~ Alpha Cronbach a系数 Split-half 折半信度,n是第二分量表的题数 ( e3 N, N6 w4 l% N( d8 A3 c4 ] Guttman Guttman最低下限真实信度法0 o+ nn/ ^2 d&B Parallel 各题目变异数同质时的最大概率(maximum-likelihood)信度3 Q( _- Z9 }( a Strict parallel 各题目平均数与变异数均同质时的最大概率信度7 p, x- S9 ?J: p! k 5 H5 i7 h/ l7 Q) Q 表2 Reliability Analysis模块的Statistics部分选项的参数及对应中文术语 - X9 d% L( ~^5 L 关键字功 能 F testHoyt信度系数4 D3 A9 Y. c, u4 ` Friedman Chi Friedman等级变异数分析及Kendall和谐系数[ H" S. [- z e Cochran Chi Cochran’s Q检验,适用于答案为二分(如是非题)的量表+ _" z+ v3 I&C2 e&c Hotelling’s T Hotelling’s T2 检验 &g" S5 S' K&t- f Tukey’sTukey的可加性检验 3 o6 O8 T* B4 `! ^b1 S- c* o Intraclass 量表内各题目平均数相关系数 + \$ Z9 m! B8 m7 u% k 6 E$ f$ R/ j8 j5 N# V: m 二、效度分析4 d4 ^5 T&@ n6 d' a 0 G, b' T. u9 T7 n" d2 [ 即因素分析的方法。5 ]7 V' m' w4 _1 K 三、项目分析 ( F# S$ r( eh/ {, @&@5 b# R: p (一)难度 ' z! Y/ I# n0 b7 ? 1、是非题和选择题- a7 k7 f! B+ U( ? 对于是非题、选择题等采用二分法记分的项目,难度通常用通过率来表示,即用答对或通过该题人数的百分比作为指标:P=R/N P-项目的通过率,R答对或通过该项目的人数,N为全体被试人数。 ( ]. X$ k: n- ` fjD. r 所涉及SPSS模块:Frequencies。 或用公式:P=(PH+PL)/2 ( ?6 o, h. H: |, I- z a8 _ 所涉及SPSS模块:Rank、Frequencies。- q* l/ x# r% d- S6 j 2、论述题等 难度公式为:! G9 |&e2 i" p6 t# O5 b2 ` # F8 q8 b: E$ y w" ` X-全体被试在某一项目上的平均分,Xmax为该项目的满分。 所涉及的SPSS模块:Compare Means->Means。" p# ^) c4 {( y9 p0 j7 ] 6 u \' w9 y, ^* w (二)区分度p/ z" v( B% A: d3 W9 q 1、鉴别指数法/ L9 R1 U. G3 \ 计算公式: D=PH-PL o' E) {4 n6 G9 F" k( S+ I $ W5 Q# Z" e+ H2 G&G 所涉及SPSS模块:Rank、Frequencies。 2、相关法 通过计算二列相关或点二列相关,以求得某一项目分数与效标分数或测验总分的相关作为该项目的区分度指标。 所涉及的SPSS模块:Correlate->Bivariate。+ Y9 }% C" q&^" ?, ~6 w 关键在于如何把低分组与高分组的数据分开,具体操作又取决于低分组与高分组划分标准,即是确定比例(如27%)还是在全距中等分(用Rank进行)。 - o- v5 B1 N3 d0 L JO # ~. e$ \8 o7 _$ J( j2 m6 y: ~ &g4 T4 h( C' O 关于效度分析,即采用因素(因子)分析的方法,其前提是变量类型均为定距或定比,都是连续变量,否则很难进行分析。对问卷进行信度、效度与项目分析讲解比较好的参考是:" B W9 Y+ u N- ^0 V# _ 吴明隆编著,《统计应用实务——问卷分析与应用统计》,科学出版社,2003。, |4 E9 t' o5 v' Z % Q0 v C&o- O3 t F 信度分析:&l2 v- M! _3 e5 [! f) S 学术界普遍采用内部一致性系数(Cronbach's α值),检验数据信度。在spss中的操作程序如下:进spss输入数据,然后选择scale,再选择reliability analysis。注意在分析问卷信度时,要一个一个分析潜在变量。p0 ]3 w( ?( ^7 j! Y1 w 效度分析: 内容效度是测量内容能够涵盖研究主题的程度。 因子分析的效度分析主要的指标可以看,因子提取的方差累积贡献率,如果因子提取的越少且方差累积率又不低的话(一般如果2个因子达到40%以上的贡献率就算可以的了),就可以认为因子分析的效度还可以。 5 S4 c: p: N9 V6 V6 }, A- P 除此之外,你可以用因子分析里面Descriotives里面KMO和巴特利检验(battele,不知道是不是这样写的),KMO的值如果>0.5,则说明因子分析的效度还行,可以进行因子分析;另外,如果巴特利检验的P<0.001,说明因子的相关系数矩阵非单位矩阵,能够提取最少的因子同时又能解释大部分的方差,即效度可以。 用各变量间的相关检验量表的内容效度,根据各变量与总分的相关是否超过各变量间的相关检验量表的结构效度。 各项变量之间的相关大于.40;各因子分与总分的相关也大于.40,且均大于各项因子之间的相关。表明问卷在本次调查中具有较好的内容效度和结构效度。 S3 h/ t" [) ui) r% s5 I 具体操作是analyze>correlate>bivariate correlations。