R语言-信度与效度

Python09

R语言-信度与效度,第1张

cronbach’s alpha系数,一般翻译成克隆巴赫alpha系数,效度用探索性因子分析(KMO和Bartlett)。

alpha等于 测验题目数/(测验题目数-1) 乘 {1 - 各被试在该题目上的方差的和 / 所有被试总分的方差 }

K即第一个公式的n,代表题目数量。

小sigma方即第一个公式的S方,代表方差。

然后直接调用就可以。

参考文献:

道客巴巴

qq_43157351. R语言与克朗巴哈alpha系数

用R语言实现Cronbach 值的计算

λi表示题目i在潜变量ξ上的负荷, δi是误差项, 误差之间不相关。整个测验分数X=x1+x2+…xp的合成信度如上图 (叶宝娟, 温忠麟, 2011Brown, 2006Yang&Green, 2010)

假设一个单维测验由p个题目组成, 测量了一个因子F, 测验施测后, p个题目的标准化变量为 (i=1, 2, ..., p) ,可以按照以下方式计算。

其中, εi是只和i有关的特殊因子 (也称为误差项) , λi是第i个变量i在因子F上的负荷。假设题目误差不相关, 如果整份测验的分数相加有意义, 则单维测验整份测验X=1+2+...+p的合成信度为:

其中, θi为i的误差方差, (2) 式也可计算多维测验单个维度的合成信度。如果用固定方差法指定因子测量单位, 即var (F) =1, 则上式变为:

因为X i 是标准化变量, 所以Σ θ=p-Σ λ2则 (3) 式变为:

上图这个表达式更易懂一些,也更容易计算。

λ为因子载荷量,p为题目个数。

计算出因子载荷量之后可以通过函数计算ρ

参考文献:

杨强 叶宝娟 温忠麟(2014). 用SPSS软件计算单维测验的合成信度. 中国临床心理学杂志: 22(03), 496-498

温忠麟(2011). 单维测验合成信度三种区间估计的比较.

一、内在效度(content related validity):研究者的发现与事实相符合的程度,即研究结果是不是真的在测量事实的真相的能力。

二、内容效度的评估方法 :1.专家判断法2.统计分析法(评分者信度\复本信度\折半信度\再测法)3.经验推测法 (实验检验)

提高内部效度的方法:

1.三角检定法:多元的搜集资料方式,包括不同的资料来源(报章、官方文件、会议记录),访谈不同人员(如教师、行政人员、学者专家),及采用不同资料的搜集方法(如访谈、观察、非正式讨论)等,来相互验证资料与实施的相符程度。

2.研究对象的核查:和被研究者一起讨论定稿,以确定自己记录的是其所叙的。

3.持续的观察

来自:qiuyaofeng2012. 信度和效度经典例子_第四节个案研究的效度与信度. CSDN

一、构想效度:测验能够测量到理论上的构想或特质的程度,即测验的结果是否能证实或解释某一理论的假设、术语或构想,其解释的程度如何。

二、构想效度的估计方法:1. 对测验本身的分析(用内容效度来验证构想效度);2. 测验间的相互比较:相容效度(与已成熟的相同测验间的比较)、区分效度(与近似或应区分测验间的比较)、因素分析法 ;3. 效标效度的研究证明 ;4. 实验法和观察法证实

衡量测验有效性的参照标准,指的是可以直接而且独立测量的我们感兴趣的行为。

又称 实证效度 ,反映的是测验对个体的预测在某种情境下的有效性程度(所测情况与实际情况之间的相关)。

根据效标资料是否与测验分数同时获得,又可分为 同时效度 (实际士气高和士气低的人在士气测验中的得分一致性。)和 预测效度 两类。

1.相关法:效度系数、效标效度常用方法。以皮尔逊积差相关系数来表示,反映测验分数与效标测量之间的相关程度。

当测验成绩是连续变量,而效标资料是二分变量时,计算效度系数可用点二列相关公式或二列相关公式;

当测验分数为连续变量,效标资料为等级评定时,可用贾斯朋多系列相关公式计算。

2.区分法:检验 测验分数 能否有效地区分 由效标所定义的团体

进行t检验,若差异显著,说明该测验能够有效地区分由效标定义的不同团体(如抑郁 测验得分 的高低可以区分出 真正的 高抑郁组和 真正的 低抑郁组),

重叠百分比可以通过计算每一组内得分超过(或低于)另一组平均数的人数百分比得出;

另外,还可以计算两组分布的共同区的百分比。重叠量越大,说明两组分数差异越小,即测验的效度越差。

3.命中率法:是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。命中率的计算有两种方法,一是计算总命中率,另一种是计算正命中率。

4、预期表法:是一种双向表格,预测分数排在表的左边,效标排在表的顶端。从左下至右上对角线上各百分数字越大,而其它的百分数字越小,表示测验的效标效度越高 ;反之,数字越分散,则效度越低。

命中率法和预期表法相似。详细可参照戴海琦,张锋<心理与教育测量>第五章:测量效度

一般在研究中用到的效度指标是结构效度,测量题与测量变量之间的对应关系。可以使用探索性因素分析(exploratory factor analysis,EFA)和验证性因子分析(comfirmatory factor analysis,CFA)

计算协方差矩阵/相关系数矩阵。可以利用cov2cor()将协方差转化为相关系数矩阵,也可利用cor2cov()转化回来

· KMO值:如果此值高于0.8,则说明效度高;如果此值介于0.7 0.8之间,则说明效度较好;如果此值介于0.6 0.7,则说明效度可接受,如果此值小于0.6,说明效度不佳

· 巴特球形检验:其对应巴特球形值,对应P值一定需要小于0.05,这样才能说明通过巴特球形检验

· 特征根:此值是判断因子(维度)个数的标准的信息量,由于已经设置好因子(维度)个数,因而此值意义较小可忽略;

· 方差解释率值:代表各维度可解释整体量表的信息量;

· 累积方差解释率值:所有维度可解释整体量表的信息量;

· 因子载荷系数值:分析项与维度之间的相关关系情况;此值非常非常重要,可用于判断分析项与维度的对应关系情况,下述会有说明;

· 共同度值:分析项可以被提取出的信息量情况,比如为0.617,可以理解为该项有61.7%的信息可被最终提取出来。

组内相关系数(intra-class correlation coefficient, ICC)的用途、类型以及计算。

ICC常用于衡量某个指标(比如,皮层厚度)在多次测量中的一致性/相似性(即信度)。在概念上,ICC等于真实的(被试间)变异除以观测的变异,观测的变异等于真实的变异加上噪声变异。比如,ICC=0.5表示真实变异和噪声变异相同。ICC越高,表明观测/测量越可靠。ICC的理论范围在0-1,一般地,ICC位于0-0.5之间表示信度差,0.5-0.75表示中等,0.75-0.9表示好,0.9-1表示极好(也存在其他分类标准)。

信度的现实意义在于,如果信度低,那么对于检测同样的效果量,需要更大的样本量

根据如何计算ICC,可以分为三个类型,即ICC(1,1), ICC(2,1)和ICC(3,1)。ICC(2,1)也表示为ICC(A,1),ICC(3,1)也表示为ICC(C,1)。在MRI脑成像中,ICC(2,1)似乎是最常用的。ICC(2,1)和ICC(3,1)的区别在于是否考虑多次测量之间的系统性噪声,直观来说,就是ICC(2,1)对变量的均值敏感,ICC(3,1)对变量的均值不敏感。作为对比,熟知的皮尔逊相关系数对于变量的均值和方差都不敏感,只对变量之间的协方差敏感。

在具体估计方法上,常见的有ANOVA和LME(linear mixed-effects)两种。LME的好处是不会出现ICC<0的情况,以及可以处理存在缺失值/协变量的情况。