R语言-信度与效度

2023-02-18 20:47:02Python0204

R语言-信度与效度,第1张

cronbach’s alpha系数，一般翻译成克隆巴赫alpha系数，效度用探索性因子分析(KMO和Bartlett)。

alpha等于测验题目数/(测验题目数－1) 乘 {1 - 各被试在该题目上的方差的和 / 所有被试总分的方差 }

K即第一个公式的n，代表题目数量。

小sigma方即第一个公式的S方，代表方差。

然后直接调用就可以。

参考文献：

道客巴巴

qq_43157351. R语言与克朗巴哈alpha系数

用R语言实现Cronbach 值的计算

λi表示题目i在潜变量ξ上的负荷, δi是误差项, 误差之间不相关。整个测验分数X=x1+x2+…xp的合成信度如上图 (叶宝娟, 温忠麟, 2011Brown, 2006Yang&Green, 2010)

假设一个单维测验由p个题目组成, 测量了一个因子F, 测验施测后, p个题目的标准化变量为 (i=1, 2, ..., p) ，可以按照以下方式计算。

其中, εi是只和i有关的特殊因子 (也称为误差项) , λi是第i个变量i在因子F上的负荷。假设题目误差不相关, 如果整份测验的分数相加有意义, 则单维测验整份测验X=1+2+...+p的合成信度为：

其中, θi为i的误差方差, (2) 式也可计算多维测验单个维度的合成信度。如果用固定方差法指定因子测量单位, 即var (F) =1, 则上式变为:

因为X i 是标准化变量, 所以Σ θ=p-Σ λ2则 (3) 式变为:

上图这个表达式更易懂一些，也更容易计算。

λ为因子载荷量，p为题目个数。

计算出因子载荷量之后可以通过函数计算ρ

参考文献：

杨强叶宝娟温忠麟(2014). 用SPSS软件计算单维测验的合成信度. 中国临床心理学杂志: 22(03), 496-498

温忠麟(2011). 单维测验合成信度三种区间估计的比较.

一、内在效度(content related validity)：研究者的发现与事实相符合的程度，即研究结果是不是真的在测量事实的真相的能力。

二、内容效度的评估方法：1.专家判断法2.统计分析法(评分者信度\复本信度\折半信度\再测法)3.经验推测法 (实验检验)

提高内部效度的方法：

1．三角检定法：多元的搜集资料方式，包括不同的资料来源(报章、官方文件、会议记录)，访谈不同人员(如教师、行政人员、学者专家)，及采用不同资料的搜集方法(如访谈、观察、非正式讨论)等，来相互验证资料与实施的相符程度。

2．研究对象的核查：和被研究者一起讨论定稿，以确定自己记录的是其所叙的。

3．持续的观察

来自：qiuyaofeng2012. 信度和效度经典例子_第四节个案研究的效度与信度. CSDN

一、构想效度：测验能够测量到理论上的构想或特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，其解释的程度如何。

二、构想效度的估计方法：1. 对测验本身的分析（用内容效度来验证构想效度）；2. 测验间的相互比较：相容效度（与已成熟的相同测验间的比较）、区分效度（与近似或应区分测验间的比较）、因素分析法；3. 效标效度的研究证明；4. 实验法和观察法证实

衡量测验有效性的参照标准，指的是可以直接而且独立测量的我们感兴趣的行为。

又称 实证效度 ，反映的是测验对个体的预测在某种情境下的有效性程度(所测情况与实际情况之间的相关)。

根据效标资料是否与测验分数同时获得，又可分为 同时效度 (实际士气高和士气低的人在士气测验中的得分一致性。)和 预测效度 两类。

1.相关法：效度系数、效标效度常用方法。以皮尔逊积差相关系数来表示，反映测验分数与效标测量之间的相关程度。

当测验成绩是连续变量，而效标资料是二分变量时，计算效度系数可用点二列相关公式或二列相关公式；

当测验分数为连续变量，效标资料为等级评定时，可用贾斯朋多系列相关公式计算。

2.区分法：检验 测验分数 能否有效地区分 由效标所定义的团体 。

进行t检验，若差异显著，说明该测验能够有效地区分由效标定义的不同团体(如抑郁 测验得分 的高低可以区分出 真正的 高抑郁组和 真正的 低抑郁组)，

重叠百分比可以通过计算每一组内得分超过（或低于）另一组平均数的人数百分比得出；

另外，还可以计算两组分布的共同区的百分比。重叠量越大，说明两组分数差异越小，即测验的效度越差。

3.命中率法：是当测验用来做取舍的依据时，用其正确决定的比例作为效度指标的一种方法。命中率的计算有两种方法，一是计算总命中率，另一种是计算正命中率。

4、预期表法：是一种双向表格，预测分数排在表的左边，效标排在表的顶端。从左下至右上对角线上各百分数字越大，而其它的百分数字越小，表示测验的效标效度越高；反之，数字越分散，则效度越低。

命中率法和预期表法相似。详细可参照戴海琦，张锋<心理与教育测量>第五章：测量效度

一般在研究中用到的效度指标是结构效度，测量题与测量变量之间的对应关系。可以使用探索性因素分析(exploratory factor analysis，EFA)和验证性因子分析(comfirmatory factor analysis，CFA)

计算协方差矩阵/相关系数矩阵。可以利用cov2cor()将协方差转化为相关系数矩阵，也可利用cor2cov()转化回来

· KMO值：如果此值高于0.8，则说明效度高；如果此值介于0.7 0.8之间，则说明效度较好；如果此值介于0.6 0.7，则说明效度可接受，如果此值小于0.6，说明效度不佳

· 巴特球形检验：其对应巴特球形值，对应P值一定需要小于0.05，这样才能说明通过巴特球形检验

· 特征根：此值是判断因子（维度）个数的标准的信息量，由于已经设置好因子（维度）个数，因而此值意义较小可忽略；

· 方差解释率值：代表各维度可解释整体量表的信息量；

· 累积方差解释率值：所有维度可解释整体量表的信息量；

· 因子载荷系数值：分析项与维度之间的相关关系情况；此值非常非常重要，可用于判断分析项与维度的对应关系情况，下述会有说明；

· 共同度值：分析项可以被提取出的信息量情况，比如为0.617，可以理解为该项有61.7%的信息可被最终提取出来。

组内相关系数（intra-class correlation coefficient, ICC）的用途、类型以及计算。 ICC常用于衡量某个指标（比如，皮层厚度）在多次测量中的一致性/相似性（即信度）。在概念上，ICC等于真实的（被试间）变异除以观测的变异，观测的变异等于真实的变异加上噪声变异。比如，ICC=0.5表示真实变异和噪声变异相同。ICC越高，表明观测/测量越可靠。ICC的理论范围在0-1，一般地，ICC位于0-0.5之间表示信度差，0.5-0.75表示中等，0.75-0.9表示好，0.9-1表示极好（也存在其他分类标准）。信度的现实意义在于，如果信度低，那么对于检测同样的效果量，需要更大的样本量根据如何计算ICC，可以分为三个类型，即ICC(1,1), ICC(2,1)和ICC(3,1)。ICC(2,1)也表示为ICC(A,1)，ICC(3,1)也表示为ICC(C,1)。在MRI脑成像中，ICC(2,1)似乎是最常用的。ICC(2,1)和ICC(3,1)的区别在于是否考虑多次测量之间的系统性噪声，直观来说，就是ICC(2,1)对变量的均值敏感，ICC(3,1)对变量的均值不敏感。作为对比，熟知的皮尔逊相关系数对于变量的均值和方差都不敏感，只对变量之间的协方差敏感。在具体估计方法上，常见的有ANOVA和LME（linear mixed-effects）两种。LME的好处是不会出现ICC<0的情况，以及可以处理存在缺失值/协变量的情况。

教学类文章的写作自有套路，新的教学方法的应用评估，如何选择统计方法是一个问题。

在统计学上，教学前后的自身对照，属于类实验。

在医学生物研究中，经常会听到“类实验”研究，意思是研究设计中有对研究对象的干预内容，与实验研究不同的是设计内容缺少随机原则分组或不设对照组。

我们这里说的“类实验”研究指的是带有类似实验研究背景的研究方式，比如研究新型教学方式是否有效，将学生班级分为两组，其中一组为实验组，另外一组为对照组，实验组使用新型教学方式，对照组不作任何处理。

还有另一种类实验式问卷为实验前与实验后式问卷，比如测验新型教学方式是否有效，分别测量学生新型教学方式(实验)前，和新型教学方式之后的成绩对比。

“类实验”类研究，通常也称作“情景”类研究等，在通常情况下，这类问卷研究影响关系并不通过回归分析，而是通过差异研究分析，如果具有差异性其说明变量之间有影响关系，反之则说明没有影响关系。此类框架在市场研究、教育学、心理学中相对较为常见，通常均是使用量表类问卷题。

从研究思路上看：

1. 和其他类型研究相似，首先对样本背景，和样本特征、行为分析。使用频数分析了解各题项具体情况。

2. 信度和效度分析。对研究量表进行信度和量表验证。针对信度分析，有时将实验组和对照组分别进行研究，也或者对实验前样本和实验后样本分别进行信度研究。

3. 交互作用研究。此步骤为“类实验”式问卷核心研究步骤，通常情况下“类实验”类问卷研究会分析实验组和对照组的差异情况，也或者实验前和实验后样本的差异情况。在此基础上，研究人员可以对在实验水平不同(实验组和对照组，或者实验前和实验后)时，X对于Y的影响幅度是否一致进行研究，比如不同。

4. 研究变量描述分析。如果研究问卷使用量表，则可以分别对实验组和对照组，也或者对实验前和实验后研究量表平均得分情况进行分析。

5. 差异分析，如果在交互作用研究中发现具有差异性，也即说明实验有效，可以继续深入研究具体差异情况。