R语言广义加性模型GAM

2023-02-17 08:33:02Python012

R语言广义加性模型GAM,第1张

原文链接：http://tecdat.cn/?p=20882

1导言

这篇文章探讨了为什么使用广义相加模型是一个不错的选择。为此，我们首先需要看一下线性回归，看看为什么在某些情况下它可能不是最佳选择。

2回归模型

假设我们有一些带有两个属性Y和X的数据。如果它们是线性相关的，则它们可能看起来像这样：

a<-ggplot(my_data, aes(x=X,y=Y))+geom_point()+

为了检查这种关系，我们可以使用回归模型。线性回归是一种使用X来预测变量Y的方法。将其应用于我们的数据将预测成红线的一组值：

a+geom_smooth(col="red", method="lm")+

这就是“直线方程式”。根据此等式，我们可以从直线在y轴上开始的位置（“截距”或α）开始描述，并且每个单位的x都增加了多少y（“斜率”），我们将它称为x的系数，或称为β）。还有一点自然的波动，如果没有的话，所有的点都将是完美的。我们将此称为“残差”（ϵ）。数学上是：

或者，如果我们用实际数字代替，则会得到以下结果：

这篇文章通过考虑每个数据点和线之间的差异（“残差）然后最小化这种差异来估算模型。我们在线的上方和下方都有正误差和负误差，因此，通过对它们进行平方并最小化“平方和”，使它们对于估计都为正。这称为“普通最小二乘法”或OLS。

3非线性关系如何？

因此，如果我们的数据看起来像这样，我们该怎么办：

我们刚刚看到的模型的关键假设之一是y和x线性相关。如果我们的y不是正态分布的，则使用广义线性模型（Nelder＆Wedderburn，1972），其中y通过链接函数进行变换，但再次假设f（y）和x线性相关。如果不是这种情况，并且关系在x的范围内变化，则可能不是最合适的。我们在这里有一些选择：

我们可以使用线性拟合，但是如果这样做的话，我们会在数据的某些部分上面或者下面。

我们可以分为几类。我在下面的图中使用了三个，这是一个合理的选择。同样，我们可能处于数据某些部分之下或之上，而在类别之间的边界附近似乎是准确的。例如，如果x = 49时，与x = 50相比，y是否有很大不同？

我们可以使用多项式之类的变换。下面，我使用三次多项式，因此模型适合：。这些的组合使函数可以光滑地近似变化。这是一个很好的选择，但可能会极端波动，并可能在数据中引起相关性，从而降低拟合度。

请点击输入图片描述

4样条曲线

多项式的进一步细化是拟合“分段”多项式，我们在数据范围内将多项式链在一起以描述形状。“样条线”是分段多项式，以绘图员用来绘制曲线的工具命名。物理样条曲线是一种柔性条，可以弯曲成形，并由砝码固定。在构造数学样条曲线时，我们有多项式函数，二阶导数连续，固定在“结”点上。

下面是一个ggplot2 对象，该对象的 geom_smooth 的公式包含ns 函数中的“自然三次样条” 。这种样条曲线为“三次”，并且使用10个结

请点击输入图片描述

5光滑函数

样条曲线可以是光滑的或“摇摆的”，这可以通过改变节点数（k）或使用光滑惩罚γ来控制。如果我们增加结的数目，它将更“摇摆”。这可能会更接近数据，而且误差也会更小，但我们开始“过度拟合”关系，并拟合我们数据中的噪声。当我们结合光滑惩罚时，我们会惩罚模型中的复杂度，这有助于减少过度拟合。

请点击输入图片描述

6广义相加模型（GAM）

广义加性模型（GAM）（Hastie，1984）使用光滑函数（如样条曲线）作为回归模型中的预测因子。这些模型是严格可加的，这意味着我们不能像正常回归那样使用交互项，但是我们可以通过重新参数化作为一个更光滑的模型来实现同样的效果。事实并非如此，但本质上，我们正转向一种模型，如：

请点击输入图片描述

摘自Wood （2017）的GAM的更正式示例是：

请点击输入图片描述

其中：

μi≡E（Yi），Y的期望

Yi〜EF（μi，ϕi），Yi是一个响应变量，根据均值μi和形状参数ϕ的指数族分布。

Ai是任何严格参数化模型分量的模型矩阵的一行，其中θ为对应的参数向量。

fi是协变量xk的光滑函数，其中k是每个函数的基础。

如果您要建立回归模型，但怀疑光滑拟合会做得更好，那么GAM是一个不错的选择。它们适合于非线性或有噪声的数据。

7 gam拟合

那么，如何为上述S型数据建立 GAM模型？在这里，我将使用三次样条回归：

gam(Y ~ s(X, bs="cr")

上面的设置意味着：

s()指定光滑器。还有其他选项，但是s是一个很好的默认选项

bs=“cr”告诉它使用三次回归样条（'basis'）。

s函数计算出要使用的默认结数，但是您可以将其更改为k=10，例如10个结。

8模型输出：

查看模型摘要：

#### Family: gaussian## Link function: identity## Parametric coefficients:## Estimate Std. Error t value Pr(>|t|)## (Intercept) 43.9659 0.8305 52.94 <2e-16 ***## ---## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1#### Approximate significance of smooth terms:## edf Ref.df F p-value## s(X) 6.087 7.143 296.3 <2e-16 ***## ---## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1#### R-sq.(adj) = 0.876 Deviance explained = 87.9%## GCV = 211.94 Scale est. = 206.93 n = 300

显示了我们截距的模型系数，所有非光滑参数将在此处显示

每个光滑项的总体含义如下。

这是基于“有效自由度”（edf）的，因为我们使用的样条函数可以扩展为许多参数，但我们也在惩罚它们并减少它们的影响。

9检查模型：

该 gam.check() 函数可用于查看残差图，但它也可以测试光滑器以查看是否有足够的结来描述数据。但是如果p值很低，则需要更多的结。

请点击输入图片描述

#### Method: GCV Optimizer: magic## Smoothing parameter selection converged after 4 iterations.## The RMS GCV score gradient at convergence was 1.107369e-05 .## The Hessian was positive definite.## Model rank = 10 / 10#### Basis dimension (k) checking results. Low p-value (k-index<1) may## indicate that k is too low, especially if edf is close to k'.#### k' edf k-index p-value## s(X) 9.00 6.09 1.1 0.97

10它比线性模型好吗？

让我们对比具有相同数据的普通线性回归模型：

anova(my_lm, my_gam)

## Analysis of Variance Table#### Model 1: Y ~ X## Model 2: Y ~ s(X, bs = "cr")## Res.Df RSS Df Sum of Sq F Pr(>F)## 1 298.00 88154## 2 292.91 60613 5.0873 27540 26.161 <2.2e-16 ***## ---## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

我们的方差分析函数在这里执行了f检验，我们的GAM模型明显优于线性回归。

11小结

所以，我们看了什么是回归模型，我们是如何解释一个变量y和另一个变量x的。其中一个基本假设是线性关系，但情况并非总是这样。当关系在x的范围内变化时，我们可以使用函数来改变这个形状。一个很好的方法是在“结”点处将光滑曲线链接在一起，我们称之为“样条曲线”

我们可以在常规回归中使用这些样条曲线，但是如果我们在GAM的背景中使用它们，我们同时估计了回归模型以及如何使我们的模型更光滑。

上面的示例显示了基于样条的GAM，其拟合度比线性回归模型好得多。

12参考：

NELDER, J. A. &WEDDERBURN, R. W. M. 1972. Generalized Linear Models. Journal of the Royal Statistical Society. Series A (General), 135, 370-384.

HARRELL, F. E., JR. 2001. Regression Modeling Strategies, New York, Springer-Verlag New York.

请点击输入图片描述

最受欢迎的见解

1.R语言多元Logistic逻辑回归应用案例

2.面板平滑转移回归(PSTR)分析案例实现

3.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）

4.R语言泊松Poisson回归模型分析案例

5.R语言回归中的Hosmer-Lemeshow拟合优度检验

6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现

7.在R语言中实现Logistic逻辑回归

8.python用线性回归预测股票价格

9.R语言如何在生存分析与Cox回归中计算IDI，NRI指标

本文第一大部分将介绍用R软件的meta分析数据包实现相关系数的Meta分析，第二大部分如何用R语言进行多变量的meta分析。

想获取R语言相关系数meta分析的程序模板的同学请在公众号（全哥的学习生涯）内回复“相关系数”即可。

meta数据包提供实现相关系数的Meta分析命令是:metacor()，这个命令通过加权的倒方差法运用相关系数和纳入的样本数来实现相关系数的随机效用模型和固定效用模型的合并，得到合并的相关系数及95%可信区间。具体的命令如下：

metacor(cor, n,studlab, data= NULL, subset=NULL, sm=.settings$smcor)

cor为每一个纳入研究的相关系数, n为样本量, studlab纳入研究的标签向量, data为相应的的数据集,sm选项为合并的方法，包括ZCOR和COR，其中ZCOR是合并之前先做Fisher Z变换，COR是直接合并。具体的步骤如下：

library(meta)

data<-read.csv(“C:/Users/86187/Desktop/data.csv”)

录入的数据见图1。

data<-metacor(r,n,data=m1,sm="ZCOR")

在这里合并的方法用的是Fisher Z变换。对样本的相关系数做Fisher Z变换是因为Fisher Z变换可以使样本的相关系数的分布正态分布，尤其是在样本量较小的时候，这样便于进一步估计。一般来说，不管是随机还是固定效应都会先对相关系数做Fisher Z变换。只有很少的情况下才直接用相关系数直接来做分析，比如样本量很大的时候，如果直接合并相关系数，当相关系数值接近1的时候，小样本量研究得到的权重会非常大。因此在这里推荐合并的方法都用(ZCOR)Fisher Z变换。Meta分析的结果见图2。

结果显示，异质性检验Q=6.16, P=0.0461, I2=67.5,可以认为有统计学意义上的异质性。选用随机效用模型，COR=0.8427, 95%CI: 0.6264-0.9385, z=4.8724, P<0.0001, 有统计学差异。

具体的命令如下：

forest(a)

从森林图中，非常简单和直观地看到Meta分析的统计结果，见图3

关于这两个方法的介绍请看我之前公众号（全哥的学习生涯）的推送文章（如何用R语言进行meta分析，详细教程一）的内容。敏感性分析和剪补法的结果图分别见图4和图5。

通常Meta分析假定效应量来自于独立的研究，因此统计结果也是独立的。然而，许多研究不能满足独立性的假设，比如多个治疗组与一个共同的对照组比较的研究和多个结局变量的研究就可能产生效应量之间的相关。多变量meta 分析（multivariate meta⁃analysis）作为单变量meta分析的一个拓展，可合并估计多个研究的多个相关参数，这些参数可以是多个结局或多组间的比较。当同一总体中的测量结局相关时，分别对每个结局进行Meta 分析，测量结局之间的相关结构就可能被忽略。多变量Meta分析在随机对照研究中有多种应用，最简单的是在临床试验中把每个组的结局分别处理，其他的应用还有同时探索两个临床结局的治疗效应，或同时探索成本效益的治疗效应，比较多个治疗的联合试验，以及在观察性研究中评估暴露量与疾病之间的相关性，还有在诊断试验和网络干预中的应用。

本次数据来源请见文末的参考文献，主要研究肝硬化的非手术治疗方式预防其出血的危险性，以初次出血的例数为指标，其中三个组分别是：β⁃受体阻滞剂（A），硬化疗法（B），对照组（C），目的是评价这三种非手术治疗方式预防肝硬化出血的效果。，Bled表示初次出血的例数，Total表示干预组的总例数。YAC和YBC分别表示A、B两组相对于C组估计的ln（OR），即干预组的肝硬化初次出血的危险性是对照组的倍数的自然对数；SAA、SBB和SAB则表示其对应方差及两者之间的协方差。对于包含0的研究（研究10和研究20），在每个组增加0.5个初次出血的例数。整理后见表1。

随后安装调用程序包，并进行加载：

install.packages(‘mvmeta’)

library(mvmeta)。

随后将肝硬化初次出血整理后的数据集data（至少包含YAC、YBC、SAA、SAB、SBB变量）保存为csv格式，然后利用下面命令将其导入R语言。

mvmeta 的语句：mvmeta（formula，S，data，subset，method=“reml”，bscov=“unstr”，model=TRUE，contrasts=NULL，offset，na.action，control=list（））

其中formula 表示结局变量名称（即YAC、YBC）；S 表示研究内（协）方差（即SAA、SAB、SBB）；data 表示数据集名称；method 表示所用的估计方法：固定效应模型时选择FIXED；随机效应模型时则选择

限制性最大似然估计（REML）、最大似然估计（ML）、矩估计（MM）、方差成分法（VC）的其中之一，默认为REML。由输出结果中Q 检验的P 值和I2 统计量来判断异质性以及选择何种效应模型。

mvmeta包中主要提供了多变量Meta分析与多变量的Meta 回归，另外也提供了单变量的Meta 分析和Meta 回归。但对于后两者，在R 语言中的metafor、meta、rmeta 及metalik 等包提供了更多、更详尽和有效的功能。多变量Meta 程序为library（mvmeta），调用mvmeta软件包。

model<-mvmeta（cbind（Ya，Yb），S=S，data=cirrhosis）

model <- mvmeta（cbind（Ya，Yb）~X，S=S，data=cirrhosis），此处X代表协变量。

model<-mvmeta（Y，S=S，data=cirrhosis），此处Y为单变量的效应量，S为效应量方差。

model<-mvmeta（Y~X，S=S，data=cirrhosis），此处X代表协变量。

运行以上程序后，最后将结果输出。

单变量和多变量Meta分析都是采用ln（OR）值做分析。单变量Meta分析时YAC和YBC的Q检验P 值均小于0.05，I2统计量分别为57.7%和77.8%。多变量Meta分析Q检验P<0.05，I2统计量为73.9%。可知两种Meta 分析均存在异质性，都用随机效应模型。估计方法选择默认的REML法。

表2 是单变量Meta 分析结果，可得：AC 与BC的OR 值及95%可信区间分别为0.5281（0.2802,0.9955）、0.5406(0.3095,0.9443)，表明初次出血的危险性由于干预而降低，即β⁃受体阻滞剂、硬化疗法可以预防肝硬化出血，两者为保护因素。

多变量Meta 分析的结果：YAC 为-0.6755（-1.3073，-0.0438），YBC 为-0.5938（-1.1444,-0.043 2），研究间相关系数为0.436 5（见表3），A组与B组的治疗效果呈正相关。OR 值及95%可信区间分别为0.508 9（0.2705，0.9571）、0.5522（0.318 4，0.957 7），多变量Meta 分析的结果说明β⁃受体阻滞剂预防肝硬化出血的效果是最好，其次是硬化疗法。OR 值的95%可信区间不包含1，上下限均小于1，说明两种疗法与对照组比较的初次出血危险性均小于1，差异有统计学意义。

最后，如果屏幕前的你对R语言学习还有什么问题或者看法，可以在我的公众号（全哥的学习生涯）给我留言，公众号里也有我的个人联系方式，我也希望可以结合更多志同道合的伙伴。

感谢你的阅读。

k <- list()

for(i in 1:1000)

{

k[[i]] <- nn2()

}

newdata=c() #1

for(i in 1:1000)

{

#方法一：三次样条法

library(splines)