有关线性回归分析模型的基本假定需要注意：1）关于随机干扰项的高斯-马尔科夫定理；2）关于自变量的：不存在共线性；3）关于模型的：模型设定正确。
用 glm 函数建立广义线性模型，用参数 family 指定分布类型，logistic模型指定为binomial
用 predict 函数进行预测， predict(model, data, type = 'response'
此外，还可以用 mlogit 包中的 mlogit 函数做多分类变量logistic回归， rms 包中的 lrm 函数做顺序变量logistic回归， glmnet 包中的 glmnet 函数做基于正则化的logistic回归
举个例子：
一般人在身高相等的情况下，血压收缩压Y与体重X1和年龄X2有关，抽取13组成年人数据（如下图），构建Y与X1、X2的线性回归关系。
1.先创建一个数据框blood：
blood<-data.frame(
X1=c(76,91.5,85.5,82.5,79,80.5,74.5,79,85,76.5,82,95,92.5),
X2=c(50,20,20,30,30,50,60,50,40,55,40,40,20),
Y=c(120,141,124,126,117,125,123,125,132,123,132,155,147)
)
2.拟合线性回归：
lm.sol<-lm(Y~X1+X2,data=blood)
提取模型计算结果
summary(lm.sol)
这里说一下含义：
1、在计算结果的第一部分（call）列出了相应的回归模型公式；
2、第二部分（Residuals）列出了残差的最小值点、1/4分位点、3/4分位点、最大值点；
3、第三方部分（Coefficients）Estimate表示回归方程参数的估计，std.Error表示回归参数的标准差，t value 为t值，Pr（>|t|）表示p值
说明一下：***表示极为显著，**表示高度显著，*表示显著，.表示不太显著，没有记号表示不显著
4、第四部分（Residual standard error）表示残差的标准差，（F-statistic）表示F的统计量
通过上面的结果可以看出回归模型：Y=2.13656X1+0.40022X2-62.96336
我们根据得出的回归模型进行预测
例如：预测体重X1=100，年龄X2=40的血压值Y
newdata<-data.frame(X1=100,X2=40)
pre<-predict(lm.sol,newdata,interval="prediction",level=0.95)
pre
从结果可以预测值Y166.7011和预测值Y的区间[157.2417,176,1605]
R语言之逐步回归逐步回归就是从自变量x中挑选出对y有显著影响的变量，已达到最优
用step()函数
导入数据集
cement<-data.frame(
X1=c( 7, 1, 11, 11, 7, 11, 3, 1, 2, 21, 1, 11, 10),
X2=c(26, 29, 56, 31, 52, 55, 71, 31, 54, 47, 40, 66, 68),
X3=c( 6, 15, 8, 8, 6, 9, 17, 22, 18, 4, 23, 9, 8),
X4=c(60, 52, 20, 47, 33, 22, 6, 44, 22, 26, 34, 12, 12),
Y =c(78.5, 74.3, 104.3, 87.6, 95.9, 109.2, 102.7, 72.5,
93.1,115.9, 83.8, 113.3, 109.4)
)
>lm.sol<-lm(Y ~ X1+X2+X3+X4, data=cement)
>summary(lm.sol)
Call:
lm(formula = Y ~ X1 + X2 + X3 + X4, data = cement)
Residuals:
Min 1Q Median 3Q Max
-3.1750 -1.6709 0.2508 1.3783 3.9254
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 62.405470.0710 0.891 0.3991
X11.5511 0.7448 2.083 0.0708 .
X20.5102 0.7238 0.705 0.5009
X30.1019 0.7547 0.135 0.8959
X4 -0.1441 0.7091 -0.203 0.8441
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2.446 on 8 degrees of freedom
Multiple R-squared: 0.9824,Adjusted R-squared: 0.9736
F-statistic: 111.5 on 4 and 8 DF, p-value: 4.756e-07
可以看出效果不明显
所以要进行逐步回归进行变量的筛选有forward：向前，backward:向后，both：2边，默认情况both
lm.step<-step(lm.sol)
Start: AIC=26.94
Y ~ X1 + X2 + X3 + X4
Df Sum of SqRSSAIC
- X310.1091 47.973 24.974
- X410.2470 48.111 25.011
- X212.9725 50.836 25.728
<none> 47.864 26.944
- X11 25.9509 73.815 30.576
Step: AIC=24.97
Y ~ X1 + X2 + X4
Df Sum of SqRSSAIC
<none> 47.97 24.974
- X41 9.93 57.90 25.420
- X21 26.79 74.76 28.742
- X11820.91 868.88 60.629
>lm.step$anova
Step Df Deviance Resid. Df Resid. Dev AIC
1 NA NA 8 47.86364 26.94429
2 - X3 1 0.10909 9 47.97273 24.97388
显然去掉X3会降低AIC
此时step()函数会帮助我们自动去掉X3
summary(lm.step)
Call:
lm(formula = Y ~ X1 + X2 + X4, data = cement)
Residuals:
Min 1Q Median 3Q Max
-3.0919 -1.8016 0.2562 1.2818 3.8982
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 71.648314.1424 5.066 0.000675 ***
X11.4519 0.1170 12.410 5.78e-07 ***
X20.4161 0.1856 2.242 0.051687 .
X4 -0.2365 0.1733 -1.365 0.205395
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2.309 on 9 degrees of freedom
Multiple R-squared: 0.9823,Adjusted R-squared: 0.9764
F-statistic: 166.8 on 3 and 9 DF, p-value: 3.323e-08
很显然X2和X4效果不好
可以用add1()和drop1()函数进行增减删除函数
>drop1(lm.step)
Single term deletions
Model:
Y ~ X1 + X2 + X4
Df Sum of SqRSSAIC
<none> 47.97 24.974
X1 1820.91 868.88 60.629
X2 1 26.79 74.76 28.742
X4 1 9.93 57.90 25.420
我们知道除了AIC标准外，残差和也是重要标准，除去x4后残差和变为9.93
更新式子
>lm.opt<-lm(Y ~ X1+X2, data=cement)
>summary(lm.opt)
Call:
lm(formula = Y ~ X1 + X2, data = cement)
Residuals:
Min 1Q Median 3QMax
-2.893 -1.574 -1.302 1.363 4.048
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 52.577352.28617 23.00 5.46e-10 ***
X1 1.468310.12130 12.11 2.69e-07 ***
X2 0.662250.04585 14.44 5.03e-08 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 2.406 on 10 degrees of freedom
Multiple R-squared: 0.9787,Adjusted R-squared: 0.9744
F-statistic: 229.5 on 2 and 10 DF, p-value: 4.407e-09
显然效果很好
