data=dat,lambda=seq(0,0.3,0.001))) # 和线性回归类似,这个plot可以画出岭迹图,lambda=seq(0,0.3,0.001)设置范围和间隔,可以观察岭迹图,人工选择,但是这样主观性较强。
(2)select(lm.ridge(GDP~Consume+Investment+IO+Population+Jobless+Goods,
data=dat,lambda=seq(0,0.3,0.001))) #利用select 函数找出最优岭参数lambda,会有三个值,任选一个即可。
lm.ridge(GDP~Consume+Investment+IO+Population+Jobless+Goods,
data=dat,lambda=0.09)#通过(1)或(2)把选取的lmbda 参数写到岭回归函数中去,在这里lambda=0.09。
ridge regression可以用来处理下面两类问题:一是数据点少于变量个数;二是变量间存在共线性。
当变量间存在共线性的时候,最小二乘回归得到的系数不稳定,方差很大。这是因为系数矩阵X与它的转置矩阵相乘得到的矩阵不能求得其逆矩阵,而ridge regression通过引入参数lambda,使得该问题得到解决。在R语言中,MASS包中的函数lm.ridge()可以很方便的完成。它的输入矩阵X始终为n x p 维,不管是否包含常数项。
Usage
lm.ridge(formula, data, subset, na.action, lambda = 0, model = FALSE,
x = FALSE, y = FALSE, contrasts = NULL, ...)
>install.packages("MASS")
>library('MASS')
>longley
>names(longley)[1] <- "y"
>lm.ridge(y ~ ., longley)
GNP Unemployed Armed.Forces Population Year Employed
2946.85636017 0.26352725 0.03648291 0.01116105 -1.73702984 -1.41879853 0.23128785
>plot(lm.ridge(y ~ ., longley, lambda = seq(0,0.1,0.001)))
>select(lm.ridge(y ~ ., longley, lambda = seq(0,0.1,0.0001)))
modified HKB estimator is 0.006836982
modified L-W estimator is 0.05267247
smallest value of GCV at 0.0057
方法一:1、做多自变量的线性回归,在统计量面板内选:共线性诊断(L);
2、如结果中的方差膨胀系数(VIF)>5,则可做岭回归分析;
3、新建语法编辑器,输入如下命令:
INCLUDE '安装目录\Ridge regression.sps'. RIDGEREG DEP=因变量名 /ENTER = 自变量名(用空格分开)/START=0 /STOP=1[或其它数值] /INC=0.05[或其它搜索步长]/K=999 .
4、选择运行全部,得到各自变量岭迹图和决定系数R2与K值的关系图,在图上作参考线,取一岭迹平稳并且R2值较大的平衡点的K值;
5、将语法编辑器中的K值改为所选K值,再运行全部,得到详细的最终模型参数。
方法二:
可以直接在spss里面做,spss18里面已经比较完善了。
步骤如下:回归——》最优尺度——》规则化(里面有岭回归)。