怎样用r语言中做岭回归的程序包

Python021

怎样用r语言中做岭回归的程序包,第1张

(1)plot(lm.ridge(GDP~Consume+Investment+IO+Population+Jobless+Goods,data=dat,lambda=seq(0,0.3,0.001))) # 和线性回归类似,这个plot可以画出岭迹图,lambda=seq(0,0.3,0.001)设置范围和间隔,可以观察岭迹图,人工选择,但是这样主观性较强。(2)select(lm.ridge(GDP~Consume+Investment+IO+Population+Jobless+Goods,data=dat,lambda=seq(0,0.3,0.001))) #利用select 函数找出最优岭参数lambda,会有三个值,任选一个即可。lm.ridge(GDP~Consume+Investment+IO+Population+Jobless+Goods,data=dat,lambda=0.09)#通过(1)或(2)把选取的lmbda 参数写到岭回归函数中去,在这里lambda=0.09。

方法一:

1、做多自变量的线性回归,在统计量面板内选:共线性诊断(L);

2、如结果中的方差膨胀系数(VIF)>5,则可做岭回归分析;

3、新建语法编辑器,输入如下命令:

INCLUDE '安装目录\Ridge regression.sps'. RIDGEREG DEP=因变量名 /ENTER = 自变量名(用空格分开)/START=0 /STOP=1[或其它数值] /INC=0.05[或其它搜索步长]/K=999 .

4、选择运行全部,得到各自变量岭迹图和决定系数R2与K值的关系图,在图上作参考线,取一岭迹平稳并且R2值较大的平衡点的K值;

5、将语法编辑器中的K值改为所选K值,再运行全部,得到详细的最终模型参数。

方法二:

可以直接在spss里面做,spss18里面已经比较完善了。

步骤如下:回归——》最优尺度——》规则化(里面有岭回归)。

可以标准化处理

你当然可以不把原始数据做标准化,但是这样岭回归本身就失去了其意义。

岭回归可以理解成在最小化残差平方和基础上,通过加上回归参数的L2模的惩罚项,使得每个变量的系数绝对值不至于太大

如果不对数据进行标准化的,由于变量之间的scale不一致,不同的\omega_i之间是无法比较的,\lambda 对参数的惩罚力度也不一样。

所以不做标准化,和做了标准化求解岭估计之后再变回原始参数,这两种方法的结果在大部分情况下都是不一样的。