加权最小二乘法的权重怎么确定r语言

Python011

加权最小二乘法的权重怎么确定r语言,第1张

第一步:OLS回归,并计算残差r

第二步:生成残差的平方,即r2

第三步:对r2取对数,并对解释变量做辅助回归(不显著的变量去掉)

第四步:计算辅助回归的拟合值G

第五步:对G做指数化处理,定义H=exp(G)

第六步:以1/H为权重做WLS回归,比如Stata中的命令为 reg y x [aw=1/H]

如下所示

1)R-squared:根据R-squared可以看出我们的模型拟合程度;2)F-statistic、Prob(F-statistic):用于判定是否x中至少有一个对y产生影响,如果呈现出显著性,则说明所有x中至少一个会对y产生影响关系3)自变量的显著性P值:分析每个自变量x的P值是否小于0.05,P0.05,则说明自变量x对y影响不显著性,应剔除;4)回归系数:分析回归系数中是否含有负数,或与业务理解方向相反的变量。

普通最小二乘法(OLS)方法的原理是:

利用最小二乘法可以简便地求得未知的数据,并使得所选择的回归模型应该使所有观察值的残差平方和达到最小。具体验证如下:

样本回归模型:

其中ei为样本(Xi,Yi)的误差。

平方损失函数:

则通过Q最小确定这条直线,即确定β0和β1,把它们看作是Q的函数,就变成了一个求极值的问题,可以通过求导数得到。求Q对两个待估参数的偏导数:

根据数学知识我们知道,函数的极值点为偏导为0的点。

解得:

这就是最小二乘法的解法,就是求得平方损失函数的极值点。

扩展资料

最小二乘法来源于19世纪意大利天文学家朱赛普·皮亚齐的一次发现,后由勒让德或高斯发明。

1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

法国科学家勒让德于1806年独立发明“最小二乘法”,但因不为世人所知而默默无闻。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此被称为高斯-马尔可夫定理。

参考资料来源:百度百科-最小二乘法