β

[数据挖掘算法]回归-解析与R实现示例(Part 2)

胡户主—《江南360》 162 阅读
1. 拟牛顿法 BFGS 我们可以得到迭代公式: 通过求秩一校正后的矩阵的逆矩阵,我们可以得到: H是B的逆,对B进行求逆,可以得到H的公式如下: 2. L-BFGS BFGS 需要存储hessian矩阵,在实际应用中会导致内存太多而不可求,L-BFGS算法可以通过历史m此迭代中间数据对当前的H矩阵进行近似,减少存储。 假设 代入BFGS公式中,得到 3. OWL-QN 一般损失函数L1正则化后存在不可微的情况,则需要OWL-QN算法来解决。 对于逻辑回归,有两种正则化方法,L2-norm(模型参数服从Gaussian分布);L1-norm(模型参数服从Laplace分布) 以下截取他人博客 L1-norm和L2-norm之间的一个最大区别在于前者可以产生稀疏解,这使它同时具有了特征选择的能力,此外,稀疏的特征权重更具有解释意义。 对于损失函数的选取就不在赘述,看两幅图: 图1 - 红色为Laplace Prior,黑色为Gaussian Prior 图2 直观解释稀疏性的产生 而在L1正则化的情况下,此算法利用虚梯度来替换原有梯度,具体推导可以参见博客(http://www.cnblogs.com/downtjs/archive/2013/07/29/3222643.html)

发表评论