β

(转)机器学习笔记7 高偏差/低偏差,学习曲线,模型选择

xge技术博客 408 阅读

转自:http://nanshu.wang/post/2015-05-17/

Andrew Ng cs229 Machine Learning 笔记

原文:https://share.coursera.org/wiki/index.php/ML:Advice_for_Applying_Machine_Learning

面对一个机器学习问题,我们提取好特征,挑选好训练集,选择一种机器学习算法,然后学习预测得到了第一步结果。然而我们不幸地发现,在测试集上的准确率低得离谱,误差高得吓人,要提高准确率、减少误差的话,下一步该做些什么呢?

可以采用以下的方法来减少预测的误差:

但不要盲目在这些可行的方法里随便选一种来提升模型,需要用一些诊断模型的技术来帮助我们选择使用哪种策略。

1.评估假设

即使模型假设对于训练集的误差很低,若存在过拟合,模型的预测也同样会不准确。

给定一份训练集,我们可以将数据分成两部分:训练集和测试集。

  1. 使用训练集最小化J(Θ)得到Θ参数
  2. 计算测试集的误差:
Jtest(Θ)=12mtest∑i=1mtest(hΘ(x(i)test)−y(i)test)2

3.计算分类错误率(即0/1分类错误率)

err(hΘ(x),y)=10if hΘ(x)≥0.5 and y=0 or hΘ(x)<0.5 and y=1otherwise

测试集的平均误差为:

Test Error=1mtest∑i=1mtesterr(hΘ(x(i)test),y(i)test)

也就是测试集上分类错误的样本的比例。

2.模型选择与训练/验证/测试集

为了在假设上选择模型,可以测试模型的多项式的次数来观察误差结果。

无验证集

  1. 对不同的多项式次数的模型通过训练集得到最优化参数Θ。
  2. 找到在预测集上误差最小的模型的多项式次数d。
  3. 使用测试集估计泛化误差Jtest(Θ(d))。

在这个例子中,我们用测试集训练得到的一个变量,即多项式次数d,但这样做会使其他数据集的误差更大。

为了解决这个问题,我们引入了第三种数据集,即交叉验证集(Cross Validation Set),来作为选择d的中间数据集。这样,测试集会给出一个准确,非乐观估计的误差结果。

例如,将数据集分成三份:

对于这三个数据集我们可以计算三个不同误差值:

有验证集

  1. 对不同的多项式次数的模型通过训练集得到最优化参数Θ。
  2. 找到在验证集上误差最小的模型的多项式次数d。
  3. 使用测试集估计泛化误差Jtest(Θ(d))。

使用验证集则避免了使用测试集来确定多项式次数d。

3.诊断偏差 Vs. 方差

我们来讨论一下多项式次数d和过拟合以及欠拟合之间的关系。

随着多项式次数d的增加,训练集的误差会减少。

同时,交叉验证集的误差会随着d的增加而减少,但在d增加到某一点之后,会随着d的增加而增加,形成一个凸曲线

可以用下图来表示:

Features-and-polynom-degree

4.正则化和偏差/方差

下面来分析正则化参数λ。

较大的λ参数会惩罚Θ参数,即简单化结果函数的曲线,造成欠拟合。

λ和训练集以及验证集的关系如下:

下图说明了λ值和假设之间的关系:

Features-and-lambda

为了选择模型和正则化参数lambda,我们需要:

  1. 列出λ测试的值,比如 λ∈{0,0.01,0.02,0.04,0.08,0.16,0.32,0.64,1.28,2.56,5.12,10.24};
  2. 选择一个λ的值进行计算;
  3. 创建模型集,比如按照多项式次数或其他指标来创建;
  4. 选择一个模型来学习Θ值;
  5. 用所选的模型学习得到Θ值,使用选择的λ值计算Jtrain(Θ)(为下一步学习参数Θ);
  6. 使用学习(带λ)得到的参数Θ计算不带正则项或是λ=0的训练误差Jtrain(Θ);
  7. 使用学习(带λ)得到的参数Θ计算不带正则项或是λ=0的交叉验证误差JCV(Θ);
  8. 对模型集合所有λ取值重复上述步骤,选择使交叉验证集误差最小的组合;
  9. 如果需要使用图形化结果来帮助决策的话,可以绘制λ和Jtrain(Θ)的图像,以及λ和JCV(Θ)的图像;
  10. 使用最好的Θ和λ组合,在测试集上进行预测计算Jtest(Θ)的值来验证模型对问题是否有好的泛化能力。
  11. 为了帮助选择最好的多项式次数和λ的值,可以采用学习曲线来诊断。

5.学习曲线

训练3个样本很容易得到0误差,因为我们永远可以找到一条二次曲线完全经过3个点。

高偏差的情况

如果学习算法有高偏差的问题,那么获取更多的训练数据并不会有很多改进。

对于高方差的问题,对于训练集大小有如下关系:

高方差的情况

如果学习算法有高方差的问题,那么获取更多的训练数据是有用的。

下图展示了训练集大小和高偏差/高方差问题之间的关系。

High-variance-high-bias

6.再次考虑如何选择提升模型的下一步

决策过程可以分解成以下几点:

7.诊断神经网络

使用单个隐藏层是一个较好地开始默认设置。你可以使用验证集在多个隐藏层上训练神经网络。

8.模型选择总结

以下是机器学习诊断的一些总结

有3种方式解决:

  1. 获取更多数据(非常困难)
  2. 选择拟合数据最好且没有过拟合的模型(非常困难)
  3. 通过正则化来减少过拟合的机会

偏差:近似误差(预测值和期望值之间的差值)

方差:有限数据集之间的估计误差值

偏差-方差权衡的直觉

机器学习的最重要的目标之一:找到一个模型在偏差-方差的权衡之间刚刚好。

正则化影响

模型复杂度影响

使用诊断时的一些典型经验法则

参考:

作者:xge技术博客
生活要看积极的一面