13model selection和bias/variance1

目录

model selection and training cross

Bias/variance

判断bias和variance

regularization bias and variance

---

model selection and training cross

        actual generalization error指的是用不在训练集上的数据测试模型。

        从低次方模型开始，用测试集测试，然后计算出Jtest，在所有的10个模型中找到Jtest最小的。此图中的例子，第五个是最小的。实际上，测试也会和训练一样可能出现过拟合。

        cross validation有时也被叫做validation set、dev set或development set，都是为了验证模型的accuracy或validity。

        这三个公式都没有加regularization项。可使用这三项对模型的性能评估。

        对于每一个f（x）的参数选择，我们会通过cross validation set测试参数，而不是在test set上，选择cross validation set的J最小的一项。本例子中J4是最小的，意味着我们选择了J4对应的多项式作为模型的应用。最后可以把选好的模型应用到test set上，估算generalization error。

步骤是：第一，通过训练集选择每个式子的参数；第二，通过验证集选择式子中J最小的一个；第三，通过测试集估算选择后的式子的generalization error。

Bias/variance

创建机器学习系统的过程的关键是决定好提升性能的下一步。

判断bias和variance

        Jtrain很高，Jcv也很高，表面这个有很高的bias。

        Jtrain很低，但是新的数据上下Jcv很高远大于Jtrain，表明这个variance很高。

        在这图中，high bias和high variance不太可能出现，但是在一些机器学习的实例中，可能会出现。线性回归中，high bias和high variance不太可能出现。

regularization bias and variance

        λ的选很重要。过低或过高可能会导致variance或bias很高。

        对于每一个λ的值，通过最小化J确定对应的参数值，然后通过validation set评估λ。

        随着λ的增大，模型会使w更小，从而更少关注对训练数据的拟合程度，导致Jtrain增大。

        随着λ的增大，Jcros validation会像个碗一样，左边variance很高，右边bias很高。