10. 回归损失最小化

2.2 损失最小化

要评价监督学习的表现，自然的想法是使用模型预测的输出与真实的输出之间的误差（Error）[[1]]，不过原始的误差不能直接用于计算：对于回归，误差和输出值同样是实数，既可能是正数，也可能是负数，累加时会相互抵消，不能计算多个实例的误差之和；对于分类，输出的实际值和预测值都是定性的，误差因而是描述性的，无法计算其大小。所以，需要用另一个定量的标准来反映误差的大小。我们将该标准称为损失（Loss），根据输出的实际值和预测值来定义损失的函数称为损失函数L(y, f(x))[[2]]。损失越小，预测函数越准。损失函数度量的是预测函数在单个实例上的准确度，为了度量预测函数在任意实例上的准确度，我们采用损失函数的期望值（Expected loss）。下面就通过最小化损失期望值，分别确定回归和分类预测函数的行为。