每日一问07

Question:什么是Softmax回归？和线性回归的区别是什么？

---

---

回归 vs 分类

• 回归估计一个连续值
• 分类预测一个离散类别

从回归到多分类

回归

• 单连续值输出

• 自然区间R

• 和真实值的区别作为损失

分类

• 通常多个输出
• 输出i时预测为第i类的置信度，并将值最大的输出所对应的类作为预测输出

均方损失

• 对类别进行一位有效编码（非0即1）
  
• 使用均方损失训练
• 最大值作为预测
  
• 需要更置信的识别正确类（预测值Oy和真实值Oi要足够小）

校验比例

• 输出匹配概率（非负，和为1）

• 概率y 和y_hat的区别作为损失

Softmax和交叉熵损失

• 交叉熵常用来衡量两个概率的区别

• 将交叉熵作为损失：

• 其梯度是真实概率和预测概率的区别

---

总结

• Softmax回归是一个多分类模型
• 使用Softmax操作子得到每个累的预测置信度
• 使用交叉熵来衡量和标号的区别