深入理解交叉熵损失CrossEntropyLoss - Softmax

深入理解交叉熵损失CrossEntropyLoss - Softmax

flyfish

Softmax 函数可以将一个包含任意实数的向量转换为一个范围在 (0, 1) 之间且总和为 1 的概率分布。Softmax 函数的定义如下：

$$\text{softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$$

其中 $z$ 是输入向量， $z_i$ 是第 $i$ 个元素， $K$ 是向量的长度。

具体例子

步骤 ：计算 Softmax

按照标准的 Softmax 公式：

$$\text{softmax}(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$$

我们需要计算每个 $z_i$ 的指数值并求和：

1. 计算指数值：

• $e^{2.0}\approx 7.389056$
• $e^{1.0}\approx 2.718282$
• $e^{0.1}\approx 1.105171$

2. 求和：

• ${\sum }_{j=1}^3{e}^{z_j}=7.389056+2.718282+1.105171\approx 11.212509$

3. 计算 Softmax 值：

• $\text{softmax}(2.0)=\frac{7.389056}{11.212509}\approx 0.659001$
• $\text{softmax}(1.0)=\frac{2.718282}{11.212509}\approx 0.242432$
• $\text{softmax}(0.1)=\frac{1.105171}{11.212509}\approx 0.098567$
  因此， Softmax 结果是 $[0.659001,0.242432,0.098567]$。

数值稳定的 Softmax 推导

在实际计算中，直接使用上述公式可能会导致数值不稳定性，尤其是当 $z$ 中的某些值非常大或非常小时，可能会导致指数函数溢出。因此，我们需要对 Softmax 函数进行数值稳定性的改进。具体的改进方法如下：

1. 减去最大值：为了避免指数函数溢出，我们可以在计算 Softmax 前减去输入向量中的最大值。因为指数函数的特性，这样的操作不会改变最终的结果，但可以显著提高数值稳定性。令 $z_{\max }=\max (z)$，则改进后的 Softmax 函数为：$$\text{softmax}(z_i)=\frac{e^{z_i-z_{\max }}}{{\sum }_{j=1}^K{e}^{z_j-z_{\max }}}$$通过这种方式，我们可以确保所有的指数计算都不会出现数值溢出的问题。

数学推导

为了证明减去最大值不改变 Softmax 的结果，我们可以从公式入手：

令 $z^{\prime }=z-z_{\max }$，即 $z_i^{\prime }=z_i-z_{\max }$，则 Softmax 函数变为：

$$\text{softmax}(z_i^{\prime })=\frac{e^{z_i^{\prime }}}{{\sum }_{j=1}^K{e}^{z_j^{\prime }}}$$

将 $z_i^{\prime }$ 代入，得到：

$$\text{softmax}(z_i^{\prime })=\frac{e^{z_i-z_{\max }}}{{\sum }_{j=1}^K{e}^{z_j-z_{\max }}}$$

因为 $e^{z_i-z_{\max }}=\frac{e^{z_i}}{e^{z_{\max }}}$，所以：

$$\text{softmax}(z_i^{\prime })=\frac{\frac{e^{z_i}}{e^{z_{\max }}}}{{\sum }_{j=1}^K\frac{e^{z_j}}{e^{z_{\max }}}}=\frac{e^{z_i}}{e^{z_{\max }}{\sum }_{j=1}^K\frac{e^{z_j}}{e^{z_{\max }}}}=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$$

可以看到，最终结果与最初定义的 Softmax 函数是一致的。

具体例子

假设我们有一个向量 $z=[2.0,1.0,0.1]$，我们将计算其 Softmax 值。

步骤 ：数值稳定的 Softmax

为了避免数值不稳定性，我们先减去输入向量中的最大值。在这个例子中，最大值是 2.0。

1. 减去最大值后的向量：

• $z^{\prime }=[2.0-2.0,1.0-2.0,0.1-2.0]=[0.0,-1.0,-1.9]$

2. 计算新的指数值：

• $e^{0.0}=1.0$
• $e^{-1.0}\approx 0.367879$
• $e^{-1.9}\approx 0.149569$

3. 求和：

• ${\sum }_{j=1}^3{e}^{z_j^{\prime }}=1.0+0.367879+0.149569\approx 1.517448$

4. 计算稳定后的 Softmax 值：

• $\text{softmax}(0.0)=\frac{1.0}{1.517448}\approx 0.659001$
• $\text{softmax}(-1.0)=\frac{0.367879}{1.517448}\approx 0.242432$
• $\text{softmax}(-1.9)=\frac{0.149569}{1.517448}\approx 0.098567$
  因此，数值稳定的 Softmax 结果也是 $[0.659001,0.242432,0.098567]$。

Python 实现

import numpy as np

def stable_softmax(x):
    # 减去最大值以提高数值稳定性
    shift_x = x - np.max(x)
    exp_x = np.exp(shift_x)
    softmax_x = exp_x / np.sum(exp_x)
    return softmax_x

# 示例向量
logits = np.array([2.0, 1.0, 0.1])

# 计算 Softmax
softmax_values = stable_softmax(logits)
print(softmax_values)

输出

tensor([0.6590, 0.2424, 0.0986])

Pytorch 实现

import torch
import torch.nn as nn

logits = torch.tensor([2.0, 1.0, 0.1])
softmax = nn.Softmax(dim=0)
probs = softmax(logits)

print(probs)

输出：

tensor([0.6590, 0.2424, 0.0986])