卷积运算与互相关运算

在卷积神经网络中，虽然卷积层得名于卷积(convolution)运算，但我们通常在卷积层中使用更加直观的互相关运算(cross-correlation)运算。

卷积运算与互相关运算的联系

卷积运算与互相关运算类似。为了得到卷积运算的输出，只需将核数组左右翻转并上下翻转，再与输出做互相关运算。

先上下翻转，再左右翻转

互相关运算

许多机器学习的库实现的是互相关函数但是称之为卷积。

• 公式：
  $$S(i,j)=(K\ast I)(i,j)=\sum _m\sum _{n}I(i+m,j+n)K(m,n).$$

在二维互相关运算中，卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。当卷积窗口滑动到某一位置时，窗口的输入子数组与核数组按元素相乘并求和，得到输入数组中相应位置的元素。如下图所示：

图中的输入数组的高和宽分别为 $2$，其中的 $4$ 个元素由二维互相关运算得出：
$$\begin{gathered} 0\times 0+1\times 1+3\times 2+4\times 3=19 \\ 1\times 0+2\times 1+4\times 2+5\times 3=25 \\ 3\times 0+4\times 1+6\times 2+7\times 3=37 \\ 4\times 0+5\times 1+7\times 2+8\times 3=43 \end{gathered}$$

如果用在图中：

卷积

• 公式：
  $$S(i,j)=(I\ast K)(i,j)=\sum _m\sum _{n}I(m,n)K(i-m,j-n).$$

  卷积是可交换的(commutative)。我们可以等价地写作：
  $$S(i,j)=(K\ast I)(i,j)=\sum _m\sum _{n}I(i-m,j-n)K(m,n).$$

运算方式如图中所示：