1. 摘要

  基于对比学习(CL)的自我监督学习模型以成对的方式学习视觉表征。虽然目前流行的CL模型已经取得了很大的进展，但在本文中，我们发现了一个一直被忽视的现象：当用完整图像训练CL模型时，在完整图像中测试的性能比在前景区域测试的性能要好;当使用前景区域训练CL模型时，在完整图像中测试的性能比在前景区域测试的性能差。这一观察结果表明，图像中的背景可能会干扰模型学习的语义信息，其影响尚未完全消除。为了解决这个问题，我们建立了一个结构因果模型(SCM)，将背景建模为一个混淆剂。我们提出了一种基于后门调整的正则化方法，即基于元语义正则化的介入性对比学习(ICLMSR)，对所提出的供应链管理进行因果干预。ICL-MSR可以整合到任何现有的CL方法中，以减轻表征学习的背景干扰。从理论上证明了ICL-MSR具有更小的误差范围。经验上，我们在多个基准数据集上的实验表明，ICL-MSR能够提高不同最先进的CL方法的性能。

2. 动机

COCO数据集上四种实验设置

1. 在完整图像上训练和测试CL模型；
2. 分别在完整图像和前景图像上训练和测试CL模型；
3. 在前景图像上训练并测试CL模型；
4. 分别在前景图像和完整图像上训练和测试CL模型。

两个互斥的结论

  对比1和2可以发现，在完整图像上测试的性能优于在前景图像上测试的性能。此外，对比1和4可以发现，用完整图像训练的模型在完整图像上测试时优于用前景图像训练的模型。由此得出结论一——背景相关信息可以影响CL模型的学习过程。
  对比3和4可以发现，使用前景图像训练模型时，在前景图像上的测试性能远高于在完整图像上测试的性能。而且，考虑所有变量发现，只使用前景图像训练和测试会产生最好的结果。由此得出结论二——背景相关信息会降低基于此的CL模型的性能。

合理的解释

  一个经过完整图像训练的特征提取器可以提取与背景相关的语义特征。在测试阶段，由于整个图像同时包含前景部分和背景部分，除了前景部分，背景部分对分类也有一定的促进作用。另一方面，CL努力适应各种下游任务，如对象检测、对象分割等。只有与前景相关的语义信息才能保证学习到的特征对各种任务的鲁棒性。

主要贡献

1. 发现了一个悖论：在不同的设置下，背景信息既可以提高也可以阻止学习到的特征表示性能的提高。
2. 为了捕捉语义信息、正样本和锚点之间的因果关系，我们建立了一个结构因果模型(SCM)。我们可以简单地推断，背景是一个有效的混淆器，在正样本和基于此的锚之间产生误导的相关性。
3. 我们提出了一种新的方法，称为介入性对比学习与元语义正则化(ICL-MSR)，通过实施后门调整计划的SCM。
4. 我们提供了误差范围的理论保证和经验评价，以证明ICLMSR可以改善不同的先进的CL方法的性能。

3. 定义

3.1 结构因果模型

  最小化式1可以近似等价于预测$X_i^{3-j}$到标签$X_i^j$。然后，CL中涉及的SCM可以形式化为图2。

SCM中的节点表示抽象的数据变量，而有向边表示(函数)因果关系，例如：$X_i^{3-j}\to Y(X_i^{3-j})$代表$X_i^{3-j}$是原因，$Y(X_i^{3-j})$是结果。

图二解释

1. $X_i^{3-j}\to Y(X_i^{3-j})$：$Y(X_i^{3-j})$表示$X_i^{3-j}$对应的标签。在这里标签等价于锚点，因此有$Y(X_i^{3-j})=X_i^j$。该链接假设$X_i^{3-j}$应该与$X_i^j$相似。
2. $X_i^{3-j}\leftarrow X_s\to Y(X_i^{3-j})$：$X_s$表示语义信息，可以认为是特征提取器$f$的卷积核。因此，链接$X_i^{3-j}\leftarrow X_s$和$X_s\to Y(X_i^{3-j})$假设$X_i^{3-j}$和$Y(X_i^{3-j})$在潜在空间中的特征表示是用$f$提取的，每个特征表示通道对应一个语义信息。

• 为了寻找$X_i^{3-j}$和$Y(X_i^{3-j})$之间真正的因果关系，我们需要用因果干预器$P(Y(X_i^{3-j})|do(X_i^{3-j}))$来替代$P(Y(X_i^{3-j})|X_i^{3-j})$衡量因果关系。

3.2 通过后门调整进行因果干预

特征提取器能够提取与背景相关语义特征的原因

• 正样本数量太少只有一个

  如目标式1所示，随机给定一个锚点，只有一个正样本，但有$2N-2$个负样本。此外，在负对中有一些样本（假负样本）与正样本具有相同的前景。而正对中的锚点和样本是由相同的原始图像生成的，使得两个正样本之间的前景和背景相似。在最小化目标式1时，如果正样本太少，正样本对之间共享的前景和背景可能会一起将正样本拖向锚点。还对与锚具有相同语义信息的假负样本进行观察。因此，将假负样本从锚点移远，主要是降低前景相似度。也就是说，这在一定程度上可能促使 “拖拽” 操作更加重视的背景。因此，背景的作用得到了增强。这就使得以往的对比学习模型能够提取与背景相关的语义特征。

后门调整

  后门调整假设我们可以观察和分层混淆。在提出的SCM中，混淆器包含在$X_s$中，我们可以将其分层为不同的语义特征，例如： X s = { Z s i } i = 1 i = n X_s=\{Z^i_s\}^{i=n}_{i=1} Xs​={Zsi​}i=1i=n​，其中$Z_s^i$表示语义特征的分层。形式上，SCM的后门调整如下所示：

其中$P(Y(X_i^{3-j})|do(X_i^{3-j}))$表示$X_i^{3-j}$和$Y(X_i^{3-j})$之间的真实因果关系。

4. 方法

4.1 元语义正则化

  为了不失一般性，我们将特征提取器$f$的输出$Z_i^j$的维数表示为$w\times h\times c$，其中$w$为宽度，$h$为高度，$c$为特征通道数。更具体地说，我们记$Z_i^j$为$Z_i^j=[Z_{i,1}^j,...,Z_{i,c}^j]$，其中$Z_{i,r}^j\in R^{w\times h}$表示 Z i j , r ∈ { 1 , . . . , c } Z^j_i,r\in \{1,...,c\} Zij​,r∈{1,...,c}。

注意：对于任何预先训练的基于CNN的特征提取器，每个通道对应一种语义信息或视觉概念。然而，用单个通道编码一个视觉概念是很困难的。因此，这促使我们为每个语义信息寻找一个权重向量。我们的想法是，每个语义信息对应于通道的一个子集。因此，这个相关通道子集的权值应该很大，而子集之外的通道的权值应该很小。

  给定一个权向量$a_t=[a_{1,t},...,a_{c,t}{]}^T$，我们表示$Z_s^t$的函数实现为$Z_s^t=a_t$，和$P(Z_s^t)=1/n$。然后，我们表示$P(Y(X_i^{3-j})|X_i^{3-j},Z_s^t)$的函数实现为：

其中$a_t\odot Z_i^{3-j}=[a_{1,t}\cdot Z_{i,1}^{3-j},...,a_{c,t}\cdot Z_{i,c}^{3-j}]$。因此，整体后门调整情况为：

  提出的元语义正则化器可以看作是一个可学习的模块$f_{msr}$，该模块生成语义相关的权值矩阵$A_s$，并通过卷积神经网络实现，其中$A_s=[a_1,...,a_n]$。体来说，对于一个输入样本$X$，我们首先得到两个增广样本 { X 1 , X 2 } \{X^1, X^2\} {X1,X2}将$X$输入到一个随机数据增强模块。然后将$X$输入$f_{msr}$模块，得到权重矩阵$A_s$，两个增广样本 { X 1 , X 2 } \{X^1, X^2\} {X1,X2}只有一个权重矩阵$A_s$。

4.2 模型目标

  ICL-MSR由特征提取器$f$、元语义正则化器$f_{msr}$和投影头$f_{ph}$三个模块组成。元语义正则化器与特征提取器一起训练，每个时期有两个阶段。第一阶段使用两个增强训练数据集$X_{tr}^{aug}$和语义相关权矩阵$A_s$学习$f$和$f_{ph}$。在第二阶段，通过计算$f_{msr}$相对于对比损失的梯度来更新$f_{msr}$。

在每个epoch的第一阶段，通过最小化目标$L_{to}$来更新$f$和$f_{ph}$的参数，可以表示为:

其中$L_{ct}$为目标1，$\lambda$为超参数，$L_{msr}$为：

在每个阶段的第二阶段，为了学习$f_{msr}$的参数，我们提出了一个基于元学习的训练机制。也就是说，$f_{msr}$通过选择权重矩阵来更新，如果使用权重矩阵训练$f$和$f_{ph}$，初级对比学习的性能将在相同的训练数据上最大化。具体来说，我们首先用学习率$\alpha$更新$f$和$f_{ph}$一次，方法如下：

这两个更新可以看作是学习了一个好的$f$和一个好的$f_{ph}$。经过这一步，$f^1$和$f_{ph}^1$可以看作是$f_{msr}$的函数，因为${\nabla }_f{L}_{to}$和${\nabla }_{f_{ph}}{L}_{to}$与$f_{msr}$有关。然后，我们通过最小化以下内容来更新$f_{msr}$：

其中$\gamma$是超参数，$L_{ct}(f^1,f_{ph}^1)$表示损失$L_{ct}$是基于参数$f^1$和$f_{ph}^1$计算的，而$L_{uni}$是均匀损失，旨在约束$A_s$中元素的分布，以近似均匀分布，从而产生的视觉语义可以尽可能不一致。基于高斯势核，$L_{uni}$可以表示为：

式中$G_t(a_i,a_j,t)\triangleq exp(2t\cdot a_i^T{a}_j-2t)$，$t$为固定超参数。

  问题是最小化目标8为什么可以使$f_{msr}$学习语义信息。需要注意的是，只有正对之间共享的语义信息才能提示$X_i^{3-j}$和$Y(X_i^{3-j})$相似，从而最小化对比损失。通过SCM可以看出，共享的语义信息包含了背景信息和前景信息。目标8背后的思想是最小化对比损失，以便$f_{msr}$学习共享的语义信息。这一步也可以看作是在$L_{ct}$的基础上再一次促进$L_{ct}$的学习，类似于学习学习。这也是我们称它为元语义正则化器的原因。

5. 下游分类的误差界

  分类任务经常被用来评价大多数的语言学习方法的性能。因此，我们提出了基于通过最小化传统交叉熵损失来训练softmax分类器的分类任务的ICL-MSR泛化误差界(GEB)。例如$L_{SM}(f;T)=in{f}_W{L}_{CE}(W\cdot f;T)$，其中$W$为线性分类器，$T$为标签。对于特征嵌入$f(X)$，泛化误差由$L_{SM}^T(f)=E_X[L_{SM}(f;T)]$。然后我们研究了这种泛化误差$L_{SM}^T(f)$与对比学习目标$L_{ct}$之间的差距。

定理5.1

令$f^{\ast }\in argmi{n}_f{L}_{cl}+\lambda L_{msr}$。那么至少有$1-\delta$的概率

其中M为训练样本总数，N为小批量的大小，$Q_1=\sqrt{1+1/N},Q_2=log(1/\delta )\cdot lo{g}^2(M)$， $R_H(\lambda )$为Rademacher复杂度。同时，$R_H(\lambda )$与$\lambda$呈单调递减关系。

如式10所示，我们可以得到误差界随着训练样本大小M的增加而逐渐减小。注意，这个观察结果与传统的监督学习方法是一致的。此外，我们可以看到误差项$\sqrt{Q_2/N}$中的小批量大小N对于大样本大小N是可以忽略的，在这种情况下，相对大的尺寸N将有效地减少第一误差项$Q_1{R}_H(\lambda )$，从而收紧误差界。最后，当我们扩大正则化参数λ时，Rademacher复杂度$R_H$也会降低，从而进一步减小了误差界，提高了对比学习算法的泛化性。

6. 实验结果