Bottom-Up Temporal Action Localization with Mutual Regularization BU-TAL阅读笔记

论文地址：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123530528.pdf

Abstract

作者认为现有的方法通过将这些阶段建模为单独的分类任务，忽略了它们之间潜在的时间约束。当视频输入的某些帧缺乏足够的判别信息时，这可能会导致不正确或不一致的预测。为了缓解这一问题，本文引入了两个正则化术语来相互规范学习过程：提出了相内一致性(IntraC)正则化来在每个阶段内验证预测；并提出了相间一致性(InterC)正则化以保持这些阶段之间的一致性。

Introduction

作者认为，之前的自底向上的时序动作检测任务，都是在每一帧上面单独预测他start end 和contine的概率，没有联系帧与帧之间的关系。忽视这种时间关系可能会导致错误和不一致的预测。作者认为独立的分类任务有以下两个缺点。首先，对于这三个阶段中的任何一个，概率预计在相邻的时间位置之间有相对平滑的预测。忽视时间关系可能会导致不一致的预测。其次，开始、继续和结束阶段总是作为一个有序的三重态出现。忽略这三个阶段的排序关系可能会导致相互矛盾的预测。
本文中，作者提出两个正则化项解决了这个问题。为了加强预测之间的时间关系，提出了Intra-phase Consistency(IntraC)正则化，目的是最小化每个phase的positive或negative区域内的差异，并最大化positive和negative区域之间的差异。为了满足这三个阶段的排序约束，引入了Inter-phase Consistency(InterC)正则化，它通过在 continuing-starting和continuing-ending之间的操作来加强这三个阶段的概率之间的一致性。

Method

上图就是该方法的示意图。ProbNet模块预测了三个概率阶段。在每个Intra-phase Consistency损失，首先分离正负区域，然后减少正负区域的差异，缩小正负区域的差异，扩大正负区域的差异。Inter-phase Consistency损失建立在继续开始阶段和继续结束阶段之间。

Adding Mutual Regularization：
continuing阶段的概率IntraC用等式表示如下：

同理可得start和end阶段概率，如下：

Inter-phase Consistency：
作者在三个概率阶段之间建立了阶段间的一致性损失，继续阶段pC，开始阶段pS，和结束阶段pE。为了使这些概率阶段之间具有一致性，我们提出了两个假设：(i)如果持续阶段突然上升，开始阶段应该有较高的概率，反之亦然；(ii)如果持续阶段突然下降，结束阶段应该有较高的概率，反之亦然。根据这些假设，我们使用pC的第一个差异项来捕获持续概率阶段的突然上升和下降：
InterC 用以下公式表示：

预测continuing概率的损失如下：

为了使动作边界更加精确，作者还引入了一个回归任务来预测开始和结束边界偏移。受一些对象检测研究的启发，我们将Smooth L1 Loss 应用于回归任务：

总损失函数如下：