DyGRAIN: An Incremental Learning Framework for Dynamic Graphs

图结构数据为复杂关系或交互提供了强大的表示。已经出现了许多图神经网络(gnn)的变体来学习图结构数据，其中底层图是静态的，尽管在各种现实世界的应用中，图是动态的(例如，进化的结构)。为了考虑图随时间变化的动态特性，强调了将增量学习(即持续学习或终身学习)应用于图领域的必要性。然而，与欧氏数据上的增量学习不同，图结构数据包含现有节点和新出现节点之间的依赖关系，导致现有节点的感受野随着新输入(如节点和边)而变化的现象。本文提出了动态图增量学习的一个关键挑战，即时变感受野，并提出了一个新的增量学习框架DyGRAIN，以缓解时变感受野和灾难性遗忘。所提出的方法通过反映现有节点感受野的影响变化和保持容易被遗忘的信息性节点的先前知识，增量地学习动态图表示。在大规模图数据集上的实验表明，所提方法通过有效捕获关键节点和防止灾难性遗忘提高了性能。

问题：增量学习对于学习动态图的表示是有效的。动态图的增量学习不仅会受到灾难性遗忘的影响，而且会受到现有数据时变感受野的影响。 

解决方法：

为了应对这些挑战，本文提出动态图增量学习(DyGRAIN)，一种用于训练动态图的框架，它捕捉了感受野随时间的影响变化，并通过以下组件提取先前学习的知识

(i)影响传播确定从结构和特征来看受新输入影响最大的现有关键节点 

(ii)真值知识蒸馏(KDwTruth)通过估计损失差异来选择容易忘记先前学习到的知识的现有节点。 

KDwTruth缓解灾难性遗忘。实验表明，该方法优于最先进的增量学习技术和图增量学习方法。该框架在捕获受新输入影响的节点和减少动态图中的灾难性遗忘方面直接而有效 

 Methodology

该框架的目标是有效地学习具有动态性质的图拓扑的增量输入。由于图结构数据在数据实例(即节点)之间具有依赖性，在动态图上的增量学习具有重大挑战:现有节点受新输入的影响(即时变感受野)和灾难性遗忘。为应对这些挑战，本文提出一种动态图的增量学习框架——动态图增量学习(DyGRAIN)，从现有节点中的关键节点中学习有用的表示。在本节中，我们从动态图的基本概念开始，并演示动态图上增量学习的挑战，然后介绍我们的框架DyGRAIN的组成部分:Influence Propagation和KD with Truth