论文信息
论文标题：Contrastive Multi-View Representation Learning on Graphs
论文作者：Kaveh Hassani 、Amir Hosein Khasahmadi
论文来源：2020, ICML
论文地址：download
论文代码：download
1 Introduction
节点 local-global 对比学习。
2 Method
框架如下：
框架由以下组件组成:
-
- 仅有图结构数据增强，并无节点级数据增强；
- 两个专用 GNN Encoder gθ(.)
gθ(.) ，gω(.)gω(.) ； - 图池化层（Graph pooling layer）：即 Readout 函数；
- 判别器（Discriminator）；
2.1 Augmentations
Graph Diffusion
图扩散如下：
S=∞∑k=0ΘkTk∈Rn×n(1)
其中：
-
- T∈Rn×n 是生成的转移矩阵，即 T=AD−1；
- Θ 是权重系数，决定了全局和局部信息的比重；
- ∞∑k=0θk=1,θk∈[0,1]
- λi∈[0,1] 是矩阵 T 的特征值，保证收敛性。
图扩散常用形式：Personalized PageRank (PPR) 和 heat kernel，定义为：
heat kernel：θk=e−ttk/k!
PPR：θk=α(1−α)k
其中：α 表示随机游走的传送概率， t 是扩散时间。
heat kernel 和 PPR 的扩散矩阵如下：
Sheat =exp(tAD−1−t)(2)
SPPR=α(In−(1−α)D−1/2AD−1/2)−1(3)
Sub-sampling
从一个视图选择节点及其之间的边，并从另一个视图中选择一样的的节点及其之间的边。
2.2 Encoders
本文采用 GCN Encoder，分别是 gθ(.),gω(.):Rn×dx×Rn×n⟼Rn×dh。
本文将 Sub-sampling 采样的子图 和 图扩散子图看成结构一致的视图，用 GCN Encoder 提取初始节点表示：
σ(˜AXΘ)
σ(SXΘ)
其中
-
- ˜A=ˆD−1/2ˆAˆD−1/2∈Rn×n；
- S∈Rn×n 是扩散矩阵；
- X∈Rn×dx 是特征矩阵；
- Θ∈Rdx×dh 是网络参数矩阵；
- σ 是非线性映射 ReLU (PReLU) ；
学习到的表示被喂入到共享的 MLP 映射头（2层+使用 PReLU 激活函数）：，最后生成各自对应的节点表示
然后使用共享参数的 MLP fψ(.):Rn×dh⟼Rn×dh 得到最终节点表示Hα,Hβ∈Rn×dh 。
为得 图级表示，Readout （P(.):Rn×dh⟼Rdh）函数拼接每个 GCN 层的节点表示，然后将其送入全职共享的包含 2 层隐藏层的 MLP，使获得的图表示与节点表示的维数大小一致:
→hg=σ(‖Ll=1[n∑i=1→h(l)i]W)∈Rdh(4)
其中：
-
- →h(l)i 节点 i 第 l 层的潜在表示；
- ‖ 是拼接操作；
- L 代表 GCN 的层数；
- W∈R(L×dh)×dh 是网络权值矩阵；
- σ 是 PReLU 非线性映射；
推断时，将图表示 →hαg,→hβg∈Rdh，进行加和处理：
→h=→hαg+→hβg∈Rn
节点表示也进行加和处理：
H=Hα+Hβ∈Rn×dh
上述处理后的节点表示和图表示均可直接用于下游任务。
2.3 Training
local-global MI 交叉对比：
maxθ,ω,ϕ,ψ1|G|∑g∈G[1|g||g|∑i=1[MI(→hαi,→hβg)+MI(→hβi,→hαg)]](5)
其中：
-
- θ，ω，ϕ，ψ 是图编码器和映射头的参数；
- |G| 是图的数目；
- |g| 是节点的数目；
- →hαi,→hβg 是节点 i 和图 g 在 α, β 视角下的表示。
互信息作为为判别器
D(.,.):Rdh×Rdh⟼R ，即: D(→hn,→hg)=→hn⋅→hTg
算法如下：
3 Experiments
数据集
节点分类
节点聚类
图分类
互信息估计器对比
论文考虑了五种对比模式：
-
- local-global：对比一个视角的节点编码与另一个视角的图编码；
- global-global：对比不同视角的图编码；
- multi-scale：对比来自一个视图的图编码与来自另一个视图的中间编码；使用 DiffPool 层计算中间编码；
- hybrid：使用 local-global 和 global-global 模式；
- ensemble modes：对所有视图，从相同视图对比节点和图编码。
修改历史
2022-03-27 创建文章
2022-06-10 精读
__EOF__
