【AAAI2023】Spatial-Spectral Transformer for Hyperspectral Image Denoising

论文：https://readpaper.com/paper/4694783227240398849

代码：https://github.com/MyuLi/SST

1、总体介绍

高光谱图像（HSI）去噪是后续HSI应用的关键预处理过程，但是基于CNN的方法需要在计算效率与非局部特征建模能力之间进行权衡。为了解决这个问题，作者提出了 Spatial-Spectral Transformer。

论文的主要贡献：（1）构建了一个spatial-spectral Transformer挖掘 non-local spatial similarity 和 global spectral correlation. （2）设计了一个由空间自注意力和光谱自注意力组成的去噪模块。

2、方法简介

网络架构如下图所示：

可以看出，方法的核心在于SSMA模块，即spatial-spectral multi-head self-attention，该模块结构如下图所示：

其实原理也非常简单，图中画的非常清楚了。需要注意的是，在 spatial attention 前有一个 shift operation，论文中说是在X，Y方向分别 shift 的尺寸为 M/2 个像素，代码为：

shifted_x = torch.roll(x, shifts=(-self.shift_size, -self.shift_size), dims=(1, 2))

实验部分可以参考作者论文，这里不多介绍了。