高光谱(HS)图像比多光谱(MS)图像具有更丰富的光谱信息，近年来在计算机视觉和遥感领域得到了广泛应用。然而由于空间分辨率和光谱分辨率之间的权衡和制约，相比于多光谱图像，高光谱图像通常具有更低的空间分辨率。为了获得高空间分辨率高光谱(HR-HS)图像，高空间分辨率多光谱(HR-MS)图像与低空间分辨率高光谱(LR-HS)图像融合近年来受到了研究人员的关注。尽管许多方法利用了HR-HS图像中的空间非局部相似度(SNS)和光谱带相关性(SBC)，但由于HR-HS图像在真实场景中不可用，难以明确地对上述先验进行建模。HR-MS和LR-HS图像作为HR-HS图像的低维退化版本，分别继承了HR-HS图像中的SNS和SBC，但是现有方法很少考虑两幅源图像与HR-HS图像之间SNS和SBC的继承性。
鉴于此，同济大学物理科学与工程学院王占山教授和程鑫彬教授团队的博士后王绪泉，联合山东师范大学孙建德教授、张凯副教授，济南大学张风老师，意大利特伦托大学王炜杰博士，提出一种空间-光谱双自适应图嵌入模型(SDAGE)。利用HR-MS和LR-HS图像中的SNS和SBC进行正则化融合，自适应构建空间图和光谱图来描述HR-MS图像中的SNS和LR-HS图像中的SBC，并进一步将其嵌入到网络特征中重建HR-HS图像，以确保源图像与HR-HS图像之间SNS和SBC的一致性。该研究成果以“Learning Spatial-Spectral Dual Adaptive Graph Embedding for Multispectral and Hyperspectral Image Fusion”为题发表在人工智能一区TOP期刊《模式识别》（Pattern Recognition）上。
图1 Harvard数据集图像中的SNS、SBC及HR-HS图像与源图像之间的邻域一致性保持
论文首先采用图卷积网络(GCN)来捕获HR-MS和LR-HS图像中的空间和光谱邻域关系。考虑到不同节点之间的结构差异，论文设计了一个自适应图构建模块，为每个节点寻找自适应数量的邻域。根据邻域关系，构造了编码SNS和SBC的空间图和光谱图。通过对邻域关系进行继承，重新组合网络特征，完成SNS和SBC的嵌入，并利用三重特征融合(triple feature fusion, TFF)模块对嵌入特征进行整合，重建HR-HS图像。在CAVE、Harvard和Washington DC Mall三个数据集上的验证结果证明，通过SNS和SBC的嵌入，可以较好地恢复HR-HS图像中的空间和光谱信息。如图3-5所示，与当前最优方法相比，论文提出的SDAGE在三个数据集上取得了更好的性能，这要归功于所提出方法对源图像中SNS和SBC的建模能力。
图2 论文提出的SDAGE模型架构
图3 CAVE数据集的融合结果。RGB图像由融合结果的第24、15、7波段组成。
图4 Harvard数据集的融合结果。RGB图像由融合结果的第24、15、7波段组成。
图5 Washington DC Mall数据集上的融合结果。RGB图像由融合结果的第52、30、9波段组成。
此外，为了减小SDAGE的模型尺寸，论文采用了权值共享策略，开发了一个更小版本的SDAGE-s来完成该任务。由于HR-HS图像重建受到空间-光谱双自适应图的约束，因此SDAGE-s和SDAGE具有相当的融合性能。
山东师范大学张凯副教授为论文通讯作者，同济大学博士后王绪泉为论文第一作者。对论文作出重要贡献的合作者还包括山东师范大学孙建德教授、同济大学顿雄研究员、济南大学张风老师和特伦托大学王炜杰博士。
论文链接：https://doi.org/10.1016/j.patcog.2024.110365
