关键词:
注意力机制
脑肿瘤分割
缺失模态
核磁成像
摘要:
目的多模态核磁共振成像之间由于包含差异性和互补性信息,在临床实践上往往被综合运用来进行诊断和脑肿瘤分割。然而,在真实世界中,可能无法获取到完整模态的脑部核磁成像,而一种或者多种关键模态的缺失会导致分割性能的下降甚至崩溃。为了解决这一问题,提出了一种引入基于注意力的解耦再重构模块的分割网络,希望能够在缺失模态下仍能保持对脑肿瘤的分割精度。方法网络使用U型架构,并引入基于注意力机制的解耦再重构模块。在解耦再重构模块中,首先通过各模态的高维特征融合获得共有基本特征,然后在此基础上借助差异注意力机制获得各模态的个性特征,最后将基本特征和个性特征经过交叉注意力整合重构后送入解码器中获取最终分割结果。同时,还设计了可学习的跳连接门,以使编码器中多种模态的浅层特征经过充分交互后传向解码器。结果在一系列实验中,分割网络在BraTS2020脑胶质瘤数据集上表现出了出色的性能,缺失模态下仍能完成对脑肿瘤的分割,评价指标相较其他先进的方法提高约2%以上,高达85.3%。结论因此,基于注意力机制的脑肿瘤分割网络能够有效地在缺失模态下完成对脑肿瘤的分割,具有重要的实际意义。