Mamba入局图像复原,达成新SOTA

图像复原又来新突破了！还记得性能超越SwinIR（基于Transformer）的MambaIR吗？一种基于Mamba的图像复原基准模型，登上ECCV 2024。最近原作者又开发了新版本MambaIRv2，更高性能、更高效率！另外还有ACM MM 2024上的Freqmamba方法，在图像去雨任务中取得了SOTA性能！

显然，这种基于Mamba的方法在图像复原领域，比基于CNN和Transformer的方法更受欢迎。得益于Mamba全局感受野、线性计算复杂度、高效远程依赖处理等诸多优势，它在图像复原（比如超分辨率、去噪等）任务上实现了更高的复原质量和更低的计算成本！可以说是图像增强领域的研究焦点。

目前这方向研究热情高涨，顶会成果多，为了帮论文er抓紧机会，我已经挑选好了10篇Mamba做图像复原的高质量论文供大家参考，基本都有代码，想速发论文拿下顶会的别错过啦。

MambaIRv2: Attentive State Space Restoration

方法：论文提出了一种基于Mamba架构的图像复原方法MambaIRv2，通过引入非因果建模能力，类似于ViT，来增强Mamba的图像复原性能。这种方法特别关注解决Mamba在因果建模中的局限性，允许模型在整个图像中更有效地利用像素信息，从而提高图像复原任务的性能，如超分辨率、去噪和JPEG压缩减少等。

创新点：

提出了“注意力状态空间恢复”的新方法，通过将注意力机制与状态空间模型结合，克服了Mamba架构的因果建模限制。

通过语义引导的邻域重构，作者将相似像素在一维序列中重新排列，使其更加接近。

Freqmamba: Viewing mamba from a frequency perspective for image deraining

方法：论文提出了一种名为FreqMamba的图像复原方法。FreqMamba结合了Mamba模型和频率分析，专注于图像去雨任务。该方法通过结合频率分析和Mamba的状态空间模型来提高去雨效果，包括空间Mamba、频率带Mamba和傅里叶全局建模三个交互结构，旨在利用Mamba捕捉局部相关性的能力，同时通过频率分析增强对全局退化的感知。

创新点：

FreqMamba 是一种创新性的去雨网络，通过结合空间域序列建模和频率域全局建模，以应对图像去雨的挑战。

引入了一种新颖的三分支结构用于低光图像增强，成功应对照明不足和噪声放大的场景。

频率SSM模块利用多尺度U-Net架构，并结合不同尺度的降解图像生成注意力图，捕获不同尺度的降解分布。

Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation

方法：论文提出了一个名为MTAIR的方法，通过充分利用Mamba和Transformer的互补优势，在不牺牲计算效率的情况下，处理包括图像去噪、去雨和去雾等多种图像退化问题。MTAIR通过在空间和通道维度上设计多维提示学习模块，来动态调整特征分布并挖掘与特定退化任务相关的上下文信息，从而提高了“全能型”图像复原模型的性能。

创新点：

结合了Mamba和Transformer的优势，通过选择性扫描机制在空间维度进行长距离依赖建模，同时利用Transformer的自注意力机制在通道维度进行判别特征学习。

设计了一种新颖的多维提示学习模块，能够从多尺度层中学习提示流，有助于从空间和通道角度揭示各种退化的底层特征，从而增强"多合一"模型解决各种恢复任务的能力。

Cu-mamba: Selective state space models with channel learning for image restoration

方法：论文介绍了一个名为CU-Mamba的模型，该模型结合了U-Net架构和双状态空间模型框架，用于图像复原任务。CU-Mamba模型利用空间SSM模块进行全局上下文编码，以及通道SSM组件来保留通道相关特征，两者都具有相对于特征图大小的线性计算复杂度。

创新点：

提出了一种新型的通道感知U形Mamba模型（CU-Mamba），通过结合U-Net框架与双向选择性状态空间模型（SSM），显著提升了图像复原能力。

在CU-Mamba模型中，作者创新性地在通道维度引入选择性SSM机制，以弥补现有Mamba-based U-Net在捕获通道信息方面的不足。