原文链接：
[2401.10166] VMamba: Visual State Space Model (arxiv.org)
原文笔记：
What：
VMamba: Visual State Space Model
Why：
多年以来CNN和VIT作为视觉特征提取的主流框架
CNN具有模型简单，共享权重，计算效率高（线性复杂度）的优点，缺点是不具备全局感受野，能力不足VIT，不擅长处理多模态数据，并且模型已经比较老了，多种模型变体已经使卷积网络接近能力的上限
VIT基于Transformer，具有架构简单，全局感受野，动态权重(当提到"动态权重"时，通常是指注意力机制中用于分配不同输入元素之间关联度的权重。这些权重是根据输入数据的不同情况动态计算得出的。)的优点，缺点是计算效率不如卷积神经网络。（二次复杂度）
作者从最近很火的基于SSM模型的Mamba中获取灵感，集合了CNNs与VIT的优点提出了视觉状态空间模型VMamba该模型在不牺牲全局感受野的情况下实现了线性复杂度
Challenge：
1、作者想让这个视觉backbone在线性复杂度的情况下实现全局感受野，这是本研究的主要目的
2、如何将1D的SSM模型融合到2D的Vision任务当中作者将这一难题概括为
方向敏感问题：（然而，由于视觉数据的非因果性质，直接将这种策略应用于打成patch和拉伸后的图像不可避免地会导致感受野受限，因为无法估计与未扫描patch块的关系。我们将此问题称为“方向敏感”问题）
Idea：
为解决方向敏感问题作者提出交叉扫描模块(CSM)
（详见原文翻译部分）
Model：
(ps：时间有点紧，这篇整理的略显匆忙，但是这些基于Mamba的模型大差不差，连行文逻辑都很相似，将Mamba用作Vision领域的主要有两个工作一个是Vim一个就是本文VMamba，他们主要的区别都是在1D转2D这个操作上的区别，我将专门基于它们的区别写一篇)
原文翻译：
Abstract
卷积神经网络(CNNs)和Visual Transformer(ViTs)是视觉表示学习的两个最流行的基础模型。虽然 CNN 以线性复杂度在图像分辨率方面表现出显着的可扩展性，但 ViT 在拟合能力方面超过了它们，尽管它具有二次复杂度。仔细检查表明，ViTs通过结合全局感受野和动态权重实现了卓越的视觉建模性能。这一观察促使我们提出了一种新颖的架构，该架构继承了这些组件，同时提高了计算效率。为此，我们从最近引入的状
2284
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
