一、本文介绍
本文记录的是利用EfficientViM Block模块优化RT-DETR的目标检测网络模型。
EfficientViM Block（基于隐藏状态混合器的状态空间对偶性模块） 的设计旨在，提升特征提取效率，同时兼顾全局依赖捕捉与局部细节保留。本文将深入研究EfficientViM Block的原理，并将其应用到RT-DETR中，通过重构特征提取流程、减少内存绑定操作、融合多阶段特征，增强模型在资源受限环境下的检测性能与速度。
专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、EfficientViM介绍
EfficientViM: Efficient Vision Mamba with Hidden State Mixer based State Space Duality
2.1 设计出发点
EfficientViM Block的设计核心是解决现有视觉模型在资源受限环境下的效率与性能平衡问题，具体出发点包括：
- 现有模型的瓶颈：传统卷积神经网络（CNN）难以捕捉全局依赖，而基于自注意力的视觉Transformer（ViT）存在二次计算复杂度（随 tokens 数量增长），限制了效率和可扩展性；
- 状态空间模型（SSM）的潜力：SSM（如Mamba）虽具有线性计算复杂度和全局感受野，但此前的状态空间对偶性（SSD）层存在线性投影（如门控操作和输出投影）的计算瓶颈，导致速度仍落后于轻量级模型；
- 优化实际部署效率：理论计算量（FLOPs）不能完全反映实际运行速度，需减少内存绑定操作（如多头机制中的张量重塑、复制），提升硬件友好性。
2.2 结构原理
EfficientViM Block以隐藏状态混合器为基础的状态空间对偶性（HSM-SSD）层为核心，结合前馈网络（FFN）和局部特征捕捉机制，具体结构如下：
订阅专栏 解锁全文
1461
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
