一、本文介绍
本文给大家介绍使用 MHLA 多头线性注意力模块 改进 RT-DETR 网络模型,可以在不显著增加计算和显存开销的前提下,为网络提供高效的全局上下文建模能力。MHLA 通过恢复线性注意力的表达能力,使不同空间位置的特征能够关注不同的上下文区域,弥补了 RT-DETR 以卷积为主在长程依赖建模方面的不足,从而提升复杂背景、小目标和遮挡场景下的检测性能。同时,MHLA 具备线性复杂度和良好的模块化特性,在保持实时性的同时显著增强特征表达能力和整体检测鲁棒性。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR创新改进!🔥
含8种 rtdetr 基准创新改进点助力高效涨点!
🔥RT-DETR创新改进目录:全新RT-DETR 有效涨点改进目录 | 包含各种卷积、主干改进、各种注意力机制、Neck特征融合改进、损失函数、AIFI创新改进、独家创新、小目标检测、特殊场景检测等最全大论文及小论文必备创新改进点
🔥全新RT-DETR创新改进专栏地址:最全RT-DETR创新改进高效涨点+永久更新中(至少500+改进)+高效跑实验发论文
本文目录
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
🚀 创新改进1: rtdetr-l-HGBlock_MHLA.yaml
🚀 创新改进2: rtdetr-l-ResNetLayer_MHLA.yaml
🚀 创新改进4: rtdetr-l-AIFI_MHLA.yaml
🚀 创新改进6: rtdetr-r18_AIFI_MHLA.yaml
🚀 创新改进8: rtdetr-r50-AIFI_MHLA.yaml
二、 MHLA 多头线性注意力模块介绍

摘要:尽管Transformer架构在众多领域占据主导地位,但其二次自注意力机制的复杂性限制了其在大规模应用中的使用。线性注意力机制虽提供高效替代方案,但直接应用往往导致性能下降——现有改进方案通常通过引入额外模块(如深度可分离卷积)重新增加计算开销,反而违背了初衷。本研究揭示了这些方法中的关键缺陷:全局上下文坍塌,即模型丧失表征多样性。为此,我们提出多头线性注意力机制(Multi-Head Linear Attention,MHLA),通过在分头维度上沿标记维度计算注意力来保持这种多样性。我们证明 MHLA 在保持线性复杂度的同时,恢复了softmax注意力的大部分表达能力,并在多个领域验证了其有效性:在ImageNet分类任务中提升3.6%,在自然语言处理中提升6.3%,在图像生成中提升12.6%,在视频生成中提升41%,且保持相同时间复杂度。
订阅专栏 解锁全文
5871



被折叠的 条评论
为什么被折叠?



