【RT-DETR涨点改进】全网独家首发、注意力改进篇 | ICLR 2026 | 引入 MHLA 多头线性注意力,关注不同的上下文区域,弥补卷积的长程依赖建模方面的不足,助力高效涨点,来自北京大学

一、本文介绍

本文给大家介绍使用 MHLA 多头线性注意力模块 改进 RT-DETR 网络模型,可以在不显著增加计算和显存开销的前提下,为网络提供高效的全局上下文建模能力。MHLA 通过恢复线性注意力的表达能力,使不同空间位置的特征能够关注不同的上下文区域,弥补了 RT-DETR 以卷积为主在长程依赖建模方面的不足,从而提升复杂背景、小目标和遮挡场景下的检测性能。同时,MHLA 具备线性复杂度和良好的模块化特性,在保持实时性的同时显著增强特征表达能力和整体检测鲁棒性。

🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR创新改进!🔥

含8种 rtdetr 基准创新改进点助力高效涨点!

🔥RT-DETR创新改进目录:全新RT-DETR 有效涨点改进目录 | 包含各种卷积、主干改进、各种注意力机制、Neck特征融合改进、损失函数、AIFI创新改进、独家创新、小目标检测、特殊场景检测等最全大论文及小论文必备创新改进点

🔥全新RT-DETR创新改进专栏地址:最全RT-DETR创新改进高效涨点+永久更新中(至少500+改进)+高效跑实验发论文

本文目录

一、本文介绍

二、 MHLA 多头线性注意力模块介绍

2.1  MHLA 多头线性注意力模块结构图

2.2  MHLA 多头线性注意力模块的作用:

2.3  MHLA 多头线性注意力模块的原理:

2.4  MHLA 多头线性注意力模块的优势:

三、完整核心代码

四、手把手教你配置模块和修改tasks.py文件

1.首先在ultralytics/nn/newsAddmodules创建一个.py文件

2.在ultralytics/nn/newsAddmodules/__init__.py中引用

3.修改tasks.py文件

五、创建涨点yaml配置文件

🚀 创新改进1: rtdetr-l-HGBlock_MHLA.yaml

🚀 创新改进2: rtdetr-l-ResNetLayer_MHLA.yaml

🚀 创新改进3: rtdetr-l-MHLA.yaml

🚀 创新改进4: rtdetr-l-AIFI_MHLA.yaml

🚀 创新改进5: rtdetr-r18-MHLA.yaml

🚀 创新改进6: rtdetr-r18_AIFI_MHLA.yaml

🚀 创新改进7: rtdetr-r50-MHLA.yaml

🚀 创新改进8: rtdetr-r50-AIFI_MHLA.yaml

六、正常运行


 

二、 MHLA 多头线性注意力模块介绍

摘要:尽管Transformer架构在众多领域占据主导地位,但其二次自注意力机制的复杂性限制了其在大规模应用中的使用。线性注意力机制虽提供高效替代方案,但直接应用往往导致性能下降——现有改进方案通常通过引入额外模块(如深度可分离卷积)重新增加计算开销,反而违背了初衷。本研究揭示了这些方法中的关键缺陷:全局上下文坍塌,即模型丧失表征多样性。为此,我们提出多头线性注意力机制(Multi-Head Linear Attention,MHLA),通过在分头维度上沿标记维度计算注意力来保持这种多样性。我们证明 MHLA 在保持线性复杂度的同时,恢复了softmax注意力的大部分表达能力,并在多个领域验证了其有效性:在ImageNet分类任务中提升3.6%,在自然语言处理中提升6.3%,在图像生成中提升12.6%,在视频生成中提升41%,且保持相同时间复杂度。

YOLO26创新改进 | 全网独家,注意力创新改进篇 | AAAI 2025 | 引入DTAB和GCSA创新点,通过重新设计通道和空间自注意力机制,助力YOLO26有效涨点(附完整代码+真实应用案例) 独家首发:基于AAAI 2025顶会“高效注意力机制”研究热点,全网独家提出DTAB+GCSA双注意力创新方案,针对YOLO26原生注意力缺陷,重新设计通道与空间自注意力机制,突破传统注意力的局限;双模块协同创新:DTAB模块解决通道注意力交互不足的问题,GCSA模块解决空间注意力定位不准的问题,两大模块协同工作,实现“通道-空间”双维度特征增强,涨点效果远超传统注意力(SE、CBAM); 阅读详情

相关推荐

YOLOv11改进 | 细节涨点篇 | 2024最新高效上采样模块EUCB助力yolov11有效涨点(全网独家创新)

本文给大家带来的最新改进机制是2024最新高效上采样模块EUCB,EUCB 用于逐步上采样特征图,使其尺寸和分辨率与后续跳跃连接相匹配。这种对齐增强了不同层级和阶段间的信息融合(这个模块对于分割网络效果更佳),EUCB 首先进行上采样操作,将输入特征图的尺度放大 2 倍,然后应用 DWC,接着进行批归一化(BN)和 ReLU 激活,这些步骤能够在不增加显著计算开销的情况下高效地增强特征图。

Snu77的博客 5871

YOLO26涨点改进 | 独家主干改进篇 | CVPR 2024 | YOLO26利用InceptionNeXt主干,将大核深度卷积分解为四个并行分支,在提升性能的同时显著降低计算效率

本文聚焦YOLO26的核心涨点改进——基于CVPR 2024收录的InceptionNeXt主干网络,深度拆解了其“大核深度卷积四分支拆解”的核心逻辑,通过实验验证了改进的有效性,同时提供了可快速复现的工程代码与进一步涨点的思路。

qq_36130719的博客 567

YOLO26涨点改进 | 全网独家创新,注意力改进篇 | ICCV 2025 | 引入ConvAttn卷积化注意力,以更轻量的方式模拟自注意力的效果,助力目标检测、图像分割、关键点检测有效涨点

YOLO26作为Ultralytics框架推出的新一代轻量化通用模型,凭借高效的特征提取架构和均衡的速度-精度表现,快速成为目标检测、图像分割、关键点检测三大任务的主流基准模型。但在实际工程场景中,原生YOLO26仍面临核心痛点:传统自注意力机制(如Transformer-based Attention)虽能提升特征关联性,但计算复杂度高、参数量大,难以适配边缘设备部署;而轻量化注意力(如SE、CBAM)则存在特征捕获不全面、跨任务适配性差的问题,导致三大任务难以同步涨点。

qq_36130719的博客 371

YOLO26优化:损失篇 | 原创自研 | 一种基于小目标改进的多尺度的动态(SD)损失

小目标检测的核心痛点是:小目标的 IoU 值本身偏低,且原 SDIoU 的惩罚项(距离 / 形状)对小目标过度惩罚,导致小目标的 IoU 得分被进一步压低。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 765

YOLOv11改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 RepViT 轻量级的Vision Transformers架构

本文记录的是基于RepVit的YOLOv11轻量化改进方法研究。RepVit的网络结构借鉴ViT的设计理念,通过分离的token mixe和减少推理时的计算和内存成本,同时减少扩展比率并增加宽度,降低延迟,并通过来弥补参数大幅减少的问题,提高了准确性。本文在替换骨干网络中配置了原论文中的和五种模型,以满足不同的需求。

Limiiiing的博客 2969

YOLOv13涨点改进 | 独家创新、Neck特征融合改进篇 | ICLR 2025 | YOLOv13引入AFLB自适应频率学习融合模块,自适应地强化关键频段特征,助力多模态融合、目标检测有效涨点

本文提出了一种基于自适应频率学习块(AFLB)改进的YOLOv13目标检测模型。AFLB通过频率挖掘模块(FMiM)和频率调制模块(FMoM),在频域实现特征的自适应增强与融合,有效提升了模型在复杂场景(如雾天、低光、雨雪等)下的检测性能。该方法突破了传统空间卷积的限制,使网络具备频谱感知能力,在保持轻量化的同时显著提高了精度和鲁棒性。文章详细介绍了AFLB模块的结构原理、实现代码及在YOLOv13中的集成方法,并提供了两种改进后的网络配置文件,为实际应用提供了完整的技术方案。

Ai缝合怪、助力小伙伴高效发论文 398

YOLOv11知识蒸馏,实现无损涨点,包含逻辑蒸馏和特征蒸馏中的不同蒸馏方法,适用专栏内的所有模型

知识蒸馏(Knowledge Distillation)是由 Hinton 等人在 2015 年提出来的,主要是用一个复杂的教师模型去指导一个简单的学生模型训练,这样能让学生模型在保持高精度的同时,还能减少计算量。本文便是讲解如何针对的原始模型以及改进后的模型进行知识蒸馏,轻松实现无损涨点。知识蒸馏的核心在于利用已训练好的复杂模型(教师模型)去指导一个更简单的模型(学生模型)进行训练,以此让学生模型在保留较高精度的同时,降低计算成本。特征蒸馏(Feature Distillation)是知识蒸馏的一种形式,

Limiiiing的博客 4943

YOLO26涨点改进 | 全网首发,Conv独家改进篇 | CVPR 2025 | 引入GBConv瓶颈卷积改进YOLO26,含GSConv二次创新模块,助力细小目标检测高效涨点

YOLO26 作为 Ultralytics 推出的新一代目标检测模型,在速度与精度上实现了较好的平衡,相较于 YOLOv8、YOLOv10,其网络结构更简洁,推理效率更高,但其在细小目标检测场景中仍存在明显短板,主要痛点如下:传统卷积层(Conv)对细小目标的特征捕捉能力不足,易出现特征丢失、定位偏差,导致小目标漏检、误检;瓶颈卷积模块(Bottleneck)的通道注意力机制单一,无法充分挖掘通道间的关联信息,特征利用率低;深层网络特征下采样过程中,细小目标的细节特征被过度压缩,难以实现精准识别;

qq_36130719的博客 227

YOLO26涨点改进 | 全网独家,Conv创新改进篇 | CVPR 2024 | YOLO26引入IDConv大核分解卷积模块,轻量化改进,含IDC3k2和INBC3k2二次创新改进、助力有效涨点

YOLO26 作为 Ultralytics 推出的新一代轻量化目标检测模型,凭借简洁的网络结构、出色的速度-精度平衡,在工业级单任务场景(如目标检测、图像分类)中广泛应用,相较于 YOLOv8、YOLOv10,其推理速度提升 15% 以上,参数量降低 20%,成为轻量化部署的首选模型。

qq_36130719的博客 120

YOLO26涨点改进 | 全网独家复现,注意力创新改进篇 | ICCV 2025 | 引入MSA多尺度注意力,多尺度特征有助于全局感知和增强局部细节、助力小目标检测、遥感小目标检测、图像分割有效涨点

本文基于ICCV 2025“多尺度注意力与多任务优化”的研究热点,全网独家复现YOLO26-MSA改进方案,通过引入定制化MSA多尺度注意力模块,嵌入YOLO26的主干与Neck部分,无需重构模型架构,实现小目标检测、遥感小目标检测、图像分割三大任务的同步涨点。

qq_36130719的博客 400

ENVI基于Landsat影像构建郑州市2000-2019年遥感生态指数RSEI

本文基于landsat5、landsat7、landsat8三种传感器的影像,使用ENVI软件构建郑州市2000-2019年遥感生态指数RSEI。内含ENVI详细操作、使用的公式以及构建结果。

Lexicopperfield的博客 1万+

车载摄像头+max96712 + rk3568 调试过程中遇到的问题

本文主要讲述本人在调试rk3568通过mipi-csi2链接max967812,max96712再外接4路车载摄像头过程中遇到的问题,以及最终如何解决这些问题。图中会贴上很多重要且关键的波形图,以便读者在调试过程中进行比对,分析。 如果在调试过程中,mipi总线上的波形没得什么问题的话,还是抓图失败的情况下,需要着重检查 频率,lane数,摄像头分辨率,摄像头输入图像格式等重要配置。

Amelio Ming 2058

【爬虫】Python实现爬取淘宝商品信息(超详细)

项目基于Python的第三方库Selenium模拟浏览器运行、PyQuery解析和操作HTML文档,获取淘宝平台中某类商品的详细信息(商品标题、价格、销量、商铺名称、地区、商品详情页链接、商铺链接等),并基于第三方库openpyxl建立、存储于Excel表格中。# 全局变量count = 1 # 写入Excel商品计数# 启动ChromeDriver服务# 关闭自动测试状态显示 // 会导致浏览器报:请停用开发者模式# 把chrome设为selenium驱动的浏览器代理;# 窗口最大化。

qq_46315152的博客 4万+

[SC]SystemC在CPU/GPU验证中的应用(六)

本文提供了一个SystemC学习路线图,包含50个由浅入深的编程实例,涵盖从基础模块到复杂SoC建模的全过程。示例包括:基础模块(时钟、计数器)、通道(FIFO、握手)、TLM2.0接口、总线模型(AXI-Lite)、CPU/GPU内核实现、功耗分析、断言验证等。重点展示了SystemC在硬件验证中的关键应用:VCD波形生成、UVM-SystemC框架、Verilog DPI协同仿真、Python集成、NoC路由器和完整SoC建模(CPU+Cache+DRAM+互连)。每个示例提供完整代码和详细注释,建议分

元直的博客 1481

Java调用OpenDDS(2)-理解OpenDDS自带的Messager示例

理解Messenger

zhangzl419 1652

基于 ESP32 的宿舍洗浴热水余量预测与智能排队提醒系统设计与实现

本系统以 ESP32 为主控核心,通过超声波液位传感器实时监测储热水箱剩余水量,配合 DS18B20 温度传感器采集水温数据,建立热水余量预测模型估算可用洗浴时长;同时通过红外人体传感器统计浴室排队人数,结合人均洗浴时长计算预计等待时间,并通过 OLED 屏本地显示 + WiFi Web 服务器远程推送的方式实现排队提醒功能。

weixin_42300449的博客 39

Android 17为什么会重写MessageQueue

DeliQueue 通过消除 MessageQueue 中的锁,提升了系统和应用的性能。合成基准测试: 得益于并发能力的提升(Treiber 栈)和更快的插入速度(最小堆),向繁忙队列进行多线程插入的速度比传统 MessageQueue 快了高达 5000 倍。Perfetto 追踪分析: 在从内部测试人员处获取的 Perfetto 追踪记录中,我们看到应用主线程在锁竞争上消耗的时间减少了 15%。

xiangzhihong8的专栏 255

人像抠图 + OpenGL ES 还能这样玩?没想到吧(附带源码)

OpenGL ES 利用抠图算法实现人像留色。

字节流动 3万+

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: 【TGRS 2025即插即用】特征融合模块篇 | STFFM 时空特征融合模块,适合目标检测、图像融合、低光照增强、目标跟踪、语义分割、实例分割、图像超分辨率、去噪、去雾等CV任务通用,涨点起飞
下一篇: 【RT-DETR涨点改进】全网独家创新、Neck特征融合改进篇 | TGRS 2025顶刊 | 引入MGCM模态引导互补模块,含多种创新,融合浅层特征与深层特征,适合遥感目标检测、多模态融合,有效涨点
Ai缝合怪 博士
博客等级 码龄7年 2896粉丝 1907原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值