一、本文介绍
本文记录的是利用HMHA模块改进 YOLOv11 的注意力特征提取部分。
HMHA（Hierarchical Multi-Head Attention）通过通道重排序与分层子空间拆分结合，实现YOLOv11特征提取中差异化上下文信息的高效捕捉。本文利用HMHA模块，通过通道相似度重排序保证子空间独立性，再通过非均匀尺寸拆分让多头学习不同粒度特征，同时依托QKCU模块强化多头协作，对YOLOv11中不同尺度目标的局部细节与全局上下文特征进行针对性捕捉、抑制多头冗余特征干扰，在特征提取阶段实现多粒度信息的互补融合，避免传统MHA的特征冗余与表达局限，增强模型对复杂退化/复杂场景下多尺度目标的检测精度与特征分辨能力。
专栏目录：YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
二、HMHA介绍
2.1 设计出发点
HMHA（Hierarchical Multi-Head Attention，分层多头注意力）旨在解决传统多头注意力（MHA）在图像恢复任务中的核心缺陷——特征冗余。传统MHA将通道均匀拆分给各个头，导致不同头学习的子空间信息相似，进而出现多头关注同一区域、忽略退化区域修复的问题，限制了模型的特征表达能力。HMHA通过“分层子空间拆分+通道重排序”策略，让每个头学习差异化、互补的上下文特征，从根源上缓解冗余，提升图像恢复任务中对复杂退化场景的特征捕捉能力。
2.2 模块结构
HMHA以标准MHA为基础，核心优化“子空间拆分”与“特征交互”环节，整体结构简洁且兼容Transformer架构：
- 通道重排序（Reranking）：基于皮尔逊相关系数计算通道相似度，对输入特征的通道进行重排序，确保后续拆分的子空间包含独立且差异化的信息；
- 分层子空间拆分：将重排序后的通道按“非均匀尺寸”拆分（如4个头的维度占比为[1,2,2,3]），替代传统MHA的均匀拆分，每个头对应不同尺寸的子空间，专注于学习不同粒度的特征；
- 多头注意力计算：每个头在各自子空间内独立执行缩放点积注意力（Scaled Dot-Product Attention），捕捉特定粒度的上下文依赖；
- 特征聚合与缓存交互</
订阅专栏 解锁全文
300
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
