0. 前言
本文介绍了视觉Transformer自注意力创新版Circulant Attention注意力模块,并将其集成到ultralytics最新发布的YOLO26目标检测算法中,构建C3k2_Circulant创新模块。自注意力机制一直是ViT进步的关键因素。然而,它的二次复杂度在高分辨率场景中造成了沉重的计算负担,限制了实际应用。以前的方法试图通过引入手工制作的模式(例如局部性或稀疏性)来缓解这个问题,这不可避免地损害了模型容量。在本文中,我们提出了一种新颖的注意力范式,称为循环注意力,通过利用固有的高效自注意力模式。我们将C3k2_Circulant创新模块集成到YOLO26,经注册和配置yaml文件后进行实验,展现出良好效果。
专栏链接:YOLO系列算法改进专栏链接
专栏文章:YOLO26改进系列 | 卷积篇、轻量化、注意力、损失函数、Backbone、SPPF、C2PSA、Neck、检测头全方面保姆级优化合集 | 同样适配YOLOv11改进!!!
目录
1. Circulant Attention模块简介
自注意力机制一直是视觉Transformer发展的关键因素。然而,其二次复杂度在高分辨率场景下带来了沉重的计算负担,限制了实际应用。以往的方法试图通过引入手工设计的模式(如局部性或稀疏性)来缓解这一问题,但这不可避免地损害了模型容量。本文通过利用自注意力内在的高效模式,提出了一种新颖的注意力范式——循环注意力。具体而言,我们首先发现视觉Transformer中的自注意力矩阵通常近似于块循环矩阵(BCCB)——一种结构化的矩阵,其与其它矩阵的乘法可以在O(N log N)时间内完成。借助这一有趣的模式,我们显式地将注意力建模为其最近的BCCB矩阵,并提出了一种高效的计算算法以实现快速计算。所得到的方法与原始自注意力高度相似,唯一区别在于使用了BCCB矩阵。由于我们的设计源于自注意力内在的高效范式,它不仅实现了O(N log N)的计算复杂度,还在很大程度上保留了标准自注意力的容量。在多种视觉任务上进行的大量实验证明了我们方法的有效性,将循环注意力确立为视觉Transformer架构中自注意力的一种有前景的替代方案。
订阅专栏 解锁全文
66




被折叠的 条评论
为什么被折叠?



