ConvNeXt网络模型

关注

原创 2023-03-15 12:24:50 1w 阅读 AI 写同款· GEO 优化 ›

ConvNeXt架构详解 ConvNeXt 是一种现代化的卷积神经网络架构，结合了 ResNet 的经典设计和 Vision Transformer 的创新元素。通过一系列巧妙的调整和优化，ConvNeXt 证明了卷积网络在处理视觉任务时依然可以与 Transformer 相媲美，甚至在某些场景下有更好的计算效率和性能表现。阅读详情

ConvNeXt网络模型

在这里插入图片描述

一、理论知识

二、pytorch实现convnext

正文:

一、理论知识

1.对transformer的所有嫁接全部用在convnext上面
2.去papers with code上找方法中的的transformer的论文，把他们的设计论文全部拿过来自己弄一个
3.可以把convnext对于transformer的模仿用在其他网络模型上面
4.convnext作者谈到：更好的训练的策略和技术使得transfoemer效果更好
5.以swin-transformer的训练方法，训练别的网络
6.作者将resnet50的模块数3.4.6.3改为3.3.9.3
7.更换stem
在这里插入图片描述

组卷积数和输入特征矩阵的通道数一样
在这里插入图片描述

但是上面的改进使得正确率下降了，之后便模仿transformer增加输入特征矩阵的通道数，增加输入通道数后，正确率提升了。

将模块改变成中间大，两头小的模型（resnet就是两头大，中间小的瓶颈结构）
在这里插入图片描述
10.，
将depthwise conv上移，把两个11的卷积核移动到第二和第三的位置，之前在第一和第三的位置，这也就实现了，中间粗，两头细，
11.
并且最大卷积核的大小为77的，77卷积核的大小和transformer的窗口大小一样。
12.
把下采样改变成2*2卷积核，步长为2的卷积层
13.
在papers with code的视觉模块中找到使用transformer的论文，寻找使用pytorch写的代码，将transformer替换成convnext
14.
在方法中直接找transformer相关的论文，把transformer替换成convnext
15.把也就是视觉模块中的任务中的所有网络模型，换成convnext，所有图片处理论文中，只要是没有使用到transformer的，全部换成convNEXt。
16.
后面有时间再做transformer出来图片分类，识别等的任务
在这里插入图片描述

二、pytorch实现convnext

ConvNeXt自己重写了LayerNorm方法，pytorch官方的代码默认是从最后一个维度进开始做normalization。但是ConvNeXt是对channels维度进行normalization处理的。如果channels维度是放在最后面的，就可以直接使用官方的normalization代码，但是如果channels维度不是放在最后的话，就不能直接去使用了。
2.
在这里插入图片描述
3.

4.

5.
下面的代码实现的是图中1*1的卷积层

.6.
layer scale是通过gamma实现的

它的元素个数是和输入特征矩阵的channels相同的

7.