深度学习预训练与MMPretrain

关注

原创最新推荐文章于 2026-06-28 17:32:03 发布 326 阅读 AI 写同款· GEO 优化 ›

mmpretrain学习笔记（4）数据集路径 data_root=‘data/imagenet’–》data_root=‘data/Fruits Dataset/images’（7）适当的修改num_workers、epochs、batch_size、lr等。3、训练优化：梯度下降算法、学习率参数、训练总轮次、学习率变化策略等。my_resnet18_8xb32_in1k.py 完整的配置文件。（6）split=‘train’、split='val’注释掉。2、数据：数据集划分、数据文件路径、批大小、数据增强策略等。阅读详情

理论东西比较多，里面涉及很多CV很热点的模型或者算法。(太难了！！！）

MMPreTrain是一个全面的预训练模型算法库，支持多种任务和框架。它包含了多种前沿的预训练模型算法，包括自监督学习、多模态学习等，广泛应用于各种视觉和自然语言处理任务。MMPreTrain基于PyTorch，便于研究人员快速实现、训练和测试新的预训练模型。它提供了灵活的配置系统和丰富的预训练模型组件。

MMPreTrain预训练工具箱是MMPreTrain算法库的一个重要组成部分。它是一个强大的预训练模型工具箱，支持多种预训练模型算法，包括自监督学习、多模态学习等。MMPreTrain预训练工具箱基于PyTorch，提供了一个简单易用的API和丰富的功能，可以方便地进行模型定义、训练和评估。它还包括了许多预训练模型的组件，如数据加载器、损失函数、评估指标等。使用MMPreTrain预训练工具箱，您可以快速实现预训练模型，并在各种视觉和自然语言处理任务上获得优秀的性能表现。

支持开箱即用的推理，很方便，包括各类CV任务

整个的环境安装，按照之前的推荐，使用conda创建对应环境，注意有多模态以来可以使用下图的指令。

深度学习模型的训练涉及几个方面:
模型结构：模型有几层、每层多少通道数等
数据：数据集划分、数据文件路径、批大小、数据增强策略等

训练优化：梯度下降算法、学习率参数、训练总轮次、学习率变化策略等GPU、分布式环境配置等
运行时：辅助功能如打印日志、定时保存 checkpoint 等

下载下来的项目结构图如下所示，还是比较清洗：

整个数据流从Dataloader开始接入，进行采样，模型训练和梯度反向传播

配置的方式，主要是对接到内部的一些模块和一些工具，可以参考下图介绍的方式

经典主干网络

经典的主干网络是在视觉和自然语言处理任务中最常用的网络之一。其中，ResNet和Vision Transformer是两个最著名的主干网络。ResNet，即深度残差网络，通过引入“残差块”来解决深度神经网络中的梯度消失和表示瓶颈问题。Vision Transformer (ViT) 从Transformer模型中借鉴思想，直接将图像像素处理为序列数据，进行端到端的图像分类学习。这些主干网络在各种预训练任务中都表现出了出色的性能，是深度学习领域中不可或缺的重要组成部分。