Pytorch之模型微调（Finetune）——用Resnet18进行蚂蚁蜜蜂二分类为例

最新推荐文章于 2023-01-07 19:57:15 发布

原创

最新推荐文章于 2023-01-07 19:57:15 发布 · 4.5k 阅读

本文详细介绍使用PyTorch进行模型微调（Finetune）的过程，以ResNet18在手写数字集上的应用为例，讲解了迁移学习的基本概念、微调步骤及训练方法，并提供了完整的代码实现。

Pytorch之模型微调（Finetune）——手写数字集为例

文章目录

- Pytorch之模型微调（Finetune）——手写数字集为例
前言
一、Transfer Learning and Model Finetune
- 1.Transform Learning（迁移学习）
- 2.Model Finetune（模型微调）
二、Pytorch中的Finetune
参考

前言

模型微调在迁移学习中（Transfer Learning）中是非常常用技术，接下来我将以用ResNet18来对手写数字集进行分类为例，讲述如何使用pytorch进行模型微调。

一、Transfer Learning and Model Finetune

1.Transform Learning（迁移学习）

Transform Learning：迁移学习机器学习的分支，研究源域（source domain）知识如何应用到目标域（target domain）。我们首先在一个基础数据集和基础任务上训练一个基础网络，然后我们再微调一下学到的特征，或者说将它们迁移到第二个目标网络中，用目标数据集和目标任务训练网络。如果特征是泛化的，那么这个过程会奏效，也就是说，这些特征对基础任务和目标任务都是适用的，而不是特定的适用于某个基础任务。
简单来说：就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。

2.Model Finetune（模型微调）

Model Finetune：一种模型的迁移学习

二、Pytorch中的Finetune

1.模型微调的步骤

1.获取预训练模型参数
2.加载模型（load_state_dict）
3.修改输出层

2.模型微调训练方法

1.固定预训练的参数（requires_grad = False; lr = 0）
2.Feature Extractor 较小的学习率（params_group）

3.Pytorch——基于Resnet18蚂蚁蜜蜂二分类源码

import os
import numpy as np
import torch
import torch.nn as nn
from torch.utils.data import DataLoader
import torchvision.transforms as transforms
import torch.optim as optim
from matplotlib import pyplot as plt
from tools.my_dataset import AntsDataset
from tools.common_tools import set_seed
import torchvision.models as models
import torchvision
BASEDIR = os.path.dirname(os.path.abspath(__file__))
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print("use device :{}".format(device))

set_seed(1)  # 设置随机种子
label_name = {
   
   "ants": 0, "bees": 1}

# 参数设置
MAX_EPOCH = 25
BATCH_SIZE = 16
LR = 0.001
log_interval = 10
val_interval = 1
classes = 2
start_epoch = -1
lr_decay_step = 7


# ============================ step 1/5 数据 ============================
data_dir = os.path.join(BASEDIR,"hymenoptera_data")
train_dir = os.path.join(data_dir, "train")
valid_dir = os.path.join(data_dir, "val")

norm_mean = [0.485, 0.456, 0.406]
norm_std = [0.229, 0.224, 0.225]

train_transform = transforms.Compose