qwen3-vl 大模型lora微调官方版

最新推荐文章于 2026-07-23 14:03:22 发布
原创 最新推荐文章于 2026-07-23 14:03:22 发布 · 1.1k 阅读 · 15 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
该文章已生成可运行项目，

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看

这次的教程我们将使用官方的指定demo数据来进行qwen3-vl的微调，并且将lora得到的内容进行合并，使用新的模型来进行推理验证。

由于官方库有些内容没有实现，所以这里fork了一个新的仓库来实现一下管理，

git clone https://github.com/chan-yuu/Qwen3-VL.git

在正式微调之前，我们先来认识一下这里的模型的架构是什么样的。

在这里插入图片描述

主要分为了三个部分，第一个是interleaved-MRoPE，是一个随时间、宽度和通过位置嵌入确定的高度，增强长视距的视频推理。第二个是DeepStack，深度堆栈，融合了多级ViT特征提取来捕捉细粒度细节和锐化的图文对齐。第三个是图像时间戳对齐，超越T-RoPE来精确的，基于时间戳事件定位用于更强的视频时序建模。

其实我还是没有看懂，但是我们可以求助一下llm。在主干大模型中，dense/moe，说明qwen3-vl既有稠密版，也有混合专家版。家族包括dense的2B/4B/8B/32B，以及MoE的30B-A3B、235B-A22B。它与底下的vision encoder的关系在于：vision encoder负责把图像视频变为模型能看懂的视觉token，LM decoder：把图像和文本token统一放进大模型里推理并生成答案。

下方，图片和视频先进入vision encoder，其中的图片包括了：

  • Picture 1
  • Picture 2
  • Picture 3
  • Video 1

这些都是视觉输入，先进入了encoder中，官方说明中指出，qwen3-vl的一项结构升级就是通过视觉侧和语言侧更紧的对齐，并使用多层视觉特征，而不是只拿最后一层视觉表示。图中的native resolution input表示输入图像尽量按原始分辨率处理，而不是一开始就强行缩到固定最小尺寸。这个也是qwen-vl系列强调的提升对文档、细粒度细节、复杂版面的感知能力。所以刚才的的三点总结就是在说它有更强的OCR、更强长文档结构解析和更细细粒度视觉理解。

小方块表示的就是encoder输出的token序列，这些token序列送进decoder中，具体来说，分成了文本token和vision token，也就是一种interleaved multimodal inputs，即文本图片视频交错混合输入。

我们还可以看到一个有意思的现象是，各个图片的token相差很大：

  • Picture 1：11427 tokens
  • Picture 2：8 tokens
  • Picture 3：1125 tokens

这是因为不同分辨率、不同尺寸、不同视觉压缩结果，对应的视觉token数量相差很多。native resolution就是原始分辨率，说明图像本身是按照自己的分辨率进行原始输入的，这样的token也就是表现他们的特点。

在视频部分中，有一串连续帧，包括了时间序列，它是把多帧送入了vision encoder，再变成视觉token，时间信息不只靠视觉位置编码，而是把时间戳以文本形式更明确的对齐到视频内容上，提升第几秒发生了什么的定位能力，这项升级，就是从T-RoPE走向更精确的timestamp-grounded event localization。总的来说，就是视频帧提供视觉内容，文本时间戳提供更明确的时间锚点，二者一起进入大模型中。

deepstack在右边，vision encoder部分，这是最关键的创新点，也不容易看懂，很多VLM的做法是图片→vision encoder，只取最后一层视觉特征，变成了视觉token，一次性送给LLM，但是deep stack不同，不只使用视觉编码器的最后输出，还把多个层级的视觉特征注入到了LLM的不同层里。官方的描述是DeepStack fuses multi-level ViT features，技术报告摘要则说它 effectively leverages multi-level ViT features to tighten vision-language alignment。也就是浅层视觉特征：偏向于局部纹理、边缘、字形、小细节，中层视觉特征：更偏区域、部件、局部结构，高层视觉特征：更偏语义、物体、整体理解。deep stack的作用就是把这些分层的信息，分层的送进LLM。

最后总结一下，图片/视频先经过 Vision Encoder，变成视觉 token；文本 token 和视觉 token 交错组成统一上下文，送入 Qwen3 的语言解码器；同时，多层视觉特征通过 DeepStack 持续注入到 LLM 的不同层，以增强细节感知、OCR、空间理解和视频时序理解。

接下来我们就是对模型进行微调了，这里使用的是80G显存的设备进行微调，不过3B的模型应该本地也可以尝试一下LoRa微调。
在这里插入图片描述

我们主要是通过sft(supervised fine-tuning)监督微调来实现，所以需要准备QA问答对，在https://github.com/chan-yuu/Qwen3-VL/tree/main/qwen-vl-finetune/demo文件夹下，含有对应的json文件和图片文件，因为是一个视觉模型的识别，所以是需要传入实际的图像进行编码的。其中的json文件指向的是图片，对话两个部分。

在这里插入图片描述

这里我们就主要使用这个json来进行训练。当然要注意，数据比较少的情况下无法看出实际的效果，这里我们主要是跑通流程，具体的数据集准备这里就不赘述。不过需要注意的是，https://github.com/chan-yuu/Qwen3-VL/blob/main/qwen-vl-finetune/tools/process_bbox.ipynb中专门指出了如何通过已有的标记框来进行处理得到大模型需要的编码信息。同时，在https://github.com/chan-yuu/Qwen3-VL/blob/main/qwen-vl-finetune/README.md中也说明了ground任务的数据集结构

{
    "image": "demo/COCO_train2014_000000580957.jpg",
    "conversations": [
        {
            "from": "human",
            "value": "<image>\nLocate house in this image and output the bbox coordinates in JSON format."
        },
        {
            "from": "gpt",
            "value": "{\n"bbox_2d": [135, 114, 1016, 672]\n}"
        }
    ]
}

但是实测下来这里还有不足，也就是应该同时标准类别和位置信息才是完整的gpt的输出，这里可能得进行额外的测试才能得到更加合理的数据集结构。并且要特别说明的就是这个COCO_train2014_000000580957.jpg，与demo中的图片不是一个。

接下来进入云端服务器来实操，官方的python推荐版本没有明确给出，我们使用python3.12即可，通过conda创建虚拟环境

conda  create -n qwen3_vl python=3.12

然后进入环境中，下载相关的依赖项：

conda activate qwen3_vl

pip install -r requirements_web_demo.txt

然后再安装一些额外的依赖项：

  • torch==2.6.0
  • torchvision==0.21.0
  • transformers==4.57.0.dev0
  • deepspeed==0.17.1
  • triton==3.2.0
  • accelerate==1.7.0
  • torchcodec==0.2
  • peft==0.17.1
  • flash_attn==2.7.4.post1

这里我们先安装前面的内容，最后一个flash_attn比较大，经常会因为网络原因无法安装，所以我们这里手动进行安装，前往github的下载页，一定要找对
在这里插入图片描述

其余的基本都是无法与torch.2.6.0匹配的。以上搞定之后，环境就可以使用了，我们还需要去下载基础模型来调用，这里我们通过脚本来直接下载即可：

from modelscope import snapshot_download

# 指定模型的下载路径
cache_dir = 'xxx/model' # 补充实际的下载目录
# 调用 snapshot_download 函数下载模型
model_dir = snapshot_download('Qwen/Qwen3-VL-2B-Instruct', cache_dir=cache_dir)

print(f"模型已下载到: {model_dir}")

在微调之前，需要先准备数据集并进行处理，准备好的数据集就是一个图片文件夹以及一个json文件，我们在https://github.com/chan-yuu/Qwen3-VL/blob/main/qwen-vl-finetune/qwenvl/data/init.py __init.py__文件中添加对应的数据集信息：

在这里插入图片描述

这样注册之后，微调时就可以正常通过my_dataset来访问数据集了。注意给对路径，这里我们可以考虑直接给全局路径。最后就是直接进行微调了，他准备了一个一键微调的脚本，我们修改上面的一些配置就可以训练了：

#!/bin/bash
# ======================
# Distributed Configuration
# ======================
MASTER_ADDR="127.0.0.1"                     # [Required] Master node IP for multi-GPU training
MASTER_PORT=$(shuf -i 20000-29999 -n 1)     # Random port to avoid conflicts
NPROC_PER_NODE=$(nvidia-smi --list-gpus | wc -l)  # Automatically detects available GPUs
# ======================
# Path Configuration
# ======================
MODEL_PATH="/mnt/project_modelware/zhaojian/cyun/qwen3-vl/model/Qwen/Qwen3-VL-2B-Instruct"  # [ModelArguments] Pretrained model path
OUTPUT_DIR="./checkpoints"                   # Directory for saving checkpoints
CACHE_DIR="./cache"                          # [TrainingArguments] Cache directory for models
# ======================
# Model Configuration
# ======================
DATASETS="my_dataset%100"                  # [DataArguments] Dataset with sampling rate
# ======================
# Training Hyperparameters
# ======================
torchrun --nproc_per_node=$NPROC_PER_NODE \
            --master_addr=$MASTER_ADDR \
            --master_port=$MASTER_PORT \
            /mnt/project_modelware/zhaojian/cyun/qwen3-vl/Qwen3-VL/qwen-vl-finetune/qwenvl/train/train_qwen.py \
            --model_name_or_path $MODEL_PATH \
            --tune_mm_llm True \
            --tune_mm_vision False \
            --tune_mm_mlp False \
            --dataset_use $DATASETS \
            --output_dir $OUTPUT_DIR \
            --cache_dir $CACHE_DIR \
            --bf16 \
            --per_device_train_batch_size 4 \
            --gradient_accumulation_steps 4 \
            --learning_rate 2e-7 \
            --mm_projector_lr 1e-5 \
            --vision_tower_lr 1e-6 \
            --optim adamw_torch \
            --model_max_length 4096 \
            --data_flatten True \
            --data_packing True \
            --max_pixels 451584 \
            --min_pixels 12544  \
            --video_fps 2 \
            --video_max_frames 8 \
            --video_min_frames 4 \
            --video_max_pixels 1306112 \
            --video_min_pixels 200704 \
            --num_train_epochs 100 \
            --warmup_ratio 0.03 \
            --lr_scheduler_type "cosine" \
            --weight_decay 0.01 \
            --logging_steps 10 \
            --save_steps 500 \
            --save_total_limit 3 \
            --lora_enable True \
            --lora_r 8 \
            --lora_alpha 16 \
            --lora_dropout 0.0 \
            --deepspeed zero3.json

参考我的配置即可，进行训练之前，我们需要先登录一下wandb来记录训练的细节信息，也就是

wandb login

然后通过wandb的密钥进行登录认证，认证完成之后需要再wandb login验证一下，如果出现了个人信息那就表明成功了。

最后直接运行

bash sft_3.14.sh

注意，训练之前需要保证当前文件夹下没有checkpoints文件夹（他也是模型的保存文件夹），否则无法训练

在这里插入图片描述
在这里插入图片描述

可以看到这里的损失其实是不好计算的，不是文本而是token的训俩。接下来需要使用训俩好的模型进行推理。

我们先通过未合并的模型来测试，此时的结果是：

python inference.py --model_path /mnt/project_modelware/zhaojian/cyun/qwen3-vl/model/Qwen/Qwen3-VL-2B-Instruct --checkpoint_path /mnt/project_modelware/zhaojian/cyun/qwen3-vl/Qwen3-VL/qwen-vl-finetune/scripts/checkpoints --image /mnt/project_modelware/zhaojian/cyun/qwen3-vl/Qwen3-VL/qwen-vl-finetune/demo/images/10095.png  --prompt "Is the value of Favorable 38 in 2015?"

结果是：

当然，从效果来说的话，这点数据最终的效果其实是一般的：
在这里插入图片描述
在这里插入图片描述

然后我们使用那一张grouding的数据来训俩，得到的内容依然是无法准确的定位。

在这里插入图片描述

除了inference.py之外，tools中还可以使用merge_lora，它可以把训俩好的模型嵌入到原本的模型中得到最终的版本，可以直接通过这个来和模型进行对话。

本文章已经生成可运行项目

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看
标签
#llm #qwen #vllm #大模型 #机器学习
#lora微调
Qwen3-VL本地数据集微调全解 | 全网独家复现LoRA/QLoRA轻量化微调、标准化数据集构建、助力工业质检OCR图文识别精度有效提升
qq_36130719的博客
07-02 162
通义千问Qwen3-VL作为新一代开源通用多模态视觉语言大模型，凭借超强的图像细节感知、图文语义对齐、开放式文本生成能力，成为工业视觉、政务识别、智能问答领域的主流开源模型。通用基座模型依托海量公开图文数据训练，具备极强的通用理解能力，但在垂直细分私有化场景中存在明显短板。在工业质检、非标票据识别、定制化证件提取、产线缺陷图文描述等落地场景中，原生Qwen3-VL极易出现四大问题：行业专属特征识别失效、结构化输出不规范、小目标缺陷漏判、场景化问答答非所问。
【全网首发】使用 LoRA 微调 Qwen2.5-VL-7B-Instruct：完整流程解析
HovChen的博客
01-28 3万+
本篇文章介绍了如何使用 LoRA（Low-Rank Adaptation） 技术对 Qwen2.5-VL-7B-Instruct 进行轻量级微调，从而高效适配特定任务。我们详细解析了 模型加载、数据预处理、LoRA 适配、训练配置及推理评估 的完整流程，并提供了代码示例。通过 LoRA，我们可以 在较低计算资源下快速微调大规模视觉-语言模型（VLMs），使其更适用于特定领域任务。对于希望优化 Qwen2.5-VL 并实现高效微调的开发者，本文提供了一套实用的解决方案。🚀
Qwen-3 微调实战指南
zqmgx13291的博客
07-31 4035
Qwen3 MoE 架构动态专家选择机制LoRA 微调参数配置与显存优化RAG + 微调协同增强领域知识双模式推理在复杂任务中的应用。
多模态模型Qwen3-VL在Llama-Factory中断LoRA微调训练+测试+导出+部署全流程--以具身智能数据集open-eqa为例
编程爱好者
01-29 1808
本文详细介绍了使用Llama-Factory平台对Qwen3-VL-2B-Instruct多模态模型进行微调的全过程。主要包括：1)克隆Qwen3-VL项目并下载模型；2)获取并预处理open-eqa数据集；3)配置Llama-Factory环境，使用LoRA方法进行3轮微调训练；4)在测试集上评估模型性能，获得BLEU-4(28.37)、ROUGE-1(34.76)等指标；5)融合适配器与基础模型；6)部署API服务实现多模态问答。实验结果表明，该方法能有效提升模型在具身智能场景下的多模态理解能力，但推理
手把手教你用Qwen3-VL微调实现精准图文指代定位
m0_59164520的博客
06-10 222
在多模态大模型飞速发展的今天，“让模型看懂文字、找到图片里的对应物体”已经成为基础且核心的需求——无论是智能图文编辑、视觉检索，还是机器人交互，都离不开「视觉指代理解」技术。简单来说，就是给模型一句自然语言描述（比如“图片左下角那个带花纹的杯子”），让它精准定位到图片中对应的物体位置。
Qwen-VL图文多模态大模型LoRA微调指南
06-17 5564
Qwen-VL 是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括：多语言对话模型：天然支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；开放域目标定位：通过中文开放域语言表达进行检测框标注；本文基于此进行微调。
Qwen2-VL多模态大模型微调实战教程
SoulmateY的博客
12-04 1万+
Qwen2-VL是通义千问团队最近开源的大语言模型，由阿里云通义实验室研发。以Qwen2-VL作为基座多模态大模型，通过的方式实现特定场景下的OCR，是学习的入门任务。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
【多模态大模型实战】使用LoRA微调Qwen2.5-VL
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
04-12 9206
本文将直接使用 Qwen2.5-VL-7B-Instruct 模型在 coco_2014_caption 数据集上进行LoRA微调训练，旨在熟悉Qwen2.5-VL数据处理和训练流程。 GitHub地址：https://github.com/Donvink/Qwen2.5-VL-Finetune
LLaMA-Factory微调多模态大模型Qwen3-VL
AI吃大瓜的博客
01-12 3771
本文介绍了使用LLaMA-Factory微调多模态大模型Qwen3-VL的全流程。首先配置NVIDIA显卡驱动，确保显存满足要求（12G以上）。然后通过LLaMA-Factory进行模型微调，包括数据准备、参数设置和训练启动。微调完成后，将LoRA适配器与基础模型合并导出完整模型。最后使用vLLM部署服务，并提供了API调用示例进行多模态对话测试。整个过程涵盖了从环境配置到模型部署的完整链路，适用于Qwen3-VL系列模型的定制化开发。
Qwen2-VL多模态大模型微调实战（完整代码）
热门推荐
SoulmateY的博客
11-15 3万+
Qwen2-VL多模态大模型微调实战。本文我们将简要介绍基于 transformers、peft 等框架，使用 Qwen2-VL-2B-Instruct 模型在上进行Lora微调训练，同时使用监控训练过程与评估模型效果。
【大模型量化】Qwen3-VL + Lora监督微调 + 4bit量化 | VLM模型
黎国溥
11-11 2724
本文介绍了对Qwen3-VL-4B多模态模型进行LoRA监督微调及4bit量化的完整流程。首先使用LLaMAFactory工具进行LoRA微调，采用4bit QLoRA量化策略降低显存消耗，设置学习率3e-5、批大小2等参数完成3轮训练。随后合并基础模型与LoRA权重，并通过BitsAndBytes工具进行4bit量化，模型大小从8.3G压缩至2.7G。量化后的模型仍能准确完成物体检测任务，在办公场景测试中成功识别桌子、椅子等物体并输出边界框和属性描述。该方案使大模型能在消费级显卡上运行，为轻量化部署提供了
『大模型量化』Qwen3-VL + Lora监督微调 + 8bit量化 + 实践推理
黎国溥
11-14 3005
本文详细介绍了Qwen3-VL-4B多模态模型的LoRA微调、8bit量化及推理实践。首先使用LLaMAFactory对Qwen3-VL-4B进行LoRA监督微调，通过8bit量化将模型从8.3G压缩到4.6G。文章提供了两个量化后模型的应用案例：1）单张图像详细描述生成；2）特定类别物体检测与可视化，展示了模型在保持性能的同时显著降低资源占用的效果。实践表明，8bit量化后的Qwen3-VL-4B模型仍能准确完成多模态任务，为轻量化部署提供了可行方案。
Qwen3-VL LoRA 微调 和 部分参数全量微调
二分掌柜的
10-23 5042
flyfish
【线性代数】图形学基础：齐次坐标与矩阵变换
h_a_o777oah的博客
07-19 280
本文介绍了计算机图形学中的基础线性代数知识，重点阐述了齐次坐标和矩阵变换的应用。主要内容包括：1）齐次坐标的概念，通过增加w维度区分点和向量；2）缩放、旋转和平移三种基本变换的矩阵表示方法，特别是齐次坐标如何统一处理平移变换；3）矩阵乘法结合律在复杂运动合成中的应用。这些线性代数工具为计算机图形学提供了高效的变换表示和计算方法，使复杂图形变换能够通过矩阵运算高效实现。
机器学习酶功能预测--Nature
weixin_44874487的博客
07-20 335
酶是生命体中的分子功能机器，底物特异性是决定酶功能的核心特性，即酶识别特定底物并对其选择性发挥催化作用的能力。该特异性由酶活性中心三维空间结构，以及化学反应复杂的过渡态共同决定。诸多酶还具备底物杂泛性，可催化天然进化之外的反应、作用于非天然底物。但目前海量已知酶仍缺乏可靠的底物特异性数据，既限制了酶的实际应用，也阻碍了人们全面解析自然界生物催化的多样性特征。本研究构建了一款搭载交叉注意力机制的SE (3) 等变图神经网络模型 EZSpecificity，用于酶底物特异性预测；
【机器学习|DAY01】机器学习概述
m0_73999950的博客
07-20 457
文章梳理了机器学习的基础知识框架：AI/ML/DL三者的定义与关系、常用术语（数据集、样本、特征、标签）、四大分支（有监督、无监督、半监督、强化学习）的对比、项目完整流程的五个步骤，以及特征工程五大概念（提取、预处理、降维、选择、组合）的总览，最后讲解欠拟合、过拟合与泛化能力。
审计风险识别的工程落地：规则引擎、评分卡、机器学习与图神经网络对比
lyh930712的博客
07-22 243
没有放之四海皆准的模型，只有适配当前数据基础与合规要求的模型。中小所不必追逐 GNN，先把规则引擎和评分卡工程化、可维护化，是更稳妥、性价比更优的起点。等有了标注数据，再逐步引入 ML。
机器学习特征预处理之处理数据不平衡
larance的挨踢生活
07-20 261
在分类任务中，当不同类别的样本数量相差悬殊时，就是数据不平衡。例如：python# 欺诈检测场景正常交易: 9900条 (99%)欺诈交易: 100条 (1%) ← 少数类（我们更关心）# 疾病诊断场景健康人群: 9500条 (95%)患病者: 500条 (5%) ← 少数类（我们更关心）
机器学习特征预处理之数据正态变换
larance的挨踢生活
07-18 185
对指定的数值列应用Power Transformation（幂变换），使数据更接近正态分布，常用于满足统计模型假设或提升模型性能。数据包含零/负值 → 必须用Yeo-Johnson。仅正值 → Box-Cox通常效果更好（更稳定）记录变换参数（如λ值），便于逆变换和解释。对象，用于新数据的变换。
2025年机器学习十大算法全景解析：从理论到实践的深度指南
最新发布
2601_95075126的博客
07-23 367
在人工智能驱动的2025年，机器学习算法已成为科技革命的核心引擎。从自动驾驶的实时决策到医疗诊断的精准预测，从金融风控的智能分析到个性化推荐的千人千面，十大经典算法持续进化，构建起智能社会的数字基石。在人工智能驱动的2025年，机器学习算法已成为科技革命的核心引擎。从自动驾驶的实时决策到医疗诊断的精准预测，从金融风控的智能分析到个性化推荐的千人千面，十大经典算法持续进化，构建起智能社会的数字基石。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白云千载尽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值