大模型 AWQ 量化实战：激活感知权重量化（Activation-aware Weight Quantization）部署

大模型 AWQ 量化实战：激活感知权重量化（Activation-aware Weight Quantization）部署

随着 70B 及更大体量的大语言模型（LLM）在工业界的普及，将模型部署上线面临极其沉重的显存负担：FP16 精度下的 70B 模型仅权重本身就需要 140GB 显存，必须动用 2 张 A100-80GB 甚至 4 张显卡才能承载，且推理过程严重受限于 GPU 显存带宽（Memory Bandwidth Bound）。

传统的 Post-Training Quantization（如简单 Round-to-Nearest 均匀 INT4 量化）会导致大模型困惑度（Perplexity）发生剧烈恶化，语言逻辑彻底崩溃。

MIT 提出的 AWQ（Activation-aware Weight Quantization，激活感知权重量化） 成为近年来大模型 4-bit 量化部署的主流突破之一。

AWQ 的核心洞察是：模型中并非所有权重都同等重要，仅仅保护约 1% 的“显著权重通道（Salient Weight Channels）”，就能使 4-bit 量化模型的精度几乎完全无损！

本文详解 AWQ 的数学机理与在 vLLM 中的高性能部署实战。

1. 为什么“激活感知（Activation-aware）”决定了量化上限

[权重矩阵 W (Out, In)]  x  [前向激活特征 X (In,)]
       │
       ▼ (观察前向激活特征 X 的幅度分布)
绝大多数激活特征很小 (~0.1)，但存在 1% 的显著通道激活值极大 (~50.0)！
       │
       ▼
[AWQ 核心思想: 依据激活特征幅度，自适应保护对应显著权重]
  ├── 对 99% 的普通通道: 正常执行 4-bit 量化
  └── 对 1% 的关键显著通道: 施加逐通道保护缩放因子 S (Per-channel Scaling)
      --> 使得 W * S 乘以 X / S 时，数学等价且量化误差被压缩了 10 倍以上！

通过引入通道缩放因子 $S$，AWQ 在完全无需反向传播重训（无需微调）的前提下，基于数十条校准文本（Calibration Data），即可在 5 分钟内完成百亿大模型的免损量化。

2. 基于 autoawq 执行模型量化实操

使用开源库 AutoAWQ 将一个 FP16 大模型量化为 INT4 AWQ 格式：

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

def run_awq_quantization(model_path: str, quant_save_path: str):
    print(f"=== 开始对模型执行 AWQ 4-bit 量化: {model_path} ===")
    
    # 1. 加载模型与 Tokenizer
    model = AutoAWQForCausalLM.from_pretrained(model_path, low_cpu_mem_usage=True)
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    
    # 2. 配置量化参数 (4-bit 权重, Group Size = 128)
    quant_config = {
        "zero_point": True,
        "q_group_size": 128,
        "w_bit": 4,
        "version": "GEMM" # 针对现代 GPU Tensor Core 矩阵乘法高度优化
    }
    
    # 3. 执行激活感知量化 (使用 128 条标准长文本校准语料)
    model.quantize(
        tokenizer,
        quant_config=quant_config,
        calib_data="pileval", # 标准校准集
        split="train",
        text_column="text"
    )
    
    # 4. 保存量化后的轻量模型权重与元数据
    model.save_quantized(quant_save_path)
    tokenizer.save_pretrained(quant_save_path)
    print(f"=== AWQ 量化完成！产物已落盘至: {quant_save_path} ===")

if __name__ == "__main__":
    # run_awq_quantization("Qwen/Qwen2.5-7B-Instruct", "models/Qwen2.5-7B-AWQ")
    pass

3. 在 vLLM 高性能推理引擎中一键加载部署

经过 AWQ 量化的模型能够被 vLLM 原生极速加载，其内置的 W4A16 高性能 CUDA Kernel 能够直接在 GPU 片上对 4-bit 权重即时解压并与 16-bit 激活值执行 GEMM 矩阵乘法：

# 启动 vLLM OpenAI 兼容 API 服务 (单卡极速加载)
python3 -m vllm.entrypoints.openai.api_server \
    --model models/Qwen2.5-7B-AWQ \
    --quantization awq \
    --dtype auto \
    --gpu-memory-utilization 0.90 \
    --max-model-len 8192 \
    --port 8000

4. 显存压缩与推理吞吐实测对比

我们在单张 NVIDIA RTX 4090 (24GB) 消费级显卡上，测试 Qwen-7B 与 LLaMA-13B 在 FP16 与 AWQ 4-bit 下的实测指标：

实测数据表明：AWQ 量化将显存直接从 26.5GB 压缩至 7.6GB，使得原本无法在 24GB 显卡运行的 13B 大模型不仅能够单卡满速飞驰，且在 GSM8K 等高难度推理任务上取得了 38.0% 的准确率，几乎完全无损保留了 FP16 原版的智慧。

5. 生产量化避坑指南

1. 校准集（Calibration Data）领域匹配：若大模型用于特定垂直行业（如医疗或代码），量化校准集必须包含该垂直领域的真实文本样本，严禁仅用通用维基百科校准，否则显著通道的识别会发生偏倚；
2. q_group_size 的选择：推荐固定使用 q_group_size = 128。设置为 64 精度略高但显存开销增加 5%，设置为 256 会导致尾部层量化误差增大。