
LLM軽量化・最適化技術の完全ガイド:量子化からMoEまで徹底解説
本記事の対象者
主な対象者:LLMの推論コスト削減や効率化に興味を持つエンジニア、研究者、AIプロダクト開発者を想定しています。
技術レベル:中級から上級を想定しています。
前提知識:Transformerアーキテクチャの基本構造、Self-Attentionの仕組み、浮動小数点数の基礎知識を理解していることを前提とします。
この記事で得られるもの:LLM軽量化の全体像を体系的に把握でき、量子化・Pruning・知識蒸留・アーキテクチャ最適化の各手法を実務で選定・実装する判断材料を得られます。
要約(本記事の主要トピック、記事の構成と学習の流れ)
本記事の主要トピック:本記事はLLMの軽量化が必要な背景、量子化技術(PTQ・QAT)、Pruning手法、知識蒸留、アーキテクチャ的工夫(Attention効率化・MoE)、学習・推論の効率化の6つを中心に解説します。
記事の構成と学習の流れ:前半でLLM推論コストの理解と量子化の基礎から応用までを、中盤でPruningと知識蒸留による圧縮技術を、後半でアーキテクチャ的工夫と最新の学習効率化手法を解説し、最後に実践的な技術選定の指針を示します。
ゴール:読了後にプロジェクトに最適な軽量化手法を選定でき、各手法のトレードオフを説明できるようになります。
近年、大規模言語モデル(LLM)は驚異的な進化を遂げています。Qwen3は235Bパラメータ、DeepSeek-V3は671Bパラメータ、そしてKimi-K2に至っては1兆(1T)パラメータという規模に達しました。同時にコンテキスト長も128Kトークンを超えるものが標準となり、Test-Time Scalingの普及によって推論時の計算コストも増大しています。
こうした巨大モデルを実用的なコストで運用するためには、「軽量化・最適化技術」が不可欠です。本記事では、LLMの軽量化技術を体系的かつ包括的に解説します。
LLM推論にかかるコストを理解する
軽量化技術を学ぶ前に、まずLLMの推論がなぜ高コストなのかを理解しましょう。
計算コストの内訳
LLMの推論は大きく2つのフェーズに分かれます。

Prefillフェーズでは入力プロンプト全体を処理するため、シーケンス長の二乗に比例する計算量が必要です。一方、Decodeフェーズでは1トークンずつ生成しますが、過去のKey-Value(KV)キャッシュを参照するためメモリアクセスがボトルネックとなります。
メモリコストの内訳
LLMのメモリ消費は主に以下の要素で構成されます。
(1) パラメータのメモリ
モデルのパラメータを保持するために必要なメモリは、パラメータ数とデータ型のサイズの積で決まります。例えばLlama 3.1 8BモデルをFP32で保持すると約32GiBが必要です。
(2) KV Cacheのメモリ
Self-Attentionの計算を効率化するために、過去のKeyとValueを保持するKV Cacheは、長いコンテキストを扱う際に膨大なメモリを消費します。1トークンあたりのKV Cacheサイズは以下の式で計算できます。
例えばLlama 3.1 8BでFP32を使用する場合、1トークンあたり約256KiBのKV Cacheが必要となり、16,384トークンのコンテキストでは4GiBに達します。
(3) 学習時の追加メモリ
学習時には、パラメータに加えて勾配(Gradient)、オプティマイザの状態(AdamWならMomentumとVariance)、そしてActivation(中間状態)を保持する必要があり、推論時の4〜8倍のメモリが必要になります。
実際のコスト例:DeepSeek-R1
DeepSeek-R1の価格設定を見ると、軽量化技術の重要性がよく分かります。入力トークンはキャッシュヒット時に100万トークンあたり$0.14、キャッシュミス時は$0.55となり、出力トークンは$2.19と約4〜15倍のコスト差があります。これはDecodeフェーズのコストの高さを反映しています。
量子化(Quantization):精度とコストのトレードオフ
量子化は、モデルの重み(Weight)や活性化(Activation)、KV Cacheをより低い精度で表現することで、メモリ使用量と計算コストを削減する技術です。
浮動小数点数の表現形式
量子化を理解するには、まず数値の表現形式を知る必要があります。

LLMの学習ではBF16またはFP8が主流で、推論ではFP8、INT8、INT4が広く使われています。FP32は計算コストが高く、FP16はオーバーフローの問題があるため、LLMではあまり使用されません。
量子化のメリット
量子化によって得られるメリットは多岐にわたります。
(1) バッチサイズの増加
メモリ使用量の削減により、同じGPUメモリでより大きなバッチサイズを処理でき、スループットが向上します。
(2) KV Cache容量の増加
より長いコンテキストを扱えるようになり、RAGや長文処理のユースケースで有利になります。
(3) メモリアクセスの高速化
Decodeフェーズはメモリ帯域律速なため、データサイズの削減が直接的に速度向上につながります。
(4) Tensor Coreの活用
NVIDIAのGPUではINT8/FP8/INT4用の専用演算ユニットがあり、これを活用することで大幅な高速化が可能です。
(5) 通信コストの削減
分散学習・推論において、ノード間の通信データ量を削減できます。
量子化の分類
量子化は複数の観点から分類できます。

対称量子化と非対称量子化
量子化の基本的なアプローチとして、対称量子化と非対称量子化があります。
(1) 対称量子化(Symmetric Quantization)
高精度での0を低精度での0にマッピングし、絶対値の最大値(absmax)を基準にスケーリングします。
例えばFP32の値をINT8(-127〜127)に量子化する場合、absmax=303.3なら、S=303.3/127≈2.388となります。
(2) 非対称量子化(Affine Quantization)
0を固定せず、最小値と最大値の範囲を低精度の表現範囲にマッピングします。
非対称量子化は対称量子化と比較して約3倍精度が良いことがありますが、Zero-Pointの追加処理が必要です。
外れ値問題と量子化粒度
量子化において最も厄介な問題の一つが「外れ値(Outlier)」です。例えば、ほとんどの値が-200〜300の範囲にある中で、1つだけ10,000という値があると、スケールが引き伸ばされ、他の全ての値が0に量子化されてしまいます。
この問題を解決するアプローチが「量子化粒度(Granularity)」の細分化です。

粒度を細かくするほど量子化誤差は小さくなりますが、Scale/Zero-Pointの保存と計算のオーバーヘッドが増加します。INT4量子化ではPer-Group量子化が標準的に使用されています。
PTQ(Post-Training Quantization)の代表的手法
学習済みモデルに対して適用するPTQ手法を紹介します。
LLM.int8()
LLMのActivationには、特定のChannelに系統的に大きな外れ値が出現するという特性があります。LLM.int8()はこの知見を活用し、閾値(論文では6.0)を超えるChannelを「外れ値」として識別し、そのChannelはFP16で計算、それ以外はINT8で計算するという混合精度アプローチを取ります。

SmoothQuant
SmoothQuantは、Activationの外れ値が特定のChannelに集中するという特性を利用しつつ、LLM.int8()とは異なるアプローチを取ります。Weight側は分布が均一で量子化しやすいため、Activation側の外れ値をWeight側に「移行」させることで、両方を量子化しやすくします。
数学的には、変換行列 を用いて以下の変換を行います。
スケーリング係数 は以下の式で決定されます。
パラメータ (0〜1)を探索することで、最適なスムージング強度を決定します。
GPTQ
GPTQは、従来のRTN(Round-To-Nearest)による単純な丸め込みではなく、層ごとの再構成誤差を最小化しながら量子化を行う手法です。
キャリブレーションデータを用いてActivationを計算し、再構成誤差のヘッセ行列を算出します。各要素を量子化する際に、それまでに量子化した要素からの誤差を考慮して残りの未量子化重みを最適に更新することで、高精度なW4A16(Weight 4bit、Activation 16bit)量子化を実現します。
AWQ(Activation-aware Weight Quantization)
AWQは、層の出力がWeightとActivationの積であることに着目します。大きなActivationを持つChannelでは、Weight量子化の誤差が出力に大きく影響します。そこで、事前計算したActivationの大きさに基づいてWeightをスケーリングし、量子化誤差の影響を軽減します。
適切なスケーリング係数 を選ぶことで、量子化誤差を約 $1/s$ に削減できます。
先進的な低精度フォーマット
FP4レベルの超低精度を実現するための新しいフォーマットも登場しています。
(1) MXFP4
FP4(E2M1)ベースのフォーマットで、32要素ごとにFP8(UE8M0)のスケールを持ちます。OpenAIのGPT-OSSのPost-Trainingで使用されています。
(2) NVFP4
FP4ベースですが、16要素ごとにE4M3 FP8のスケール、さらにテンソル全体にFP32のスケールを持つ2段階のスケーリング構造です。MXFP4よりも細かい粒度でスケーリングを行うため、量子化誤差が小さくなります。
KV Cache量子化
Test-Time Scalingの普及により、reasoningを含む長い生成が増え、KV Cacheのサイズが深刻な問題となっています。例えばLlama3-70Bで16,384トークンを処理する場合、FP16で5GiB、FP8で2.5GiB、INT4で1.25GiBとなります。
KIVI
KIVIは、KV Cache量子化について以下の知見を発見しました。
Key側:Channel単位で一部大きな外れ値を持つChannelが現れる
Value側:特定の外れ値パターンは見られないが、Per-Channel量子化を適用すると精度が大きく低下する
これを元に、Key cacheはPer-Channelで、Value cacheはPer-Tokenで量子化することで、2bit量子化でも精度を維持できることを示しました。
KVQuant
KVQuantは、KIVIの知見に加えて以下の工夫を取り入れています。
RoPE適用前にKeyをPer-Channelで量子化
キャリブレーションデータからsensitivityを算出し、非一様な量子化を適用
ベクトル単位で外れ値を判定し、外れ値をFP16に逃がす
LLM特有のAttention Sinkの挙動を元に、先頭の1トークンに対応する部分のみFP16で保持
QAT(Quantization-Aware Training)
PTQに対して、学習時に量子化を意識した訓練を行うのがQATです。
QATの基本原理
学習時に「疑似的な量子化(fake quant)」を中間に挟み、量子化誤差を含んだ状態で学習を行うことで、後に量子化した際の耐性を獲得します。PTQと違い、量子化時のscaleやzero-pointも学習可能にすることが多いです。
fake_quantの中ではround()操作を挟みますが、これを微分するとほとんどの点で係数が0になり、勾配が流れません。この対策としてSTE(Straight-Through Estimator)が用いられます。STEでは、forward passでは量子化を行い、backward passではy=xとみなして勾配をそのまま流します。
LLM-QAT
QATを適用する際の大きな問題は計算コストと学習データです。特に元モデルの学習データと似たデータを得ることは難しく、慎重なデータ選定が必要となります。
LLM-QATでは、元モデルを教師モデルとし、モデル自身が生成したテキストを知識蒸留的に学習に利用することで、外部データなしでQATに成功しました。また、KV Cacheに関してもQATを適用することに成功しています。
EfficientQAT
EfficientQATは、Block-APとE2E-QPという2段階に分けてQATを行い、少ないコストで低ビット数でも高い精度を維持することに成功しました。
Block-AP:Transformerブロック1つごとに、量子化の再構成誤差(MSE)が小さくなるように重みとscale、zero-pointを全て同時に学習
E2E-QP:重みは凍結し、量子化パラメータのうちscaleだけを実際のデータでモデル全体をEnd-to-EndにCross-Entropy Lossなどで最適化
BitNet
BitNetは、-1と+1の2値のみを持つ1-bit weightsを利用したLinearレイヤの代替「BitLinear」を提案しました。QATによって超低精度でも一定の精度を保つことに成功しています。1-bitなのはWeightのみで、論文ではActivationは8-bit(W1A8)です。
BitNetにおけるquant/dequantの手順は以下の通りです。
(1) Weight Quantization
重みの平均値を各要素から引き、中心が0になるように分布を変換します。その結果の値が0より大きければ+1を、0以下なら-1とします。後のdequantizeに利用するため、重みの絶対値の平均βを計算しておきます。
(2) Activation Quantization
LayerNormの後のActivationにabsmax量子化を適用し、b-bitに量子化(論文ではb=8)。後のdequantizeに利用するため、Activationの絶対値の最大値γを保持します。
(3) Dequantization
量子化されたWeightとActivationの積を取り、その結果に対してβとγを使ってdequantizeします。
BitNet b1.58
BitNet b1.58は、BitNetの実装を元に以下の点を改変しました。
absmean量子化を導入し、2値ではなく3値(-1, 0, +1)にWeightを量子化
Activationは全て[-Qb, Qb]にsymmetricにPer-Tokenで量子化
3値にすることで、同じパラメータ数のLLaMA LLMと同等の性能を達成しています。
量子化の実用ツール
実際に量子化を適用する際に使えるツールを紹介します。
(1) bitsandbytes
LLM.int8()の著者らが作成した、PyTorch向けの量子化ライブラリです。QLoRAで利用されているNF4フォーマットを利用した4-bit量子化や、LLM.int8()を利用した8-bit量子化、8-bit Optimizerなどをサポートしています。Hugging Face Transformersと密に統合されており、簡単に利用可能です。
# 8-bit量子化(LLM.int8)の適用例
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(
load_in_8bit=True,
llm_int8_threshold=6.0,
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-4B-Instruct-2507",
device_map="auto",
quantization_config=bnb_config,
)(2) llm-compressor
主にvLLMでの推論向けに、様々な手法・形式での量子化を提供するライブラリです。対応アルゴリズムはGPTQ、AWQ、SmoothQuant、QuIP、SpinQuantなど多岐にわたり、対応形式はW8A16、W4A16、W8A8(INT8, FP8)、NVFP4などをサポートしています。
(3) llama.cpp
C++をバックエンドとしてLLMを量子化・推論するフレームワークです。GGUFという独自の形式を使って様々なフォーマットでの量子化をサポートしています。例えばQ4_Kでは、32weights単位でsub-block(6-bit scaling factor, 6-bit minimum)を持ち、256weights / 8 sub-blocks単位でsuper-block(16-bit super-scale)を持つ階層的な構造になっています。
Pruning(枝刈り):不要なパラメータの削除
Pruningは、モデルの重要でないパラメータを0埋めまたは削除することで、精度低下を抑えながら軽量化・高速化する技術です。
Pruningの特徴
メリット
メモリ・計算コストを削減できる
スループットを向上・レイテンシを低減させられる
デメリット
手法によって程度は変わるが、精度は低下する
Pruning後の精度回復のためにファインチューニングが必要なことがある
量子化よりエコシステムが充実しておらず、やや敷居が高い
実用上、後述する知識蒸留と併用されることが多く、実例としてLlama 3.2 1B、PLaMo 2 2Bなどがあります。
Pruningの分類

Pruningの代表的手法
SparseGPT
SparseGPTは、各レイヤの入出力の再構成誤差を最小化するというレイヤごとのSparseな最適化問題へと落とし込み、再構成誤差のヘッセ行列を用いた解析的な手法で効率的にUnstructured Pruningを適用します。学習済みのLLMに対して、精度劣化を最小限に抑えつつ、追加学習なしのOne-Shot Pruningで50〜60%程度のSparse化を実現しています。
Layer Pruning
学習済みのLLMには、レイヤ(ブロック)を丸ごと削除しても劣化がほとんど発生しない部分が深い層(中〜後半あたり)に存在することが知られています。レイヤの入出力での状態の変化量などを元に変化の小さいレイヤを削除し、その後少量の追加学習(healing)を行うことで精度を保ったままレイヤ単位でのStructured Pruningを適用できます。
Expert Pruning
Sparse MoEを採用したLLMにおいて、全てのExpertは等しく重要ではなく、タスクなどによってあまり重要でないExpertも存在します。キャリブレーションデータでの再構成誤差などからExpertの重要度を判定し、重要でないExpertを削除したりスキップすることで精度劣化を抑えながら計算コストやメモリコストを削減できます。
Minitron
NVIDIAが独自で学習し作成した15Bのモデルを対象に様々なPruning・Distillationを検証し、実践的なBest Practiceを発見しました。
Pruningにおいては以下のようなBest Practiceを提唱しています。
論文でのスケール(〜15B)では、深さ(depth)のpruningよりも幅(width)のpruningの方が良い結果が得られる
重要度のiterativeな推定は効果が薄く、single-shotの推定で十分
Knowledge Distillation(知識蒸留):大から小への知識転送
知識蒸留は、大規模な教師モデルから小規模な生徒モデルに知識を効率的に転送し、高性能な小規模モデルを効率的に学習する技術です。「知識(Knowledge)」と表記されていますが、純粋な知識に限らず様々なタスクをこなす能力・スキルの蒸留も含めます。
知識蒸留の特徴
メリット
精度を保ちながらモデルの小型化ができる
量子化やPruningなどと併用が可能
デメリット
比較的大規模な再学習が必要でコストが高い
設計の自由度が高く、適切な実装が難しい
実用例としてDeepSeek-R1-Distill、Qwen3などがあります。
知識蒸留の分類

Response-based Distillation
教師モデルの最終的な出力を使って蒸留を行う、LLMにおいては最も一般的な手法です。
(1) Hard-target Distillation
教師モデルの出力の正解ラベル(One-Hotな単一の出力)を元に学習します。LLMの文脈では教師モデルの出力による合成データを使った学習がこれに相当します。非公開モデルなど、モデル本体にアクセスできない場合でも適用可能です。
(2) Soft-target Distillation
モデル出力のlogitsをベースとした確率分布を模倣するように学習します。logitsを保持しておく必要があるため計算コストやメモリ・ストレージコストが高く、実装もやや複雑になります。実際には語彙の全てのlogitsを利用するわけではなく、上位k個だけを保持して利用します(例:Gemma3では256個)。
Feature-based Distillation
最終出力だけでなく、モデルの中間表現の特徴も利用して蒸留します。これにより、出力結果だけでなく教師モデルの途中の挙動も学習可能です。
Relation-based Distillation
単一の状態などでの学習ではなく、複数レイヤや複数データ間での関係(距離や角度、相関など)を利用して蒸留します。より複雑なダイナミクスを捉えられますが、実装や計算のコストは高くなります。
On-Policy Distillation
通常のDistillationでは、教師モデルが出した応答やlogitsに追従させるように生徒モデルを学習します(Off-Policy)。On-Policy Distillationでは生徒モデル自身の出力に対して教師モデルのlogitsでフィードバックを与え、その距離を最小化するようにRLに近い文脈で学習します。これにより、教師モデルと生徒モデルの分布ずれによる悪影響を小さくできます。
知識蒸留の実用例
Llama 3.2 1B / 3B
MetaはLlama 3.1 8Bを元にStructured Pruningによって1B / 3Bの重みを初期化し、その後Llama 3.1 8Bと70BのlogitsをInput取り入れたSoft-target Distillationを行いながら事前学習を実施しました。事前学習後、合成データをベースにしたiterativeなSFT・RS・DPOで事後学習(Hard-target Distillation)を行っています。
DeepSeek-R1-Distill
DeepSeek-R1を使いRejection Sampling等で合成された80万件のReasoningデータを元に、Qwen2.5などの他モデルにSFT(Hard-target Distillation)を行い、元モデルを超える性能を達成しました。
Qwen3
Qwen3-235B-A22BとQwen3-32Bを通常通りPost-Trainingした後、小さなサイズのモデルを以下の2段階を含んだStrong-to-Weak Distillationで学習しています。
教師モデルの出力に基づく合成データを使ったHard-target Distillation
生徒モデルの出力と教師モデルのlogitsを使ったOn-Policy Distillation
アーキテクチャ的工夫による効率化
LLMのパラメータはFFN(MLP)とAttentionが大部分を占め、計算量に関しても同様です。特にAttentionはKV Cacheを必要とするため計算コストだけでなくメモリコストも高くなります。そのため、軽量化は主にAttentionとFFNを対象に行われます。
Attentionの効率化
Self-Attentionの計算量とKV Cacheサイズを削減するアプローチは複数あります。
計算量の削減
Attentionの計算範囲の限定(Sparse Attention):
Attention機構の置き換え(ハイブリッドモデル):
KV Cacheサイズの削減
ヘッドの共有( の削減)
K/Vの低次元への圧縮
量子化による低精度表現(bytes/elem の削減)
Multi-Query Attention (MQA)
MQAは、レイヤごとに1つのKey / Valueヘッドを全Queryヘッドで共有し、使いまわす手法です。これにより、KV Cacheのサイズが大幅に削減されます。
同時にK/Vの射影計算も軽量になりますが、性能劣化や学習安定性の問題がありました。
Grouped-Query Attention (GQA)
GQAは、MQAの性能劣化・学習安定性の問題を解決するため、QueryヘッドをG個のグループに分け、それぞれのグループ内で1つのKey / Valueヘッドを共有します。2025年現在でもQwen3やgpt-oss等の最新のモデルで採用されています。
Multi-head Latent Attention (MLA)
MLAはDeepSeek-V2にて提案された、K/Vを低ランクに圧縮してキャッシュする機構です。入力をdown projectionで潜在空間に圧縮(全てのヘッドで共有)してキャッシュし、各ヘッドでそれをup projectionして利用するという仕組みにより、非常に小さなKV Cacheのサイズで高い性能を実現しました。projectionにかかる計算コストはアルゴリズム的工夫により打ち消されています。
Sliding Window Attention
各トークンが全体を見るのではなく、直近のkトークンのみにAttentionを計算することで、計算量を に削減し、KV Cacheも削減できます。Longformer(2020)にて確立、LLMにおいてはMistral 7Bで実用化されました。2025年現在でも、Gemma 3やgpt-ossなどでSliding Window AttentionとGlobal(Full) Attentionの組み合わせが実用的に使われています。
DeepSeek Sparse Attention
DeepSeek-V3.2-Expにて実装された特殊なSparse Attentionの手法です。軽量な疑似アテンションメカニズムのようなモジュール(Lightning Indexer)によって各トークンの重要度のようなものをスコアリングし、上位kトークンのみをAttentionの計算に利用します。
Hybrid Attention / Hybrid Architecture
2025年にはAttention部分をLinear AttentionやMambaなどの他の機構に置き換えたハイブリッドな構成を採用したモデルが増加しています。
Nemotron-H:TransformerとMamba2を併用
LFM2:Attentionの代わりに畳み込みベースの機構を利用
Qwen3-Next:Gated DeltaNetというLinear Attentionを導入
MLP(FFN)の効率化:Mixture of Experts
LLMは一般にパラメータを増やすほど性能が伸びることが知られていますが、モデルサイズが大きくなるほど学習・推論にかかるコストも増加します。LLMのパラメータにおいて最も大きな割合を占めるのはFFN層であるため、最近ではここに対してコストを抑えつつパラメータを増やす工夫がされています。
Sparse Mixture of Experts
Sparse MoEは、FFNを複数の小さな「専門家(Expert)」に分けたうえで、入力トークンごとに「どのExpertを使うべきか」の判断を行う「振り分け役(Router)」も学習する手法です。推論時には、入力に応じてRouterが使う上位k個のExpertを動的に選択しそのExpertのみを利用することで、計算コストを抑えながら高い性能を実現します。

一般的に、総パラメータ数と同程度サイズのDenseモデルよりは性能は低く、アクティブパラメータ数と同程度サイズのDenseモデルよりは性能が高いとされています。
Sparse MoEの実装上の違い
Mixtral-8x7Bがオープンモデルとしてリリースされて以降Sparse MoEの採用例は増え、現在の巨大なオープンモデルではほぼ全てに採用されています。各モデルの実装上の違いとしては主に以下の点が挙げられます。
Total Expertの数:小さなExpertを大量 or 大きなExpertを少量
Active Expertの数:少ないほど計算コスト小だが性能は理論上低下
Shared Expertの有無・数:必ずアクティブになるExpert
RouterのLoad Balancingの実装:Auxiliary Lossの有無、実装など
Routerの設計:Expert Choice / Token Choice
MoEレイヤの配置:全レイヤに採用、一部は通常のFFNを利用など
2025年時点では全体的に以下のような傾向が見られます。
直近公開のフロンティア級オープンモデルはほぼ全てMoEを採用している
Shared Expertは多くのモデルで採用されている
小さな(fine-grained)Expertを大量に並べる実装が増加している
Active Expert数 << Total Expert数な非常にSparseな実装が増えている
Sparse AttentionやHybrid Attention等の他の最適化と組み合わせて利用されることが多い
学習の効率化
近年、モデルのパラメータサイズが増加するにつれ、学習にかかる計算コストも増大しています。例えばLlama 4は合計7.38M GPU hoursを必要とし、DeepSeek V3は約$5.576M(2788K H800 GPU hours)のコストがかかっています。精度劣化を抑えつつ、低コストで学習するための手法が必要となっています。
低精度学習(Low-Precision Training)
学習時の演算の一部をFP8やFP4のような低精度で行うことで、メモリコストの削減や計算の高速化を実現します。適切に実装できれば精度低下は少ないと言われる一方、Loss Spikeなどの学習安定性の問題が発現することも多いです。
主に以下の点で様々な実装が存在します。
(1) どの低精度表現を使うか?
FP8(E4M3 or E5M2)、MXFP8、FP4、MXFP4、NVFP4など、様々な形式が提案されています。用途によって最適な形式が異なります。
(2) モデルのどの部分を低精度で扱うか?
FFN、Attention、Embedding、LM Head、各種正規化層など、モデルの各コンポーネントごとに低精度化の適用を判断します。
(3) どこまでを低精度で持つか?
Weight、Activation、Gradient、Optimizer State、Master Weightなど、学習に関わる各要素について低精度化の適用範囲を決定します。
(4) Scalingをどうするか?
量子化セクションで説明した通り、パラメータを低い精度に変換する際には値をscalingして狭い範囲に収める必要があります。このscalingの方法として、Dynamic ScalingとDelayed Scalingの2つのアプローチがあります。

FP8 Training
FP8 Trainingは主に行列積部分を対象にFP8で計算し、省メモリ・高速な学習を実現します。GradientやOptimizer StateもFP8で持つような実装も可能ですが、実践的には基本的に高精度で保たれることが多いです。また、forwardにはE4M3を、backwardにはE5M2を使うHybrid FP8の構成を取られることも多いです。
(1) DeepSeek-V3の例
DeepSeek-V3では以下のような構成でFP8 Trainingが行われました。
forward、backwardともにE4M3 FP8を採用
Embedding、LM Head、Router、正規化層、Attention Operatorは高精度で保持
GradientやOptimizer State、Master Weightは高精度で保持
Dynamic Scaling / Per-Group Scalingを採用

FP4 Training
FP8よりもさらに低精度なFP4をメインに高速で効率的な学習を行うアプローチも研究されています。表現可能な数値範囲が非常に狭いため、単純にFP4で各種計算を行うだけでは性能面・学習安定性の問題が大きいです。
NVIDIAによってNVFP4 Trainingの論文が発表され、Transformer Engineでのサポートもされたため、今後採用が増えることが期待されます。
(1) NVFP4 Trainingの実験結果
NVIDIAがNemotron-Hと同じアーキテクチャの12Bモデルを10Tトークン学習し、FP8モデルと同等に近い性能を達成することに成功しました。MMLU、MATH 500などの複数のベンチマークで、NVFP4とFP8の性能差がほぼないことが示されています。
(2) NVFP4 Trainingにおける工夫
以下のような工夫を取り入れることで精度を保って事前学習に成功したと報告されています。
最初の2層と最後の8層のみBF16のまま高精度で保持
Embedding、LM Head、正規化層、非線形計算、Attentionの一部、Master Weight、Gradient、Optimizer Stateは高精度で保持
Wgradの行列積に対して16x16のランダムアダマール変換を適用し外れ値を緩和
Weightには16x16の2次元スケーリングを適用して量子化し、forwardとbackwardの一貫性を保持
確率的丸め(Stochastic Rounding)をGradientだけに適用
PEFT(Parameter-Efficient Fine-Tuning)
LLMを特定のタスクに特化してファインチューニングする際、実際には全てのパラメータを学習せず一部だけを学習しても十分な精度が得られることが知られています。パラメータのほとんどを凍結し、モデルのごく一部のパラメータや追加した軽量なモジュールのみを学習させる手法を「PEFT(Parameter-Efficient Fine-Tuning)」と呼びます。

様々な手法が提案されていますが、LLM開発において実用的に使われるのはReparameterizedに分類されるLoRAおよびその派生手法が圧倒的に主流です。
LoRA(Low-Rank Adaptation)
LoRAは、重みの更新量を低ランク行列の積で近似することで、学習パラメータ数を大幅に削減する手法です。
元の重みを とした時、学習後の重み は と表せます。ここで、この更新量 を、低ランク行列 と を使って に分解し、この と のみ学習することで近似的に重み更新を行います。
元の は 個のパラメータを持っていたのに対し、 個という非常に少ないパラメータで近似的な学習を行うことができます。

スケーリング項 $\alpha$ を含めると、順伝播は以下のような計算となります。
推論時には事前に $\Delta W$ を重みに加算しておけばオーバーヘッドが発生しません。また、異なるタスク用に複数のLoRAアダプタを学習しておき、推論時に動的に切り替えることも容易です。
(1) パラメータ削減効果の実例
$r$ が小さいほど学習可能なパラメータは少なくなります。例えば $d = k = 4096, r = 8$ の時、元のパラメータ数は $d \times k = 4096 \times 4096 = 16,777,216$ であるのに対し、LoRA適用時の学習パラメータ数は $dr + rk = 4096 \times 8 + 8 \times 4096 = 65,536$ となり、約0.4%のパラメータで近似学習が可能です。このように非常に軽量ながら、フルファインチューニングに近い性能を示すことが報告されています。
LoRAの派生手法
LoRAの登場以降、様々な改良手法が提案されています。主要な派生手法を紹介します。
(1) QLoRA
LoRAの学習は軽量ですが、依然として重みの保持等でVRAMを大量に消費します。QLoRAでは元の重みを4-bitに量子化・凍結してLoRAアダプタの学習に利用することで、更なる省メモリでの学習を大きな性能劣化なく実現しました。
同時に、LLMの重み分布が正規分布に近いという性質に基づいた4-bitのデータ形式であるNF4(NormalFloat 4-bit)を提案しました。NF4は正規分布の分位点に基づいて16個の固定値を割り当てることで、正規分布に従うデータを効率的に表現します。
(2) LoftQ
元々のLoRAの実装では、低ランク行列Bを0で、Aを正規分布で初期化していました。QLoRAでもこれを踏襲していましたが、量子化による誤差によりこの初期値と元の重みの整合性がずれ、性能が劣化することを指摘しました。
LoftQでは、この量子化誤差をLoRAアダプタの初期値で補償するように以下のような最適化を初期化時に実行し、より適したアダプタの初期値を獲得してそれを学習に利用することで、より良い結果を得られることを示しました。
(3) rsLoRA
LoRAにはアダプタ行列のランク を大きくしてもあまり性能が向上しないという問題がありました。元々のLoRAでは、スケーリング項 を使って更新量を でスケールしていましたが、この時実際の順伝播・逆伝播のノルムは だけでなく にも影響されて比例して小さくなり、大きな において学習がうまく進まないことを指摘しました。
rsLoRAでは代わりに のスケーリング項を提案し、 が大きい場合でも上手く学習できることを示しました。
(4) LoRA+
元々のLoRAの実装では、2つの低ランク行列BとAに同じ学習率を適用していました。LoRA+はこれが非効率的であると指摘し、Bに対してAよりも大きな学習率を導入することで、コスト0で精度と収束速度の向上を実現できることを示しました。
具体的には とし、 を固定して のみをチューニングします。
(5) DoRA
LoRAの学習時の重み更新の挙動について、フルファインチューニングと違って大きさ(Magnitude)と方向(Direction)を比例的に変化させることを発見しました。
DoRAでは各重みを大きさ(Magnitude)と方向(Direction)に分解し、方向だけをLoRAで分解、大きさはベクトルとして個別に学習することで、フルファインチューニングに近い学習挙動と精度を得られることを示しました。
推論の効率化
LLMのモデルサイズの巨大化に伴い、必要な計算量も大きくなっています。これに対し、これまで説明したようなモデル自体の軽量化や効率化だけでなく、バッチ処理やメモリアクセスの効率化などシステム的な改善も重要となります。
推論効率化の主要指標
LLMのServingにおいては主に以下の3つの指標がカギとなります。

ここでは代表的な推論効率化手法として、Continuous Batching、PagedAttention、Prefix Caching、Chunked Prefill、Prefill Decode Disaggregation、Speculative Decodingについて解説します。
Continuous Batching
LLMの推論では、まず入力プロンプトを処理(Prefill)した後、1トークンずつ反復的に生成(Decode)しますが、生成長はリクエストによって様々です。
従来のStatic Batchingでは特定のバッチサイズでリクエストを束ねますが、最長リクエストの生成が完了するまで待つためその間GPUが遊んでしまいます。
これに対し、Continuous Batchingでは1反復ごとにバッチを見直し、処理が終わったリクエストをすぐにキューにあるリクエストと入れ替えることでGPU利用率を高めます。

PagedAttention
従来のKVキャッシュマネジメントでは、物理メモリの連続領域にKVキャッシュを確保する必要がありました。実際の出力長は予測できないため、従来は各リクエストの最大シーケンス長分の連続チャンクを確保していましたが、この時以下の3つのメモリ浪費が発生します。
(1) Reserved領域
事前に予約されたチャンク中のまだ利用されていない領域が生成途中で未使用のまま他リクエストから使えない状態で確保されてしまいます。
(2) Internal Fragmentation(内部断片化)
最大長ベースで過剰確保したが生成が早期に終わり一度も使われなかった領域が純粋な無駄になります(リクエスト完了後に初めて分かる)。
(3) External Fragmentation(外部断片化)
サイズの異なるチャンクの割り当て・解放を繰り返す中で、メモリ空間に小さな穴ができてしまい、合計の空きは十分でも連続領域が足らずに新規割り当てが出来なくなってしまいます。
vLLMで提案されたPagedAttentionでは、KVキャッシュを「KVブロック」という特定のサイズのブロックに分割し、論理空間と物理空間を紐づけるブロックテーブルによってこれを管理することで、論理空間では連続的・物理空間では非連続的なKVキャッシュ管理を実現し、断片化を大きく減らしました。
これにより、以下の点が効率化されます。
Reserved領域は必要に応じてブロックサイズごとに確保していけば良いため、余分な確保領域が小さく、また内部断片化も小さくなる
全体を一定のブロックサイズで区切って非連続的に確保できるため、物理空間上での外部断片化の問題を解消できる
複数のリクエストで同じKVブロックを共有することができる
Prefix Caching
LLMのKVキャッシュは過去トークンにのみ依存するため、同一のPrefixを持つトークン列に対するKVキャッシュの値は何度計算しても同じです。
そのため、過去のリクエスト処理時に計算したKVキャッシュ(KVブロック)をメモリに余裕がある間は保持し、全く同じPrefixを持つ別リクエストがきた時に過去の計算結果を再利用することで、Prefillの計算量を大きく削減できます。これにより、再利用できた時のTTFTを非常に小さくできます。
DeepSeek APIで見られる「キャッシュヒット時」と「キャッシュミス時」の価格差は、このPrefix Cachingの効果を反映したものです。
Chunked Prefill
vLLMやTensorRT-LLMのような推論エンジンでは、複数リクエストの処理時に効率化のためにPrefillとDecodeを同時に1つのバッチで処理します。この時非常に長い入力プロンプトが入ってくると、Prefillを1ステップで行うような実装ではPrefillの時間が長くなり、他リクエスト(=他ユーザー)の生成が遅延しTPOTが悪化します。
Chunked Prefillでは入力を特定の長さのChunkに分け、ChunkごとにPrefillを行うことで、全体のTPOTを改善します(ただし、TTFTはやや悪化する)。
Prefill Decode Disaggregation
Prefillは入力トークン列に対してナイーブにAttentionを計算する必要があるためcompute-bound(計算律速)であるのに対し、Decodeは各iterationでKVキャッシュを読み書きしながら生成するためmemory-bound(メモリ律速)です。
従来の推論サービスはこの2つを同バッチで処理していましたが、この2つは特性が異なるため、同時に処理するのは本質的に効率が悪いです。
Prefill Decode DisaggregationではPrefillとDecodeを行うGPUを分け、Prefill結果のKVをDecodeワーカー側に行うようにこの2つを分離し、効率化を行います。また、それぞれのワーカーを個別にスケーリングできる利点もあります。
Speculative Decoding
通常、LLMの生成では1トークンの出力ごとに1回のforward計算が必要となり、この計算コストは高いです。Speculative Decodingでは小型のDraft Model(下書きモデル)を使って数トークン先までの仮出力を生成し、大型のTarget Model(本番モデル)でそれを検証して受理または却下します。
この時、検証はまとめて1回のforwardで行えるため、大型モデルの計算回数を減らすことができます。全体の計算回数は増えますが、memory-boundな状況ではThroughput改善が期待されます(ただし、TTFTは悪化する)。
まとめ:技術選定の指針
LLMの軽量化・最適化技術は多岐にわたりますが、用途に応じて適切な技術を選択することが重要です。

LLMの軽量化・最適化は、単一の技術ではなく複数の技術を組み合わせて適用することで、より効果的な結果を得ることができます。例えば、最新のフロンティアモデルであるDeepSeek-V3やQwen3は、GQA/MLA、Sparse MoE、低精度学習を組み合わせて効率的な学習と推論を実現しています。
また、Llama 3.2のような小型モデルは、Pruning + 知識蒸留の組み合わせで大型モデルから効率的に知識を転送して作成されています。
今後もLLMの規模拡大と効率化技術の進化は並行して進んでいくと考えられます。本記事で紹介した技術の基礎を理解しておくことで、最新の研究や実装を追いかける際の土台となるでしょう。
この記事が役に立ったら、ぜひスキ❤️やコメントをお願いします!質問があれば、コメント欄でお気軽にどうぞ。
テクノロジーで、あなたのビジネスに革新を

この記事をお読みいただき、ありがとうございます。「システムを作りたいけど、初期投資が高すぎる」「IoT製品を開発したいが、技術とコストの両面で不安」とお悩みではありませんか?
✨ 初期費用0円でSaaSを開発。ポノテクのマイクロSaaSサービス
私たちポノテク株式会社は、お客様専用のSaaSを初期費用0円で開発します。

マイクロSaaS開発の特徴
初期費用0円: Webアプリ、モバイルアプリ、デスクトップアプリを無料で開発
月額サブスクで提供: 必要な機能に応じた月額料金で利用開始
買取オプション: サブスク利用中に、システムを自社所有物として買い取ることも可能
「自社専用のSaaSが欲しいけど、数百万円の初期投資は厳しい」そんな企業様に最適なソリューションです。
🔧 IoT受託開発 × 補助金活用で、ものづくりを支援
ハードウェアからソフトウェアまで一貫して開発可能。IoTシステムの構築を、補助金を活用して最大66%のコスト削減で実現します。

補助金活用でシステム開発コスト削減
経済産業省認定のIT導入支援事業者として、以下のサービスをワンストップで提供。
補助金診断・申請サポート: 採択率82.8%の実績で、最適な補助金をご提案
要件定義から開発まで一貫支援: 補助金要件に100%準拠した開発体制
省力化補助金・ものづくり補助金など: 最大8,000万円の補助金活用をサポート
📚 最新刊『ComfyUIマスターガイド』5月9日発売!
AI技術に関する深い知見を持つ私たちの代表・早野康寛が共著者として参加した画像生成AI書籍『ComfyUIマスターガイド』が、2025年5月9日にSBクリエイティブ社より発売されました。AI画像生成の最前線を理解したい方は、ぜひご覧ください。
📈 こんな課題をお持ちの企業様に最適です
「専用SaaSが欲しいが、初期投資を抑えたい」
「IoT製品を開発したいが、ハードとソフト両方の知見が必要」
「補助金を活用したいが、申請方法がわからない」
「サブスクで始めて、必要なら買い取りたい」
🌟 三つの強みで、確かな未来を共に創る
マイクロSaaS開発: 初期費用0円で専用システムを構築
IoT受託開発: ハードウェアからソフトウェアまで一貫対応
補助金活用: 開発コストを最大66%削減
ぜひ初回無料相談をご利用ください。技術と経営の両面から、貴社の成長戦略を共に考えましょう。
ポノテク株式会社へのお問い合わせはこちらから!
― 技術で未来を創る。ポノテク株式会社