
unslothのDynamic Quantization(動的量子化)を試してみる
Dynamic Quantizationとは?
unsloth AIという、LLMのファインチューニングのライブラリなどを出している会社が、「DeepSeekを1.58bit dynamicで量子化したぜ!」というブログを出していました。
https://unsloth.ai/blog/deepseekr1-dynamic
容量としては131GBくらいで、一般のご家庭ではさすがに無理ですが、大学の研究室や企業の開発部署なら、A100などの80GBのGPUが2枚差しになっているマシンがある可能性もあるでしょう。大元のDeepSeek R1はパラメーター数671Billion、容量にして720GBくらいだったものが、131GBまで小さくなって、たった1台のマシンで動いてしまうのなら、それはとてもすごいことです。
上述の記事によると、この1.58bitへの量子化には、unslothのdynamic quantization(動的量子化)というアイデアが使われているとのこと。動的量子化ってなんじゃ、と思ったら、
By studying DeepSeek R1’s architecture, we managed to selectively quantize certain layers to higher bits (like 4bit) & leave most MoE layers (like those used in GPT-4) to 1.5bit. Naively quantizing all layers breaks the model entirely, causing endless loops & gibberish outputs. Our dynamic quants solve this.
要するに、重要そうなレイヤーを選んで4bitなど大きめにして、他は1.5bitにするというもののようです。通常の量子化は、全部のレイヤーを同じビット数で量子化してしまうことに比べると、性能が良くなる気は確かにします。
では実際にはどうやっているのか? 記事を読むと、実際に量子化に使ったコードをGithubに公開しているようです。
We provided our dynamic quantization code as a fork to llama.cpp: github.com/unslothai/llama.cpp
早速、そのコードを見てみました。全部貼ってもしょうがないので、差分の一部を見てみます。以下から差分が見られます。

やっていることは意外と泥臭くて、ffn_downのレイヤーの最初の3つを4bitに、あとは2bitに……、ffn_gate.weightも最初の3つは……と、細かく指定している感じです。DeepSeek R1のモデル構造に合わせて、手作業で調整したのかもしれません。ちなみにどうやって解析したかも触れられています。
ふと、これを見て思ったんですよ。
他のモデルでも、同じように動的量子化できるんじゃないかと。
とりあえずは、CyberAgentさんの、DeepSeek R1蒸留モデル14Bで試してみることにしました。
本当はモデルの構造を調べて、一つ一つどのレイヤーを何bitにするかを決めないといけないはずですが、とりあえずは、unslothのコードをそのまんまぶっ込んでみることにします。
動的量子化のためのllama.cppのビルド
大元のllama.cppのリポジトリをクローンします。
ここに、unslothが修正したllama-quant.cppのファイルをダウンロードして、scrフォルダの下にある同名ファイルを上書きします。乱暴の極み(※私はエンジニアでさえない素人なのでご勘弁を)
あとはこれで、llama.cppをCUDA有効でビルドします。ビルド方法はこちらにあるやり方のままで通りました。やったぜ。ビルドされたllama-quantizeは動的量子化(レイヤー毎に量子化bit数を変える)状態になっています。ちなみに --pureというコマンドラインオプションを付ければ、動的でない量子化になります。
あとは、
cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japaneseを convert_hf_to_gguf.py を使って量子化無しのGGUFに変換
llama-quantizeコマンドで量子化
することで、動的量子化されたGGUFを得ることが出来ます。
実際の性能はどうなのか?
まずはcyberagent/DeepSeek-R1-Distill-Qwen-14B-Japaneseで、TQ1という1bit量子化にしてみたのですが、さすがに実用になりませんでした。同じ文字がずっと反復して出てくるだけ、みたいな。
そこで、IQ3_M(3bit)をしてみたところ、14Bでも、まあまあ良い感じの出力が得られました。
ちなみに、全部が3bitになるわけではなく、レイヤーによっては4bitだったり6bitだったりするので、容量としては、普通に3bit量子化したときよりも大きくなります。mmngaさんが量子化されたモデルをHuggingfaceに公開してくださっていますが、そこと比べると、4bit量子化よりも大きな容量でした。

実際のところ、性能はどうなのか。とりあえず、Japanese-MT-Benchの質問に回答させ、回答結果をOpenAI o3-miniに採点させた自家製ベンチを回してみまたところ、スコアは以下の様な感じでした。
Dynamic Quantizationしてみた: CyberAgent DeepSeek R1 Distill Qwen-14B Japanese (IQ3 M) 6.39
CyberAgent DeepSeek R1 Distill Qwen-14B Japanese (IQ4 NL) 6.10
比較用:rinna公式deepseek nekomata 32b Q3_K 8.00
おお、ちょっとだけ、4bitに勝ってる! 容量が4bitより大きいんだから当たり前っちゃ当たり前かもですが……。
上記の動的量子化をしたファイル、以下に置いておきます。素人が雑に変換したものなので、なんの保証もありません。
私のテストが信憑性があるかどうかはとりあえずおいておいて、この動的量子化のアイデアそのものは面白いかも知れません。それこそ、AIを使って、レイヤー構造を読み込ませたら自動的に最適なレイヤー毎の量子化bit数を考えてくれて、動的量子化してくれたら、意外と面白いかもしれない。
というわけで、識者の方のちゃんとした試験を探そうと思います。
おまけ:自家製ベンチのコード
どうやってテストしかくらいは書いておこうと思ったので。ちなみに、Copilot Editsに手伝ってもらいながら書きました……。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
Japanese MT Bench を用いた GGUF モデル評価スクリプト
- llama-cpp-python を用いてローカルの GGUF モデルから回答生成
- OpenAI API (o3-mini) による自動採点
- 結果を Pandas DataFrame に集計し、表形式で表示
※このスクリプトは Windows のコマンドライン Python で実行する前提です。
※ファイルパスは実際の環境に合わせて変更してください。
"""
import csv
import os
import time
from openai import OpenAI
from llama_cpp import Llama
from datasets import load_dataset
import pandas as pd
from tqdm import tqdm
import re # 追加: 正規表現モジュールのインポート
from pydantic import BaseModel # 追加: pydanticのインポート
class ScoreOutput(BaseModel): # 追加: スコアの構造化出力用モデル
score: int
# --- 設定 ---
# OpenAI API キーの設定(環境変数から取得)
openai_api_key = os.getenv("OPENAI_API_KEY")
if not openai_api_key:
raise ValueError("OpenAI API キーが設定されていません。環境変数 OPENAI_API_KEY を設定してください。")
# GGUF モデルファイルのパス(Windows環境:raw stringで指定)
MODELS = {
"rinna公式deepseek nekomata 32b": r"E:\gguf_models\deepseek-r1-distill-qwen2.5-bakeneko-32b-q3_k.gguf",
"Dynamic Quantizationしてみた: CyberAgent DeepSeek R1 Distill Qwen-14B Japanese (IQ3 M)": r"E:\gguf_models\cyberagents-deepseek-14b-IQ3_M.gguf"
}
# モデル生成時のパラメータ(必要に応じて調整してください)
LLAMA_PARAMS = {
"n_ctx": 9999,
"n_gpu_layers": 100, # GPUにオフロードするレイヤー数(環境に合わせて調整)
"seed": 0,
"verbose": False
}
# o3-mini による採点用のパラメータ
GPT_MODEL = "o3-mini"
# o3-mini 用のシステムプロンプト(採点基準)
GPT_SYSTEM_PROMPT = (
"あなたは熟練した評価者です。以下のユーザーの質問とAIアシスタントの回答を評価し、正確さ、完全さ、"
"関連性、安全性などを基準に、回答を10点満点で評価してください。回答が日本語以外の場合は0点とし、"
"理由は書かずに数字のみを返してください。"
)
# --- 関数定義 ---
def generate_answer(llm, turns, max_tokens=4096):
"""
対話形式の質問(複数ターン)に対して、llama-cpp-python の llm オブジェクトを用いて
最終的なアシスタント回答を生成する関数。
(注: コンテキストウィンドウ超過を防ぐため、max_tokens を低めに設定)
"""
messages = []
for turn in turns:
# ユーザー発話を追加
messages.append({"role": "user", "content": turn})
# 現在の対話履歴をもとに回答生成
try:
result = llm.create_chat_completion(
messages=messages,
max_tokens=max_tokens,
stop=["ユーザー:"]
)
except Exception as e:
print("回答生成エラー:", e)
return ""
reply = result["choices"][0]["message"]["content"].strip()
reply = re.sub(r"<think>.*?</think>", "", reply, flags=re.DOTALL) # 追加: <think>タグ内の削除処理
messages.append({"role": "assistant", "content": reply})
return messages[-1]["content"]
def score_answer(question_text, answer_text):
"""
o3-mini を用いて、質問と回答の組み合わせに対するスコア(1~10の整数)を取得する関数。
- NoneTypeエラーの場合は0点を返す
- その他のエラーの場合はユーザーに継続確認を求める
"""
prompt = (
f"【ユーザーの質問】\n{question_text}\n\n"
f"【アシスタントの回答】\n{answer_text}\n\n"
"この回答の得点(1~10)を整数で返してください。"
)
messages = [
{"role": "system", "content": GPT_SYSTEM_PROMPT},
{"role": "user", "content": prompt},
]
try:
client = OpenAI(api_key=openai_api_key)
completion = client.beta.chat.completions.parse(
model=GPT_MODEL,
messages=messages,
response_format=ScoreOutput,
)
except Exception as e:
print(f"採点エラー: {e}")
while True:
response = input("採点を継続しますか? (Y/n): ").lower()
if response in ['y', '']:
return 0
elif response == 'n':
return -1 # 中断を示す特別な値
print("YまたはNで回答してください。")
if completion and completion.choices and completion.choices[0].message.parsed:
score_raw = completion.choices[0].message.parsed.score
try:
score = int(score_raw)
return score
except (ValueError, TypeError, AttributeError):
print("スコアの変換エラー。0点を返します。")
return 0
else:
print("採点結果が不完全です。0点を返します。")
return 0
def main():
# Japanese MT Bench データセットのロード(Hugging Face)
print("Japanese MT Bench データセットをロードしています...")
try:
mt_bench = load_dataset("naive-puzzle/japanese-mt-bench", split="train")
except Exception as e:
print("データセットのロードエラー:", e)
return
num_questions = len(mt_bench)
print(f"質問数: {num_questions}")
# 逐次保存用のCSVファイル
progress_file = "mt_bench_progress.csv"
import os
import pandas as pd
# 既存の進捗読み込み(なければ空DataFrame)
if os.path.exists(progress_file):
progress_df = pd.read_csv(progress_file)
else:
progress_df = pd.DataFrame(columns=["Model", "Question_ID", "Question", "Answer", "Score"])
all_results = [] # 回答生成結果を一時保持するリスト
# 各モデルごとに回答生成のみ実施
for model_name, model_path in MODELS.items():
print(f"\n=== モデル: {model_name} の回答生成開始 ===")
processed = set(progress_df[progress_df["Model"] == model_name]["Question_ID"].astype(int).tolist())
print(f"モデルファイル: {model_path}")
try:
llm = Llama(model_path=model_path, **LLAMA_PARAMS)
except Exception as e:
print(f"{model_name} のロードエラー: {e}")
continue
for i in tqdm(range(num_questions), desc=f"{model_name} 回答生成中", ncols=80):
if i in processed:
continue
q_data = mt_bench[i]
question_text = "\n".join(q_data["turns"])
answer_text = generate_answer(llm, q_data["turns"])
all_results.append({
"Model": model_name,
"Question_ID": i,
"Question": question_text,
"Answer": answer_text
})
time.sleep(1)
del llm
# 全モデルの生成回答に対して採点を実施
for result in tqdm(all_results, desc="採点中", ncols=80):
score = score_answer(result["Question"], result["Answer"])
if score == -1: # 中断された場合
print("採点が中断されました。")
return # プログラムを終了
result["Score"] = score
# 結果を逐次CSVへ追記
write_header = not os.path.exists(progress_file)
with open(progress_file, "a", encoding="utf-8", newline="") as f:
writer = csv.DictWriter(f, fieldnames=["Model", "Question_ID", "Question", "Answer", "Score"])
if write_header:
writer.writeheader()
for result in all_results:
writer.writerow(result)
time.sleep(1)
# CSV読み込みと集計
final_df = pd.read_csv(progress_file)
final_df["Question_ID"] = final_df["Question_ID"].astype(int)
summary = final_df.groupby("Model")["Score"].mean().round(2)
print("\n=== 各モデルの平均スコア ===")
print(summary)
print(f"\n評価結果が {progress_file} に保存されました。")
if __name__ == '__main__':
main()