メインコンテンツへスキップ
見出し画像

unslothのDynamic Quantization(動的量子化)を試してみる

    Dynamic Quantizationとは?

    unsloth AIという、LLMのファインチューニングのライブラリなどを出している会社が、「DeepSeekを1.58bit dynamicで量子化したぜ!」というブログを出していました。

    https://unsloth.ai/blog/deepseekr1-dynamic

    容量としては131GBくらいで、一般のご家庭ではさすがに無理ですが、大学の研究室や企業の開発部署なら、A100などの80GBのGPUが2枚差しになっているマシンがある可能性もあるでしょう。大元のDeepSeek R1はパラメーター数671Billion、容量にして720GBくらいだったものが、131GBまで小さくなって、たった1台のマシンで動いてしまうのなら、それはとてもすごいことです。

    上述の記事によると、この1.58bitへの量子化には、unslothのdynamic quantization(動的量子化)というアイデアが使われているとのこと。動的量子化ってなんじゃ、と思ったら、

    By studying DeepSeek R1’s architecture, we managed to selectively quantize certain layers to higher bits (like 4bit) & leave most MoE layers (like those used in GPT-4) to 1.5bit. Naively quantizing all layers breaks the model entirely, causing endless loops & gibberish outputs. Our dynamic quants solve this.

    https://unsloth.ai/blog/deepseekr1-dynamic

    要するに、重要そうなレイヤーを選んで4bitなど大きめにして、他は1.5bitにするというもののようです。通常の量子化は、全部のレイヤーを同じビット数で量子化してしまうことに比べると、性能が良くなる気は確かにします。

    では実際にはどうやっているのか? 記事を読むと、実際に量子化に使ったコードをGithubに公開しているようです。

    We provided our dynamic quantization code as a fork to llama.cpp: github.com/unslothai/llama.cpp

    https://unsloth.ai/blog/deepseekr1-dynamic

    早速、そのコードを見てみました。全部貼ってもしょうがないので、差分の一部を見てみます。以下から差分が見られます。

    画像
    差分の様子 https://github.com/ggml-org/llama.cpp/compare/master...unslothai:llama.cpp:master

    やっていることは意外と泥臭くて、ffn_downのレイヤーの最初の3つを4bitに、あとは2bitに……、ffn_gate.weightも最初の3つは……と、細かく指定している感じです。DeepSeek R1のモデル構造に合わせて、手作業で調整したのかもしれません。ちなみにどうやって解析したかも触れられています。

    ふと、これを見て思ったんですよ。

    他のモデルでも、同じように動的量子化できるんじゃないかと。

    とりあえずは、CyberAgentさんの、DeepSeek R1蒸留モデル14Bで試してみることにしました。

    本当はモデルの構造を調べて、一つ一つどのレイヤーを何bitにするかを決めないといけないはずですが、とりあえずは、unslothのコードをそのまんまぶっ込んでみることにします。

    動的量子化のためのllama.cppのビルド

    大元のllama.cppのリポジトリをクローンします。

    ここに、unslothが修正したllama-quant.cppのファイルをダウンロードして、scrフォルダの下にある同名ファイルを上書きします。乱暴の極み(※私はエンジニアでさえない素人なのでご勘弁を)

    あとはこれで、llama.cppをCUDA有効でビルドします。ビルド方法はこちらにあるやり方のままで通りました。やったぜ。ビルドされたllama-quantizeは動的量子化(レイヤー毎に量子化bit数を変える)状態になっています。ちなみに --pureというコマンドラインオプションを付ければ、動的でない量子化になります。

    あとは、

    • cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japaneseを convert_hf_to_gguf.py を使って量子化無しのGGUFに変換

    • llama-quantizeコマンドで量子化

    することで、動的量子化されたGGUFを得ることが出来ます。

    実際の性能はどうなのか?

    まずはcyberagent/DeepSeek-R1-Distill-Qwen-14B-Japaneseで、TQ1という1bit量子化にしてみたのですが、さすがに実用になりませんでした。同じ文字がずっと反復して出てくるだけ、みたいな。

    そこで、IQ3_M(3bit)をしてみたところ、14Bでも、まあまあ良い感じの出力が得られました。

    ちなみに、全部が3bitになるわけではなく、レイヤーによっては4bitだったり6bitだったりするので、容量としては、普通に3bit量子化したときよりも大きくなります。mmngaさんが量子化されたモデルをHuggingfaceに公開してくださっていますが、そこと比べると、4bit量子化よりも大きな容量でした。

    画像
    上が今回の動的量子化テスト3bit、下がmmngaさんが4bit変換されたもの

    実際のところ、性能はどうなのか。とりあえず、Japanese-MT-Benchの質問に回答させ、回答結果をOpenAI o3-miniに採点させた自家製ベンチを回してみまたところ、スコアは以下の様な感じでした。

    Dynamic Quantizationしてみた: CyberAgent DeepSeek R1 Distill Qwen-14B Japanese (IQ3 M) 6.39
    CyberAgent DeepSeek R1 Distill Qwen-14B Japanese (IQ4 NL) 6.10
    比較用:rinna公式deepseek nekomata 32b Q3_K 8.00

    おお、ちょっとだけ、4bitに勝ってる! 容量が4bitより大きいんだから当たり前っちゃ当たり前かもですが……。

    上記の動的量子化をしたファイル、以下に置いておきます。素人が雑に変換したものなので、なんの保証もありません。

    私のテストが信憑性があるかどうかはとりあえずおいておいて、この動的量子化のアイデアそのものは面白いかも知れません。それこそ、AIを使って、レイヤー構造を読み込ませたら自動的に最適なレイヤー毎の量子化bit数を考えてくれて、動的量子化してくれたら、意外と面白いかもしれない。

    というわけで、識者の方のちゃんとした試験を探そうと思います。

    おまけ:自家製ベンチのコード

    どうやってテストしかくらいは書いておこうと思ったので。ちなみに、Copilot Editsに手伝ってもらいながら書きました……。

    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    """
    Japanese MT Bench を用いた GGUF モデル評価スクリプト
    - llama-cpp-python を用いてローカルの GGUF モデルから回答生成
    - OpenAI API (o3-mini) による自動採点
    - 結果を Pandas DataFrame に集計し、表形式で表示
    
    ※このスクリプトは Windows のコマンドライン Python で実行する前提です。
      ※ファイルパスは実際の環境に合わせて変更してください。
    """
    
    import csv
    import os
    import time
    from openai import OpenAI
    from llama_cpp import Llama
    from datasets import load_dataset
    import pandas as pd
    from tqdm import tqdm
    import re  # 追加: 正規表現モジュールのインポート
    from pydantic import BaseModel  # 追加: pydanticのインポート
    
    class ScoreOutput(BaseModel):  # 追加: スコアの構造化出力用モデル
        score: int
    
    # --- 設定 ---
    
    # OpenAI API キーの設定(環境変数から取得)
    openai_api_key = os.getenv("OPENAI_API_KEY")
    if not openai_api_key:
        raise ValueError("OpenAI API キーが設定されていません。環境変数 OPENAI_API_KEY を設定してください。")
    
    # GGUF モデルファイルのパス(Windows環境:raw stringで指定)
    MODELS = {
        "rinna公式deepseek nekomata 32b": r"E:\gguf_models\deepseek-r1-distill-qwen2.5-bakeneko-32b-q3_k.gguf",
        "Dynamic Quantizationしてみた: CyberAgent DeepSeek R1 Distill Qwen-14B Japanese (IQ3 M)": r"E:\gguf_models\cyberagents-deepseek-14b-IQ3_M.gguf"
    }
    
    # モデル生成時のパラメータ(必要に応じて調整してください)
    LLAMA_PARAMS = {
        "n_ctx": 9999,
        "n_gpu_layers": 100,   # GPUにオフロードするレイヤー数(環境に合わせて調整)
        "seed": 0,
        "verbose": False
    }
    
    # o3-mini による採点用のパラメータ
    GPT_MODEL = "o3-mini"
    
    # o3-mini 用のシステムプロンプト(採点基準)
    GPT_SYSTEM_PROMPT = (
        "あなたは熟練した評価者です。以下のユーザーの質問とAIアシスタントの回答を評価し、正確さ、完全さ、"
        "関連性、安全性などを基準に、回答を10点満点で評価してください。回答が日本語以外の場合は0点とし、"
        "理由は書かずに数字のみを返してください。"
    )
    
    # --- 関数定義 ---
    
    def generate_answer(llm, turns, max_tokens=4096):  
        """
        対話形式の質問(複数ターン)に対して、llama-cpp-python の llm オブジェクトを用いて
        最終的なアシスタント回答を生成する関数。
        (注: コンテキストウィンドウ超過を防ぐため、max_tokens を低めに設定)
        """
        messages = []
        for turn in turns:
            # ユーザー発話を追加
            messages.append({"role": "user", "content": turn})
            # 現在の対話履歴をもとに回答生成
            try:
                result = llm.create_chat_completion(
                    messages=messages,
                    max_tokens=max_tokens,
                    stop=["ユーザー:"]
                )
            except Exception as e:
                print("回答生成エラー:", e)
                return ""
            reply = result["choices"][0]["message"]["content"].strip()
            reply = re.sub(r"<think>.*?</think>", "", reply, flags=re.DOTALL)  # 追加: <think>タグ内の削除処理
            messages.append({"role": "assistant", "content": reply})
        return messages[-1]["content"]
    
    def score_answer(question_text, answer_text):
        """
        o3-mini を用いて、質問と回答の組み合わせに対するスコア(1~10の整数)を取得する関数。
        - NoneTypeエラーの場合は0点を返す
        - その他のエラーの場合はユーザーに継続確認を求める
        """
        prompt = (
            f"【ユーザーの質問】\n{question_text}\n\n"
            f"【アシスタントの回答】\n{answer_text}\n\n"
            "この回答の得点(1~10)を整数で返してください。"
        )
        messages = [
            {"role": "system", "content": GPT_SYSTEM_PROMPT},
            {"role": "user", "content": prompt},
        ]
        try:
            client = OpenAI(api_key=openai_api_key)
            completion = client.beta.chat.completions.parse(
                model=GPT_MODEL,
                messages=messages,
                response_format=ScoreOutput,
            )
        except Exception as e:
            print(f"採点エラー: {e}")
            while True:
                response = input("採点を継続しますか? (Y/n): ").lower()
                if response in ['y', '']:
                    return 0
                elif response == 'n':
                    return -1  # 中断を示す特別な値
                print("YまたはNで回答してください。")
        
        if completion and completion.choices and completion.choices[0].message.parsed:
            score_raw = completion.choices[0].message.parsed.score
            try:
                score = int(score_raw)
                return score
            except (ValueError, TypeError, AttributeError):
                print("スコアの変換エラー。0点を返します。")
                return 0
        else:
            print("採点結果が不完全です。0点を返します。")
            return 0
    
    def main():
        # Japanese MT Bench データセットのロード(Hugging Face)
        print("Japanese MT Bench データセットをロードしています...")
        try:
            mt_bench = load_dataset("naive-puzzle/japanese-mt-bench", split="train")
        except Exception as e:
            print("データセットのロードエラー:", e)
            return
    
        num_questions = len(mt_bench)
        print(f"質問数: {num_questions}")
    
        # 逐次保存用のCSVファイル
        progress_file = "mt_bench_progress.csv"
        import os
        import pandas as pd
    
        # 既存の進捗読み込み(なければ空DataFrame)
        if os.path.exists(progress_file):
            progress_df = pd.read_csv(progress_file)
        else:
            progress_df = pd.DataFrame(columns=["Model", "Question_ID", "Question", "Answer", "Score"])
    
        all_results = []  # 回答生成結果を一時保持するリスト
    
        # 各モデルごとに回答生成のみ実施
        for model_name, model_path in MODELS.items():
            print(f"\n=== モデル: {model_name} の回答生成開始 ===")
            processed = set(progress_df[progress_df["Model"] == model_name]["Question_ID"].astype(int).tolist())
            print(f"モデルファイル: {model_path}")
            try:
                llm = Llama(model_path=model_path, **LLAMA_PARAMS)
            except Exception as e:
                print(f"{model_name} のロードエラー: {e}")
                continue
    
            for i in tqdm(range(num_questions), desc=f"{model_name} 回答生成中", ncols=80):
                if i in processed:
                    continue
                q_data = mt_bench[i]
                question_text = "\n".join(q_data["turns"])
                answer_text = generate_answer(llm, q_data["turns"])
                all_results.append({
                    "Model": model_name,
                    "Question_ID": i,
                    "Question": question_text,
                    "Answer": answer_text
                })
                time.sleep(1)
            del llm
    
        # 全モデルの生成回答に対して採点を実施
        for result in tqdm(all_results, desc="採点中", ncols=80):
            score = score_answer(result["Question"], result["Answer"])
            if score == -1:  # 中断された場合
                print("採点が中断されました。")
                return  # プログラムを終了
            result["Score"] = score
    
        # 結果を逐次CSVへ追記
        write_header = not os.path.exists(progress_file)
        with open(progress_file, "a", encoding="utf-8", newline="") as f:
            writer = csv.DictWriter(f, fieldnames=["Model", "Question_ID", "Question", "Answer", "Score"])
            if write_header:
                writer.writeheader()
            for result in all_results:
                writer.writerow(result)
                time.sleep(1)
    
        # CSV読み込みと集計
        final_df = pd.read_csv(progress_file)
        final_df["Question_ID"] = final_df["Question_ID"].astype(int)
        summary = final_df.groupby("Model")["Score"].mean().round(2)
        print("\n=== 各モデルの平均スコア ===")
        print(summary)
        print(f"\n評価結果が {progress_file} に保存されました。")
    
    if __name__ == '__main__':
        main()
    
     
     
    xR技術、VTuber、AI、ライブ配信、遠隔講義、メタバースなどが好きです

    あなたへのおすすめ