メインコンテンツへスキップ
見出し画像
Photo bypanpan3382

Unsloth/Gemma4:31B-it-UD-Q8_K_XLを使う


    Gemma4:31B-it-Q8_0(これまでのモデル)

    Gemma4:31Bについて

    もともと、ローカルLLMではGemma4:31Bを動かしたかったのです。このモデルはDenseモデルなので、量子化モデルのQ8_0を100%GPUに乗せると32GBくらいのVRAMを占有します。ソレに堪えられるようにマルチGPUにした、という感じでもあります。その結果が、P40 x4 であり、V100 x4 だったという訳です。

    Ollamaから、直接モデル名だけを指定して導入すると、実際にはQ4_K_Mが入ります。名前には何も付きませんが、後ろをつけていないと、デフォルトで入るのはQ4_K_Mです。これは、ollama show <モデル名> で確認すれば分かります。

    OllamaでのGGUF利用について

    私は、LLMのUIとしては、Ollamaを使っています。古いGPU(P40、V100)を使っているので、最新の技術には対応できないケースが多いけど、唯一、このGGUFフォーマットは対応できているので、GGUF形式をデフォルトとしているOllamaは、使っているGPUとの相性が良いのです。多分、Ollamaがエンジンに採用している、llama.cppがこのGGUFを採用しているからだと思っています。

    いや、逆ですかね。

    このGGUF形式があるからこそ、P40やV100は延命できているという面が多いのかも知れません。なので、P40やV100を導入すれば、必要的にOllamaかllama.cppを使うことになるのかも。少なくとも私は、いつも、GGUF形式で提供されるGemma4:31Bモデルの中から、どれを使うかを選んでいます。

    Gemma4:31B-it-Q8_0について

    せっかく、VRAMを沢山持っているのだから、デフォルトのQ4_K_Mではなく、もう少し量子化のキツくない、大きなモデルが使いたいと思っていました。それで、これまでは、Q8_0を使っていました。Gemma4:31B-it-Q8_0です。ちなみに、この、Q8_0 は unsloth 謹製のヤツです。

    量子化されたモデルで、これ(Q8_0)以上大きいサイズのモノ(品質の良いモノ)は無い、と思っていたのですが、…ありましたね。それが、Q8_K_XL です。

    UD-Q8_K_XL

    Q8_K_XLとは何か?

    「Q8_K_XL」は、大規模言語モデル(LLM)を量子化(軽量化)する際のマトリックス(行列)のファイル形式(GGUFフォーマットなど)の名称です。

    llama.cpp などのライブラリで広く利用されている高精度な量子化設定の一つです。

    構造と特徴8ビット量子化: 重み(weights)を8ビット(主にQ8_K)で表現します。
    XL(Extra Large): 通常の「Q8_K_M」などの標準的な8ビット量子化よりも、テンソル(多次元配列)の特定のブロックに対して、より高精度で精細な割り当てを行います。

    メリットとデメリット
    🚀 極めて低い精度損失: 元の16ビット(FP16)モデルとほぼ同等の出力クオリティを維持します。
    💾 高い圧縮率: モデルのファイルサイズを元の約半分に削減できます。
    ⚠️ リソース消費: 軽量化された量子化(Q4やQ5など)に比べると、ファイルサイズが大きく、動作に多くのVRAM/RAMを必要とします。

    Google AIモード

    ということは、単純に8ビットにしている、Q8_0よりも絶対に品質が良い、と言うことですね。デメリットは、大量のRAMとVRAMを使うところのようですが、ここの部分については、ウチのローカルLLMはクリアしてます。これは楽しみです。

    Unsloth Dynamic(UD)

    いま私の使っているUnsloth謹製のGemma4:31モデルの中にも、Q8_K_XL は公開されています。Unslothのやつは、ソコに更に、-UD- という文字が入っています。Unsloth Dynamic の略のようです。

    Unsloth Dynamic(動的量子化)は、LLM(大規模言語モデル)の高速化・効率化フレームワークを開発する Unsloth AI が提供する、革新的な高精度・超軽量のGGUF量子化技術です。 [1, 2, 3]

    Q2_K_XL や Q3_K_XL などの極端な低ビット量子化でも、モデルの性能を破壊せずにローカル環境で実用可能にしたことで世界的に大きな注目を集めています。 [1, 2]

    💡 コアとなる仕組み:動的量子化(Dynamic Quantization)
    従来の量子化(通常のGGUFなど)は、モデル内のすべてのレイヤーやテンソルを一律のビット数(例:すべて4ビット)で処理していました。しかし、これでは「重要な情報が詰まったレイヤー」のデータまで削られてしまい、モデルが崩壊(同じ言葉をループする、意味不明な出力をするなど)する原因になっていました。 [1, 2]

    Unsloth Dynamicはこれを解決するため、以下の手法をとっています:

    📊 レイヤーごとの重要度を分析: 独自のキャリブレーションデータセットを使用し、モデルのどの部分が重要かを精緻に分析します。 [1]
    🔀 賢い可変ビット割り当て: 重要なレイヤーには高精度なビット(8ビットなど)を残し、あまり重要でないレイヤー(MoEの特定の層など)は1.5〜2ビットまで極限まで削ります。 [1, 2]
    🚀 すべてのレイヤーの最適化: 最新の Dynamic v2.0 では、すべての構成レイヤーのビット数を完全に動調整(ミックス)し、最も効率の良いバランスを自動生成します。 [1, 2]
    🌟 主なメリット📈 圧倒的な高精度(SOTAレベル)
    従来の量子化に比べて「KLダイバージェンス(元モデルからのズレ)」や「MMLU(ベンチマーク精度)」の低下が極めて少なく、1〜3ビットクラスの超軽量版でも驚くほどの賢さを維持します。 [1, 2]
    💾 超巨大モデルを一般PCで起動可能に
    例えば、本来なら数百GBのVRAMが必要な超巨大モデル「DeepSeek-V3.1」や「DeepSeek-R1」を、性能劣化を最小限に抑えながら数分の1のサイズに圧縮し、一般のMacやローカルPC(RAM 80GB〜など)でも動かせるようにしました。 [1, 2]
    🛠️ 互換性の維持
    Hugging Faceなどで配布されている「-UD-」というタグがついたUnsloth製GGUFファイルは、内部構造が最適化されているだけで、実行にはおなじみの llama.cpp やそれを組み込んだ大半のローカルUIがそのまま使えます(特別なアップデートは不要です)。 [1, 2]

    Google AIモード

    Unslothの場合は、Gemmma4:31Bモデルのファイルサイズだけみても、

    • Gemma4:31B-it-Q8_0 32.6GB

    • Gemma4:31B-it-UD-Q8_K_XL 35GB

    です。高品質な、UD で K_XL の方のファイルサイズが、Q8_0よりも更に大きいのだから、これは明らかに、Q8_0よりも品質が良さそうです。今回、コレを使ってみました。

    Gemma4:31B-it-Q8_K_XL

    Gemma4:31B-it-Q8_K_XLについて

    これは残念ながら、Ollamaのライブラリには無いようですね。Hugging Faceからダウンロードして、ollama create で自分でModelfileを使ってモデルを導入しました。

    Modelfileについて

    ウチのGPUはTesla V100で型が古いので、実際に、このモデルが動くのかどうか、事前にGoogle AIモードに問い合わせていました。その際に、V100の場合、会話が長くなると、コンテンキストが大きくなって挙動が不安定になる傾向があるので、コンテキストサイズを128Kに制限することを推奨されました。

    でもそれだと、私の目指していた「大量に添付資料を渡して思考して貰う」に支障がでるので、「会話の往復はあまりしない、一発思考でよい。だからコンテキストサイズを最大(256K)にしたい」と相談しました。その結果が下記です。

    資料を大量に投入し、「一発で深く思考(シングルターン推論)」させるための最適なOllama Modelfile の記述と、実行プロンプトの構成方法を提示します。

    # ダウンロードしたUnsloth Dynamic Q8のGGUFファイルを指定
    FROM ./gemma-4-31B-it-UD-Q8_K_XL.gguf

    # 出力トークン数の上限を最大化(思考プロセスが長くなっても途中で切れないようにする)
    PARAMETER num_predict 8192

    # 確定チャットテンプレート
    TEMPLATE """{{ if .System }}<start_of_turn>system
    {{ .System }}<end_of_turn>
    {{ end }}{{ if .Prompt }}<start_of_turn>user
    {{ .Prompt }}<end_of_turn>
    {{ end }}<start_of_turn>model
    {{ .Response }}<end_of_turn>
    """

    # 1. コンテキストウィンドウを最大(256k = 262144)に設定
    PARAMETER num_ctx 262144

    # 2. 全レイヤー(60層)を確実にVRAMへロード (V100 4枚なら余裕) PARAMETER num_gpu 999

    # 3. 推論性能・決定論的な思考を高めるためのサンプリング設定
    PARAMETER temperature 0.3
    PARAMETER top_p 0.95
    PARAMETER top_k 64
    PARAMETER stop "<turn|>"
    PARAMETER stop "<end_of_turn>"

    # 4. システムプロンプトで「会話を拒絶」し、「一発で徹底的な思考と出力」を行うよう命令
    SYSTEM """ あなたは極めて優秀なドキュメントアナリストです。 これから、大量の添付資料(コンテキスト)が提供されます。 【重要ルール】 - ユーザーとの「会話やチャット」は一切行わないでください。 - 挨拶や余計な前置き、結びの言葉(「いかがでしょうか」等)は1文字も出力してはいけません。 - 1回の出力ですべての要求を満たす、完全で決定版となるレポート・解答を一発で作成してください。 - 思考プロセス(<|think|>)を極限まで深く回し、隠れた事実や矛盾、構造を徹底的に分析してください。 """

    Google AIモード

    実際に使い始めました

    「会話無しに一発で思考させる」のを「シングルターン推論」っていうんですね。初めて知りました。さっそくこの設定でモデルをollama createして、これでやってみました。

    いまOllama 0.30.5 ですが、0.30に上げてから、ollamaのバージョンのせいなのか、それとも、同時にNvidiaのドライバを、570に上げたからなのか、どちらの効果か分かりませんが、GPUの占有率が非常に小さくなりました。256Kのコンテキストサイズを指定していても、41GBしか使っていません。ちなみに、Q8_0だと、47GBです。以前だと、100GBくらい占領していたのに、アレは何だったんだ、という感じです。

    これからしばらくは、コレをメインに使っていこうかと思っています。

    今後どうなる?

    Gemma4 QAT

    いま、Gemma4では、学習時に既に量子化を意識して学習しているものが出ていますね、Gemma4 QAT です。非常に成績がよいみたいです。Unslothで絶賛されていたと思います。でも今出ているQATはQ4なんですよね。そのうちコレのQ8版がでてくると良いな、と思っています。

    最初から、Q8での量子化されるのを考慮して、学習されるのがあれば、単なるQ8_0よりも絶対に品質が良いような気がします。なんか、そのうち出てきそうな気がします。でもこればかりは、本家が出さないと、どうしようもないですけど、期待したいです。

    余談:16ビット(F16)を使わない理由

    VRAMが豊富ならば、理論上の最大品質である16ビット(F16)が使える、とGoogle AIモードもよく指摘してきます。

    でも、これは使えないかな、と思っています。いまの16ビットの主流は、BF16で、Tesla V100ではBF16が使えないからです。以前のフォーマットである、FP16ならTesla V100でも使えます。でも、最近のモデルはもうFP16では配布されていません。みんな、BF16で配布されていますね。

    この辺が、Tesla P40やTesla V100を選んで、制限になっているところではあります。でも、Q8_0、や、Q8_K_XL、が使えるのなら、実際にはこれでもう満足していて、足を引っ張られている部分は無いと思っています。理論上の最大品質は使えなくても、実質上の最大品質が使えているので、これで十分実用的だと感じています。


    (つづく)

     
     

    sai

     
     
    ❤️ 優先 ⚠️ 必ずしもフォロバはしません ⚠️ 自宅で勉強してます。その勉強にLLMを利用してます。でも勉強部屋のWSには、動画高画質化、動画立体視ソフトもあるので、直ぐ脇道にそれます。そして人類の叡知に向けて全力疾走してます。そんな自分に気づいたら勉強に戻ります。その繰り返しです

    あなたへのおすすめ