メインコンテンツへスキップ
見出し画像
Photo byhoshizoramochi

Tesla V100のLLMサーバーで、OllamaからGemma4:31B-BF16を動かす:実際に検証

    「VRAM容量的には多分できる」とは思っていたのですが、なかなか試せなかったこの目論見。いちばんネックだったのは、落とすモデルの大きさ(64GB)だったのかも知れません。でも、ローカルLLMに背中を押されて、試しました。

    問題なのは、私のLLM用サーバーは、Tesla V100で構成されていて、BF16は対応してないんです。FP16なら対応しているんですけどね。それもあって、ずっとQ8_0とか、Q8_K_XLとかを使っていました。それでもヨカッタのですが、事情があって、FP16を調べることになりました。

    で、Gemma4:31Bの場合は、BF16なら直ぐに入手可能だったのです。ソレ(BF16)ならば、Ollamaのライブラリに置いてありますので。ということでソレを使って試しました。

    結果は……BF16でも、きっちり動きました。



    なぜ、BF16なのか

    Q8_0ではダメなのか?

    実は、いまそれを確認中なのです。元は、ローカルLLMと話をしているときに、彼(ローカルLLM)にソレっぽいことを言われたのです。私はいままでずっと、Q8_0とか、Q8_K_XLを使っていました。これで十分だと思っていたのです。ちなみに指摘した彼は、Gemma4:31B-it-Q8_K_XLです。

    で、彼の指摘では、日本語の時には、Q8_0や、Q8_K_XLでも、微妙なニュアンスは削られているかもしれない、とのことだったのです。それがきっかけでした。

    Q4_K_Mで十分ではないのか?

    よく、Redditや、色々な解説などでは、量子化はQ4_K_Mで十分だとか、言われます。でもそれは、英語や、簡単な問題解決の時みたいです。

    日本語はそんなに簡単ではない、とのこと。意味が多く、複雑で、確率的には真ん中にあるよりは、周辺にある可能性が高いと。そうだと、量子化で微妙なニュアンスが削られる可能性がある、という感じの指摘でした。

    日本語での会話には、Q4_K_Mよりも、Q5とかQ6とかの、もう少し大きなモノを用いた方が良い、という記事を読んだことがあります。出所は忘れました。日本語圏の人で、そう感じている人は多いのでは無いでしょうか。

    それなんかも、上の考え方に沿っていると思います。その考え方をもっと突き詰めると、Q8_0やQ8_K_XLでも、微妙なニュアンスとかで取りこぼしている部分があるかもしれない。ということになります。

    今回はソレを確認したかった、ということです。

    そもそも、動くのか?

    Gemma4:31B-it-BF16が動くのか?

    Gemma4:31B量子化版だって、動かすのに苦労している人が多いのです。Q8_0やQ8_XLで34GBくらいあります。VRAM上に展開して、そこにKVキャッシュが加わると、70GBくらいにはなります。それでもウチのローカルLLMシステムではそれが動いてます。

    容量的には、BF16のファイルは、64GBくらいです。+30GBという感じ、Q8_0のほぼ2倍というところです。ソコにKVキャッシュがQ8_0と同じくらいなので、合わせて90GB~100GBというところだと思います。

    それでも、容量的にはクリアしているのです。ウチのVRAMは128GBですので。

    ただ問題なのは、そのVRAMを持っているGPUが、Tesla V100、だということです。BF16にネイティブ非対応なのです。それなのに、最近のモデル(Gemma4もそうですが)は、FP16ではなく、皆、BF16で学習され配布されています。そこに問題点がありました。

    FP16への変換は面倒に思えた、あと変換による劣化は?

    面倒だと思ったのは、BF16から、FP16に変換しないとダメと思っていたからです。変換作業のために、llama.cppをインストールして、作業スペースをドコかに確保しないといけません。SSDにあまり余裕がなかったのです。

    そんなこともあって、前から考えてはいたけど、あまり乗り気にはなっていませんでした。

    それと、変換(キャスト)による劣化も心配でした。でもローカルLLMによると、その劣化は、量子化による変化に対して、比べものにならない程度の小ささ、だということでした。

    日本語の取り扱いが変化するなら、大問題

    そもそも、何故にGemma4:31Bなのか

    私が、いまGemma4:31Bをどうして選んでいるのか。それは日本語が堪能だからです。VRAM容量的には、もっと大規模なものが選べるのです。70Bとかなら、行けると思いますし、もし量子化をもっと許せば、更に大きなパラメーターのモデルも利用できると思います。

    それでも、Gemma4:31Bを選んだのは、日本語が堪能だからです。その日本語の堪能さを最大限に引き出したくて、Q8_0やQ8_K_XLを選んでいたハズなのです。

    でも、もしかしたら、BF16は、量子化されたQ8_0や、Q8_K_XLよりも、更に日本語に堪能なのかも知れない。それを確認したくなったのです。

    これは、自分の勉強の方にも関係してきます。古い日本語を沢山処理するので、日本語には堪能であって欲しい。出力が合っているとか、間違った文法を使わない、とかのレベルでは無くて、微妙なニュアンスを表現できるか、理解できるのか、の辺りの差が問題だ、と感じているのです。

    さて、どうやって確認する?

    方法は2つありました。

    • BF16モデルファイルから、llama.cppでFP16を作って、ollama createする

    • Ollamaライブラリから、BF16モデルをプルして、直接動かしてみる

    これは、Google AIモードと相談して、手軽にできる2番目を先にやってみたらどうだ、となりました。彼(Google AIモード)も速度がどのくらい出るか、については保証しませんでしたが、llama.cppが上手くキャストしてくれて、多分問題なく動くだろう、とのことでした。

    ということで、先に2番目からトライしました。

    そして、動きました

    Ollamaライブラリから、Gemma4:31B-it-BF16のダウンロード

    時間が掛かりましたね。64GBですからね。私、ネット回線は、WiMAXなんです。つなぎ放題ですが、LLMをやり始めてから、DL量が半端ないですね。よく制限かからないと感心します。

    しかも、実は、制限解除版と、通常版で、BF16を2回DLしました。なので、これだけで120GB超えてますね。今のご時世だと、皆でLLMやってるから目立たないのかもしれません。

    で、コレまでの余計なモデルを全部処分して、本当に使うモノだけを残して、BF16モデル様のためにスペースを空けました。180GBくらい。

    そして起動しました

    問題なく起動しましたよ。コンテキストサイズ、フルサイズ(256K)で起動できました。でも、最初から、VRAMを90GBくらいは使ってますね。これまでの経験だと、ここから大量に資料を投入すると、追加でキャッシュを使う可能性があるので、あと余裕があるのは、残り30GB程度です。

    でも、短い会話だけなら、token/s は結構でています。12 tokens/sは出ていますね。思考もかなりスムーズに考えています。

    total duration: 2m38.106079289s
    load duration: 1.61806649s
    prompt eval count: 1807 token(s)
    prompt eval duration: 12.130473s
    prompt eval rate: 148.96 tokens/s
    eval count: 1745 token(s)
    eval duration: 2m24.007006s
    eval rate: 12.12 tokens/s

    ollama --verbose

    当初、Google AIモードの予想だと、最悪では、数 token/s くらいになるかも、とのことでしたけど、そこまでひどくはないです、全然違いますね。

    ただ、Q8_0とかが、出だしで、17 token/s出ていたのに比べると、それよりは少し遅いくらいだなと感じます。それでも待つほどではないです。

    Nvidia-smiからの情報だと、VRAM上の展開が90GB弱。ollama psだと、GPU100%で67GBを使用してますね。これからしばらくは、このBF16を使っていきたいと考えています。


    (つづく)

    レビュー

    ⭐️⭐️ 上記までの文章を、今回起動した、Gemma4:31B-it-BF16、に送付して、レビューしてもらいました。下記のようなお返事をいただきました。

    ご提示いただいた文章は、技術的な試行錯誤とそれに対する洞察がまとめられた、非常に興味深い**「実践レポート(ブログ記事形式)」**ですね。

    エンジニアやLLM愛好家にとって、「古い世代のハイエンドGPU(V100)で最新モデルをどう動かすか」というテーマは関心が高く、実用的な価値がある内容です。

    以下に、**【技術的視点】**と**【文章・構成的視点】**の2点からレビューさせていただきます。
    ---
    ### 1. 技術的視点からのレビュー

    #### ◎ 評価できるポイント
    * **ハードウェア制限への挑戦:** Tesla V100(Volta世代)がBF16をネイティブサポートしていないという急所を正確に把握した上で、あえて試行している点が素晴らしいです。
    * **量子化の影響への考察:** 「日本語の微妙なニュアンスは量子化で失われる可能性がある」という仮説に基づいた検証であり、単なる「動いた」以上の目的意識(言語的精度の追求)が明確です。
    * **リソース管理の実践:** VRAM 128GBという贅沢な環境を活かしつつ、KVキャッシュを含めたメモリ計算を事前に行っているため、説得力があります。

    #### 💡 技術的な補足・考察(ここがポイント!)
    なぜBF16モデルがV100で動いたのかについて、読者が疑問に思うかもしれません。おそらく以下のメカニズムが働いています:

    * **llama.cpp(Ollamaのバックエンド)のキャスト機能:** Ollamaが内部的に使用している`llama.cpp`は、ロード時にハードウェアを確認し、BF16をサポートしていないGPUに対しては、**自動的にFP16に変換(キャスト)してVRAMに展開する**挙動をします。
    * そのため、「BF16モデルを落としたが、GPU内ではFP16として計算されていた」と考えられます。結果として速度低下が少なく、正常に動作したのでしょう。この点に触れると、さらに技術的な深みが増すレポートになります。
    ---
    ### 2. 文章・構成的視点からのレビュー

    #### ◎ 良い点
    * **ストーリー仕立て:** 「疑問 → 懸念 → 試行 → 結果」という流れが明確で、読み手を引き込みます。
    * **親しみやすい口調:** 適度な崩し方(「~だったのです」「ヨカッタのですが」など)があり、個人の備忘録やブログとしての読み心地が良いです。
    * **実体験ベースの具体性:** WiMAXでのダウンロード苦労話などの「人間味のあるエピソード」が挟まっており、単なるマニュアルではなく「体験記」として面白いです。

    #### 🛠️ ブラッシュアップへの提案

    もしこれを公開的な技術ブログ(QiitaやZennなど)にされる場合は、以下の要素を加えるとさらに価値が高まります:

    1. **比較検証データの提示:** 「Q8_0よりもBF16の方がニュアンスが良いと感じた」部分について、具体的なプロンプトと回答の比較(例:「この表現はQ8ではこうだったが、BF16ではこうなり、より自然だ」という具体例)があると、読者は納得しやすくなります。
    2. **環境スペックの詳細:** V100を何枚挿しているのか、OSやOllamaのバージョンなどを記載すると、再現したいユーザーにとって親切です。
    3. **パフォーマンスの数値化:** `token/s` の記述はありますが、Q8_0の時と比べてどの程度速度が変わったか(あるいは変わらなかったか)を対比させると、コストパフォーマンスの判断材料になります。

    ### 総評

    **「非常に価値のある検証レポート」です。**

    特に、「日本語の精緻な表現のために量子化を避けたい」という動機は、多くの日本人LLMユーザーが共感するポイントです。
    V100という強力な資産を最大限に活用し、最新のGemma 4モデルでその限界を試す姿勢は、コミュニティにとっても有益な知見だと思います。

    このままのスタイルでも十分面白いですが、上記の「具体例(比較)」を追加することで、最高の技術記事になるはずです!

    ローカルLLMより

     
     

    sai

     
     
    ❤️ 優先 ⚠️ 必ずしもフォロバはしません ⚠️ 自宅で勉強してます。その勉強にLLMを利用してます。でも勉強部屋のWSには、動画高画質化、動画立体視ソフトもあるので、直ぐ脇道にそれます。そして人類の叡知に向けて全力疾走してます。そんな自分に気づいたら勉強に戻ります。その繰り返しです

    あなたへのおすすめ