メインコンテンツへスキップ
見出し画像
Photo by_kei_

OllamaでGemma4:31B-it-FP16を動かす

    7月下旬からずっと自宅を離れていて、久々に自宅に戻ってきました。17日ぶりくらいかな。自宅に置いたまま放り投げていた、ローカルLLMサーバーを久々に稼働させました。最初にやったのは、Gemma4:31B-it-FP16をOllamaに登録させて、Ollamaで稼働させることでした。


    何故、BF16ではなくFP16なのか

    そもそも、何故FP16なのか

    その理由は、私の使っているLLMサーバーのGPUがTesla V100だからです。Tesla V100はいま主流のBF16でのネイティブ演算に対応していません。その代わり、FP16ならば得意です。なので、Ollamaでは、Gemma4:31B-it-BF16を起動させると、VRAM上への展開時にFB16をFP16にキャストしているようです。

    そのためなのか、VRAM上に乗せるのに時間が少し掛かるのです(3分程度)。もし最初から、FP16のGemma4:31B-itを用意しておけば、もう少し早く起動準備が終わって良いかな、と常々思っていました。

    そしてそのためには、BF16で配布されているGemma4:31B-itから、予めFP16でのggufを作って、これをollama createで登録する必要があります。このFP16のggufまでは既に作成が終わっています。ところが、いままで、最終段階のOllamaへの登録がうまく行きませんでした。

    OllamaではこれまでFP16が動かなかった

    何故、登録が上手くいかないのか。理由はよく分かっていませんでした。

    とにかく、ollama create で変換まではできるのですが、ベリファイ時にエラーが出て止まっていました。今回、ココがクリアできて、Ollamaへの登録が無事にできるようになりました。

    これでやっと、OllamaにてFP16ファイルが使えるようになりました。

    今回やったこと

    で、何をやったら上手くいったのか、についてですが、Ollamaのモデルデータを置いているSSDの領域を拡張しました。やったのはコレだけです。

    いま、Ollamaのモデルデータは、デフォルトの場所ではなく、単独のSSDの上に置いてあります。Ubuntuなので、そのSSDをファイルシステム上の特定のフォルダにマウントさせて、そこにOllamaのモデルがあるのです。それを、Ollamaの設定ファイルに登録して利用しているのです。ただ、ソコのSSD領域が手狭になっていました。

    手狭になっている、とはいっても、そこには新しいモデルを作って置くだけの余裕は十分にあったのです。FP16ファイルは、サイズとしては、61GBくらいになります。ただそれ以上の十分な空きについては、もう十分に余裕がある、とはいえませんでした。

    これまでのモデル置き場用のSSDは256GBでした。通常ならば、コレだけあれば、余裕でモデルが置けるハズなのですが、いまソコには、Gemma4:31BのQ8_0やQ8_K_XLが登録されていて、更に、BF16も通常版と制限解除版があって、それらだけで容量的に手一杯になりつつありました。

    で、今回やったことは、256GBのSSDだったこのモデル保存用領域を、512GBのSSDに置換して、保管場所の容量を拡張させたのです。これを行って、領域を確保した後に、改めて、ollama create をしたところ、FP16モデルが無事にOllamaに登録されました。

    上手くいった理由(想像)

    で、ここからは想像なのですが、ollama createの時、特に作成後のベリファイの時に、その同じフォルダ領域(SSD領域)を作業領域として使いながら、ベリファイ作業をしているのかもしれないな、と予想しました。

    単純に、フォルダの領域を拡張しただけで、エラーが出なくなったので、それくらいしか思い付きません。でもまあ、無事にOllamaにFP16モデルが登録できたので何よりです。

    これで、いちいち、BF16モデルをVRAM展開時にキャストする必要は無くなりました。

    残された課題

    残された課題としては、いまビジョンモードが無効になっているので、これを有効にしたい、と考えています。

    とはいえ、ビジョンモードを使うのは、勉強の時ではなくて、エロ画像のプロンプトを考えて貰う時くらいなので、要らないときのほうが多いのですけど……。


    (2026/08/08 追記)

    ビジョンモードも有効にできますね。Modelfileに、FROM を2行書き入れるだけでビジョンモード有効のファイルができます。最初がモデル本体で、2行目がビジョン用の、mmproj_f16.gguf です。

    Ollama create 時のモデルフォルダ内での挙動を見ていたら、ベリファイ前に一時ファイルとしてモデルのコピーを作ってますね。その瞬間に、同じ容量のファイルがもう一つ、同一フォルダ内に作られています。どうやら、ソレを使ってベリファイしているようです。

    ということは、いま62GB程度のモデルを、ollama create するためには、モデル本体の容量に加えて、もう一つ分の空き容量(62GB x2 以上)の余裕ががないと、ollama create が完了しないのかなと思いました。

    これまでベリファイ途中で作成が止まっていたのは、このベリファイ用のファイルがSSD容量オーバーで中途半端に終わって全部作成されていないのに、その先のベリファイ作業を始めたから、なのかも知れないな、と感じた次第です。


    (つづく)

     
     

    sai

     
     
    ❤️ 優先 ⚠️ 必ずしもフォロバはしません ⚠️ 自宅で勉強してます。その勉強にLLMを利用してます。でも勉強部屋のWSには、動画高画質化、動画立体視ソフトもあるので、直ぐ脇道にそれます。そして人類の叡知に向けて全力疾走してます。そんな自分に気づいたら勉強に戻ります。その繰り返しです

    あなたへのおすすめ