メインコンテンツへスキップ
見出し画像

【地雷】Ollama 0.30系に上げると Gemma4 で日本語が文字化けする(ので当面は避けよう) ※回避策記載


    ローカルLLMで小説を生成していて気づいたメモです。
    結論:Ollama を 0.30 系に上げると、gemma4 系モデルで日本語が文字化けすることがあります。当面は無理に上げないのが無難。

    どう化けるか

    全角スペースや一部の漢字が、文字そのものではなく

    残酷な蹂<0xE8><0xBA><0x99>だった

    のように <0xE8><0xBA><0x99> という文字列のまま出力されます(本来は「躙」の字)。全角スペースも <0xE3><0x80><0x80> に化けます。文章・コンテキストが長いほど件数が増える傾向。
    最初は Linux サーバ(RunPod)だけだったのが、Windows の Ollama も 0.24→0.30 に上げたら同じ症状が出ました。モデルは gemma4:31b です。

    ※補足するとOllama0.30系は大きいバージョンアップだったので、なぜかLinuxとMacだけが先行して公式リリースされており、Windowsはしばらく0.24のままだったのでこのバグ地雷が発動するのが遅かったです。
    本日6/4にwindowsにも地雷がアップデートとして降ってきた😫

    回避策

    • 上げない:0.24 系のまま使うのが一番確実。
      戻す:もう上げてしまったら 0.24 系にダウングレード。

    • コンテキスト(num_ctx)を大きくしすぎない:長いほど増える傾向。

    llama.cpp 側では Gemma まわりのバイトデコード修正が活発に入っているので、新しい版を取り込んだ Ollama でそのうち直る見込みです。

    原因(分かってきたこと)

    Ollama は 0.24 → 0.30 の間に大きなエンジン変更をしていて、GGUF 形式のモデルは、それまでの Ollama 自前エンジンを廃止して llama.cpp に一本化されました。(https://github.com/ollama/ollama/pull/16031)
    そのため gemma4 は 0.24 では Ollama 独自エンジン、0.30 では llama.cpp で動くようになり、文字を組み立てる部分(デトークナイザ)がまるごと別物に切り替わりました。
    <0xNN> がそのまま出るのは llama.cpp 側のバイトフォールバック表記で、多バイト文字(全角スペースや稀少漢字)を組み立てられなかったときに出ます。
    ※「0.30 で Flash Attention が新たに ON になったから」ではありません(FA は 0.24 でも ON でした)。エンジンが別物になったのが引き金です。最初は FA を疑いましたが、外れでした。
    (正直に書くと、この <0xNN> がそのまま出る形と完全に一致する公開 issue はまだ見つかっていません。仕組みとエンジン入れ替えは確認できていますが、最終的な因果は推測を含みます。)

    gemma4 のアテンション構造と Flash Attention の相性問題で、0.30 系で Gemma の FA が既定ONになったあたりが怪しい、という感じ。完全に同じ症状の公式issueは見つかりませんが、近い報告:
    • llama.cpp #22527
    https://github.com/ggml-org/llama.cpp/issues/22527
    • ollama #15278
    https://github.com/ollama/ollama/issues/15278

    旧バージョンのOllamaのダウンロード

    GitHubのリリースページから飛びます

    0.24のところにいきます

    画像

    Assetsにバイナリがあります

    画像

    Windowsの場合
    ◯OllamaSetup.exe
    こちらはインストーラーなので使いまわしが悪い、0.30系と共存できないのに注意

    ◯ollama-windows-amd64.zip
    こちらをダウンロードして0.30と共存させるほうが良い

    0.30系と0.24系を共存させる

    最新のOllamaはインストールしておいたままで
    旧板も動かす方法を書いておきます(windows)。
    モデルを/saveで上書きしない前提です。
    ollama0.30と0.24が同じユーザーフォルダを見るため若干危険です。

    ollama-windows-amd64.zip

    を展開

    ollama-v24とかにリネーム

    PowerShellで該当フォルダに移動し以下を実行

    $env:OLLAMA_HOST   = "127.0.0.1:11435"
    ollama.exe serve

    上記はポートを変える場合
    デフォルトは11434。

    ターミナルからチャットしたい場合、もういっこターミナル立ち上げて

    $env:OLLAMA_HOST = "127.0.0.1:11435"
    ollama.exe


    ここまで設定すれば
    Inkubusつかってる場合は設定パネルで旧版に接続切り替えできます

    画像

    GUI Ollamaよりollama.exe serveのほうが情報いろいろ見れるのでこっちのほうがいいですね😋

    画像

    26/6/8 最新情報


     
     
    ローカルLLMで小説・イラスト・動画を作りたい人に、ツールと作り方を届けます。"オタクとしての創作AI活用"が中心。小説のInkubus、イラストのPixubus、動画のVidubusは自作。OllamaとComfyUIは自宅のGPUで実機検証。メンバーシップは200人を突破。

    あなたへのおすすめ