メインコンテンツへスキップ
見出し画像

Ollamaの画像も読める意思決定モデルに、ポーカーとパックマンを遊ばせてみた。ClefとClef Flashを検証

    Ollamaに、画像も読める意思決定モデル「Clef」が来ました。

    この記事は、こんな人に向けて書いています。

    • 意思決定モデルって、どんなものなのか知りたい

    • Ollamaで試したいけど、具体的な使い道が分からない

    • 検証の仕組みを、自分で作るのは手間

    • とにかく、意思決定モデルを動かしてみたい

    ゲームを2つ作りました。遊ばせながら、モデルに何を渡して、何が返ってくるのかを画面で見られます。

    まずは動画をどうぞ(2分15秒、音が出ます)。

    この2つです。

    • パックマン風のゲーム「みるみるドット」。この記事に無料で置いておきます

    • テキサスホールデムのポーカーゲーム「みるみるポーカー」。記事の最後(有料部分)に置いてあります

    パックマン風のゲームが動けば、ポーカーゲームも動きます。まずは無料の方で試してみてください。

    意思決定モデルは、文章を作らない

    ふつうのLLMは文章を返します。意思決定モデルが返すのは、選択肢ごとの確率だけ。

    Clefは、そこに画像を足せます。ゲームの画面を見せて「上・下・左・右のどれ?」と聞くと、確率が返ってきます。

    モデルは2つあります。

    • Clef(27B・約18GB)。大きい方

    • Clef Flash(9B・約11GB)。小さくて速い方

    どちらもCloudflareのモデルで、Ollama 0.35.1から使えます。ライセンスはApache 2.0です。

    使い方

    入れるのは、いつものpullです。

    ollama pull clef-flash

    呼ぶときは、HTTPで「/v1/systemone」に投げます。ollama runでは判定になりません(モデルのページにも、コマンドからは使えないと書いてあります)。

    「state」に状況、「images」に画像、「questions」に聞きたいことを入れます。画像はPNG・JPEG・WebPを、base64の文字列にして渡します。

    この記事のゲームで投げているのを短くすると、こうなります。

    curl http://localhost:11434/v1/systemone -d '{
      "model": "clef-flash",
      "state": "The attached image is a screenshot of a Pac-Man game.",
      "images": ["(画面のPNGをbase64にした文字列)"],
      "questions": {
        "move":   { "type": "choice", "instructions": "Choose the direction Pac-Man should move next.",
                    "criteria": { "left": "Move left.", "down": "Move down." } },
        "danger": { "type": "noul", "instructions": "A ghost is within about four tiles of Pac-Man." }
      }
    }'

    ゲームの画面を1枚つけて投げたら、こう返ってきました。

    "move":   { "choice": "left", "probabilities": { "left": 0.62, "down": 0.38 } }
    "danger": { "noul": 0.81 }

    左が62%、下が38%。「ゴーストが近い」は81%で「はい」です。文章はひとつも返ってきません。1回目はモデルの読み込みで17秒ほど、2回目からは0.3秒でした。

    問いの種類は3つです。choice(選択肢から1つ選ぶ)、noul(はいか、いいえか)、score(段階のどこに当たるか)。1回で64問まで一緒に聞けます(モデルのページより)。

    問いの書き方は、前回の記事でくわしく書きました。前回は、文章だけの意思決定モデルでギャルゲーを作っています。

    パックマン風のゲームを遊ばせる

    画像

    分かれ道に来るたびに、ゲームを止めます。画面の画像をAIに見せて、どっちへ進むかを聞きます。

    渡すのは画像だけです。位置や距離は教えません。

    画像

    画面には、見せた画像・聞いたこと・AIの答え・実際の動きが順に出ます。

    結果

    画像

    ドットは150個あります。同じ5ゲームの平均です。

    • プログラム(ルールで動く): 141個。5回中3回クリア

    • Clef: 104個

    • Clef Flash: 80個

    AIは、どちらも1度もクリアできませんでした。

    目の前の判断はできます。パワーエサを取って、青いゴーストを続けて食べる場面もあります。

    ただ、先を読むのは苦手です。

    画像

    これは最後の1回です。すぐ下にゴーストがいて、AIも「ゴーストが近い」と答えています。それなのに下を選んで、捕まりました。

    意思決定モデルは、問いごとに別々に答えます。「近い」と分かったことが、「どっちへ進むか」には使われません。

    無料で置いておきます

    要るものは3つです。

    • Node.js

    • Ollama v0.35.1以降

    • モデル(「ollama pull clef」か「ollama pull clef-flash」で入ります)

    zipを解凍して、start.batを開くと、ブラウザで始まります(MacとLinuxは「sh start.sh」)。

    ひとつ注意。Windows版のOllama 0.35.1では、Clef Flashがエラーになります(2026年10月4日時点)。

    https://github.com/ollama/ollama/issues/18769

    Clef(27B)は動きます。ただし18GBあるので、GPUのメモリが足りないと遅くなります。私の16GBのGPUでは、1回の答えに3〜10秒かかりました。

    WindowsでClef Flashを動かす(WSL)

    同じPC・同じGPUでも、WSLの中のLinux版のOllamaなら、Clef Flashが動きました。1回の答えは0.1〜0.3秒です。

    確かめた環境は、Windows 11・RTX 5070 Ti・WSL2のUbuntu・Ollama 0.35.1です(2026年10月3日)。AMDのGPUでは試していません。

    手順1: WSLを入れます(入っていなければ)。PowerShellを管理者で開いて打ち、終わったらPCを再起動します。

    wsl --install

    手順2: ここからはUbuntuの画面です。Windowsと同じ版の、Linux版のOllamaを置きます。zstdが無いと言われたら、先に「sudo apt install zstd」を打ちます。

    mkdir -p ~/ollama-wsl
    curl -L -o /tmp/ollama.tar.zst https://github.com/ollama/ollama/releases/download/v0.35.1/ollama-linux-amd64.tar.zst
    tar --zstd -xf /tmp/ollama.tar.zst -C ~/ollama-wsl

    手順3: 11436番で起動します。WindowsのOllama(11434番)とぶつからないように、番号をずらします。この画面は開いたままにします。

    OLLAMA_HOST=127.0.0.1:11436 ~/ollama-wsl/bin/ollama serve

    手順4: Ubuntuをもう1つ開いて、Clef Flashを入れます(約11GB)。Windows側で入れたモデルとは別に持ちます。

    OLLAMA_HOST=127.0.0.1:11436 ~/ollama-wsl/bin/ollama pull clef-flash

    手順5: アプリでClef Flashを選びます。WindowsではClef Flashのときだけ、アプリが11436番に聞きにいくので、設定は要りません。

    Windows側から見えているかは、PowerShellで「curl.exe http://127.0.0.1:11436/api/version」を打つと分かります。版の番号が返ればOKです。止めるときは、手順3の画面でCtrl+Cです。

    同じ手順は、アプリの中のヘルプにも書いてあります。Ollamaの修正(プルリクエストは出ています)が入れば、Windows版のOllamaを更新すれば動くはずです。

    https://github.com/ollama/ollama/pull/18777

    私の環境と、動かないときの手

    私が動かしたのは、この環境です。

    • Windows 11・RTX 5070 Ti(16GB)・Ollama 0.35.1

    • Clef FlashはWSL2(Ubuntu)の中のOllamaで

    • Clef(27B)の長い検証は、RunPodで借りたGPU(RTX 6000 Ada・48GB)で

    Macでも試しました。M1・メモリ16GBのMacでは、Clef Flash(約11GB)もメモリ不足で読み込めませんでした。

    手元で動かないときは、クラウドのGPUを借りる手があります。RunPodでOllamaを立てて、手元からつなぐやり方は、前に記事にしました。

    アプリの「接続先」を開いて、RunPodのPodのIDを入れると、つなぐ先のURLになります。

    意思決定モデルにポーカーを打たせる

    画像

    もうひとつ、ポーカーゲームを作りました。意思決定モデルが、カードの画像を見てテキサスホールデムを打ちます。

    AIどうしの対戦を見られます。自分も卓に入れます。

    卓を選んで、カードを配る

    画像

    始めると、卓を選ぶ画面になります。

    • AI 3人の対戦を見る

    • あなたも参加する

    • 1対1(プログラムのロゼット対AIのルナ)

    卓を選んだら、その下で、AIのモデルと、AIに渡すもの(モード)を選びます。

    画像

    「カードを配る」を押すと、卓に着く相手が出てきて、ゲームが始まります。

    AIは、カードの画像を見て打つ

    画像

    AIの番が来るたびに、手札と場のカードを1枚の画像にして見せます。「降りる・コール・レイズのどれにする?」と聞きます。

    性格は文章で渡します。

    • ルナ(ノーマル)

    • すみれ(慎重)

    • 聖良(ギャンブラー)

    画像

    ギャンブラーの聖良は、強気にオールイン。勝負どころで、カットインが入ります。

    AIに何を渡したかが、全部見える

    画像

    右の列に、1回の判定の流れが出ます。

    渡したもの → AIの答え → 打った手 → その手は妥当だったか。

    なぜその手を打ったのかを、あとから追えます。

    カードは読める

    カードの絵柄は、キャラクターのイラストに変えてあります。それでも読み間違えません。

    Clef Flashで913回聞いて、手札の読み取りは全部正解でした。

    AIに渡すものは、3つのモードから選ぶ

    画像

    ゲームを始める前に、AIに何を渡すかを選びます。違うのは、プログラムが何を用意するかだけ。降りるか、コールか、レイズかを選ぶのは、どのモードでもAIです。

    モード1は、AIだけ。渡すのは、カードの画像と場の状況だけ。ポット、コールに要る額、手持ちのチップ、相手の人数、このハンドで誰が何をしたか。

    モード2は、知識を渡します。ゲームの前に、ポーカーの知識を文章で渡します。

    • 手札169通りの勝率表(相手が1人のときと、2人のとき)

    • 元が取れるライン(コールに必要な勝率)の出し方(コール額 ÷(ポット + コール額))

    • 手の強さの目安

    ゲームが始まったら、プログラムは何も計算しません。表を引くのも、割り算をするのも、AIの仕事です。

    モード3は、毎回、勝率を計算して渡します。AIの番が来るたびに、プログラムが2つの数字を計算して渡します。

    画像
    • 勝てる確率: 残りのカードを300回ランダムに配って、勝った割合を数えます(相手の本当の手札は見ません)

    • 元が取れるライン: コール額 ÷(ポット + コール額)。ポットが300で、コールに100要るなら25%

    勝てる確率がラインより上なら、コールが得。下なら、降りた方が得です。比べて決めるのは、AIです。

    答えに近い数字を毎回渡すので、AIだけの力とは言えません。AIの力を見るなら、モード1か2です。

    このほかに、行動をプログラムが決めるモード4と5もあります。プログラムがどこまで手伝うかを、切り替えて比べられます。

    意思決定モデルには、会話の記憶がありません。1回の問い合わせごとに、まっさらです。なので「前のハンド」も、こちらで文章にして毎回渡しています。

    プログラムのロゼットと勝負させる

    ロビーの「1対1」の卓です。AIのルナと、プログラムのロゼットが打ちます。

    ロゼットの打ち方は、わりと素直です。

    • 自分の手の勝率を見積もる。残りのカードを250回ランダムに配って、勝った割合を数える(相手の手札は見ない)

    • 勝率が80%を超えたら、3回に1回くらいオールイン

    • 62%を超えたら、レイズ

    • 誰も賭けていないときは、チェック。勝率が50%を超えていれば、ときどきレイズ

    • 賭けられたら、勝率が、元が取れるラインを5ポイント以上上回るときだけコール。足りなければ降りる(たまに、降りずにつきあう)

    相手の癖を読んだり、はったりを仕掛けたりはしません。勝率の計算と、それに沿った決まりだけです。

    画像

    チップは1,000ずつ。最大20ハンドで、終わったときに多い方が勝ちです。配りを10通り用意して、どのモードも同じ配りで勝負しました。

    • モード1(AIだけ): 2勝8敗

    • モード2(知識を渡す): 1勝9敗

    • モード3(毎回、勝率を計算して渡す): 3勝7敗

    どのモードでも、AIの負け越しです。チップを全部なくした回が、10回中4〜6回ありました。

    カードは読めています。負けるのは、いくら賭けるか、いつ降りるかの判断です。

    勝率表を先に渡しても、勝ち負けは良くなりませんでした。毎回、勝率を計算して渡すと、チップの減り方は半分ほどになります(平均 −573 → −308)。それでも負け越しです。

    ClefとClef Flash、どっちが強い?

    画像

    プログラムのロゼットとの1対1を、大きいClef(27B)でも回しました。モード1〜3を10回ずつ、合計30回です。

    • 勝った回数は、Clef Flashが6回、Clefが9回

    • チップを全部なくした回数は、Clef Flashが15回、Clefが4回

    どちらも負け越しです。ただ、大きいClefは降りることが多く、負けても小さく済みます。

    あなたも卓に入れる

    AIは、この素直なプログラムにも負け越しました。じゃあ、人間ならどうか。

    「あなたも参加する」の卓では、あなたが3人目の席に座ります。相手はすみれ(慎重)と聖良(ギャンブラー)。2人ともAIが打ちます。

    画像

    あなたの番になると、いまの手、勝率の目安、コールに必要な勝率、おすすめの手が出ます。ルールを覚えきっていなくても打てます。

    相手の手札は伏せたままです。AIが何を見て、どう判断したかを知りたくなったら、その場で開けて、また伏せられます。

    画像

    相手は、遠慮なく仕掛けてきます。ギャンブラーの聖良が、オールインで勝負に来たところです。

    画像

    受けて立って、勝ちました。聖良のチップが、ほとんどこちらに来ました。

    画像

    決めたハンド数(最初は10)を打ち終わったとき、あなたのチップがいちばん多ければ勝ち。相手が2人ともチップをなくしたら、そこで勝ちです。

    画像

    勝つと、卓にいた2人のご褒美CGが出ます。すみれと聖良、1枚ずつめくれます。

    プログラムに負け越す相手なので、ポーカーを知っている人なら、勝ち目は十分あると思います。AIに負けたら、ちょっと悔しい。

    絵はPixubusで作った

    画像

    席の顔、オールインのカットイン、勝ったときのご褒美。絵は全部、自作のPixubusで作りました。

    元になるキャラの絵を1枚渡して、服とポーズを言葉で指定します。1種類につき5枚ほど作って、元の顔にいちばん近いものを選びました。

    タイトル画面は、4人を1枚に描かせています。

    Pixubusは、Claudeから操作させました。表情の違いも、言葉で頼めば作ってくれるので、手間はかかっていません。

    Pixubusの紹介は、こちらです。

    販売記事はこちら。

    最新の記事では、顔のそろったCG集を作っています。

    まとめ

    • 画像を読む目は確か。カードも、ゲームの画面も読める

    • 先を読むことと、賭け方の判断は苦手。素直なプログラムにも、10回中7〜9回負ける

    • 意思決定モデルは「目」として使い、判断はプログラムでつなぐのがよさそう

    作ってみて

    テキサスホールデムには、詳しくありません。ルールも用語も、Claudeに聞きながら作りました。

    ただ、できあがったアプリは、自分がテキサスホールデムを覚えるのに使えました。キャラと打つのは、楽しいです。

    メンバーシップをやっています

    普段はこんな感じで、ClaudeやローカルLLMを使った開発や検証の記事を書いています。

    メンバーシップでは、自作のAI創作ツール(小説を書くInkubus、画像生成用のプロンプトを作るPixubusなど)を個別に買わずに使えるほか、メンバー限定の記事も読めます。この記事の有料部分も、メンバーシップで読めます。

    今回の記事が良かった、面白かったという方は是非加入してみてください。

    みるみるポーカー(意思決定モデルのポーカーゲーム)

    ここまでのポーカーゲームのzipです。名前は「みるみるポーカー」にしました。

    こんな人に向けて作りました。

    • 意思決定モデルを、自分のPCで動かして確かめたい

    • 検証の仕組みを作る手間を省きたい

    • 渡すものを変えると答えがどう変わるのかを、自分の目で見たい

    買う前に、まず無料のパックマン風のゲーム(みるみるドット)を動かしてみてください。

    要るものも、Ollamaへのつなぎ方も、ポーカーゲームと同じです。パックマン風のゲームでAIが動けば、ポーカーゲームも動きます。

    zipの下には、次のことを書いています。

    • 起動して、最初の1ゲームまで

    • Windowsで使うとき(Clef FlashはWSLで)

    • OllamaのURLを変えるとき

    • 遊び方(無料部分で紹介しきれなかったもの)

    • モード1・2・3で、成績はどう変わるか(グラフ)

    • 同じようなものを作るときの参考に(モード1から3ができるまでに分かったこと)

    みるみるポーカー ZIPダウンロード

     
     
    ローカルLLMで小説・イラスト・動画を作りたい人に、ツールと作り方を届けます。"オタクとしての創作AI活用"が中心。小説のInkubus、イラストのPixubus、動画のVidubusは自作。OllamaとComfyUIは自宅のGPUで実機検証。メンバーシップは200人を突破。

    あなたへのおすすめ