
【AI開発のリアル #49】 そのAI、本当に賢くないですか?
あなたが使っているAIは、本当に賢くないのでしょうか。
思った答えが返ってこない。
指示した通りに動かない。
もっと大きなモデルなら、もっと賢く答えてくれるのではないか。
私も、そう考えていた。
正直に言えば、今でもAIの「賢さ」が何なのか、私はよく分かっていない。
ローカルLLMを触り始めた頃は、モデル名の後ろに付いている7B、26B、31B、120Bといった数字を見て、数字が大きいほど賢いのだろう、くらいに考えていた。
DGX Sparkには128GBのユニファイドメモリがある。
大きなモデルも載る。
だから、いろいろ試した。
31Bも試した。
120Bも試した。
セキュリティ向けに調整されたモデルも、その後継も試した。
でも、仕事の結果は思ったほど変わらなかった。
それよりも、ずっと大きく結果を変えたものがあった。
仕事の渡し方だった。
優秀な人を雇えば、仕事がうまくいくのか
有名な大学を出た、とても優秀な人を会社に集めたとする。
その人たちに、資料の場所も、何を調べるのかも、どこまでやれば終わりなのかも伝えずに、こう言う。
「優秀なんだから、いい感じにやってください」
それで期待した仕事が返ってこなかったとき、社員の頭が悪いと言えるだろうか。
ローカルLLMに、私は似たことをしていた。
専門家として振る舞ってほしい。
大量の材料を渡す。
あとは賢く考えて、いい答えを出してほしい。
以前、この失敗を書いた。
クラウドAIが担当していた仕事を、そのまま丸ごと渡した。
結果は、失敗だった。
モデルを大きくしても、この問題はあまり解決しなかった。
問い方を変える。
渡す材料を変える。
出力の形式を変える。
それだけで結果は大きく変わった。
モデル同士の「賢さ」の違いより、こちらの違いの方が、仕事の結果には大きく見えた。
そこで、モデルをもっと賢くすることを考えるのをやめた。
AIが迷わない仕事を作ることにした。
AIを変えるより、仕事の方を変えた
専門家一人分の仕事を、そのままAIに渡すのをやめた。
仕事を分けた。
入力を決めた。
出力を決めた。
終わり方を決めた。
この過程は、これまで何度も書いてきた。
ローカルLLMが急に賢くなったのではない。専門家の仕事を、ローカルLLMが実行し、別の工程から確かめられる大きさへ変えたのである。
作ったのは、プロンプトの一覧ではない。手順書、専用の入力データ、実行する仕組み、結果を検査する仕組みである。
最初から使うと決めていたわけではない。すべて不合格になる可能性も含め、AIの評判や性能表ではなく、実際の仕事で判断した。
すると、必要なAIの能力も変わった。
何でも知っている必要はない。
複雑な仕事を最初から最後まで一人で考える必要もない。
必要な材料を読んで、決められた仕事をして、決められた形で返してくれればいい。
そこまで整理すると、ある程度の能力があるローカルLLMなら、かなり同じように仕事ができるようになった。
26Bクラスのモデルでも、私よりよほど多くのことを知っている。
文章も読める。
比較もできる。
意味も判断できる。
少なくとも、私たちが製品の中で任せたかった仕事には、すでに十分な能力があった。
足りなかったのは、AIの賢さではなかった。
その能力を、仕事として使える形にすることだった。
技術的に作れるかどうかで止まった月が、一度もない。
作れるものを作っていた。詰まったのは、いつもその手前と、その先だった。
大きなモデルより、小さな仕事を大量に回す
仕事を整理していくと、次に重要になったのは速度だった。
LLMは、入力を読むのにも時間を使う。
出力を書くのにも時間を使う。
必要のないものまで読ませれば遅くなる。
必要のない文章まで書かせれば遅くなる。
一回なら大した差ではない。
しかし、何千回も推論すると、その差がそのまま処理時間になる。
そこで、工程を層に分けた。
集計する層。外れを出す層。一件ずつ調べる層。まとめる層。
ミツケルでは、一つのIPについて複数のモデルが所見を出し、その結果を別のモデルがまとめる処理がある。
ここでは文章の所見そのものに意味がある。
だから書かせる。
その代わり、仕事ごとに必要な能力だけを持った、小さく高速なモデルを使うことにした。
攻撃者視点のモデル:8Bクラス、128並列
防御視点のモデル:8Bクラス、128並列
2つの所見をまとめる汎用モデル:26Bクラス、最大256並列
大きなモデルを一つ置いて全部を考えさせるのではなく、役割を分けて、同時に大量に動かす。
最大500のIPについて、合計約5,500回の推論を、約30分で終わらせられるところまで来た。
箱の中で大量の推論を回せるようになって、工程に層が一つ増えた。
しかも、同じ仕事を何千回でも繰り返せる。
一方で、仕事がなければ256人とも黙って待っている。
256並列を目標にしていたわけではない。
必要な仕事を決め、必要な入力と出力まで削っていった結果、最後に速度を上げる意味が出てきた。
文章を書かせない方がいい仕事もあった
さらに後ろの専門家の処理では、違う形になった。
DGX Sparkでは、長い文章を返させるほど遅くなる
専門家処理では、AIが書いた所見を次のAIへ渡す工程が続いていた。
処理時間を追うと、この部分に無駄が見えた。
ここは少し専門的な話になる。
LLMの推論は、大きく分けると二つの処理がある。
Prefill(プリフィル):渡された入力をまとめて読む処理
Decode(デコード):その後、回答を1トークンずつ生成する処理
入力を長くすればPrefillが増える。
回答を長く書かせればDecodeが増える。
そしてDGX Sparkでは、このDecodeを長く続ける使い方はあまり得意ではない。
DGX Sparkには128GBのユニファイドメモリがある。大きなモデルを載せられるのは、この容量のおかげである。
一方、メモリ帯域は273GB/sである。
Decodeでは、一つトークンを出すたびに、モデルの重みや、それまでの文脈を保持したKV cacheを参照しながら、次のトークンを計算する。
これを、回答が終わるまで何度も繰り返す。
つまり、大きなモデルを載せることはできても、その大きなモデルに長い文章を延々と書かせると、今度はメモリからデータを読み出す速度が効いてくる。
DGX Sparkは演算性能そのものが低いわけではない。
むしろ1 petaFLOPという大きな数字を持っている。
ただ、私たちが実際に行うLLM推論では、その演算性能を使い切る前に、メモリ帯域がボトルネックになりやすかった。
チャットではDecodeの遅さが弱点になる
この特性は、用途の向き不向きにもそのまま出る。
チャットのように、一つの問いに対して、その場ですぐに長い回答を返してほしい用途では、Decodeの速さがそのまま体感速度になる。
質問をしてから文字が次々に表示される。
その速さを求めるなら、Decodeが速いことはかなり重要である。
その意味では、DGX Sparkは、
大きなモデルを載せて、一人のAIとリアルタイムに気持ちよく会話する
ことを最優先にした機械ではないと感じた。
でも、私たちが欲しかったものは、それではなかった。
でも、大量処理なら話が変わる
一つの質問に10秒で答えるか、20秒で答えるかよりも、
同じ種類の仕事を500件、1,000件、5,500件と渡したときに、全体をどれだけ早く終わらせられるかの方が重要だった。
ここでは考え方が逆になる。
1件の回答速度ではなく、一定時間にどれだけ多くの推論を処理できるかを見る。
小さなモデルに、必要な入力だけを渡す。
必要な出力だけを短く返させる。
それを大量に並列で回す。
この使い方なら、DGX Sparkの128GBという大きなメモリを使いながら、多数の処理を抱えて、GPUをできるだけ遊ばせずに仕事を流せる。
チャット端末として考えると、Decodeの遅さが気になる。
しかし、大量の仕事をまとめて処理する機械として見ると、別の価値が見えてきた。
私たちにとって重要だったのは、チャットの一回答を最速にすることではなかった。
何千件もの仕事を、まとめて高速に処理できることだった。
だから、大きなモデルに長い文章を一件ずつ書かせるより、小さなモデルに必要な入力だけを渡し、必要な出力だけを短く返させる方が、この機械の特性に合っていた。
DGX Sparkで実際の処理時間を追っていくと、後段の専門家処理では、このDecodeにもかなり無駄があった。
答えがY/N/Uなら、文章はいらなかった
AIが長い所見を書く。
その文章を次の処理へ渡す。
すると次のAIは、その長い文章をもう一度Prefillで読む。
つまり、必要のない文章を書かせると、書く時間だけでなく、次の工程で読む時間まで増えていた。
そこで考えた。
そもそも、その文章は必要なのか。
次の処理が知りたいのが、Yesなのか、Noなのか、それとも材料不足でUnknownなのかだけなら、文章は要らない。
Y / N / UだけならDecodeを極端に短くできる。
次の工程もスクリプトで処理できる。
以前、数字をAIに書かせるのをやめたときも、考え方は同じだった。
だから、ミツケルの作りを変えた。AIには、数字を書かせない。
数字は、全部プログラムが計算して出す。何件通り抜けたか、何%がボットか。そういう数は、AIではなく計算が担当する。
数字を書かせる必要がなかったのと同じように、ここでも文章を書かせる必要はなかった。
DGX Sparkの性能を上げたわけではない。
何を読ませるのか。
何を返させるのか。
推論の仕組みに合わせて仕事の方を変えたことで、同じハードから出せる処理量が増えた。
仕事の側を決めれば、必要なモデルも決まってくる。
「一番賢いモデル」を探さなくなった
今は、モデルを見る基準が変わった。
この仕事に必要な入力を読めるか。
必要な出力を返せるか。
十分に正確か。
そして、どれだけ速く回せるか。
汎用的な処理では、現在はほとんど同じモデルを使っている。
セキュリティ向けのモデルも使っているが、本当に専門モデルでなければできないのかは、今でも分からない。
もしかすると、全部同じ汎用モデルでもいいのかもしれない。
専門知識を大量に覚えさせれば正確になる、とも限らなかった。
セキュリティ向けのモデルはCVEについて答える。
でも、その答えが正しいとは限らない。
知識を持っていることと、目の前に渡した材料から正確に仕事をすることは別だった。
だから私は、どのモデルが一番賢いのかを深く調べなくなった。
正直に言えば、今でも何Bならどのくらい賢いのか、詳しく説明できない。
今の仕事では、それを理解することより、必要な入力と出力を決める方が重要だったからだ。
この仕事には、どこまで賢ければ十分なのか
ここまで作ってきて、逆の疑問を持つようになった。
この仕事には、いったいどこまで賢いAIが必要なのだろうか。
26BクラスのローカルLLMでも、私よりよほど多くのことを知っている。
文章を読める。
比較できる。
意味を判断できる。
決められた形式で答えることもできる。
少なくとも、私たちが製品の中で何千回も繰り返している仕事には、すでに十分だった。
それ以上の賢さが必要になる仕事は、もちろんある。
でも、その仕事までローカルLLMにやらせる必要があるのだろうか。
賢いAIが必要なら、賢いAIを使う
本当に高度な推論が必要なら、私は素直に高度なAIを使う。
開発ではClaude CodeやCodexも使っている。
複雑な設計を考えさせる。
未知の問題を調べさせる。
大きな範囲を見ながら判断させる。
そういう仕事まで、手元のローカルLLMだけで置き換えようとは思わない。
大手のAI企業は、巨大な計算資源を使って、非常に高度なAIを作っている。
個人や一般企業が用意できる設備とは、そもそも規模が違う。
そこへ大量のリソースを投入して追いつこうとするより、必要なときに、そのために作られたサービスを使う方がずっと現実的だった。
神様を、手元で作ろうとしない
この連載では以前、AIに「祈る」話を書いた。
読めないから、任せたかった。いま振り返れば、無邪気な祈りである。正しい答えが返ってくる根拠は、何もなかった。
そして、その「祈り」がなぜ危ないのかも書いた。
祈れば、叶う。
だが、真実ではない。
問いを投げれば、何かを考えてくれる。
何かを作ってくれる。
時には、こちらが考えていなかったところまで答えてくれる。
人が「祈れば何かを叶えてくれる」と感じるほどのAIを作ること自体が、大手AI企業の仕事なのだと思う。
言ってみれば、あの会社たちは巨大な計算資源を使って、ものすごく賢い「神様」を作ろうとしている。
それが、あの会社たちのビジネスでもある。
私は、その神様を手元に作ろうとは思わなくなった。
そもそも、同じものは作れない。
ローカルLLMを入れれば、Claude CodeやCodexのようなサービスが不要になる。
そう考えるより、最初から役割が違うものとして使い分けた方がよかった。
ローカルLLMには、ローカルLLMの仕事がある
以前、ローカルLLMをクラウドAIの「手足」にした、と書いた。
そのスクリプトから呼び出され、小さな処理を繰り返すローカルLLM。
二つのAIには、違う仕事をさせた。
今も、この考え方は変わっていない。
賢さが必要な仕事は、賢いAIに任せる。
大量に繰り返す仕事は、ローカルLLMが確実にできる形まで仕事を整理する。
するとローカルLLMに求めるものは、「もっと賢く」ではなくなった。
必要な仕事ができること。
結果を確かめられること。
そして、それを速く、大量に回せること。
DGX Sparkの価値も、そこにあった。
では、そのAIは本当に賢くないのでしょうか
DGX Sparkを使ってきて、私はAIの「賢さ」を当てにしなくなった。
賢さが不要だと思ったわけではない。
むしろ、手元にあるAIは、すでに十分に賢かった。
望んだ答えが返ってこなかったとき、以前の私は、もっと大きなモデルを探した。
今は、その前に別のことを考える。
何を読ませたのか。
何を判断させたのか。
何を返してほしかったのか。
その仕事は、本当に一つのAIへ丸ごと渡す仕事だったのか。
AIの能力を仕事として引き出せるかは、こちら側の問題でもある。
だから最後に、最初と同じことをもう一度問いかけたい。
あなたが使っているAIは、本当に賢くないのでしょうか。
それとも、
そのAIに、能力を出せる仕事を渡しているでしょうか。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: