
【AI開発のリアル #64】 そのトークン、仕事をしていますか?
前回は、機械を遊ばせると高くつく、という話を書いた。
速い機械が要るのに、稼働率は上がらない。買い切りは高くなる。
では、GPUを100%回していれば効率がいいのか。
そうとは限らない。
GPUは、文字の価値を知らない
AIは、渡された文字を読み、文字を書く。
その文字が最終成果に必要でも、途中で捨てるだけでも、処理したぶんだけ計算資源を使う。
たとえば、10万文字のログを読ませ、長い説明を書かせる。
だが最後に必要なのが、「該当するか、しないか」だけだったとする。
GPUは、その途中の文章まで全部処理している。
GPUは100%動いている。だが、その100%がそのまま成果になっているわけではない。
同じ結果なら、短いほうがいい
最終的な判定が同じなら、必要な部分だけを読ませ、必要な答えだけを返させればいい。
仮に、一件の処理に使うトークンを十分の一にできたとする。
同じ一時間、同じGPU、同じ100%稼働でも、空いた九割に別の仕事を入れられる。
機械を速くしたわけではない。
一件を終わらせるために使うトークンを減らしただけだ。
実際に、文章を消した
以前は、前の工程に長い所見を書かせ、次の工程がそれを読んでいた。
つまり、必要のない文章を書かせると、書く時間だけでなく、次の工程で読む時間まで増えていた。
次の処理が知りたいのが、Yesなのか、Noなのか、それとも材料不足でUnknownなのかだけなら、文章は要らない。
そこで、返させるのをその三択だけにした。
書くトークンが減る。
次の工程が読むトークンも減る。
最終的に欲しい判定は変わらない。
同じ機械で、終わる仕事だけが増える。
見るべきなのは、何トークン処理したかではない。
そのトークンで、何件の仕事が終わったかだ。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: