メインコンテンツへスキップ
見出し画像

【AI開発のリアル #64】 そのトークン、仕事をしていますか?

    前回は、機械を遊ばせると高くつく、という話を書いた。


    速い機械が要るのに、稼働率は上がらない。買い切りは高くなる。

    AI開発のリアル #63「社外に出せないから、全部ローカルLLMにしますか?」

    では、GPUを100%回していれば効率がいいのか。

    そうとは限らない。

    GPUは、文字の価値を知らない

    AIは、渡された文字を読み、文字を書く。

    その文字が最終成果に必要でも、途中で捨てるだけでも、処理したぶんだけ計算資源を使う。

    たとえば、10万文字のログを読ませ、長い説明を書かせる。

    だが最後に必要なのが、「該当するか、しないか」だけだったとする。

    GPUは、その途中の文章まで全部処理している。

    GPUは100%動いている。だが、その100%がそのまま成果になっているわけではない。

    同じ結果なら、短いほうがいい

    最終的な判定が同じなら、必要な部分だけを読ませ、必要な答えだけを返させればいい。

    仮に、一件の処理に使うトークンを十分の一にできたとする。

    同じ一時間、同じGPU、同じ100%稼働でも、空いた九割に別の仕事を入れられる。

    機械を速くしたわけではない。

    一件を終わらせるために使うトークンを減らしただけだ。

    実際に、文章を消した

    以前は、前の工程に長い所見を書かせ、次の工程がそれを読んでいた。


    つまり、必要のない文章を書かせると、書く時間だけでなく、次の工程で読む時間まで増えていた。
    次の処理が知りたいのが、Yesなのか、Noなのか、それとも材料不足でUnknownなのかだけなら、文章は要らない。

    AI開発のリアル #49「そのAI、本当に賢くないですか?」

    そこで、返させるのをその三択だけにした。

    書くトークンが減る。

    次の工程が読むトークンも減る。

    最終的に欲しい判定は変わらない。

    同じ機械で、終わる仕事だけが増える。

    見るべきなのは、何トークン処理したかではない。

    そのトークンで、何件の仕事が終わったかだ。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:

     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ