メインコンテンツへスキップ
見出し画像

【AI開発のリアル #63】 社外に出せないから、全部ローカルLLMにしますか?

    「ローカルLLMのほうが安いのでは?」

    「社外にデータを出さなくていいなら、セキュリティ的にもそのほうが良いのでは?」

    こういう相談をよく受ける。ここには大きな誤解がある。

    計算すると、人が使うチャットや開発支援は、クラウドAIのほうが安い。

    社員100人が毎日かなり重く使っても、5,000万円級のGPUサーバーの稼働率は1.2%程度だった。

    ローカルにすると、5,000万円の機械を買って、98%以上を余らせることになる。

    では、ローカルLLMは高いだけなのか。

    そうでもない。

    AIは、仕事によって使われ方が違う。そして使われ方が違えば、コスト構造も変わる。


    「AI」と一言で言うが、中身は別々の仕事だ。

    AI開発のリアル #53「その箱を買えば、AIは使えるのか」

    前回は、その「仕事の違い」を書いた。

    今回は、仕事が違うと、なぜローカルとクラウドの損得まで変わるのかを数字で見てみる。

    AIにやらせる仕事は、同じではない

    社内でAIを使う仕事は、だいたい三つある。

    • チャット … 社内の文書を調べる、要約させる

    • 開発の手伝い … コードを書かせる、直させる

    • 大量に読ませる … ログや資料をまとめて処理させる

    前の二つは、速さが要る。最後の一つは、遅くていい。

    この違いが、そのまま値段になる。

    バッチ処理は、安く済む

    大量のログを読ませる仕事は、バッチ処理にできる。夜に流して、朝に結果を見ればいい。


    仕事のほうが、一日では終わらない。

    AI開発のリアル #52「どうやってAIを24時間、働かせているのか」

    終わってさえいればよく、空いた分だけ次を入れられる。稼働率は上げられる。

    稼働率が高いほど、買い切りは安くなる。「ローカルLLMのほうが安いのでは?」という見立ては、ここまでは合っている。

    チャットと開発は、高くつく

    チャットも開発支援も、いつ問い合わせが来るか分からない。

    そして、回答の速さも重要になる。


    しかも、同じ仕事を何千回でも繰り返せる。
    一方で、仕事がなければ256人とも黙って待っている。

    AI開発のリアル #48「256人の部下に、何をさせますか?」

    使われるのは業務時間の、問い合わせが来ている間だけだ。

    溜めて順番に流せば「稼働率」は上がる。だがそれはバッチ処理だ。利用者を待たせる時点で、チャットではなくなる。

    バッチなら、平均処理量に合わせて遅く回せばいい。

    チャットはそうはいかない。複数人が同時に使ったときの応答速度に合わせて設備を持つ必要がある。

    平均稼働率は低いのに、ピークに合わせて機械は大きくなる。

    同時利用まで余裕を持たせると、5,000万円級の構成まで候補に入ってくる。

    速い機械が要るのに、稼働率は上がらない。買い切りは高くなる。

    本当にそうなのか、試算をするとこうなる

    機械(社内にチャットを配る規模)

    • H100 8枚構成 … 約5,000万円

    • 人を待たせない条件で、合計 毎秒32,784トークン(MLPerf Inference v4.1/Llama 2 70B/8枚での公表値)

    稼働率(使用量は Ramp AI Index・7万社超の調査から)

    • 平日8時間・月21日をフルに使っても … **23.3%**が上限

    • 社員100人が軽く使う(1日3,000トークン)… 0.008%

    • 社員100人が重く使う(1日50万トークン)… 1.2%

    100万トークンあたり(本体3年+電気代31円/kWh)

    • 稼働率100%、バッチで回し切る … 約19円

    • 稼働率1.2%、社員100人のチャット … 約1,500円

    • 時間で借りる … 20〜33円(RunPod・Lambda の公表価格)

    • クラウドAIのAPI … 100〜200円(各社の公表単価)

    元が取れるまで(APIが100円のまま変わらないとして)

    • 稼働率50% … 1.0年

    • 稼働率19% … 3.0年

    • 稼働率1.2% … 本体代を回収できない

    チャットで現実的なのは1.2%だ。社員100人が毎日かなり重く使って、この数字になる。単価は80倍。

    3年で元を取るには、稼働率19%が要る。業務時間を一秒も空けずに使い切れば23.3%。実際は1.2%だ。

    そもそも、**この5,000万円という構成を必要にしたのは、バッチではなく、チャット側の速度要件だ。バッチだけなら、もっと安い機械で足りる。そちらを買って稼働率を上げるほうが、ずっと安く済む。

    まとめると、こうなる。

    • バッチ処理を大量にするなら … 買い切りのローカルLLM

    • チャットや開発で使いたいなら … 素直に外部の仕組みを借りる

    セキュリティを理由にすると、一気に高くなる

    この分け方が、一言で崩れる。「社外に出せないデータがあるから」だ。

    話は、こう進む。

    • 社外に出せないデータがある。
      ーー だからローカルで解析する

    • 社外に出せないデータを、チャットでも扱いたい。
      ーー だからチャットもローカルだ

    • チャットの応答が遅くてはダメだ。
      ーー だから速い機械が要る

    • 大人数で使っても応答が遅いのも困る。
      ーー だから、5,000万円の構成になる

    一つずつ聞くと、もっともらしい。繋げると、おかしくなる。

    買う理由になったデータは、遅くていい仕事だ。

    速い機械が要るのはチャットのほうだ。

    社外に出せないデータを守るために、稼働率の低いものへ、高い金を払うことになる。


    このうちローカルLLMを回す部分が、いちばん重い。クラウドAIでも動くが、この件数を投げると費用が見合わない。だから手元のGPUでやる。

    AI開発のリアル #60「34,694回のAIとの会話を、全部検索できるようにした」

    ローカルLLMが安いのではない。稼働率を高く保てる仕事をローカルにすると、安くなる。

    AIをどこに置くかではなく、何の仕事をさせるかで値段は変わる。

    「AI」で一括りにすると、全部が高くなる。分けて考えれば、どこに金をかけるべきかが見えてくる。

    それでも必要なら、割に合わなくても、そのコストを払うしかない。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


    この記事はnoteマネーにピックアップされました

    noteマネー 今週の特集「AI株を占うエヌビディア決算」
     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ