メインコンテンツへスキップ
見出し画像

推論が安くなると、GPUクラウドの需要は減るのか~同じ仕事に要る計算量から読む~

    【発端】 急落の週と、そのあとに出た推論の更新

    画像

    10月13日から16日の週、GPUクラウドのCoreWeaveは急落し、Reutersは14日の下落を15.5%、その週を約25%と報じました。Bloombergは15日に5.9%上昇したと報じ、報道が挙げた原因は金利、資金調達コスト、債務です。

    The Decoderは、V4.1-Flash-1017の公開を10月17日と報じています。公開は14日の下落よりあとなので、その週の下落の原因にはなりません。

    この記事では、価格ではなく、同じ仕事に要る計算量、メモリ、帯域を見ます。需要が減る見方と増える見方を並べ、売買の推奨はしません。

    【基礎】 GPU時間の外にある推論の資源

    画像

    LLM(大規模言語モデル)に長い文書を渡すと、モデルはまず入力を全部読みます。この段階がprefillです。

    次に、モデルは1トークンずつ答えを作ります。この段階がdecodeです。

    読んだ内容は、KVキャッシュというメモリ上のデータとして残ります。生成のたびにこのデータを参照するので、入力が長いほど必要なメモリが増えます。

    置き場所は一つではありません。HBM(GPUの隣にある高速メモリ)に常駐させる分と、SSDやホストのメモリに置く分があります。

    データの移動には帯域も要ります。GPUを何時間使うかだけでは、推論の需要は測れません。

    【違い】 四つの資源に分ける需要の測り方

    画像

    従来は、推論の需要をGPUの台数と時間でまとめて考えがちでした。効率化も、GPU時間が減るかどうかの一点で読まれていました。

    資源ごとに分けると、効率化がどの資源を減らすかが見えます。

    右の列は、この記事の整理です。調査メモは、メモリとストレージの需要の形が変わりうるのは推論で、裏付けは無いとしています。

    【仕組み】 メモリの必要量に当たるKVキャッシュの圧縮

    論文(arXiv 2609.19969)によると、DeepSeek-V4.1-Flashはバックボーンが552BパラメータのMoEです。MoEは、入力ごとに一部の専門家だけを動かす構造で、このモデルの最大長は100万トークンです。

    同じ論文は、別の記憶モジュールEngramが196Bパラメータだとも述べています。入力を読むときのパラメータは8B、生成するときは16Bです。

    層をまたいでKVキャッシュを再利用するCSA2と、4ビットのFP4を組み合わせています。HBMに常駐する全体のKVは1トークンあたり890バイトで、前世代のV4-Flashの約4分の1です。

    SSDやホストメモリに置く永続分は、SWA Bounded Replayという配置で、V4-Flashの約8分の1になります。

    The Batchの解説は、40層のうち入力全体のキャッシュを計算するのは4層だけだと述べています。論文の層の割り当ても、Full Modeはエンコーダに3層、デコーダに1層です。

    prefillの計算はほぼ半分になると、論文は述べています。入力を4,000トークンから100万トークンに伸ばしても、出力1トークンの計算は4分の1しか増えないと、論文は述べています。

    画像

    これらの数字は、DeepSeek-AIの論文に書かれたものです。今回開いたThe Batchは、この論文の解説です。

    【具体例】 100万トークンの文書を読む仕事の必要量

    100万トークンの文書を1件読ませる場合を考えます。HBM常駐のKVは、890バイト×100万で約0.89GBです。

    前世代はこの約4倍なので、約3.5GB前後になります。これは公表値からの概算で、測定値ではありません。

    同じHBMに、概算で約4倍の文書を同時に載せられます。載せる数を変えなければ、必要なHBMは減ります。

    ここから先は二つの道です。事業者が台数を減らせばGPUの需要は下がり、空いた分で同時処理を増やすならGPUの需要は変わりません。

    この選択は、利用者が安くなった推論をどれだけ使うかにかかっています。

    【関連概念】 総需要が減る見方と増える見方

    一仕事あたりの必要量が減っても、総需要の向きは決まりません。

    画像

    減る見方の例として、Reutersが伝えたEastspring Investmentsの運用担当者は、計算容量への需要が続くか、市場は疑問を強めていると述べています。増える見方の例として、CNBCが伝えたJPMorganは、データセンター需要がここ数か月で強まったと分析しています。

    右の見方の名前は、ジェボンズのパラドックスです。資源の使い方が効率化すると、総消費がかえって増える現象です。

    現時点では、どちらの見方が当たるかを示す確定的な証拠はありません。

    ここで並べるのは、容量の契約だけです。Reutersの解説によると、Q2末の受注残は1,042億ドルで、Nvidiaは2032年4月まで売れ残り容量を買う契約を結んでいます。

    CNBCが伝えたJPMorganは、容量の多くが長期のtake-or-pay契約で事前に売られていると述べています。これは、利用が少なくても顧客が代金を払う約束です。

    同じCNBCは、その契約の強さや、受注残を売上とみなすことへの疑問も伝えています。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    Chip Huyen『AIエンジニアリング ―基盤モデルを用いたAIアプリケーション開発の基礎と実践』(加賀谷諒、菅野憲也訳、オライリー・ジャパン)は、基盤モデルを使うアプリ開発の全体を扱う本です。推論に要る資源を、サービス設計の側から考える足場になります。

    関連記事

    【まとめ】 単価より一仕事あたりの必要量

    ニュースを読むときは、「安くなった」で止まらず、何の必要量が減ったかを聞き直します。今回の問いに、現時点で確定した答えはありません。

    自分で試せる読み方は、次の三つです。

    1. 効率化の発表が、計算、HBM、SSD、帯域のどれを減らすと言っているかを分けて読みます。

    2. その数字が、自社の論文や発表か、独立した評価かを確認します。

    3. 自分のサービスで、空いた資源を台数の削減に回すのか、同時処理や長い文脈に回すのかを見積もります。

    契約や受注残の更新は、CNBCが11月予定とする次の決算で増えます。

    参考情報

    この記事はnoteマネーにピックアップされました

    noteマネー 今週の特集「AI株を占うエヌビディア決算」
     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ