MoEってなんだ？ 〜AIのパラメータ数は、もう単独では何も意味しない？〜
ベンダーの提案書に、こう書いてありませんでしたか。
「当社が採用しているのは7,000億パラメータの最新モデルです」
数字がでかい。すごそう。稟議も通りそう。
その7,000億のうち、あなたの質問1つを処理するのに実際に動いているのは、370億です。残りの6,630億、つまり全体の94.5%は、その瞬間なにもしていません
これは不具合ではありません。設計です。MoEという名前がついています。
そして、この設計のおかげで、AIの学習コストは1桁下がりました。日本円で言うと、90億円ぶんくらいです。
今日はその話をします。
時間がない人向けまとめ
MoEはMixture of Expertsの略。日本語では混合エキスパート
仕組みは単純で、モデルの中に専門家をたくさん置き、入力ごとに数人だけを呼び出す
効果は、総パラメータを増やしても1トークンあたりの計算量が増えないこと
DeepSeek-V3の学習コストは公表値で557万6,000ドル、約8億9,400万円
同世代のdenseモデルLlama 3.1 405Bは30.84M GPU時間。同じ単価で置き換えると約98億9,000万円
差は約90億円。倍率にして11.06倍
Metaは2024年に「MoEは使わない」と公言し、2025年に前言を撤回してMoEへ転向した
ChatGPT、Gemini、Claudeの裏側でも、公開されている範囲ではMoEが主流になっている
ただしMoEが節約するのは計算だけで、メモリは1バイトも減らない
API単価で言うと、入力100万トークンが35円のモデルと801円のモデルが同時に存在する時代になった
先に結論を書きます。ベンダー資料のパラメータ数は、もう単独では何も意味しません。総パラメータとアクティブパラメータ、2つ聞かないと見積もりが必ず外れます。
MoEを、1行で
大きな総合病院の外来だと思ってください。
患者が来る。受付がカルテをちらっと見て、「これは循環器」「これは整形外科」と振り分ける。患者は指名された2つか3つの科だけを回って帰ります。
全科を順番に回らされたりはしません。当たり前ですよね。
これがMoEです。診療科がエキスパート、受付がルーターと呼ばれる部品です。
対比になるのがdenseモデル、日本語で言うと密なモデルです。こちらには受付がありません。全員が全科を必ず回ります。だから診療科を2倍に増やすと、患者1人あたりの診察時間もきっちり2倍になる。
賢さを買うと、必ず同額の遅さを支払う。これがdenseの構造です。
MoEはこの綱引きを切りました。診療科を増やしても、1人あたりの診察時間は増えない。増えるのは建物の広さだけです。
この発想自体は新しくありません。2017年にGoogle Brainのグループが出した論文が原典で、当時すでにパラメータを1000倍にしながら計算量をほぼ据え置くことに成功しています。8年前の話です。
新しいのは、これが実験室を出て、いま世界中の請求書に効き始めたことのほうです。
学習コストの差は、約90億円でした
数字にいきます。ここが本題です。
まずMoE側。DeepSeek-V3の技術報告書に、こう書かれています。
our total training costs amount to only $5.576M
和訳: 総学習コストは、わずか557万6,000ドルにとどまる。
内訳も出ています。事前学習に266万4,000 GPU時間、文脈長の拡張に11万9,000、事後学習に5,000。合計278万8,000 H800 GPU時間。これに1 GPU時間あたり2ドルというレンタル単価を掛けた数字が、557万6,000ドルです。
為替は2026年9月2日の対顧客電信売買相場仲値、1ドル160円29銭で計算します。出典は七十七銀行です。
557万6,000ドルは、約8億9,400万円です。
次にdense側。比較対象はMeta のLlama 3.1 405Bにします。時期も性能帯も近く、そして公式モデルカードにGPU時間が載っているからです。
数字は3,084万 H100 GPU時間。DeepSeek-V3の11.06倍です。
ここは前提を明記します。Metaは金額を公表していません。なので、DeepSeekが使ったのと同じ1 GPU時間2ドルという単価を機械的に当てはめます。すると6,168万ドル、約98億9,000万円になります。
差額、約90億円。
そして、この計算はMeta側にかなり有利です。H800はH100より通信帯域が絞られた輸出規制対応版で、レンタル単価は普通H100のほうが高い。実勢で計算すれば差はもっと開きます。
まとめるとこうなります。
MoEのDeepSeek-V3: 278万8,000 GPU時間、約8億9,400万円
denseのLlama 3.1 405B: 3,084万 GPU時間、約98億9,000万円（同単価換算）
倍率: 11.06倍
同じくらいの性能を出すのに、片方は9億円、片方は99億円。
新規事業の予算会議に、この2枚の見積もりが並んだところを想像してみてください。技術選定の話に見えて、実際は投資判断の話です。
Metaが、前言を撤回した日
ここからが個人的にいちばん好きなくだりです。
2024年7月、MetaはLlama 3.1の公式ブログでこう書いていました。
rather than a mixture-of-experts model to maximize training stability
和訳: 学習の安定性を最大化するため、混合エキスパートモデルではなく。
読み替えるとこうです。MoEという選択肢は知っている。検討もした。でも壊れやすいから使わない。
当時これは妥当な判断でした。MoEは学習が不安定になることが知られていて、実際その2か月後にGoogleが出したGemini 2.5の技術報告書でも、大規模MoEの学習不安定性は正面から課題として扱われています。
そして2025年4月、Metaはこう書きました。
our first models that use a mixture of experts (MoE) architecture
和訳: 混合エキスパート構造を採用した、私たちにとって初のモデル。
9か月で反転しています。
Llama 4 Scoutは総1,090億で、1トークンあたり170億だけを使う。Llama 4 Maverickは総4,000億で、動くのはやはり170億。
そして学習に使ったGPU時間は、Scoutが500万、Maverickが238万。2モデル合わせて738万 GPU時間です。前世代の405B単体が3,084万だったことを思い出してください。4分の1以下になっています。
この転向は、技術的な好みの問題ではありません。桁で負けるコスト構造を、そのまま抱え続けられなかった、というだけの話です。
企業でも同じ光景を見ませんか。方針として一度否定した選択肢が、数字で殴られて1年後に標準になる。悪いことではありません。数字が判断を変えたなら、それは健全な組織です。
Googleはもっと早く、もっと堂々と乗り換えています。2024年2月のGemini 1.5発表がこれです。
more efficient to train and serve, with a new Mixture-of-Experts (MoE) architecture
和訳: 新しい混合エキスパート構造により、学習と提供がより効率的に。
Gemini 2.5の技術報告書には、この設計が何をしているのかが端的に書かれています。
https://arxiv.org/pdf/2507.06261
decouple total model capacity from computation and serving cost per token
和訳: モデルの総容量を、トークンあたりの計算コストと提供コストから切り離す。
decouple、切り離す。この単語がすべてです。
賢さの値段と、速さの値段が、別々の請求書になった
いままでは束ねて売られていたものが、分離した。ビジネス側にとってのMoEは、要するにこれだけの話です。
OpenAIは、9割を4ビットに落とした
もう1本だけ一次情報を置きます。OpenAIが2025年8月に重みを公開したgpt-oss-120bのモデルカードです。
https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf
The MoE weights are responsible for 90+% of the total parameter count
和訳: MoEの重みが、総パラメータ数の90%以上を占める。
総1,168億に対して、1トークンで動くのは51億。**稼働率4.4%**です。
そしてここが実務的に効くところなのですが、OpenAIはこの90%以上を占めるエキスパート部分だけを4.25ビットまで圧縮しました。結果、1,168億パラメータのモデルが80GBのGPU1枚に載るようになった。
やっていることは、こう言い換えられます。ほとんど使われない書類を圧縮ファイルにして倉庫に入れ、毎日使う書類だけ机の上に置いた。
倉庫のほうが体積の9割を占めているから、そこを圧縮すると全体が劇的に小さくなる。地味ですが、効きます。
このあたり、自分で小さいモデルを組んでみると腹に落ちます。私も最初はブラックボックスだと思っていましたが、実際にファイルを開いてテンソルの名前を眺めると、エキスパートの重みが物理的にどこにあるかが見えるようになる。ベンダー資料の読み方が変わります。手順は数学抜きでまとめてあります。
節約できたのは計算だけで、家賃は満額です
ここ、この記事でいちばん誤解されているところです。
MoEは計算量を9割以上カットします。でも、メモリは1バイトも減りません
理由は考えれば当たり前で、呼ばれなかった診療科の医師も、いつ指名されるか分からない以上、病院にいなければならないからです。給料も払い続けている。ただ今日は患者が来なかっただけ。
数字で言うとこうです。gpt-oss-120bは51億しか動きませんが、1,168億ぶんの重みは全部メモリに載っています。DeepSeek-V3は671億ではなく6,710億ぶんが常駐します。
これが実務にどう跳ねるか、3つ挙げます。
1つめ、社内サーバの見積もりが必ず外れます
「アクティブが30億だから、8GBのGPUで足ります」という説明を受けたら、それは間違いです。ファイルサイズと常駐メモリは総パラメータで決まります。速度だけがアクティブパラメータで決まる。
見積もり式が2本必要になった、というのがMoE時代の実務上の変化です。
2つめ、使われないエキスパートが出ます
ルーターには厄介な癖があって、よく選ばれる科ほど成長し、成長するほど選ばれます。放っておくと数科に患者が集中して、残りは開店休業になる。ルーティング崩壊と呼ばれる現象です。
私が手元の小さいモデルで実験したときは、対策なしだと8科中3科が完全に死にました。総パラメータの37%が、一度も使われないまま家賃だけ食っていたことになります。
3つめ、小さい仕事では逆に遅くなります
患者を仕分けて各科に振り分ける事務作業そのものにコストがかかるので、患者が1人しか来ない時間帯は、素直な小さい病院のほうが速い。
まとめると、MoEは無料の高速化ではありません。計算を安くする代わりに、メモリと運用の複雑さを買っています
このあたりの実測値、負荷分布のログ、llama.cppでエキスパートだけをCPUに逃がすときのオプションまで、手を動かして検証したものはQiitaに置いてあります。エンジニアの方に転送すると、たぶん喜ばれます。
MoE（Mixture of Experts）ってなんだ？ 総パラメータでVRAMを見積もると必ず外す理由
で、請求書はいくら変わるのか
学習コストの話は、正直あなたの財布とは直接つながりません。学習するのはラボの仕事です。
つながるのは、こっちです。
DeepSeekの公式価格表を見ます。
The expense = number of tokens × price.
和訳: 費用は、トークン数×単価。
2026年9月3日時点で、deepseek-v4-flashのオフピーク単価は入力100万トークンあたり0.22ドル、出力100万トークンあたり0.66ドルです。ピーク時はその2倍。
一方、フロンティア級の代表として、Anthropicの公式ページを見ます。
$5 per million input tokens and $25 per million output tokens
和訳: 入力100万トークンあたり5ドル、出力100万トークンあたり25ドル。
同じ160円29銭で円にします。
deepseek-v4-flash 入力100万トークン: 約35円
deepseek-v4-flash 出力100万トークン: 約106円
Claude Opus 5 入力100万トークン: 約801円
Claude Opus 5 出力100万トークン: 約4,007円
入力で22.7倍、出力で37.9倍の開きがあります。
会社の規模に直します。月に入力10億トークンを読ませる会社、たとえば社員100人が1日あたり数十万トークンぶんの資料をAIに読ませている規模だとします。
deepseek-v4-flashで通した場合: 年間 約42万円
Claude Opus 5で通した場合: 年間 約962万円
差は約920万円。人ひとり雇えます。
ここで大事な但し書きを2つ書きます。
その1、性能は同じではありません。この2つを同列に並べるのはフェアではない。難しい設計判断や長時間のエージェント作業では、単価の高いモデルのほうが結果的に安くつく場面が普通にあります。3回やり直すより1回で終わるほうが安い、というのはAIでも同じです。
その2、DeepSeekの安さはMoEだけの成果ではありません。推論基盤の作り込み、キャッシュ設計、そして戦略的な価格設定が乗っています。MoEはその前提条件であって、単独の理由ではない。
それでも構造としてこう言えます。MoEがなければ、この価格帯のモデルはそもそも存在できませんでした。全パラメータを毎回動かす設計のままでは、1トークン35円というのは物理的に無理な数字です。
ちなみに、この単価の低下は節約にはなりません。安くなると使用量が増えるからです。エージェントに仕事をさせ始めた瞬間、トークンは桁で増えます。そのあたりは別記事で計算しました。
明日やること
3つだけです。全部、今週あなた1人でできます。
1. 提案書のパラメータ数に、1問だけ足す
次のベンダー面談で、この質問を持っていってください。
「その数字は、総パラメータですか、アクティブパラメータですか」
これだけです。
答えられないベンダーは、モデルを自分で動かしたことがありません。カタログを転記しているだけです。
答えられたら、続けてもう1問。
「では、推論に必要なメモリは何GBですか」
アクティブの数字でメモリを答えてきたら、その見積もりは間違っています。総パラメータで計算し直させてください。オンプレ構成なら、ここで数百万円単位の差が出ます。
2. 請求書を、100万トークンあたりの単価に割り直す
総額で見ると麻痺します。1人あたりでも、まだ粗い。
100万トークンあたり何円かまで割ってください。この単位で並べると、モデルを変えるだけで何が起きるかが一目で分かります。
そして、その表を持って、いま使っているモデルのうち1つを1段階安いものに置き換える実験をしてください。全部やる必要はありません。ログの要約とか、分類とか、失敗しても取り返しがつく仕事から1つでいい。
3. 使っていないエキスパートを、社内で探す
これは比喩ではなく、実務の話です。
MoEの教訓は、能力を増やしてもコストが増えない構造を作れということでした。全員に全部やらせるのをやめて、案件ごとに担当を指名する。
いまの社内は、たぶん逆になっています。誰も呼ばれないまま席だけがある部署と、全部の案件が集まってパンクしている部署が、同時に存在しているはずです。
ルーティング崩壊です。AIの中で起きていることと、まったく同じ形をしています。
対策も同じで、負荷分布を測ることから始まります。誰にどれだけ仕事が流れているかを、感覚ではなく数で出す。それだけで、死んでいる席が見えます。
社内にAIを入れる段になると、技術ではなく人と制度のほうで詰まります。その壁の越え方は、前例つきでこちらにまとめました。
最後に
この記事を書きながら、いちばん長く手が止まったのは、Metaの2つのブログを並べたときでした。
2024年、学習の安定性を最大化するためMoEは使わない。
2025年、MoEを採用した初のモデルです。
どちらも正しいんですよ。2024年時点でMoEは実際に不安定だったし、2025年時点でdenseは実際にコストが合わなくなっていた。判断が間違っていたのではなく、判断の前提が動いたんです。
これ、AIの話に見えて、たぶん技術選定全般の話です。
私たちは「一度決めたこと」を守るのが得意で、「前提が変わったかどうか」を定期的に確認するのが苦手です。稟議書は残るのに、稟議を書いたときの為替も、GPU単価も、競合の構成も、全部変わっている。
MoEという仕組みそのものが、実はこの問題に対する答えになっています。
固定的に全員を動員するのをやめて、入力ごとに毎回、誰を呼ぶか決め直す。ルーターは学習を続けます。去年うまくいった配分を、今年もそのまま使ったりはしません。
去年決めたAIベンダー、去年決めた社内ルール、去年決めた人員配置。
そのどれか1つでいいので、前提が生きているか確かめてみてください。
たぶん1つは、もう死んでいます。
そして、それに気づける人がいる会社は、まだ間に合います。
やっていきましょう。
そもそもAIの何から勉強し直せばいいか分からない、という方へ。結局いちばん速いのは資格から入ることでした。私が実際に取ったものと勉強法を置いてあります。
参考にした一次情報
DeepSeek-AI「DeepSeek-V3 Technical Report」（arXiv:2412.19437）
Meta「Introducing Llama 3.1: Our most capable models to date」（2024年7月23日）
Meta「The Llama 4 herd」（2025年4月5日）
Meta Llama 3.1 公式モデルカード（GPU時間 3,084万時間の出典）
OpenAI「gpt-oss-120b & gpt-oss-20b Model Card」（2025年8月5日）
https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf
OpenAI「Introducing gpt-oss」
https://openai.com/index/introducing-gpt-oss/
Google「Introducing Gemini 1.5」（2024年2月）
Google DeepMind「Gemini 2.5 Technical Report」
https://arxiv.org/pdf/2507.06261
DeepSeek API 公式価格表 Models & Pricing
Anthropic 公式 Claude Opus 製品ページ
七十七銀行 米ドル対円相場（仲値）一覧表 2026年
おすすめマガジン
AIの勉強、ここからはじめて！
合格者が語るおすすめAI資格と合格法直伝マガジン！
AI導入には乗り越えなければならない壁がある！
社内導入に必要なあれこれを総まとめ！
チャットAIを自分で0からつくってみよう！
Mac編
Windows編
仕事道具、そろえておきませんか
作業効率が変わるガジェットをまとめています
筆者X
AI最新情報(ポエム多め)を発信中！
Qiita
Zenn
