FreeTokenってなんだ？
来期のAI予算、いくらで出しましたか。
たぶん、去年の実績に少し足した数字を書いたと思います。それが今、いちばん危ない見積もりです。
理由は単純で、AIのコストは人数ではなく、使い方で決まる時代に入ったからです。チャットに質問するだけなら微々たるものですが、AIエージェントに仕事をさせ始めた瞬間、消費するトークンが桁で増えます。読ませる、考えさせる、ツールを叩かせる、その結果をまた読ませる。この往復ぜんぶが課金対象です。
そして今日紹介する論文は、その前提を横からひっくり返しにきています。
出したのはUCバークレー、テキサス大オースティン、MITの研究者たち。名前を見て、私はコーヒーを置きました。
動画で観たい方はこちら
技術者向けはこちら
時間がない人向けまとめ
2026年8月17日、FreeToken という推論エンジンの論文がarXivに投稿された
著者にはvLLMやSGLangの中心人物、Databricksの共同創業者マテイ・ザハリア、MITのソン・ハンらが並ぶ
主張はこう。フロンティア級のAIを動かすのに、データセンターはもう要らない
8GBのノートPCで350億パラメータのモデルが毎秒39.3トークン。これはOpenAIのCodexの実運用中央値である毎秒33トークンより速い
32GBのゲーミングPCで2,840億パラメータ、96GBのワークステーションで7,530億パラメータが動く
新しいハードは1台も使っていない。変えたのはソフトだけ
あなたの会社のAI利用料が、100人規模なら年間4,770万円に達しうるという計算も、この記事の中でやります
先に結論を書きます。この論文がビジネス側に突きつけているのは、性能の話ではありません。AIの利用料が、これからも変動費であり続けるとは限らないという話です。
まず、自分の会社の請求額を見てください
Anthropicのコーディングエージェント Claude Code の公式ドキュメントには、企業導入における平均コストがはっきり書かれています。
around $13 per developer per active day
和訳: 開発者1人あたり、稼働日1日で約13ドル。
同じページには、月額の目安も書かれています。開発者1人あたり月150ドルから250ドル。そして利用者の90%は1日30ドル以下に収まる、とも。
出典: Anthropic 公式ドキュメント Manage costs effectively
これを円にします。為替は執筆時点の2026年8月27日、ドル円159円で計算します。
1人1日あたり約2,067円
1人1か月あたり23,850円から39,750円
使う人の上位10%は1日4,770円を超えることもある
ここからが本題です。
開発者30人のチームなら、月に71万5,500円から119万2,500円。年間で858万円から1,431万円です。
100人なら、年間2,862万円から4,770万円。
もう一度書きます。年間4,770万円。これは新規事業の予算ではなく、既存の開発チームが今年から追加で払い始めた金額の話です。しかも人数が増えれば増えるし、エージェントの使い方が上手くなるほど増えます。皮肉なことに、社内でAI活用が進むほど請求額が伸びる構造になっています。
役員会でこの数字を出すと、だいたい2種類の反応が返ってきます。「投資だから当然」か、「来年これ倍になるのか」か。後者を言われた人が、この記事の主な読者です。
FreeTokenを、1行で
2026年8月17日、arXivに投稿された論文があります。タイトルは FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution。
出典: arXiv:2608.16157（2026年8月17日投稿）
1行で言うと、すでに持っているPCで、フロンティア級のAIモデルを実用速度で動かすためのソフトです。
新しいGPUを買え、という話ではありません。買い足すものはゼロです。ソフトを入れ替えるだけで、同じ機械が1.3倍から2.3倍速くなり、これまで動かなかったサイズのモデルが動くようになる。
そして、この論文でいちばん引用されるであろう一文がこれです。
not who can afford to run it
和訳: 誰がそれを動かす金を払えるか、ではない。
前後を補うと、こういう意味です。モデルの重みを公開することは、誰がそのモデルを手に入れられるかを決めるだけであって、誰がそれを動かし続ける金を払えるかは決めていない。
オープンモデルは無料で配られている。でも動かすには数百万ドルのGPUクラスタか、従量課金のAPIが要る。だから結局、金のあるところだけが使える。論文はこの状態を、能力の格差ではなくアクセスの格差と呼んでいます。
そこに、著者陣の名前が効いてきます。
Ion Stoica。Databricks と Anyscale の共同創業者
Matei Zaharia。Apache Spark の作者、Databricks CTO
Song Han。MITの教授で、モデル圧縮の分野では避けて通れない人
Kurt Keutzer。UCバークレー
ついでに言うと、いまAI業界の推論基盤を支えている vLLM と SGLang は、どちらもこの周辺から出ています。
つまりこれは、どこかの学生の思いつきではありません。データセンター側の推論基盤を作ってきた本人たちが、今度は反対方向に走り出した、という話です。
なぜ今まで、手元のPCでは無理だったのか
ここは技術の話ですが、たとえ話でいきます。技術用語はあとで回収するので、いったん忘れてください。
いまの主要なAIモデルの多くは、MoE（混合エキスパート）という構造をしています。DeepSeek、Qwen、GLM、Kimi、そしてOpenAIが重みを公開した gpt-oss。公開されているものは、ほぼこの形です。
これを、大きな相談センターだと思ってください。
倉庫には、専門分野ごとの相談員が数百人待機している
窓口のカウンターには、席が数席しかない
相談が1件来るたび、受付が「この案件はこの人」と数人だけ指名する
指名された人は倉庫から台車で運ばれてきて、窓口で応対する
ここで大事なのは、1件の相談に出てくるのは数人だけ、という点です。論文が例に挙げる DeepSeek-V4-Flash は、43の階層それぞれで256人から6人を選びます。2,840億パラメータのうち、1トークンの処理に参加するのは130億だけ。
だから計算量は劇的に小さい。ゲーミングPCのGPUでも足りる。
問題はここからです。
呼ばれなかった残り2,710億人分の相談員も、いつ指名されるか分からない以上、倉庫で待機していなければならないのです。倉庫は畳めないのです。
そして、倉庫と窓口をつなぐ通路が細い。ここが今まで、手元のPCでAIが遅かった理由のほぼすべてです。GPUが弱いからではなく、相談員を運ぶ通路が詰まっていたから。
社内で似た光景、見たことありませんか。優秀な人は揃っているのに、承認フローと会議室の空きが足りなくて何も進まない、あの状態です。ハードウェアも同じことになっていました。
FreeTokenが変えたのは、判断の仕方だった
では何をしたのか。3つあります。全部、経営会議で使える言葉に翻訳できます。
1. 通路が詰まるなら、倉庫の中で仕事をさせればいい
席にいない相談員が指名されたとき、従来のソフトは選択肢を1つしか持っていませんでした。台車で窓口まで運ぶ。運び終わるまでGPUは待つ。
FreeTokenは、運ぶ人数とその場で処理させる人数を、そのマシンの実測値から毎回計算して振り分けます。式は驚くほど単純で、2本の通路の太さの比を、ミスした人数に掛けるだけです。
ここが効きます。カタログスペックからは決まらないと論文は明言しています。同じRTX 5090を積んでいても、サーバ用マザーボードか一般的な自作PCかで、最適な振り分けはまったく別物になる。だから測る。
経営の言葉に直すと、標準化された全社ルールをやめて、現場ごとの実測値で配分を決めた、ということです。
2. 席に誰を残すかを、固定するのをやめた
従来のソフトは、起動時に「よく使う相談員」を決めて席に固定していました。ところが実際の指名は、話題が変わるたびに動きます。
FreeTokenは、直近に呼ばれた人を席に残し、しばらく呼ばれていない人を倉庫に返す方式にしました。結果、席から外れて取り寄せになる割合が16%まで下がっています。従来の方式は41%と62%です。
3. 会議室が急に取られても、壊れないようにした
個人のPCは、AI専用機ではありません。ブラウザもゲームもExcelも同じメモリを奪いに来ます。
FreeTokenは、途中でメモリが減っても、エンジンを再起動せずに配分を組み替えられるようにしました。倉庫が正本で、窓口は速度にしか関係しない。だから壊れない。
この設計思想、社内システムの担当者が聞くと少し泣くと思います。
なお、この「中で何が起きているか」を自分の手で作って理解しておくと、こういうニュースの読み方が一段変わります。ベンダーの営業資料に書いてあることの半分が、構造上ありえないと分かるようになる。私が0から言語モデルを組み立てた手順はこちらにまとめました。
数字を見ます。ここが本題です
論文が報告している実測値を並べます。
まず、8GBのノートPCから。RTX 4060を積んだ、いま世界でいちばんよく売れているクラスのノートです。ここで350億パラメータのモデルが毎秒39.3トークン。
比較対象を置きます。論文が引用している実運用トレースによると、OpenAIのCodexの生成速度の中央値は毎秒33トークンです。
8GBのノートPCが、商用コーディングエージェントの体感速度を超えました
続けます。
24GBのRTX 3090 / 4090で、既存ソフト比1.3倍
32GBのRTX 5090デスクトップで2.1倍
同じ32GBのマシンで、2,840億パラメータの DeepSeek-V4-Flash が毎秒22から25トークン
96GBのワークステーションGPU1枚で、7,530億パラメータの GLM-5.2 が毎秒14.9トークン。従来ソフトは毎秒7.3トークンだった
7,530億パラメータのモデルが、机の上の1台で動く。数年前なら、この文は誰も信じなかったはずです。
そして、ここに一切のごまかしがありません。論文は、モデルを間引いたり精度を落としたりしていないと明記しています。出力はビット単位で通常実行と一致する。近似ではなく、同じ答えが速く出ています。
「遅い」と「動かない」は、まったく違う話です
ここが、非エンジニアの方にいちばん持ち帰ってほしいところです。
論文には、平均値より怖い数字が載っています。最初の1文字が返るまでの時間、その最悪値です。
FreeToken: 全条件で44秒未満
llama.cpp: 最悪232秒
Ollama: 最悪179秒
KTransformers: 最悪946秒
946秒。15分以上です。
ここで論文は、ただ遅いという話にしません。実際のエージェントには、待ち時間の上限が設定されていると指摘します。OpenClawには120秒で切り上げる監視機能があり、Claude Codeの標準タイムアウトはおよそ10分。
つまり946秒は、遅いのではなく、そもそも仕事が完了しないという意味です。
これ、社内のPoCで死ぬほど見た光景ではないでしょうか。
デモは動いた。平均応答も悪くなかった。なのに現場に配ったら「たまに固まる」「途中で終わる」という報告が上がってきて、いつのまにか誰も使わなくなる。原因を追う人もいない。稟議だけが残る。
平均値で評価したPoCは、こうやって静かに死にます。評価すべきは平均ではなく、最悪値です。この1行だけでも、次の選定会議で使えます。
さらに論文は、単発のベンチマークがエージェント用途の性能を過大評価すると指摘しています。実際、会話が長くなるとFreeTokenは単発時から12%以内の落ち込みで済んだのに対し、比較対象の1つは早い段階で31%落ちました。
ベンダーが持ってくる比較表は、たいてい単発測定です。覚えておいて損はありません。
で、明日から全部ローカルにできるのか
できません。ここは冷静にいきます。
その1、GPUの値段がいま壊れています
RTX 5090の日本での単体最安値は、2026年8月26日時点で86万7,482円という観測が出ています。1年足らずで倍近い水準です。メモリ価格の高騰と供給不足が直撃しています。
出典: gazlog（2026年8月26日時点の実勢価格観測）
なので「GPUを買えばAPI代より安い」という雑な計算は、いま通用しません。1台86万円のGPUと、1人年間28万円のAPI利用料。3年使ってようやくトントンで、電気代と保守と故障は別勘定です。
その2、すでに持っているマシンなら話が変わります
論文が強調しているのはここです。世界にはすでに1億台以上の、ディスクリートGPUを積んだ個人向けマシンがあります。Steamの調査によれば、月間2億人のユーザーのうち約72%のマシンにNVIDIAのGPUが載っており、最も多い機種はRTX 4060のノート版です。
そう、論文が毎秒39.3トークンを叩き出した、あの8GBのノートです。
つまり、買う話ではなく、眠っている資産を起こす話として読むのが正しい。開発部の机の上に、すでに何十台もあるはずです。
その3、品質はまだフロンティアと同じではありません
7,530億パラメータのモデルが毎秒14.9トークンというのは、動くという意味であって、快適という意味ではありません。人間が読む速度よりは速いですが、大量のバッチ処理には向きません。
その4、誰が面倒を見るのか問題
これがいちばん現実的な壁です。ソフトはApache-2.0で公開されており、GitHubのスター数は公開から数週間で8,000を超え、Windows/Linux向けのGUIアプリも配布されています。導入自体は難しくない。
でも、社内の20台のPCにこれを入れて、モデルを更新して、トラブルに対応する人が要ります。情シスがすでに悲鳴を上げている会社では、これは新しい負債になります。
出典: FlashML-org/FreeToken（GitHub, Apache-2.0）
それでも、経営が見るべき論点は3つあります
コストの話だけをしていると、本質を外します。私が思う論点はこれです。
論点1: 機密情報を外に出さずに済む業務が、一気に増える
これは金額に換算しにくいのに、いちばん効きます。
契約書のレビュー、患者データの要約、未公開の財務資料の分析、社内の人事評価コメントの集計。いま全部、外部APIに送れないという理由で止まっているはずです。
そのマシンから1バイトも出ないなら、法務の判断が変わります。稟議の文面が変わります。
医療、法務、金融、防衛、そして知財が命の研究開発。この5領域は、性能ではなく送信しなくていいという一点で導入判断が動きます。
論点2: 変動費を、固定費に変えられるかもしれない
いまのAIコストは完全な変動費です。予算が読めないし、使うほど増える。
一部の定型業務をローカルに逃がせると、その分が固定費になります。たとえば開発者30人のチームで、テストコードの生成、ログの要約、コードレビューの下書きといった定型タスクの3割をローカルに移せたなら、年間258万円から429万円が減る計算です。
これは節約というより、予算の予測可能性が上がるという話です。CFOが喜ぶのは後者のほうです。
論点3: ロックインの解除が、交渉カードになる
いま、多くの会社はAIベンダー1社に完全に依存しています。値上げされたら、飲むしかない。
手元で動く選択肢が実在するというだけで、交渉のテーブルの形が変わります。実際に全部移す必要はありません。「移せる」という事実だけで十分です。
これは技術ではなく、調達の話です。だから、この記事を読むべきなのはエンジニアではなく、あなたです。
明日やること
3つだけ書きます。全部、あなた1人で今週できます。
1. 請求額を、1人あたり月額に割り直す
総額で見ると麻痺します。1人あたり月2万4千円から4万円という数字に直してください。そして人数を掛けて、12を掛ける。
この1枚のスライドが、来期の議論の起点になります。
2. 「外に出せないから止まっている業務」を、部署ごとに1つずつ挙げてもらう
禁止リストではなく、機会損失リストを作ります。
これが後で、ローカル推論の投資対効果を説明するときの根拠になります。今のうちに作っておくと、半年後のあなたが感謝します。
3. 次のベンダー比較で、最悪値を聞く
平均応答時間ではなく、最悪の応答時間を出してくださいと言ってください。そして単発ではなく、10往復させたときの数字も。
この2つを聞ける発注者は、社内でかなり希少です。会議室の空気が変わります。
なお、ローカルでモデルを回し始めると、机の上の環境がボトルネックになります。生成中の画面と作業画面を並べる必要が出てくるので、モニターはケチらないほうがいいです。私の実機ベースの選定はこちらにまとめました。
2026年 超厳選おすすめモニター 現役エンジニアのベストバイ
そして、社内にAIを入れる段になると、技術ではなく人と制度のほうで詰まります。その壁の越え方はこちらに全部書きました。
技術的な詳細を読みたい方へ
この記事では、たとえ話と経営インパクトに寄せました。
帯域比から最適な振り分け人数を求める式、それを整数に丸めるときに27.6%も損をした検証、自分のPCで2本の帯域を実測するPythonスクリプト。このあたりを実際に手を動かして検証したものは、Qiitaに書いています。
FreeTokenってなんだ？ 8GBノートPCで35Bを動かす判断基準
エンジニアの方に転送すると、たぶん喜ばれます。
最後に
この論文を読んで、私がいちばん引っかかったのは速度の数字ではありませんでした。
結論部で、こういう趣旨のことが書かれています。
ローカルAIの限界を決めているのは、ハードウェアの容量だけではなく、すでに手元にある資源をどう組み合わせるかというソフトウェアの側にもある。
意訳すると、足りないのは機械ではなく機械の使い方だったということです。
これ、AIの話に見えて、たぶん組織の話でもあります。
多くの会社が「人が足りない」「予算が足りない」と言い続けているとき、実際に足りていないのは配分の判断だったりします。優秀な人はいる。でも通路が詰まっている。誰をどこに置くか、誰にその場で判断させるかを、カタログスペックではなく実測値で決めていない。
FreeTokenがやったのは、その1点です。ハードは1つも増やさず、判断の仕方だけを変えて、2倍を出した。
来期のAI予算を書くとき、去年の実績に1.3を掛ける前に、1回だけ考えてみてください。
うちが本当に足りていないのは、GPUでしょうか。それとも、どこに何を置くかを決める人でしょうか。
答えを書ける立場に、いまあなたは座っています。
AIをどこから学び直すか決めかねている人は、こちらもどうぞ。私が実際に取った資格と、その勉強法をまとめています。
おすすめマガジン
AIの勉強、ここからはじめて！
合格者が語るおすすめAI資格と合格法直伝マガジン！
AI導入には乗り越えなければならない壁がある！
社内導入に必要なあれこれを総まとめ！
チャットAIを自分で0からつくってみよう！
Mac編:
Windows編:
筆者X
AI最新情報(ポエム多め)を発信中！
X:
Qiita:
Zenn:
いいなと思ったら応援しよう！
この記事は noteマネー にピックアップされました
