メインコンテンツへスキップ
見出し画像

35BのMoEを、3GiBのメモリで動かす。OSS推論フレームワーク「edge0」の三つの仕掛けを一次情報で解剖する

    本記事の対象

    • 主な対象者:手元のMacでできるだけ大きなLLMを動かしたいエンジニア、オンデバイス推論の実現性を見極めたいPdM・技術系ビジネス職を想定しています。

    • 技術レベル:初級/中級/上級のうち、主に中級を想定しています。

    • 前提知識:MoE(混合エキスパート)、量子化、LoRAといった基礎用語と、Hugging Faceからモデルを取得する基本操作を理解していることを前提とします。専門用語は本文中で短く補足します。

    • この記事で得られるもの:SSDオフロード・prerouter・Recover-LoRAという三つの機構が何を解いているのかを説明でき、自分の環境でedge0を試すべきか判断できるようになります。

    要約

    2026年9月8日にGitHubで公開されたOSS推論フレームワーク「edge0」を、リポジトリ本体と公式ドキュメント、Hugging Faceのモデルカードだけを根拠に読み解きます。前半では、35BクラスのMoEをピーク2.9GiBで動かす三つの仕掛け(SSDエキスパートオフロード、ルーティング先読みのprerouter、量子化劣化を取り戻すRecover-LoRA)を図解で整理します。後半では公開ベンチマークの読み方、実装に埋め込まれた四つの実行パス、そして「いま試すか、待つか」の判断材料を扱います。読了後には、edge0が何を新しくしたのかを自分の言葉で説明できるはずです。

    画像
    図1. edge0公式リポジトリのバナー。掲げているのは「On-Device Native Foundation Models」であり、フラッグシップのEdge0とオンデバイス音声シリーズAudio8が並記されている。単なる推論ツールではなく、端末側で完結させる構想だと分かる。出典: Edge0-AI/Edge0(Apache-2.0)

    「35BのMoEをMacで動かしたい」。この願望には、いつも同じ壁がありました。4bitに量子化しても重みは23GB前後。24GBのMac miniなら理論上は載りますが、OSもブラウザも道連れで窒息します。

    edge0が出してきた答えは、少し意地悪な問い返しです。そもそも全部メモリに載せる必要があるのか?

    edge0は「ランタイム」ではなく「モデルごと」配ってくる

    まず、位置づけを間違えないでおきたい。edge0は推論フレームワークですが、公開されているのはコードだけではありません。

    SSDエキスパートオフロード、Recover-LoRA、prerouterによるルーティング予測。本番運用で検証済みのこのレシピを、拡張可能なフレームワークへ一般化したもの——リポジトリはこう自己定義しています。そして二つのモデルティアが同梱されます。ここが肝心で、公開チェックポイント・学習済みLoRAアダプタ・学習済みprerouterヘッドの三点が、ひとつのモデルディレクトリにまとめて配られる。edge0 serve <tier> を叩けば、学習済みパイプラインがそのまま動きます。

    画像
    表1. 二つのモデルティアの主要スペック。見るべきはディスク占有とピーク実効メモリの落差。23GBの重みを抱えながら、実際に使うメモリは2.9GiBで収まっている。出典: Edge0-AI/Edge0 / Hugging Face モデルカード

    計測機はMac mini M4 Pro(24GB)。数値はいずれもedge0チームの自己計測です。ライセンスはベンダリングした第三者コードも含めてApache-2.0で、商用利用の制限はありません。

    なお、MoEそのものが初耳という方は、初心者でもわかる!大規模言語モデルを賢く効率化する技術:Efficient AttentionとMoE(混合エキスパート)の仕組みを徹底解説で「病院の診療科」に例えた説明をしています。先にそちらを読むと、以降の話が一段軽くなるはずです。

    仕掛け1:エキスパートをSSDに置きっぱなしにする

    MoEの特徴は、パラメータは巨大でも1トークンあたりに動く部分は小さいことです。edge0-35bなら256個のエキスパートのうち、実際に呼ばれるのは4個+共有1個。残り251個は、そのトークンに関しては完全な遊休資産になります。

    にもかかわらず従来の推論エンジンは、全員をメモリに待機させていました。ここに手を入れたのがSSDエキスパートオフロードです。

    画像
    図2. 見るべきは右側の「ピーク2.9GiB」。重み23GBはSSDに置いたまま、mmapで必要な分だけGPUへ引き込む。ピークがパラメータ総数ではなく同時実行数で決まる、という発想の転換がここにある。

    実装は edge0/streaming/ に集約されています。safetensorsをバイト範囲でmmapする mmap.py、層をまたいで共有するLRUキャッシュ cache.py、層ごとに状態機械を持つ layer.py。Qwen3.5-MoEは40層×256エキスパートで、4bit量子化後でも各層のMoE重みは310MB前後になる——全部載せが現実的でない理由が、この一行に凝縮されています。

    「1トークンあたり数十MBを動かす」を「ほぼ何も動かさない」に変えること。これがストリーミング層の設計目標として明記されています。

    MoEのスパース活性がどれだけ極端かは、770Bを積んで49Bしか動かさない。Tencent「Hy4 preview」を公式データだけで読み解くで具体的な数字を追っています。総パラメータと実効パラメータの落差が腹落ちしていると、edge0が突いた隙間の大きさも見えてきます。

    仕掛け2:prerouter——1手先の当番を、先に呼んでおく

    ただ、SSDから読むだけなら誰でも思いつきます。問題はそこから先です。

    MoEのデコードは「前層の出力 → ルーティング計算 → 次層のエキスパート選択」という直列の鎖でできています。ルーティング結果が出るまで、どの重みを読めばいいか分からない。つまり毎ステップ、読み込み待ちが発生する。SSDを使う限り避けられない、この構造的なボトルネックにedge0はprerouterをぶつけました。

    画像
    図3. 注目すべきは矢印が二回ずれること。第N層のヘッドが第N+1層の割り当てを予測し(層シフト)、その予測を次のトークンで使う(トークンシフト)。結果として、読み込みが計算の裏側に隠れる。

    仕組みはこうです。層ごとに小さな予測ヘッド(fc1 → gelu → fc2)を持たせ、第N層のMoE入力から第N+1層のルーティングを予測させる。第N+1層は、第N層のヘッドが1トークン前に出した予測を消費する。二重にずらすことで、予測結果は必ず「使う前」に手元にある状態になります。

    だから、デコードのステージングされたエキスパート集合はprerouterの予測そのものになる。ここが上手いところで、予測が外れて捨てられる分がそもそも存在しません。edge0はこれを「構造上ゼロドロップ」と表現しています。

    効果はデコードスループットで最大+59%、しかもストレージのレイテンシ、モデルサイズ、ルーティング幅Kが大きいほど伸びが増すとされています。裏を返せば、速いNVMeで小さいモデルを動かすなら恩恵は薄い。正直な書き方だと思います。

    ヘッドの規模はティアで違い、edge0-35bは33ヘッド(第6〜38層が保有)、hidden 512のfp16。ちなみに、edge0-8bのヘッド数はドキュメント内で記述が割れています(docs/prerouter.md では22ヘッド・start_layer 1、docs/models/edge0-8b.md では16ヘッド・start_layer 7)。preview段階らしい粗さで、実運用前に実物の重みで確認したいところです。

    仕掛け3:Recover-LoRA——落ちた分を、外付けで取り戻す

    三つ目は品質の話。4bit量子化は容量を8分の1近くまで落とせますが、精度は必ず削れます。ここでedge0が採った手が面白い。

    画像
    図4. 見るべきはベースが「凍結」と書かれている点と、右端の「マージしない」。int4のベースは読み取り専用のまま、外付けのLoRAだけをfp16教師からの蒸留で学習する。

    int4に落としたベースは凍結したまま、fp16のベースモデルを教師にしてLoRAアダプタ(r=16、alpha=32.0)を蒸留学習する。そしてアダプタはマージしない。読み取り専用のベース1つに対して、複数のアダプタセットを差し替えて使える構成です。

    これは地味に効きます。用途別にモデルを持つとき、通常なら量子化からやり直しになる。edge0の構成なら、23GBのベースは共有したまま、アダプタファイルだけを入れ替えればいい。「1つの読み取り専用ベースが多数のLoRAアダプタセットに対応でき、再量子化が不要」という記述は、単一マシンでのバッチ運用を明確に想定しています。

    品質はどこまで保てているのか

    では、実際どれくらい落ちたのか。edge0チームはOpenCompassを使い、int4+アダプタ版とfp16ベース版を同一条件で回した結果を出しています。

    画像
    図5. 見るべきは棒の高さの差。5指標平均で79.2対83.2、差は3.9ポイント。ただしAIME 2026では86.6対92.7と、6ポイント以上開く指標もある。

    平均3.9ポイント差を「小さい」と読むか「大きい」と読むかは用途次第でしょう。私は、汎用チャット用途なら十分許容範囲、数学や競技プログラミング寄りのタスクなら要検証、という線引きが妥当だと思っています。AIMEの落ち幅は明らかに平均より大きい。

    軽量版のedge0-8bは平均2.8ポイント差で、MMLU-Proに至っては70.1と、ベースの65.8を上回っています。量子化してスコアが上がる——これは蒸留の副作用として起こりうる現象ですが、素直に受け取るより「そういう挙動が出る評価だった」と眺めておくほうが健全です。

    そしてもう一点。**この数字はすべてedge0チームによる自己計測であり、第三者による再現報告は執筆時点で見当たりません。**ベンダー自己申告のベンチをどう扱うかについては、Qwen3.8-Max完全ガイド:2.4兆パラメータの新王者は、なぜ重みを"初公開"したのかでも同じ罠を扱いました。公式の一行を鵜呑みにすると実態より強く見える、という話です。

    実装の中身:速さのために答えを変えない

    ここからは、コードを覗いた人向けの話を少し。

    edge0のストリーミング層は、単一の最適解を選ばず、四つの実行パスを場面で使い分けています。

    画像
    図6. 注目したいのは最下段。どのパスも exact との相対L2誤差1%未満をテストで課している。速さのための近似が、答えを変える方向には効かないよう線が引かれている。

    とくに面白いのが staged です。固定スロットの二重バッファを使い、ルーティングの添字がGPUから出ていかない設計になっている。層ごと・ステップごとのホスト同期がゼロになるため、デコードの主力パスとして採用されています。

    一方でedge0-8bは、このstagedをあえて切っています。理由がドキュメントに書かれていて、このティアではstagedデコードが出力を劣化させることが運用検証で分かったから。速い実装を全ティアに横展開せず、ティアごとに検証して落とす。こういう記述が残っているリポジトリは、個人的にわりと信用します。

    アーキテクチャ面では、MLXへの依存が edge0/backends/mlx/ の内側に閉じ込められており、CIがgrepで境界違反を検出する仕組みまで入っています。CUDAバックエンドは backends/cuda/ という空き枠として予約済み。つまり現時点ではApple Silicon専用で、それ以外のプラットフォームは未対応です。ここは誤解しないほうがいい。

    「SSDから流す」は、2026年のローカル推論の主戦場になりつつある

    edge0だけを見ていると新奇に映りますが、実はこの方向は同時多発しています。

    mlx-lm本家のIssue #1438では 、エキスパートの遅延ロードとオンデマンド取得、LRUキャッシュ、次層top-kの先読みプリフェッチが機能要望として立てられています。Swift+Metalで独自にSSDストリーミングを実装したSwiftLM、C/Metalで16GBのMac miniにQwen3.5-35B-A3Bを載せたflash-moeなど、実装も複数走っている。

    そのなかでedge0の差別化点はどこか。私の見立てはこうです。**他の多くがランタイム側の工夫で止まっているのに対し、edge0は「先読みのための小さなネットワーク」と「量子化を補償するアダプタ」を学習してモデルに同梱した。**推論の最適化を、推論だけで閉じずに学習側へ持ち出した点が違う。

    だから比較するときは、tok/sの数字を並べるだけでは足りません。同じベース、同じ量子化、同じ機体で揃えないと意味がない比較になります。

    ローカルでLLMを動かすためのハードウェア選択肢そのものを見直したい方は、もうすぐ発売!?個人でも手が届くAIスーパーコンピュータ「NVIDIA DGX Spark」を徹底調査!もあわせてどうぞ。メモリ帯域という別軸の制約が見えてきます。

    試すか、待つか

    最後に実務的な話を。

    導入のハードルは低めです。Python 3.10以上(3.12推奨)、pip install -e '.[dev,fetch]' で入り、Hugging Faceから1ディレクトリ落とすだけでベースもアダプタも揃う。サーバーはOpenAI互換の /v1/chat/completions を喋るので、既存のクライアントをそのまま向けられます。

    画像
    図7. 見るべきは中段の緑のステップ。いきなり23GBの35bへ行かず、4.2GBの8bで挙動を確かめてから進むほうが、時間もディスクも守れる。

    注意点も並べておきます。サーバーは同時に1リクエストしか処理しません(FIFOキューで直列化)。/v1/completions は400を返します。長文を投げればKVキャッシュが伸び、edge0-8bでも3.3kトークンでピークが約3.1GiBまで上がる。「1GiBで動く」の但し書きは、短いコンテキストの話です。

    そして何より、両モデルとも preview を名乗っています。執筆時点でリポジトリのコミットは33、スターは7。生まれたてです。本番投入の判断は、自分のワークロードで測り直してからにしてください。

    --no-prerouter と --no-lora で各機構を個別に無効化できるので、「prerouterは自分の環境で何%効くのか」を切り分けて計測できます。まずはそこから始めるのが、いちばん誠実な検証だと思います。

    まとめ

    edge0が示したのは、メモリの制約を「量子化でモデルを縮める」以外の方向から外せるという実証です。

    • SSDエキスパートオフロードで、ピークメモリをパラメータ総数から切り離しました。

    • prerouterで、SSDアクセスに付きまとう読み込み待ちを計算の裏に隠しました。

    • Recover-LoRAで、4bit化の劣化を外付けアダプタで取り戻し、ベースを共有可能なまま保ちました。

    現時点ではApple Silicon専用のpreview版であり、ベンチマークも自己計測のみ。手放しでは勧められません。それでも、35B級のモデルが3GiB弱で対話速度を保つという事実は、オンデバイスAIの前提を静かに書き換えます。手元に24GBのMacがあるなら、まず4.2GBのedge0-8bを落として体感してみてください。数字より、そちらのほうが早く納得できるはずです。

    参考資料・使用素材

    関連記事

    この記事が役に立ったら、ぜひスキ❤️やコメントをお願いします!質問があれば、コメント欄でお気軽にどうぞ。

    テクノロジーで、あなたのビジネスに革新を

    画像

    この記事をお読みいただき、ありがとうございます。「システムを作りたいけど、初期投資が高すぎる」「IoT製品を開発したいが、技術とコストの両面で不安」とお悩みではありませんか?

    ✨ 初期費用0円でSaaSを開発。ポノテクのマイクロSaaSサービス

    私たちポノテク株式会社は、お客様専用のSaaSを初期費用0円で開発します。

    画像

    マイクロSaaS開発の特徴

    • 初期費用0円: Webアプリ、モバイルアプリ、デスクトップアプリを無料で開発

    • 月額サブスクで提供: 必要な機能に応じた月額料金で利用開始

    • 買取オプション: サブスク利用中に、システムを自社所有物として買い取ることも可能

    「自社専用のSaaSが欲しいけど、数百万円の初期投資は厳しい」そんな企業様に最適なソリューションです。

    🔧 IoT受託開発 × 補助金活用で、ものづくりを支援

    ハードウェアからソフトウェアまで一貫して開発可能。IoTシステムの構築を、補助金を活用して最大66%のコスト削減で実現します。

    画像

    補助金活用でシステム開発コスト削減
    経済産業省認定のIT導入支援事業者として、以下のサービスをワンストップで提供。

    • 補助金診断・申請サポート: 採択率82.8%の実績で、最適な補助金をご提案

    • 要件定義から開発まで一貫支援: 補助金要件に100%準拠した開発体制

    • 省力化補助金・ものづくり補助金など: 最大8,000万円の補助金活用をサポート

    📚 最新刊『ComfyUIマスターガイド』5月9日発売!

    AI技術に関する深い知見を持つ私たちの代表・早野康寛が共著者として参加した画像生成AI書籍『ComfyUIマスターガイド』が、2025年5月9日にSBクリエイティブ社より発売されました。AI画像生成の最前線を理解したい方は、ぜひご覧ください。

    📈 こんな課題をお持ちの企業様に最適です

    • 「専用SaaSが欲しいが、初期投資を抑えたい」

    • 「IoT製品を開発したいが、ハードとソフト両方の知見が必要」

    • 「補助金を活用したいが、申請方法がわからない」

    • 「サブスクで始めて、必要なら買い取りたい」

    🌟 三つの強みで、確かな未来を共に創る

    1. マイクロSaaS開発: 初期費用0円で専用システムを構築

    2. IoT受託開発: ハードウェアからソフトウェアまで一貫対応

    3. 補助金活用: 開発コストを最大66%削減

    ぜひ初回無料相談をご利用ください。技術と経営の両面から、貴社の成長戦略を共に考えましょう。
    ポノテク株式会社へのお問い合わせはこちらから!

    ▶ テクノロジーで成長を加速する第一歩を踏み出す
    ― 技術で未来を創る。ポノテク株式会社

     
     
    AI Driven LabはAI駆動の未来を探求し、最新技術・洞察・アイデアを発信するメディア。エンジニア視点で革新を追求します。 運営元:ポノテク株式会社 https://www.ponotech.net

    あなたへのおすすめ