
[Backburner]iPhoneをMacの「読む係」にする実験で分かる、ローカルLLMの入力処理と回答生成の違い
最近、XenoSpectrumのY Kobayashiさんによる記事「iPhoneでMacのローカルAIを最大44%高速化 開発者が独自ソフト「Backburner」を公開」を読みました。開発者のStayLameBroさんが、MacBook ProにiPhone 17 Pro Maxをつなぎ、手元で動かす大規模言語モデル(LLM)の処理を分担させた実験の紹介です。
面白かったのは、見出しの「最大44%」が、LLMの動作の前半だけを指していることです。この記事では、LLMの前半と後半の違い、iPhoneが担当する中身、数字の読み方を整理します。
実験の詳細は、原文と開発者のGitHub、元の投稿で確認できます。
【発端】 44%は、待ち時間が44%減るという意味ではない
速度が44%上がっても、待ち時間は約30%しか減っていません。
測定は2026年10月1日に行われました。モデルはIQ4_XS形式に量子化(数値の精度を落として小さくする方法)したQwen3.8-27Bです。
機材は24GBメモリのM4 Pro搭載MacBook ProとiPhone 17 Pro Maxで、10Gb/s対応のUSB-Cケーブルでつないでいます。比べているのは「同じBackburnerをMac単体で動かした場合」と「iPhoneを足した場合」です。
16Kトークン(文章を区切った単位)の文脈を持つ状態で、約2,000トークンの資料を追加すると、入力処理の速度は毎秒109トークンから157トークンになりました。これが約44%の向上です。
読み込み時間は18.8秒から13.1秒で、短縮は約30%です。速度は「増えた割合」、時間は「減った割合」なので、同じ改善でも数字が変わります。
文脈が長くなると、差は縮みます。32Kでは速度が約29%増え、時間は20.3秒から15.8秒になりました。
48Kでは約30%増え、時間は23.5秒から18.1秒です。いずれも開発者自身の測定で、第三者の追試はまだありません。
【基礎】 LLMは「読む」と「書く」で、別の仕事をしている
LLMの処理は前半と後半で、遅くなる理由が違います。
LLMはまず、入力された文章をまとめて読み込みます。これを入力処理(プリフィル)と呼びます。
そのあと、回答を1トークンずつ順番に作ります。これが回答生成(デコード)です。
NVIDIAの解説によると、前半は入力を並列に計算するので、GPU(並列に計算する演算器)の計算力を使い切りやすい処理です。後半は1トークンずつ進むため、メモリからデータを運ぶ速さが律速(全体の遅さを決める要因)になります。
計算が足りないから遅い前半と、データの運搬が追いつかないから遅い後半、という違いです。
起点記事の44%は、前半だけの数字です。測定スクリプトも、回答は生成せず入力処理だけを行う設定でした。
【違い】 iPhoneの差が出るのは読む側で、書く側ではない

回答が速くなったと感じても、それをiPhoneの効果とは言えません。
27K〜33Kの文脈で測った回答生成速度は、次のとおりです。
通常版のllama.cpp
回答生成速度:11.3トークン/秒
読み取れること:基準
Backburner(Mac単体)
回答生成速度:25.0トークン/秒
読み取れること:ソフト側の最適化で大きく向上
Backburner+iPhone
回答生成速度:25.1トークン/秒
読み取れること:iPhone追加による差はほぼない
Backburnerは、ローカルでLLMを動かすllama.cppから派生したソフトです。回答生成の高速化は、MacのCPUの行列演算機能SME2の利用や、GPU処理の最適化、投機的生成(後述)によるものと説明されています。
iPhoneの効果を測るには、同じBackburnerで、入力条件を揃えて、iPhoneの有無だけを変える必要があります。
もう一つ、iPhoneの出番には条件があり、約512トークンを超える入力処理から分担が始まります。
短い質問を何度も繰り返す使い方では、iPhoneはほとんど働きません。
【仕組み】 iPhoneは、64Kを境に役割を変える

同じiPhoneが、短い文脈では「計算役」、長い文脈では「保管役」になります。
64Kまでの文脈では、Macがモデルの第1〜40層、iPhoneが第41〜64層を受け持ちます。Macは入力を256トークンずつに区切って処理し、中間データをiPhoneへ送ります。
iPhoneが後半の層を計算している間に、Macは次の区切りに進みます。二台を同時に動かして、全体の時間を縮めます。
iPhoneは自分の担当層のモデルデータを持っているので、重みを毎回ケーブルで送り直すことはありません。A19 ProのGPUにある行列演算機能を有効にすると、iPhone内の処理は無効の場合の2.4倍でした。
ただし、これはiPhone内部の比較で、システム全体が2.4倍になる意味ではありません。
64Kを超えると、担当が変わります。Macは全64層を処理し、古い文脈のKVキャッシュ(過去の入力を参照するときに再利用する計算結果)をiPhoneへ移します。
iPhoneはそれを保管するだけでなく、その部分のAttention計算も担当します。
効果として、24GBのMac単体で動作を確認できた8ビットの文脈長は64Kでした。iPhoneを足すと128Kまで確認できています。
ただし、64K超の速度比較は、Mac単体が4ビット、iPhone追加時が8ビットで、条件が揃っていません。
代償として、iPhoneのアプリを前面に出し続ける必要があります。
KVキャッシュを移した状態で15秒応答が途絶えるとサーバーが止まり、Mac単体へは戻せません。同時に処理できる要求は1件です。
【具体例】 36件の要求のうち7件が、読み込み量の83%を占めた
この仕組みの差が出るのは、大量に読む仕事です。
開発者が実際に使ったセッションでは、36件の要求のうち、iPhoneが参加したのは7件でした。件数にすると2割弱です。
しかし、その7件が読んだトークン数は全体の約83%を占めていました。
大きなコードファイルやツールの実行結果を読み込むAIエージェントは、この形になります。短いやり取りが多く、大きな読み込みが少ない、という偏りです。
24GBのMacで大きな文脈を保持したい人にとっては、手元の端末を足す選択肢になり得ます。
一方で、iPhoneは電話として使う時間と両立しません。Backburnerはプリリリース版で、App Storeでの提供は今後の計画です。
AltStoreでの導入は、開発者自身がまだ確認していないと明記されています。
【関連概念】 速くする道は、演算器を足すだけではない

この実験は「どこで時間を使っているか」を分けて見る練習になります。
投機的生成(Google Research):小さなモデルが先に候補を出し、大きなモデルが並列で検証する方法です。出力の分布を変えずに、2〜3倍の高速化が報告されています(Leviathanらの論文)。
入力処理と回答生成の分離:読む仕事と書く仕事で向く機材が違うため、別々の機材に任せる設計です。データセンターでは、これを「prefill-decode disaggregation」と呼びます。Backburnerは、その考え方を手元のMacとiPhoneに持ち込んだ例と読めます。
Neural Engineの不採用:開発者の試験では、MacのNeural Engine(専用の演算器)を有効にすると回答生成が26%遅くなりました。GPUとメモリ帯域を取り合うことが原因と説明されています。演算器を増やせば速くなるとは限らず、メモリ帯域まで含めた設計が要ります。
二種類の量子化:モデルの重みを小さくするIQ4_XSと、KVキャッシュを8ビットや4ビットにする設定は別物です。比較するときは、どちらを変えたのかを分けて記録する必要があります。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
関連記事
【まとめ】 数字を読む前に、三つの条件を確かめる

以下は、数字を読むときの確認項目です。
何の速度か:入力処理か回答生成か。自分の仕事は、読む量が多いか、書く量が多いか。
何と比べているか:同じ実装で、端末の有無だけを変えた比較か。
何を占有するか:端末を前面に出し続ける必要や、障害時に戻れない制約を許容できるか。
自分のローカルLLMでも、「読み込みに何秒、生成に何秒」とログを分けるだけで、次に手を入れる場所が見えてきます。