メインコンテンツへスキップ
見出し画像

[Backburner]iPhoneをMacの「読む係」にする実験で分かる、ローカルLLMの入力処理と回答生成の違い

    最近、XenoSpectrumのY Kobayashiさんによる記事「iPhoneでMacのローカルAIを最大44%高速化 開発者が独自ソフト「Backburner」を公開」を読みました。開発者のStayLameBroさんが、MacBook ProにiPhone 17 Pro Maxをつなぎ、手元で動かす大規模言語モデル(LLM)の処理を分担させた実験の紹介です。

    面白かったのは、見出しの「最大44%」が、LLMの動作の前半だけを指していることです。この記事では、LLMの前半と後半の違い、iPhoneが担当する中身、数字の読み方を整理します。

    実験の詳細は、原文と開発者のGitHub、元の投稿で確認できます。

    【発端】 44%は、待ち時間が44%減るという意味ではない

    速度が44%上がっても、待ち時間は約30%しか減っていません。

    測定は2026年10月1日に行われました。モデルはIQ4_XS形式に量子化(数値の精度を落として小さくする方法)したQwen3.8-27Bです。

    機材は24GBメモリのM4 Pro搭載MacBook ProとiPhone 17 Pro Maxで、10Gb/s対応のUSB-Cケーブルでつないでいます。比べているのは「同じBackburnerをMac単体で動かした場合」と「iPhoneを足した場合」です。

    16Kトークン(文章を区切った単位)の文脈を持つ状態で、約2,000トークンの資料を追加すると、入力処理の速度は毎秒109トークンから157トークンになりました。これが約44%の向上です。

    読み込み時間は18.8秒から13.1秒で、短縮は約30%です。速度は「増えた割合」、時間は「減った割合」なので、同じ改善でも数字が変わります。

    文脈が長くなると、差は縮みます。32Kでは速度が約29%増え、時間は20.3秒から15.8秒になりました。

    48Kでは約30%増え、時間は23.5秒から18.1秒です。いずれも開発者自身の測定で、第三者の追試はまだありません。

    【基礎】 LLMは「読む」と「書く」で、別の仕事をしている

    LLMの処理は前半と後半で、遅くなる理由が違います。

    LLMはまず、入力された文章をまとめて読み込みます。これを入力処理(プリフィル)と呼びます。

    そのあと、回答を1トークンずつ順番に作ります。これが回答生成(デコード)です。

    NVIDIAの解説によると、前半は入力を並列に計算するので、GPU(並列に計算する演算器)の計算力を使い切りやすい処理です。後半は1トークンずつ進むため、メモリからデータを運ぶ速さが律速(全体の遅さを決める要因)になります。

    計算が足りないから遅い前半と、データの運搬が追いつかないから遅い後半、という違いです。

    起点記事の44%は、前半だけの数字です。測定スクリプトも、回答は生成せず入力処理だけを行う設定でした。

    【違い】 iPhoneの差が出るのは読む側で、書く側ではない

    画像

    回答が速くなったと感じても、それをiPhoneの効果とは言えません。

    27K〜33Kの文脈で測った回答生成速度は、次のとおりです。

    通常版のllama.cpp

    • 回答生成速度:11.3トークン/秒

    • 読み取れること:基準

    Backburner(Mac単体)

    • 回答生成速度:25.0トークン/秒

    • 読み取れること:ソフト側の最適化で大きく向上

    Backburner+iPhone

    • 回答生成速度:25.1トークン/秒

    • 読み取れること:iPhone追加による差はほぼない

    Backburnerは、ローカルでLLMを動かすllama.cppから派生したソフトです。回答生成の高速化は、MacのCPUの行列演算機能SME2の利用や、GPU処理の最適化、投機的生成(後述)によるものと説明されています。

    iPhoneの効果を測るには、同じBackburnerで、入力条件を揃えて、iPhoneの有無だけを変える必要があります。

    もう一つ、iPhoneの出番には条件があり、約512トークンを超える入力処理から分担が始まります。

    短い質問を何度も繰り返す使い方では、iPhoneはほとんど働きません。

    【仕組み】 iPhoneは、64Kを境に役割を変える

    画像

    同じiPhoneが、短い文脈では「計算役」、長い文脈では「保管役」になります。

    64Kまでの文脈では、Macがモデルの第1〜40層、iPhoneが第41〜64層を受け持ちます。Macは入力を256トークンずつに区切って処理し、中間データをiPhoneへ送ります。

    iPhoneが後半の層を計算している間に、Macは次の区切りに進みます。二台を同時に動かして、全体の時間を縮めます。

    iPhoneは自分の担当層のモデルデータを持っているので、重みを毎回ケーブルで送り直すことはありません。A19 ProのGPUにある行列演算機能を有効にすると、iPhone内の処理は無効の場合の2.4倍でした。

    ただし、これはiPhone内部の比較で、システム全体が2.4倍になる意味ではありません。

    64Kを超えると、担当が変わります。Macは全64層を処理し、古い文脈のKVキャッシュ(過去の入力を参照するときに再利用する計算結果)をiPhoneへ移します。

    iPhoneはそれを保管するだけでなく、その部分のAttention計算も担当します。

    効果として、24GBのMac単体で動作を確認できた8ビットの文脈長は64Kでした。iPhoneを足すと128Kまで確認できています。

    ただし、64K超の速度比較は、Mac単体が4ビット、iPhone追加時が8ビットで、条件が揃っていません。

    代償として、iPhoneのアプリを前面に出し続ける必要があります。

    KVキャッシュを移した状態で15秒応答が途絶えるとサーバーが止まり、Mac単体へは戻せません。同時に処理できる要求は1件です。

    【具体例】 36件の要求のうち7件が、読み込み量の83%を占めた

    この仕組みの差が出るのは、大量に読む仕事です。

    開発者が実際に使ったセッションでは、36件の要求のうち、iPhoneが参加したのは7件でした。件数にすると2割弱です。

    しかし、その7件が読んだトークン数は全体の約83%を占めていました。

    大きなコードファイルやツールの実行結果を読み込むAIエージェントは、この形になります。短いやり取りが多く、大きな読み込みが少ない、という偏りです。

    24GBのMacで大きな文脈を保持したい人にとっては、手元の端末を足す選択肢になり得ます。

    一方で、iPhoneは電話として使う時間と両立しません。Backburnerはプリリリース版で、App Storeでの提供は今後の計画です。

    AltStoreでの導入は、開発者自身がまだ確認していないと明記されています。

    【関連概念】 速くする道は、演算器を足すだけではない

    画像

    この実験は「どこで時間を使っているか」を分けて見る練習になります。

    • 投機的生成(Google Research):小さなモデルが先に候補を出し、大きなモデルが並列で検証する方法です。出力の分布を変えずに、2〜3倍の高速化が報告されています(Leviathanらの論文)。

    • 入力処理と回答生成の分離:読む仕事と書く仕事で向く機材が違うため、別々の機材に任せる設計です。データセンターでは、これを「prefill-decode disaggregation」と呼びます。Backburnerは、その考え方を手元のMacとiPhoneに持ち込んだ例と読めます。

    • Neural Engineの不採用:開発者の試験では、MacのNeural Engine(専用の演算器)を有効にすると回答生成が26%遅くなりました。GPUとメモリ帯域を取り合うことが原因と説明されています。演算器を増やせば速くなるとは限らず、メモリ帯域まで含めた設計が要ります。

    • 二種類の量子化:モデルの重みを小さくするIQ4_XSと、KVキャッシュを8ビットや4ビットにする設定は別物です。比較するときは、どちらを変えたのかを分けて記録する必要があります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    関連記事

    【まとめ】 数字を読む前に、三つの条件を確かめる

    画像

    以下は、数字を読むときの確認項目です。

    1. 何の速度か:入力処理か回答生成か。自分の仕事は、読む量が多いか、書く量が多いか。

    2. 何と比べているか:同じ実装で、端末の有無だけを変えた比較か。

    3. 何を占有するか:端末を前面に出し続ける必要や、障害時に戻れない制約を許容できるか。

    自分のローカルLLMでも、「読み込みに何秒、生成に何秒」とログを分けるだけで、次に手を入れる場所が見えてきます。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ