メインコンテンツへスキップ
見出し画像

エージェントは、仕事ごとに会話を開いて使うものなのか~DeepSeek Harness の Super-agent 設計を読む~

    最近、DeepSeek Harnessチームの「Exploring Super-agent Design: Towards a More Autonomous Agent System」(執筆・実装はYujia Qiao氏)を読みました。原文は中国語で、私が読んだのはX上の機械翻訳の英語版です。

    面白かったのは、一つの問いです。「セッションを人が管理するのは、低水準APIの設計習慣にすぎないのではないか」。

    この記事では、その問いを軸に、RouterとWorkerの二層構成、イベント駆動、見張り役(Watchdog)を順に説明します。原文の実験数値を、どこまで信じてよいかも整理します。

    原文を読んでいなくても追えるように書きます。

    【発端】 並列作業の上限は人の注意

    画像
    1つの仕事の質はモデルが決め、複数の仕事の量は人間が決めている

    エージェントが賢くなっても、並べて走らせる仕事の数は人間の頭で頭打ちになります。

    コーディングエージェントは、人が逐一見ていなくても、道具を使って複雑な問題を解けるようになってきました。それでも運用の単位は、今も1つの仕事につき1つのセッションです。

    セッションとは、モデルとの会話を1本に束ねた文脈の入れ物です。仕事が3つあれば会話を3本開き、どれに何を頼んだかを自分で覚えておきます。

    原文(機械翻訳の英語版)によると、経験上、人が同時に追えるのはおおよそ3〜5セッションです。

    1つの仕事の出来はモデルの能力で決まります。複数の仕事をさばく量は、人間の注意で決まります。

    原文(機械翻訳の英語版)の出発点は、ここです。

    【基礎】 セッションは文脈の入れ物にすぎない

    画像
    いま一つに重なっている二つの役割を、切り離して考える

    セッションには「文脈の管理」と「仕事の管理単位」という二つの役割が重なっていて、後者は必須ではありません。

    低水準のモデルAPIでは、会話履歴を渡し続ける単位がセッションです。そこに便乗して、プロダクトも1セッション=1プロジェクトという見せ方をしてきました。

    原文(機械翻訳の英語版)は、この二つを切り離します。文脈の管理はシステムの内部に隠します。

    プロジェクトをどう見せるかは、別のプロダクト設計の問題として扱います。原文(機械翻訳の英語版)は、「セッションは実装の詳細であって、ユーザーの負担ではない」という立場です。

    この立場で作るエージェントを、原文(機械翻訳の英語版)はSuper-agentと呼びます。挙げている性質は四つです。

    • 連続的:チャットでもGitHubでも、利用者には同じ一人のエージェントに見える

    • 生産的:複数の複雑な仕事を並行して進め、前の仕事の途中でも次の指示を受けられる

    • 能動的:環境で起きる出来事を見て、動く価値があるときだけ動く

    • 持続的:常時オンラインで、異常から自力で復帰する

    原文(機械翻訳の英語版)によると、単一のReActループでは、この四つを同時には満たせません。ReActは、モデルが「考える→道具を使う→結果を見る」を繰り返す基本の型です(論文)。

    足りない部分は、ループの外側の構成で補う、という考え方です。

    【違い】 一本化でも使い捨てでもない二層

    画像
    二層は、その両方を取るための分担

    「全部を1本に流す」と「毎回新しく開く」は、連続性とスループット(同時にさばける量)の片方を捨てる選択です。

    原文(機械翻訳の英語版)が最初に示すのは、この二択のトレードオフです。次の表は、原文の記述を私が軸に沿って並べ直したものです。

    全イベントを1セッションに流す

    • 文脈の連続性:高い。全部を見ている

    • 並列の速さ:低い。ReActは1ステップずつで、仕事の細部も混ざる

    • 利用者から見た窓口:一つ

    イベントごとに新セッション

    • 文脈の連続性:低い。仕事同士が切れる

    • 並列の速さ:高い

    • 利用者から見た窓口:複数のセッションがバラバラに返信して混乱しやすい

    二層(Router と Worker)

    • 文脈の連続性:Routerが全体を保つ

    • 並列の速さ:Workerが隔離されて並走する

    • 利用者から見た窓口:Routerだけ

    二層は論理的な責任の分担であり、各層を1セッションで作る必要はありません。原文(機械翻訳の英語版)自身は、Routerを長寿命の1セッションにする、最も素直な形を採っています。

    Agent Team(役割ごとに分担するエージェント群)に似て見えますが、狙いが違います。Agent Teamは1つの複雑な仕事を分解して調整します。

    Routerは、独立した仕事を渡して全体の関係を追うだけで、個々の仕事は分解しません。

    【仕組み】 Router、イベント、見張り役の連携

    画像
    人の指示ではなく、環境のイベント(Trigger)が入力になる

    人間の指示ではなく環境のイベントでシステムが動き、その流れをRouterが整理し、Watchdogが外から見張ります。

    RouterとWorkerの分業

    Routerは、人とのやり取りと仕事の割り振りだけを担います。自分では仕事を実行せず、Bashツールなしでも動く設計です。

    Workerは、1つの仕事に専念するセッションです。文脈は隔離されていて、実行用の道具を一式持っています。

    人とは直接話さず、状況をRouterに報告します。返信の窓口が一つなので、混乱が起きません。

    原文(機械翻訳の英語版)によると、経験上、Routerの仕事は思ったより単純で、軽めのモデルでも速度と品質を両立しやすい、とあります。一方、Workerは仕事の質を決めるので、通常は最も強いモデルが要る、としています。

    イベント駆動とTrigger

    入力は、人が打つプロンプトではなくなります。

    チャット、メール、カレンダー、レビューコメント、CIの結果といった環境のイベントが入力です。原文(機械翻訳の英語版)は、これをTriggerと呼びます。

    実運用のイベントは、ほとんどが反応不要です。そこで二段で絞ります。

    1. プログラムの規則:送信元、グループ、許可リストなど、決まった条件をコードで判定します。モデルは呼びません

    2. 意味の判断:残った候補だけをモデルが、プロンプトで書かれた方針に沿って判断します

    頻繁で安定した判断は決まったコードに任せ、柔軟だが高価な推論は残りに回します。計算機システムでいうFast Path / Slow Pathの考え方です。

    購読と素通し

    同じGitHubのPRやチャットの話題に続くイベントの流れを、原文(機械翻訳の英語版)はThreadと呼びます。

    最初のイベントでRouterがWorkerを作ると、そのWorkerがThreadを購読します。以降の続報は、Routerを経由せず、コードが直接そのWorkerに渡します。

    Routerは、まだ担当のいない新しいイベントだけを判断します。Worker同士がぶつかる場面も、同じThreadを購読していれば同じ通知を受け取れるので、自分たちで気づけます。

    非同期ループとWatchdog

    通常のReActループは、時間のかかる道具の呼び出しで止まります。原文(機械翻訳の英語版)は、これをstart()とstop()の非同期呼び出しに替えます。

    start()は「開始した」とすぐ返り、完了結果は後からイベントとして届きます。この機構は実装済みですが、まだ既定では有効になっていません。

    Watchdogは、本体の外に置かれた独立のセッションで、定期メッセージで動きます。APIエラーや状態復旧の失敗といったインフラの異常を扱います。

    加えて、各Workerが実質的に進んでいるか、目標からそれていないかをモデルで判断します。

    プロセスは生きているのに、モデルが無意味な往復を続けている、という異常があります。この種の異常は、従来の死活監視では拾えません。

    Watchdogは自分もエージェントなので、保守担当者が自然言語で失敗の理由を聞くことも、動作中の本体の方針を直させることもできます。

    【具体例】 約300件のメッセージで測った完了時間

    画像
    約300件のメッセージ(仕事の依頼は約20件)、各設計5回、合成ワークロードと簡略化した環境

    この数字は、この設計で仕事の割り振りが安定することを示す手がかりであり、実務での速さの保証ではありません。

    原文の実験では、グループチャットとGitHubのCIメッセージを約300件流しました。そのうち仕事の依頼は約20件で、残りは雑談、追加確認、取り消し、CIの通知でした。

    コーディング作業は時間を消費するだけの道具で代用し、各設計を5回ずつ走らせました。

    Super-agent

    • 完了時間 p50 / p95(分):12.4 / 15.7

    • キャッシュ読み取りトークン(1回あたり):23.2M

    Super-agent(素通しなし)

    • 完了時間 p50 / p95(分):12.6 / 15.5

    • キャッシュ読み取りトークン(1回あたり):31.8M

    単一セッション+サブエージェント(中立プロンプト)

    • 完了時間 p50 / p95(分):20.4 / 29.5

    • キャッシュ読み取りトークン(1回あたり):6.1M

    単一セッション+サブエージェント(委任優先プロンプト)

    • 完了時間 p50 / p95(分):13.8 / 29.0

    • キャッシュ読み取りトークン(1回あたり):10.8M

    p50は中央値です。p95は、これより遅いものが5%になる値で、ひどく遅い例の目安です。

    単一セッションのp50が20.4分、Super-agentが12.4分です。差の約1.6倍は、原文の数字から私が計算した値です。

    数字の読み方

    原文(機械翻訳の英語版)は、この実験が合成ワークロードと簡略化した環境で行われ、厳密さに欠ける部分もあるため、結果は参考程度としています。その上で、読むときの目安を三つ挙げます。

    • 測っているのは割り振りの動き:作業は時間を消費する模擬ツールなので、個々の実装力は測っていません

    • 標本は小さい:各設計5回です。分の単位の差は、傾向として読むのが安全です

    • 差の理由が示されている:中立プロンプトでは、5回とも一度もサブエージェントが使われず、新着メッセージに仕事が中断され続けました。委任優先プロンプトでは5回中4回で委任し、残る1回は「小さな仕事」と判断して自分でやり、長い尾が生まれました

    単一セッションの遅さは、モデルの判断とプロンプトへの依存から来ています。二層構成は、Routerに実行させないことで、それをシステム側から抑えます。

    代償はキャッシュ読み取りトークンで、Super-agentは単一セッションより多くのキャッシュを読みます。

    素通しを外すと、完了時間はほぼ同じでした。それでも1回あたりのRouterの判断は約30%増え、キャッシュ読み取りトークンの合計は23.2Mから31.8Mへ約37%増えました。

    素通しは、速さではなくRouterの負荷を下げる仕組みです。

    Routerのバッチ処理

    Routerは、推論中に届いたイベントを溜めて、次の呼び出しでまとめて処理します。到着が毎分約1件から約40件に増えると、平均のバッチサイズは1.0から2.8に増えました。

    1リクエストの時間は2.5秒から3.9秒への増加にとどまり、1判断あたりの償却時間(ならした時間)は6.4秒から1.6秒に下がっています。

    この実験は、Routerに本物のモデルを使い、Workerは模擬モデルです。原文(機械翻訳の英語版)は、現在のチーム規模ではRouterを早まって分割する必要はない、と結論づけています。

    【関連概念】 計算機システムの設計語彙を借りる

    画像
    新発明より、既知の考え方をエージェントに当てはめた構成として読む

    この設計の多くは新発明ではなく、古典的なシステム設計の考え方をエージェントに当てはめたものです。

    • Inline & Spill:文脈ウィンドウをキャッシュに見立て、近くで要りそうな情報は直接入れ(Inline)、長いものは参照だけ残して外に出す(Spill)。Routerは、各オブジェクトにIDを振り、辿った先でも同じ処理をします。これで、古い仕事の文脈を何段か辿って思い出せます(原文ではChain of Recall)

    • 投機的実行:返信メールの下書きや、不具合の再現と修正を、結果が使われるか分からないうちに裏で進めておきます。使えたものだけ届け、残りは捨てます

    • 計算と状態の分離:エージェントのループは状態を持たないクラウドのコンテナで動かし、セッションはデータベースに置きます。端末が落ちても止まりません

    • 実行環境の切り離し:作業環境は手元に残し、軽いデーモンだけを置きます。原文(機械翻訳の英語版)は、これをBYOM(自分のマシンを持ち込む方式)と呼びます

    最後の二つは、Anthropicの「Scaling Managed Agents」とも通じます。こちらは、モデルを呼ぶループ(brain)、実行環境(hands)、ログ(session)を独立した部品にして、それぞれ交換や故障ができるようにしています。

    原文(機械翻訳の英語版)によると、違いは想定する場面です。Anthropicは管理サービス、DeepSeek Harnessは日常使いの個人マシンから出発しています。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    Michael Albada『実践 AIエージェント開発 ―マルチエージェントシステムの設計と実装』は、RouterとWorkerのように役割を分け、複数のエージェントを連携させる、というこの記事の話題と関係があります。

    Martin Kleppmann『データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理』(第1版、2019年)は、この記事のイベント駆動や、計算と状態の分離と関係がある、分散システムの本です。

    【まとめ】 自分の道具で「窓口」と「実行」を分けてみる

    まず見直すのは、自分の仕事のうち、どこまでが人の管理で、どこからがシステムに任せられる部分かです。

    試す一歩として、次の三つを考えてみてください。

    1. 今使っているエージェントのセッションを数えて、自分が文脈を覚えている数を書き出す

    2. 「窓口」と「実行」を同じセッションが兼ねている場面を探す(長い作業中に新しい指示が詰まる場面)

    3. 反応不要な通知を、モデルに見せる前にコードで落とせないか考える

    ただし、原文(機械翻訳の英語版)は、より自律的なエージェントの方向を探る設計の議論です。既存の機能の紹介ではなく、実験も参考程度です。

    Anthropicの「Building effective AI agents」は、単純な構成から始め、必要が出たときだけ複雑さを足す姿勢を勧めています。二層構成も、並列の仕事が人の注意を超えたと感じてからで遅くありません。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ