HEAR：面向智能体大模型服务的编排器‑推理引擎双向通信协议

关注

VIP免费原创 2026-10-07 14:24:17 381 阅读 AI 写同款· GEO 优化 ›

下一词预测（Next-token Prediction）深度解析：从 N-gram 到 GPT 的唯一目标函数下一词预测（NTP）是自回归语言模型的核心训练目标，其本质为最小化交叉熵，等价于最大似然估计。通过链式法则将序列概率分解为条件分布，模型在无监督下学习语料中真实下一个 token 的高概率输出。从n-gram到Transformer，技术演进始终围绕提升上下文建模能力与并行效率。训练时利用因果掩码实现并行前向，推理则逐token采样生成。损失函数的下降揭示了规模定律下的通用智能涌现，但模型仍受限于生成能力，无法学习逻辑或常识。该目标统一了训练、评估与推理，构成大模型发展的基石。阅读详情

HEAR：面向智能体大模型服务的编排器‑推理引擎双向通信协议

原文网页：https://arxiv.org/html/2610.06597v1
PDF链接：https://arxiv.org/pdf/2610.06597v1
arXiv编号：arXiv:2610.06597v1 [cs.AI]，提交日期：2026‑10‑05

摘要
大模型智能体执行复杂工作流，涉及多轮推理、工具调用、多智能体协同，端到端高效服务需要横跨两层系统做联合决策：智能体编排器（Harness）掌握工作流依赖关系、上下文生命周期、执行目标；推理引擎观测请求队列、KV‑Cache状态、资源压力、执行能力。现有接口无法系统化打通两层视图，难以实现感知工作流的调度执行。
本文提出HEAR，一套编排器‑引擎双向配对通信协议（Harness‑Engine pAiRing Protocol），标准化编排器向引擎传递工作流意图与执行约束，同时引擎回传运行时状态、硬件能力与执行结果。协议将语义定义与优化策略解耦，在不改动工作流与模型语义的前提下，支持多种多样协同策略。
本文基于HEAR实现两类协同策略：感知缓存的运行时协同、面向智能体角色的负载感知执行模式选择。在4套对话与研究型智能体基准、内存受限并发服务场景下开展实验：SCBench基准实现1.61倍批处理加速，首token中位生成时间降低2.23倍；Mooncake基准证明，工作流意图与引擎实时状态在不同负载下可以形成互补增益；在BrowseComp‑Plus、DeepResearchBench基准上，面向负载的角色专属配置分别取得1.23倍、2.45倍端到端加速，且任务质量没有发生退化。实验证明HEAR可作为可复用协同底层，实现高效智能体大模型服务。

关键词
大模型智能体；推理服务；KV缓存；双向协议；编排器；调度优化；多智能体；服务系统

1 引言

大模型智能体依靠多轮规划、工具调用、多智能体协作完成复杂任务。智能体编排器负责工作流编排、上下文维护、工具交互；vLLM、SGLang等推理引擎负责模型执行、请求批处理、KV缓存管理。端到端效率不只取决于单次模型调用加速，更需要跨工作流对请求与可复用KV状态做协同调度。

协同优化存在根本障碍：决策所需信息分散在两个系统层。

编排器：掌握请求依赖、上下文生命周期、应用目标；看不到引擎侧缓存驻留、请求队列、资源压力。
推理引擎：观测缓存、队列、硬件负载；不理解上层智能体工作流依赖、未来上下文复用意图。

信息割裂会造成典型问题：引擎在KV缓存即将被再次使用时将其驱逐，触发代价高昂的重新预填充；编排器不知道哪些上下文已经驻留在缓存，可能优先调度冷请求，而缓存就绪的请求反而延后执行。执行模式选择同样存在矛盾：需要结合编排器看到的负载特征，以及引擎侧的效率‑质量权衡。因此需要一套双向接口，实现两层信息交换、联合决策。

现有相关工作已经验证工作流信息、运行时反馈对智能体服务的价值，但缺少通用的控制平面抽象。各类优化方案各自定义跨层信号、控制语义、生命周期，策略与特定编排器、推理引擎强耦合，可移植性差，难以组合复用。

本文提出HEAR双向协议：

将每条交互消息关联到对应请求、上下文版本、服务实例；消息划分为四大语义类别。编排器输出：执行描述与意图、执行约束与控制；引擎回传：状态与能力、执行结果。
定义消息作用力与操作生命周期，区分描述与指令、偏好与硬性要求、观测与保证、接收确认与执行完成。协议只定义交互语义，不绑定具体优化策略；策略决定交换什么信息、采取什么动作，协议定义消息如何被解析处理。HEAR协调现有工作流的请求调度，不修改任务选择逻辑，不改动模型本身语义。

本文实现两套不同时间尺度下的协同策略：

感知缓存的运行时协同：编排器传递等待约束、未来复用意图；引擎回传KV驻留状态与队列信息，联合调度请求优先级、控制缓存保留策略。
角色专属推理配置：粗粒度策略，把智能体角色、输入输出、并发特征映射到引擎支持的推理模式。

本文主要贡献

提出HEAR编排器‑引擎双向协议，将跨层交互绑定请求与上下文，划分四大语义类别，定义消息作用力与操作生命周期。
实例化两套执行协同策略：在线缓存感知运行协同、角色感知推理模式配置；同一套交互契约同时支持运行时调度、缓存决策与粗粒度执行模式选择。
在SCBench、Mooncake、BrowseComp‑Plus、DeepResearchBench开展受控评测；融合编排器意图与引擎状态，对话服务效率提升；研究型智能体工作流取得1.23‑2.45倍端到端加速，任务质量无退化。

2 相关工作

2.1 智能体编排框架

AutoGen、AgentScope、LangGraph、Deep Agents等智能体Harness，支持多智能体通信、状态流控制、模型调用、上下文管理与工具调用。这类框架决定智能体执行逻辑、请求就绪时机，但无法直接访问推理引擎内部运行状态：请求队列、批处理、KV缓存驻留、GPU资源压力。HEAR打通边界，把工作流意图传递给引擎，并将引擎状态回传给编排器。