LoHoSearch 基准开源：为搜索智能体评测与上下文管理研究带来新挑战

Search Agent 能力演进与新挑战

过去一年，Search Agent 能力显著演进，在 BrowseComp 等评测上，顶尖模型准确率从最初的 30% 区间迅速攀升至 90% 以上。然而，当基准迅速饱和，其区分模型能力的价值也随之递减。BrowseComp 的题目由人工设计，存在局限，只能基于标注者已知的实体和关系构思，无法站在全局知识网络视角判断哪些条件难检索、哪些约束的候选空间足够大。这不禁让人思考：能不能让机器自己来出题？

LoHoSearch 基准：让机器出题成为现实

美团 LongCat 团队在最新论文中提出的 LoHoSearch 基准，将让机器出题的可能性变成了现实。

LoHoSearch 的核心看点

LoHoSearch 有以下核心看点：一是知识图谱自动化构造，以覆盖 762 万维基百科实体的知识图谱为基础自动生成题目，替代人工出题，基准含 544 道经人工核验的题目，覆盖 11 个领域；二是双维度难度控制，在生成中系统控制搜索空间与结构复杂度，构建出难度显著高于现有基准的挑战性问题；三是当前模型性能表现，已评测模型中，GPT - 5.5 准确率为 34.74%；现有上下文管理策略在 LoHoSearch 上提升幅度为 6.8%，低于在 BrowseComp 上的 14.03%。

设计原理：让机器出题的四个环节

机器出题的前提是让机器拥有全局视野，整个构建流程分为四个环节：建图、控制难度、质量把关、数据概览。

建图：搭建知识图谱，让机器获得全局视野

LoHoSearch 的第一步是从完整的英文维基百科出发搭建一张大规模知识图谱，包含 762 万个实体（每个维基页面是一个实体节点）、2.65 亿条有向边（页面正文中指向其他维基页面的超链接），每个实体的类型取自其 Wikidata P31 类别，实体热度用入度来衡量。这张图谱为后续在全局视角下挑选“难题”提供了基础。

控制难度：搜索空间和结构复杂度两个维度

决定搜索难度的核心有搜索空间和结构复杂度两个维度，而这恰恰是人工出题最难把控的。搜索空间指满足一个条件的候选实体有多少，候选越多，排除成本越高；结构复杂度指要同时满足多少条件才能锁定答案，条件越多、咬合越紧，求解链条越长。针对这两个维度，LoHoSearch 设计了树结构和图结构两种子图结构。树结构主要通过放大“搜索空间”来制造难度；图结构则在巨大搜索空间之上，通过引入环形依赖和交叉约束，进一步叠加了“结构复杂度”。

质量把关：从生成到验证，层层把关

子图采样完成后，还需要转换为可阅读的自然语言题目。整个转换与验证流程分为三层：题目生成，从子图抽取维基描述，改写为自然语言问题；自动验证，检查问题是否完整覆盖子图关系，并由搜索智能体验证标准答案满足所有条件；筛选与复核，排除多答案题和易答题，再由人工审核。经过三层筛选，自动化流程的整体质量表现如下：75.5% 的题目直接通过人工复核，22.3% 经标注员微调后接受，仅有 2.2% 因严重问题被丢弃。

数据概览：544 道题目，11 个主题领域

LoHoSearch 最终收录 544 道经人工核验的题目。对比树结构和图结构可以看出，图结构子图明显更稠密，节点更多、边数接近前者的两倍，这正对应它更高的结构复杂度。题目内容覆盖音乐、地理与地点、影视、体育等 11 个主题领域。最强模型 GPT - 5.5 准确率仅 34.74%，DeepSeek - V4 - Pro、Claude - Opus - 4.6 和 Kimi - K2.6 集中在 15.53% - 15.99%，其余模型均低于 14%。这与它们在 BrowseComp 上 80% 以上的表现形成鲜明对照，说明 LoHoSearch 对当前最先进搜索智能体构成了实质挑战。

四大洞察揭示 LoHoSearch 特点

洞察一：解一道题，平均工具调用从 35 次增至 61 次

用 DeepSeek - V4 - Flash 作为探针对比两个基准，同一模型在 BrowseComp 上准确率 58.84%，在 LoHoSearch 上仅 10.02%。解一道 LoHoSearch 题目，平均工具调用从 35 次增至 61 次（+74%），中位数从 26 次升至 59 次。图结构题目准确率仅 8.01%，远低于树结构的 11.89%，印证了结构复杂度是独立于搜索空间之外的额外难度来源。

洞察二：重复采样收益可观，但天花板依然很低

对 DeepSeek - V4 - Flash 采样 16 个独立回答，pass[@N] 从 N = 1 的 9.3% 升至 N = 16 的 38.3%，重复采样收益可观，但 38.3% 仍处低位。尝试 16 次仍有六成以上题目无法攻克。三种聚合策略中 best - of - N 表现最优（24.6%），远低于 pass[@16] 上界，说明模型在答案置信度校准上存在明显不足。

洞察三：现有的上下文管理策略，在这里已失真

以标准 ReAct 为基线，测试 Summary 和 Discard - all 两种策略，并加入 Verify 模块。表现最佳的组合（Discard - all + Verify）将成绩从 10.02% 提至 16.82%，绝对提升仅 6.8 个百分点，而同一套策略在 BrowseComp 上可带来 14 个百分点的增益。收益收窄的原因在于 LoHoSearch 需要更长的推理链，简单的轨迹压缩或重启无法解决长程搜索中的信息丢失问题，这使其成为下一代上下文管理技术更有价值的试验场。

洞察四：知识图谱是系统化构造高难度题目不可或缺的基础

对比两个基准中“隐藏实体”的特征可以发现，BrowseComp 的隐藏实体流行度明显更高，人工出题难以精确控制实体知名度，导致实体偏易；即便将流行度控制在同一水平，LoHoSearch 的关系搜索空间仍显著更大，实体推断难度远高于 BrowseComp。这说明人工构建存在系统性局限，知识图谱是系统化构造高难度题目不可或缺的基础。

总结：为下一代智能搜索提供新标尺

LoHoSearch 的价值体现在三项具体贡献上：一是基于知识图谱的自动化构造流程，以覆盖 762 万实体的知识图谱为基础自动生成题目，系统控制搜索空间与结构复杂度，突破人工出题的难度上限；二是更具区分度的评测标准，最强模型 GPT - 5.5 准确率仅 34.74%，正确轨迹所需工具调用次数是 BrowseComp 的 1.7 倍，为搜索智能体建立了更具区分度的评测标尺；三是面向上下文管理研究的挑战性平台，最优策略仅带来 6.8% 的提升，远低于其在 BrowseComp 上 14.03% 的增益，表明 LoHoSearch 可成为推动下一代上下文管理技术研究的理想试验场。LoHoSearch 已全面开源，各大模型能否通过“长程搜索”大考？