Cog-GA: A Large Language Models-based Generative Agent forVision-Language Navigation

关注

VIP免费原创最新推荐文章于 2026-10-26 07:32:45 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

semantic navigation 目标驱动的视觉语义导航（一）关于视觉导航灵魂三问 What: Navigate a space to find a given target goal using only visual input. Seen scene and target VS. Unseen scene and target Why: Visual semantic navigation Visual question answering How: Geometry-based navigation (need a prior map of the 阅读详情

Cog-GA:连续环境下基于大型语言模型的视觉语言导航生成智能体

摘要

在连续环境中的视觉语言导航（VLN-CE）是具身人工智能（Embodied AI）中的一个前沿任务，要求智能体仅通过自然语言指令，在无限制的三维空间中自由导航。这一任务对多模态理解、空间推理和决策提出了独特挑战。为应对这些挑战，我们提出了一种基于大语言模型（LLMs）的生成式智能体 Cog-GA，专为VLN-CE任务设计。

Cog-GA 采用了双重策略来模拟类人认知过程。首先，它构建了认知地图，整合了时间、空间和语义元素，从而帮助 LLMs 发展空间记忆能力。其次，Cog-GA 使用了路径点预测机制，优化探索路径以最大化导航效率。每个路径点都配备了双通道场景描述，将环境线索划分为“是什么”（What）和“在哪里”（Where）流，类似于人脑的信息处理方式。这种分离增强了智能体的注意力焦点，使其能够识别与导航相关的关键空间信息。

此外，Cog-GA 还通过反思机制记录先前导航经验中的反馈，促进了持续学习和自适应规划。通过在 VLN-CE 基准上的广泛评估，Cog-GA 展现了最先进的性能，并能够模拟类人的导航行为。本研究为开发具有战略性和可解释性的 VLN-CE 智能体做出了重要贡献。

任务背景（VLN-CE）：
- 定义： 在连续环境中，智能体需要根据自然语言指令，在复杂的 3D 空间中找到目标位置。
- 挑战： 包括多模态理解（处理视觉和语言信息）、空间推理（规划路径）和决策（选择最佳行动）。
提出的模型（Cog-GA）：
- 核心特点：
  - 认知地图： 将时间、空间和语义信息整合在一起，模拟人类的空间记忆能力，帮助智能体更好地记住环境。
  - 路径点预测机制： 通过预测下一个关键位置点，优化导航路径，提高效率。
  - 双通道场景描述：
    - “是什么”（What）：描述环境中的对象或事件。
    - “在哪里”（Where）：提供这些对象或事件的位置信息。
    - 效果： 类似于人类大脑的注意力机制，帮助智能体专注于最重要的信息。
反思机制：
- 作用： 记录智能体在过去导航中得到的反馈，推动学习能力的提升，并改进后续的规划。
- 意义： 使智能体能够不断自适应，提升任务表现。
性能验证：
- 在标准的 VLN-CE 测试中，Cog-GA 展现了卓越的性能，并能够模仿人类的导航行为，这表明其策略具有高效性和可解释性。
贡献：
- 提供了一个战略性（优化路径、关注关键信息）和可解释性（基于认知过程模拟）的智能体模型，推动了 VLN-CE 的研究进展。

介绍

视觉语言导航（VLN） 是机器人领域的重要任务，智能体根据视觉观察，在真实的三维环境中执行自然语言指令。传统上，VLN 环境中的智能体移动是基于预先准备的导航图，智能体通过这些图进行路径规划和移动。针对这一点，Krantz 等人 [17] 提出了 连续环境中的视觉语言导航（VLN-CE） 方法。与传统方法不同，VLN-CE 消除了对导航图的需求，使智能体能够在三维空间中自由移动。这一框架因其更加现实和适应性强的机器人导航方法而获得了关注，它可以让智能体更有效地响应语言指令。以往的研究，例如 ERG [26]、VLN-Bridge [10] 和 CKR 模型 [8]，主要聚焦于强化学习方法。然而，强化学习需要大量交互数据，这限制了其应用和扩展。

近年来，大语言模型（LLMs）在多个领域展现了非凡的性能。一些最新研究探索了 LLM 在解读和导航复杂数字环境中的多样化能力。例如：

Velma [23] 使用 LLM 处理街景 VLN 任务；
Esc [31] 和 LFG [24] 专注于零样本物体导航（ZSON）任务；
ProbES [18] 则增强了 LLM 在 REVERIE 任务中的泛化能力。

我们旨在利用 LLM 中存储的大量先验知识，构建具有更强泛化能力的 VLN-CE 智能体。该智能体接收视觉和语言两种模态的输入，通过 LLM 的抽象知识结构，提取两种模态的关键信息，连接感官模态并建立抽象概念和知识结构。

为此，我们提出了 Cog-GA（Cognitive-Generative Agent），一种基于大语言模型（LLMs）的生成式智能体，用于连续环境中的视觉语言导航（VLN-CE）。在使用 LLM 构建高效 VLN 智能体时，面临的一个关键挑战是 LLM 缺乏固有的空间记忆能力，因为它们是基于扁平化文本输入训练的，无法原生建模三维空间环境。为了解决这一问题，我们引入了认知地图（Cognitive Map），它将每个导航步骤中的场景描述和地标对象的空间信息作为图记录下来。这些记录的空间记忆会在后续导航步骤中被检索和利用。另一个核心挑战是：对于 LLM 来说，环境中用于决策的有效路径点往往分布稀疏。为智能体构建更合理和高效的搜索空间，我们采用了路径点预测器（Waypoints Predictor）[10]。对于每个路径点，我们应用了