2025_NIPS_3D-LLM: Injecting the 3D World into Large Language Models

3D-LLM 文章总结与翻译

一、主要内容总结

1. 研究背景与核心目标

现有大型语言模型（LLMs）和视觉语言模型（VLMs）在常识推理、2D图像理解等任务中表现出色，但缺乏对3D物理世界的接地能力，无法有效处理空间关系、可用性、物理规律等3D相关概念。本文核心目标是将3D世界注入大型语言模型，提出全新的3D-LLM家族，使其能接收3D点云及其特征作为输入，完成各类3D相关任务。

2. 关键技术与方法

• 3D-语言数据生成：设计三种提示机制（基于边界框-演示-指令的提示、基于ChatCaptioner的提示、基于修订的提示），利用ChatGPT等工具生成超100万条覆盖多任务的3D-语言数据，解决3D数据稀缺问题。
• 3D特征提取：从渲染的多视角2D图像中提取特征，通过直接重建、特征融合、神经场三种方法构建3D特征，避免从零训练3D编码器的高成本。
• 模型训练架构：以预训练2D VLMs（如Flamingo、BLIP-2）为骨干网络，利用其与3D特征相同的特征空间实现高效训练；引入3D定位机制，通过添加位置嵌入和位置令牌，增强模型对3D空间信息的捕捉能力。
• 实验验证：在ScanQA、SQA3D、3DMV-VQA等公开数据集上进行评测，性能超越现有最优基线（如ScanQA的BLEU-1分数提升9%）；在3D描述生成、任务分解、3D辅助对