2025_NIPS_Delving into the Reversal Curse: How Far Can Large Language Models Generalize?

文章核心总结与翻译

一、主要内容

文章聚焦大语言模型（LLMs）的“反转诅咒”现象（训练于“A是B”却无法推断“B是A”），通过开放式问答和多项选择题两大任务，探究模型泛化能力与训练数据结构的关联，核心发现如下：

1. 多项选择题场景中，当A和B同时出现在语境中时，模型能实现“B是A”的泛化推断。
2. 泛化能力与训练数据结构强相关：仅对“[姓名]是[描述]”结构的传记类数据有效，对“[描述]是[姓名]”结构无效。
3. 模型存在固有思维偏见：优先以姓名为起点检索知识，与该偏见冲突的数据结构会严重影响下游任务表现。
4. 这种思维偏见难以通过延长训练时间、混合训练等方式单独缓解，数据结构优化更为关键。

二、创新点

1. 拓展了反转诅咒的研究场景，首次在多项选择题任务中发现模型的泛化可能性，修正了“模型无法理解A与B等价关系”的原有认知。
2. 揭示了训练数据结构对泛化能力的决定性作用，提出并验证了“姓名优先”的思维偏见假设。
3. 结合Chain-of-Thought提示和显著性分析技术，从外部输出和内部机制双重维度验证思维偏见的存在。
4. 证实思维偏见的顽固性，为后续LLM训练数据优化和泛化能力提升提供了新的研究方向。

三、核心章节翻译（Markdown格式）

Abstract

虽然大型语言模型（L