2025_NIPS_Solving Inequality Proofs with Large Language Models

文章核心总结与创新点

主要内容

该研究聚焦大型语言模型（LLMs）在不等式证明任务中的表现，针对现有数据集稀缺、形式僵化等问题，提出了非正式但可验证的任务框架，构建了专家级数据集IneqMath，并设计了LLM-as-judge评估体系。通过对29个主流LLM的系统评估发现，即使顶尖模型在仅看最终答案时准确率较高，但经步骤级审查后整体准确率骤降（最高降幅达65.5%），暴露了当前LLMs在严谨推理链构建上的短板。研究还表明，单纯扩大模型规模或增加计算量改善有限，而定理引导推理和自我修正等策略具有潜力。

核心创新点

1. 任务重构：将不等式证明拆解为“边界估计”（求最优常数C）和“关系预测”（判断表达式间关系）两个可自动验证的子任务，平衡创造性与可验证性。
2. 数据集IneqMath：首个大规模奥林匹克级不等式数据集，含200个原创测试题、100个开发题和1252个训练题，附带分步解法和83个定理注释，覆盖29类核心定理。
3. LLM-as-judge评估框架：结合最终答案判断和四个步骤级判断（检测玩具案例滥用、逻辑缺口、数值近似不当、计算错误），F1值平均超0.9，实现严谨且可扩展的评估。
4. 实证发现：揭示LLMs“答案准确率”与“整体推理准确率”的巨大差距，指出当前缩放策略的局限性，提出定理引导和自我修正等有效改进方向。