51c大模型~合集110

关注

原创 2026-07-28 18:28:18 2.5k 阅读 AI 写同款· GEO 优化 ›

CityGaussian: 实现大规模场景的实时高质量渲染 CityGaussian的出现,标志着大规模3D场景实时渲染技术迈入了一个新的阶段。它不仅解决了长期以来困扰业界的技术难题,还为未来的研究和应用指明了方向。随着这项技术的不断完善和推广,我们有理由相信,更加逼真、交互性更强的虚拟世界将很快成为现实,为各行各业带来革命性的变革。CityGaussian的开源也体现了科研成果共享的精神,这将极大地促进整个领域的发展。让我们共同期待CityGaussian技术在未来带来的无限可能! 阅读详情

我自己的原文哦~ https://blog.51cto.com/whaosoft/14247324

#为什么说AI创业也在重复其中的错误？

70年AI研究得出了《苦涩的教训》

人人都在做垂直 AI 产品，为什么要反其道而行？

Scaling Laws 是否失灵，这个话题从 2024 年年尾一直讨论至今，也没有定论。

Ilya Sutskever 在 NeurIPS 会上直言：大模型预训练这条路可能已经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在继续，所有新 RTX 显卡都在遵循三个新的扩展维度：预训练、后训练和测试时间（推理），提供了更佳的实时视觉效果。

而这一切的思考，都可以追溯到「RL 之父」 Rich Sutton 在 2019 年发表的经典短文 The Bitter Lesson 《苦涩的教训》。

Y Combinator 校友日上，Andon Labs 的 CEO 兼联合创始人 Lukas Petersson 听完 100 多个项目路演后写下了一个有趣的观察：《苦涩的教训》中所写的 AI 研究历史似乎正在 AI 创业界重演。

研究人员曾一次又一次试图通过精巧的工程设计来提升性能，但最终都败给了简单粗暴的「加大算力」方案。

而今天，AI 产品的开发者们，似乎正在重走这条老路。

在不改变博客原意的基础上进行了编译。

如果觉得博客太长，核心内容已经总结好了：

历史证明，通用方法总是在 AI 领域胜出；
当下 AI 应用领域的创业者正在重蹈 AI 研究者过去的覆辙；
更强大的 AI 模型将催生通用型 AI 应用，同时也会削弱 AI 模型「套壳」软件的附加价值。

AI 技术的飞速发展带来了一波又一波新产品。在 YC 校友演示日上，我见证了 100 多个创业项目的路演。这些项目都有一个共同点：它们瞄准的都是施加了各种限制和约束的 AI 解决的简单问题。

AI 真正的价值在于它能灵活处理各类问题。给 AI 更多自由度通常能带来更好的效果，但现阶段的 AI 模型还不够稳定可靠，所以还无法大规模开发这样的产品。

这种情况在 AI 发展史上反复出现过，每次技术突破的路径都惊人地相似。如果创业者们不了解这段历史教训，恐怕要为这些经验「交些学费」。

2019 年，AI 研究泰斗 Richard Sutton 在他那篇著名的《苦涩的教训》开篇提到：

「70 年的 AI 研究历史告诉我们一个最重要的道理：依靠纯粹算力的通用方法，最终总能以压倒性优势胜出。」

这篇文章标题里的「苦涩」二字，正是来自那些精心设计的「专家系统」最终都被纯靠算力支撑的系统打得落花流水。这个剧情在 AI 圈一演再演 —— 从语音识别到计算机象棋，再到计算机视觉，无一例外。

如果 Sutton 今天重写《苦涩的教训》，他一定会把最近大火的生成式 AI 也加入这份「打脸清单」，提醒我们：这条铁律还未失效。

同在 AI 领域，我们似乎还没有真正吸取教训，因为我们仍在重复同样的错误......

我们必须接受这个残酷的现实：在 AI 系统中，强行植入我们认为的思维方式，从长远来看注定失败。这个「苦涩的教训」源于以下观察:

1.AI 研究者总想把人类的知识经验塞进 AI

2. 这招短期确实管用，还能让研究者有成就感

3. 但迟早会遇到瓶颈，甚至阻碍 AI 的进步

4. 真正的突破往往出人意料 —— 就是简单地加大计算规模

站在 AI 研究者的角度，得到了《苦涩的教训》，意味着在总结教训的过程中明确了什么是「更好」的。对于 AI 任务，这很好量化 —— 下象棋就看赢棋概率，语音识别就看准确率。对于本文讨论的 AI 应用产品，「更好」不仅要看技术表现，还要考虑产品性能和市场认可度。

从产品性能维度来看，即产品能在多大程度上取代人类的工作。性能越强，就能处理越复杂的任务，创造的价值自然也就越大。

图 1. 展示了不同类型的 AI 产品，本文主要讨论应用层

AI 产品通常是给 AI 模型加一层软件包装。因此，要提升产品性能，有两条路径：

1. 工程升级：在软件层面利用领域知识设置约束

2. 模型升级：等待 AI 实验室发布更强大的模型

这两条路看似都可行，但在此有个重要洞察：随着模型性能提升，优化工程的价值在不断下降。

现阶段，软件端的设计确实能提升产品表现，但这只是因为当前模型还不够完善。随着模型变得更可靠，只需要将模型接入软件就能解决大多数问题了 —— 不需要复杂的的工程。

图 2. 投入工程的价值会随着投入增加和更强大模型的出现而递减。

上图展示了一个趋势：随着 AI 模型的进步，工程带来的价值将逐渐减少。虽然当前的模型还有明显不足，企业仍能通过工程投入获得可观回报。

这一点在 YC 校友演示日上表现得很明显。创业公司主要分为两类：第一类是已经实现规模化的产品，专注解决简单问题，但数量还不多；第二类则瞄准了相对复杂的问题。后者目前发展势头不错，因为他们的概念验证证明：只要在工程上下足功夫，就能达到预期目标。

但这些公司面临一个关键问题：下一个模型发布会不会让所有工程上的都成为无用功，摧毁他们的竞争优势？OpenAI 的 o1 模型发布就很好地说明了这个风险。

我和很多 AI 应用层的创业者聊过，他们都很担心，因为他们投入了大量精力来完善提示词。有了 o1 后，提示词工程的重要性就大大降低了。

从本质上讲，这种工程的目的是为了约束 AI 少犯错误。通过观察众多产品，可以概括为两类约束：

专业性：衡量产品的聚焦程度。垂直型产品专注于解决特定领域的问题，配备了专门的软件包装；而水平型产品则更通用，能处理多种不同类型的任务。
自主性：衡量 AI 的独立决策能力。在此借鉴一下 Anthropic 的分类：

1. 工作流：AI 按预设路径运行，使用固定的工具和流程

2. 智能体：AI 可以自主选择工具和方法，灵活决策如何完成任务

这就规定了一个 AI 产品的分类框架：

表 1. 对知名 AI 产品的分类。需要注意的是，ChatGPT 可能每次对话都会遵循预先设定的代码路径，因此更像工作流而非智能体。

以商业分析师制作路演 PPT 为例，看看每类产品如何实现这个任务：

垂类工作流：它按固定步骤执行任务，比如，先用 RAG 查询公司数据库，小型 LLM 做总结，大型 LLM 提取关键数据并计算，检查数据合理性后写入幻灯片，最后生成演示文稿。每次都严格遵循这个流程。
垂类智能体：LLM 能自主决策，循环工作：用上一步的结果指导下一步行动，虽然可用工具相同，但由 AI 自己决定何时使用。直到达到质量标准才停止。
通用工作流：像 ChatGPT 这样的通用工具只能完成部分任务，既不够专业也不够自主，无法完整处理整个工作流程。
水平智能体：如 Claude computer-use，能像人一样操作常规办公软件。分析师只需用自然语言下达指令，它就能根据实际情况灵活调整工作方法。

这很好理解 —— 当前的 AI 模型还不够成熟，只能用这种方式才能达到可用水平。结果就是，即使是过于复杂的问题，创业者们也不得不硬塞进这个框架，因为这是目前唯一能让产品勉强可用的方法。

虽然通过工程优化可以提升这些产品，但提升空间有限。对于当前模型难以处理的问题，与其投入大量工程资源，不如等待更强大的模型出现 —— 到时只需很少的工程就能解决问题。

正如 Leopold Aschenbrenner 在《Situational Awareness》中所指出的：「完善这些繁琐的工程，可能比等待更强大的模型还要耗时。」

这不禁让人联想起《苦涩的教训》：AI 研究者反复尝试用工程手段提升性能，最终却总是被简单堆砌算力的通用方案超越。今天的 AI 产品开发似乎正在重蹈覆辙。

把表 1 的内容和《苦涩的教训》联系起来之后，这样能更清楚地看到其中的关联：

总而言之，我的观点是：试图用软件工程来弥补当前 AI 模型的不足，似乎是一场注定失败的战斗，尤其是考虑到模型进步的惊人速度。

正如 YC 合伙人 Jarred 在 Lightcone 播客中所说：「第一波基于固定流程的 AI 应用，大多被新一代 GPT 模型淹没了。」

Sam Altman 常说，要打造那种期待而不是害怕新模型发布的创业公司。我遇到的很多 AI 创业者对新模型都很兴奋，但从他们公司的利益看，这种兴奋可能不太合适。

从统计学角度理解《苦涩的教训》

让我们用简单的统计学来理解这个道理。在做模型时，通常要面临一个选择：要么做一个规则很死板的模型（高偏差），要么做一个灵活但不太稳定的模型（高方差）。《苦涩的教训》告诉我们：选灵活的。

究其原因，因为只要有足够的算力和数据，灵活的模型最终也能变得很稳定。就像打篮球，就算姿势不标准，练得多了也能投准。但反过来就不行了，太死板的方法会被自己的规则限制住。

这跟 AI 产品是一个道理。做垂直领域的工具，加各种限制，就像给 AI 加规则，现在看起来更稳定，但限制了它的潜力。相反，让 AI 更自由一点虽然现在看着不太靠谱，但随着模型越来越强，它反而能找到更好的办法。历史一再证明，跟灵活性对着干是不明智的。

两种做 AI 的方法

图 1：对比了两种方法。传统机器学习需要人工来告诉机器「什么是重要的」，深度学习则能自己学会。

传统机器学习需要人来决定什么信息重要。比如给一张图片，你得手动找出有用的特征，数一数有多少个圆形，测量一下各种尺寸等等。但深度学习不同，它能自己学会找重要的东西。

图 2：比如自动驾驶。系统要识别和跟踪车辆、行人、车道线等具体物体。这就是分解复杂问题的传统方法。

以自动驾驶来说，你有两种方式：

1. 老方法：把车看到的东西分解：前面的车在哪，车道线在哪，那个人跑多快？

2. 新方法：直接把视频扔给 AI，让它自己学会开车。

老方法看着更靠谱，更有把握。所以早期的 AI 都这么干。但正如 George Hotz 所说：「AI 的历史告诉我们，老方法最后总会被新方法打败。」

图 3：DeepMind 研究员 Sholto Douglas：就像其他所有深度学习系统一样，押注端到端就对了

作者简介

博客作者为 Lukas Petersson。今年 26 岁的他于去年从隆德大学毕业，拿下了工程物理和数学双硕士学位。

虽然年轻，但他的经历可谓丰富多彩：

现在他是 Andon Labs 的 CEO 兼联合创始人，专注 AI 安全评估和大语言模型研究。此前，他曾在 Google 实习，曾在 Disney Research 开发病毒式机器人，还曾参与探空火箭发射项目，担任项目主要负责人。

参考链接：

https://x.com/dotey/status/1878595515924820420

https://lukaspetersson.com/blog/2025/bitter-vertical/

...

#CityGaussianV2

高效重建几何精准的大规模复杂三维场景

是否还在担心大规模场景训练和压缩耗时太长、显存开销太大？是否还在苦恼重建出的建筑物和道路表面破碎不堪？是否还在困扰如何定量衡量大规模场景几何重建的精确程度？

来自中科院自动化所的研究团队提出了用于大规模复杂三维场景的高效重建算法 CityGaussianV2，能够在快速实现训练和压缩的同时，得到精准的几何结构与逼真的实时渲染体验。该论文已接受于 ICLR`2025，其代码也已同步开源。

论文题目：CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes
项目主页: https://dekuliutesla.github.io/CityGaussianV2
论文链接: https://arxiv.org/pdf/2411.00771
代码链接 (600+⭐): https://github.com/DekuLiuTesla/CityGaussian

研究背景

三维场景重建旨在基于围绕目标场景拍摄的一组图像恢复出场景的三维结构，其核心追求是精准的几何结构以及逼真的图像渲染。随着近两年的发展，3D Gaussian Splatting（3DGS）因其训练和渲染效率上的优势逐渐成为该领域的主流算法。这一技术使用一组离散的高斯椭球来表示场景，并使用高度优化的光栅器进行渲染。然而，这一离散且无序的表征形式通常难以很好地拟合物体表面的实际分布，导致重建出的场景几何结构并不精准。近来包括 SuGaR、2DGS、GOF 在内的一系列杰出工作针对这一问题进行了探索，并给出了有效的解决方案。

几何重建质量可视化比较

尽管这些技术在单一目标或小场景上取得了巨大的成功，但它们应用于复杂的大规模场景却往往面临比 3DGS 更加严峻的挑战。上图展现了不同算法在大规模场景下的几何重建效果。SuGaR 的模型容量有限，难以还原精细的几何结构；GOF 受到严重的模糊鬼影的干扰，许多视角下画面被鬼影完全遮挡，以至于监督失效，重建结果面对显著的欠拟合；2DGS 受到模糊鬼影的影响较弱，但也妨碍了其收敛效果，并且退化现象容易诱发高斯基元的过度增长，进而引起显存爆炸，训练难以为继。

此外，大规模场景下长期以来缺少几何重建质量的有效评估手段，已有的工作或只进行了可视化定性比较，或忽视了欠观测区域不稳定的重建效果对指标产生的干扰。大规模场景的重建往往还意味着显著的训练开销，要重建 1.97 平方千米的区域会产生接近两千万的高斯点，这意味着 4.6G 的存储以及 31.5G 的显存开销，以及超过三小时的训练时长。如果要进一步完成压缩，通常还需要额外将近一个小时的时间。

针对这三方面的技术挑战，本文提出了 CityGaussianV2。该算法继承了 CityGaussian 的子模型划分与数据分配方案，并使用 2DGS 作为基元来重建。在此基础上，CityGaussianV2 引入了基于延展率过滤和梯度解耦的稠密化技术，以及深度回归监督，同时合并了训练和压缩过程，得到了端到端的高效。训练管线，不仅有效加速算法收敛，同时保障了稳定、快速、低显存开销的并行训练。

CityGaussianV2 方法介绍

1.场景重建基础

3DGS 使用一组高斯分布表征的椭球对场景进行表征，每个高斯球同时绑定包括不透明度、颜色以及高阶球谐系数等用于 alpha blending 渲染的属性，并通过包含 L1 损失和 SSIM 损失的加权和对渲染质量进行监督。在训练过程中，算法还会根据每个高斯基元的梯度信息进行自适应地分裂和克隆，使得重建效果不佳的区域能够自动被更合适的基元填充。2DGS 旨在增强几何重建精度，并将椭球降维为椭圆面片作为基元表征场景，同时对渲染出的深度和法向量分布施加监督，保证重建表面的平整性。

CityGaussian 旨在将 3DGS 泛化到大场景，首先预训练一个表征全局场景的粗粒度的 3DGS 场，随后将预训练结果划分为一系列子模型，并根据子模型对训练视图渲染的贡献程度为每个子模型分配训练数据。每个子模型随后会用不同的 GPU 并行微调，并在训练结束后进行合并和压缩，得到场景的最终表征。

2.CityGaussianV2 的优化算法

高斯基元优化算法示意图

现有表面重建方案在泛化到大场景时往往展现出收敛迟缓、训练不稳定等问题，导致并行训练失败，难以取得良好的重建效果。我们的算法以泛化能力最好的 2DGS 为基元，在引入 Depth-Anything-V2 的伪深度监督提供几何先验的基础上，进一步提出了新的高斯基元稠密化方案。我们观察到，在复杂大规模场景上，2DGS 在早期训练阶段比 3DGS 受到更严重的模糊伪影的干扰，导致在迭代次数有限的情况下性能显著劣于 3DGS。为了缓解这一问题，我们引入梯度解耦策略，利用对图像结构差异更为敏感的 SSIM 损失作为稠密化的主要梯度来源：

此处 ω 用于控制梯度的尺度；另外在大规模场景下用 2DGS 进行重建的障碍在于其退化现象。实验证据表明，当从远距离或侧面视角渲染时，部分面片可能会退化成线或点，尤其是那些延展率比较高的面片。对于那些具有高不透明度的投影点，它们的移动往往意味着像素值的剧烈变化，从而使得它们获得较高的梯度，并在稠密化过程中大量增殖，导致基元数量指数级增长，最终导致显存爆炸问题。为了解决这一问题，在稠密化过程中，我们对容易引起退化和梯度集中的具有极端延展率的高斯面片进行了筛选，并对其增殖过程进行了限制，从而在不牺牲性能的情况下有效稳定了训练过程，保障了优化过程的顺利进行。

3.CityGaussianV2 的并行训练管线

CityGaussianV2 训练管线，虚线框为摒弃的算法流程

CityGaussianV2 在 V1 的基础上进一步优化了并行训练管线，使得训练和压缩过程得到统一，删除了冗余的后处理流程。具体而言，算法在子模型的并行训练过程中周期性地遍历训练视角集合 V_m 并计算每个高斯基元的重要性分数：

其中 P_k 为第 k 张训练视图的像素几何，α_n 为第 n 个基元的不透明度。以此为基础，重要性低于一定百分比阈值的基元会被删除，从而降低显存和存储的开销，使得训练对于低端设备更友好，也显著加速了模型总体的收敛速度。

4.大规模重建几何评估协议

大规模场景几何精度评估流程

CityGaussianV2 填补了大规模场景下几何评测协议长期以来的空白，在 Tanks and Temple (TnT) 数据集的启发下，基于点云的目击频次统计设计了针对大规模场景欠观测区域的边界估计方案。具体而言，点云真值会首先被初始化为 3DGS，在遍历所有训练视图的同时记录每个点的观测频次，观测频次低于阈值的点将被滤除；剩余的点将用于估计垂直方向的高度分布范围，以及地平面内的多边形外接轮廓，二者构成的 Crop Volume 进一步用于 TnT 形式的指标计算。这一方案有效规避了欠观测区域重建效果不稳定带来的指标波动，使得大规模复杂场景的几何性能评估更为客观公正。

实验与分析

与主流算法的性能对比

几何重建质量可视化比较

在实验中，相比于已有算法，CityGaussianV2 在几何精度（精度 P，召回率 R，综合指标 F1-Score）方面达到了最佳的性能表现。从可视化结果中也可以看到，CityGaussianV2 的重建结果具有更准确的细节，完整性也更高。而渲染质量方面，CityGaussianV2 则达到了和 V1 相媲美的程度，能够带来逼真的浏览体验。此外，CityGaussianV2 还能较好地泛化到街道景观，并且在渲染质量和几何精度上都取得良好的性能结果。

渲染质量可视化比较

街拍场景可视化比较

高斯基元数量相近情况下的重建性能及训练开销比较

在训练开销方面，CityGaussianV2 克服了 2DGS 泛化到大规模复杂场景下的种种挑战，不仅有效规避显存爆炸问题，而且实现了相对于 V1 显著的显存优化，同时在训练用时和几何质量方面大幅领先。针对 2DGS 的量化压缩策略也使得大规模场景的重建结果能够以 400M 左右的开销存储下来。

总结

本工作致力于大规模复杂场景的高效精准重建，并建立了大规模场景下的几何精度评估基准。所提出的 CityGaussianV2 以 2DGS 为基元，消除了其收敛速度和扩展能力方面的问题，并实现了高效的并行训练和压缩，从而大大降低了模型的训练成本。在多个具有挑战性的数据集上的实验结果证明了所提出方法的效率、有效性和鲁棒性。

....

#MobileAgent

UIUC与阿里通义实验室推出新型多层级手机智能体攻克复杂任务场景可自我进化

项目主页：https://x-plug.github.io/MobileAgent/

论文地址：https://arxiv.org/abs/2501.11733

在如今的智能手机时代，手机的使用已然成为人们日常生活的重要组成部分。除了娱乐，用户还需要应对许多繁琐耗时的任务，例如跨购物平台比价、检索和记录信息等。

尽管现有的移动智能助手在简单指令和单个应用上已有不错的表现，但面对复杂推理、多步规划及跨应用操作的任务，往往难以胜任。此外，这些助手通常没有自我学习提升的能力，每次任务都如“从零开始”。

针对上述挑战，伊利诺伊大学香槟分校（UIUC）与阿里巴巴通义实验室联合推出了一种全新的智能体框架：Mobile-Agent-E。它采用分层多智能体架构，结合长期记忆与自我进化模块，不仅提升了复杂任务的解决能力，还能够通过反思过往经验不断改进交互效率。

我们先来看一个例子，用户想要购买一个全新的任天堂Switch手柄，并要求在三个不同的网购App上对比价格并找到最便宜的选项。Mobile-Agent-E成功完成了这一复杂长流程任务，而以往SOTA仅达到了约50%的完成度。

Mobile-Agent-E：全新层次化多智能体框架层次化多智能体架构

Mobile-Agent-E 的第一个核心创新在于采用层次化多智能体协同框架，显式区分高层规划与低层动作执行，极大增强了长远规划能力与错误修复能力。

Mobile-Agent-E 由一个高层管理智能体和四个执行智能体组成：

管理者（Manager）：负责高层次推理与任务规划，基于用户请求分解子目标，并参考长期记忆中的捷径（Shortcuts）优化规划。当低层任务失败时，管理者会接手调整策略。

感知者（Perceptor）：由视觉感知模块组成，用于识别截图中的细粒度文本和图标信息，包括 OCR、图标识别和描述生成功能。
操作员（Operator）：根据管理者提供的计划，执行具体操作（如点击、滑动）。操作员同时利用提示（Tips）和捷径（Shortcuts）优化操作效率。
动作反思者（Action Reflector）：通过对比动作前后的状态，判断操作是否成功，并生成反馈。
记录员（Notetaker）：在任务中记录关键信息，例如价格、电话号码等，为后续任务提供参考。

通过这种分工协作的架构，Mobile-Agent-E 实现了在复杂任务中的高效运作，例如在多个购物平台间比价并找到最优选项。

下图展现了具体任务执行过程中，各个智能体的输入和输出：

自我进化模块

Mobile-Agent-E 独创了自我进化模块，赋予智能体类似人类逐渐熟练使用手机的能力。该模块包括两种知识形式：

提示（Tips）：从过往任务中总结出的交互指导和经验教训，类似于人类的情景记忆。
捷径（Shortcuts）：由多个原子操作组成的技能，适用于重复性子任务，类似程序性知识。

提示和捷径被存储在长期记忆中，并在每次任务完成后通过经验反思优化更新。例如，“点击输入框-输入文本-回车”的操作仅在页面有输入框时可用，反思模块会验证其适用性并优化使用条件。

基准测试与实验结果Mobile-Eval-E Benchmark

为验证 Mobile-Agent-E 的性能，研究团队设计了新的基准测试集 Mobile-Eval-E，专注于多步骤、多应用交互任务。相比现有测试集，其任务平均操作步骤翻倍，且超 76% 涉及跨应用场景。

评价指标

研究团队提出了全新的评价指标——满意度得分（Satisfaction Score, SS），综合评估关键步骤完成度与探索行为。此外，还设计了满意度-步骤曲线（SSS 曲线），直观展示不同模型在效率上的差异。

实验结果

实验显示，Mobile-Agent-E 在多种基础模型上均超越现有 SOTA，尤其是启用自我进化模块后，满意度得分提高了 33.9% 。

SSS 曲线表明，Mobile-Agent-E 能以更少的步骤实现更高满意度，展现了卓越的效率。

更多分析

Mobile-Agent-E 随任务增多表现显著提升：
捷径的引入显著加快了任务执行速度：

案例研究

当模型在执行大量任务和应对多种场景时，积累的提示（Tips）和捷径（Shortcuts）可能会多到无法全部纳入决策上下文。

为了解决这一问题，作者引入了两个经验检索代理（Experience Retriever），从经过优化的长期记忆中提取与新任务最相关的提示和捷径。

如下图案例研究所示，Mobile-Agent-E 能够高效检索并利用高度相关的提示和捷径，从而成功完成一个具有挑战性的全新任务。这一探索为未来构建完全闭环的自我进化手机智能体开辟了新的可能性。

实机演示

以下视频展示了更多Mobile-Agent-E操作真实安卓手机的例子：

，时长01:24

，时长01:15

，时长01:07

* 视频经过加速处理

展望

Mobile-Agent-E 的推出标志着移动智能体从简单场景应用迈向更多真实世界中的复杂任务。尤其其自我进化能力为未来发展提供了广阔空间，后续研究可聚焦于更强的自主进化能力、个性化优化及安全性提升等。

....

#谷歌新一代Gemini全型号

冲击DeepSeek R1，谷歌发布新一代Gemini全型号刷榜，编程、物理模拟能力炸裂

Jeff Dean：一次生成就能出正确代码。

在 DeepSeek 的强烈攻势下，这次轮到谷歌坐不住了。

本周三，该公司全面发布 Gemini 2.0 Flash、 Gemini 2.0 Flash-Lite 以及新一代旗舰大模型 Gemini 2.0 Pro 实验版本，并且还在 Gemini App 中推出了其推理模型 Gemini 2.0 Flash Thinking。

下图为三个模型在通用、代码、推理、事实性、多语言、数学、长上下文、图像、音频和视频等多领域任务中的性能指标。

在大模型排行榜上，Gemini 2.0-Pro 在 Chatbot Arena 所有类别中排名第一。Pro 版在代码等复杂任务上表现突出，Gemini Advanced 用户目前已经可以在 App 上进行试用了。

与此同时，排名并列第三的 Gemini-2.0-Flash 已通过 Google AI Studio 和 Vertex AI 向开发人员广泛开放（价格是 0.1 美元 / M token），Flash-lite 也以更低的成本进入了前十。谷歌还在 Gemini 应用程序中推出了旗下「推理」模型 Gemini 2.0 Flash Thinking。

新版本 Gemini 2.0 可以做到很多以前做不到的事。谷歌首席科学家 Jeff Dean 表示 Gemini 2.0 Pro 模型可以编写完整的代码，包括所有正确的数据结构和搜索算法，一次尝试就可以获得正确的数据结构。

更多第三方试用的结果也已陆续出现在社交网络上，可见 Gemini 2.0 的性能提升明显，可以生成代码实现一些模拟物理规律的效果。

提示词：创建一个自行动的贪吃蛇游戏，其中 100 条蛇相互竞争。（单次尝试）

提示词：编写一个脚本，显示一个球在旋转的六边形内弹跳。球应该受到重力和摩擦力的影响，并且必须逼真地从旋转的墙壁上弹起，在 p5.js 中实现。（单次尝试）

提示词：编写一个 p5.js 脚本，模拟圆柱形容器真空空间中的 25 个粒子，它们在容器边界内弹跳。为每个球使用不同的颜色，并确保它们留下显示其运动的轨迹。添加容器的缓慢旋转，以便更好地查看场景中发生的事情。确保创建适当的碰撞检测和物理规则，以确保粒子留在容器中。添加外部球形容器。为整个场景添加缓慢放大和缩小效果。

种种迹象表明，进入 2025 年之后，全球大模型领域的竞争烈度又上了一个台阶。谷歌正式发布 Gemini 2 系列的同时，OpenAI 立即作出回应，宣布将其 AI 搜索功能面向所有免费用户开放。

值得注意的是，有媒体报道称在谷歌发布新模型之际，科技界的注意力仍然集中在 DeepSeek 上。DeepSeek 的模型在性能上媲美甚至超越了美国科技公司提供的领先 AI 模型。与此同时，企业可以通过 DeepSeek 的 API 以相对低廉的价格使用其模型。

谷歌和 DeepSeek 都在去年 12 月发布了 AI 推理模型，但 DeepSeek 的 R1 模型获得了更多关注。现在，谷歌可能正试图通过其广受欢迎的 Gemini app，让更多人了解其 Gemini 2.0 Flash Thinking 模型。

至于 Gemini 2.0 Pro，作为谷歌去年 2 月推出的 Gemini 1.5 Pro 模型的继任者，谷歌表示它现在是 Gemini AI 模型家族中的领先模型。

在价格方面，谷歌将继续通过 Gemini 2.0 Flash 和 2.0 Flash-Lite 降低成本。两者均采用单一输入类型的定价模式，取消了 Gemini 1.5 Flash 中对短上下文和长上下文请求的区分。这意味着，尽管 2.0 Flash 和 Flash-Lite 在性能上有所提升，但在混合上下文工作负载下，两者的成本可能低于 Gemini 1.5 Flash。

谷歌 Gemini 2.0 三大模型：全方位加强

Gemini 2.0 Pro 实验版本

首次是新一代旗舰 Gemini 2.0 Pro 实验版本，它是谷歌迄今为止在编码和复杂指令任务中表现最好的模型。

在 Gemini 2.0 早期实验版本中（如 Gemini-Exp-1206），开发人员已经发现了这些模型的优势和最佳用例，比如编码、复杂指令。

此次，Gemini 2.0 Pro 实验版本进一步强化了这些功能，具备了最强大的编码性能和处理复杂指令的能力，并且比谷歌此前发布的任何模型都具备更好的理解和推理世界知识的能力。

据介绍，该模型支持了谷歌最长的 200 万 tokens 上下文窗口，可以处理 2 小时视频、22 小时音频、6 万+ 行代码和 140 万 + 单词，从而能够全面分析和理解海量信息。同时，该模型还支持调用 Google 搜索和代码执行等工具。

目前，Gemini 2.0 Pro 已经作为实验模型提供给 Google AI Studio 和 Vertex AI 的开发人员使用，并且 Gemini Advanced 用户在桌面和移动设备中也可以体验。

Gemini 2.0 Flash

其次来看 Gemini 2.0 Flash，它是谷歌 Flash 系列模型的最新「成员」。

在 2024 年谷歌 I/O 大会上，Gemini 2.0 Flash（实验版本）首次亮相，此后便作为强大的主力模型而深受开发者的喜爱，并最适合大规模处理高容量、高频率任务，并能够通过 100 万 tokens 上下文窗口对海量信息进行多模态推理。

当前，Gemini 2.0 Flash 已经在谷歌的 AI 产品中向更多人全面开放使用。据介绍，该模型提供了全面的功能，包括原生工具使用。目前支持文本输出，并即将推出图像生成与文本转语音功能，未来几个月还将提供多模态 Live API。

目前，用户既可以在 Gemini App 中试用该模型，也可以在 Google AI Studio 和 Vertex AI 中使用 Gemini API。

Gemini 2.0 Flash-Lite

最后是 Gemini 2.0 Flash-Lite，它是谷歌目前为止性价比最高的模型。该模型针对大规模文本输出用例进行了成本优化。

谷歌表示，他们收到了关于 Gemini 1.5 Flash 在价格和速度方面的积极反馈，并希望在保持成本与速度优势的同时继续提升模型质量。因此，Gemini 2.0 Flash-Lite 在性能上更强，在大多数基准测试中均优于 1.5 Flash，并且速度和成本相当。

此外，与 2.0 Flash 一样，Gemini 2.0 Flash-Lite 支持 100 万 tokens 上下文窗口和多模态输入。比如，该模型可以为大约 4 万张不同的照片生成相关的单行字幕（或标题），在 Google AI Studio 付费套餐中仅花费不到 1 美元。

目前，Gemini 2.0 Flash-Lite 在 Google AI Studio 和 Vertex AI 中提供公开预览版。

下图为三个模型的一些参数汇总，可以看出图像和音频功能即将上线。

改变游戏规则？

Gemini 2.0 全面开放后，其领先能力在机器学习社区被热烈讨论。有评论认为，在这代模型推出后包括 OCR 等一些领域的游戏规则已被改变。

Gemin 2.0 在处理真实文档时已经可以做到极高的准确率和低成本，实测很少会出现具体数值被误读的情况。除了表格解析之外，Gemini 在 PDF 到 Markdown 转换的所有其他方面可以始终提供近乎完美的准确性。所有特性结合在一起，你将获得一个极其简单、可扩展且便宜的索引流程。

我们一直在等的大模型技术革命，已经在很多领域出现了。

参考链接：

https://developers.googleblog.com/en/gemini-2-family-expands/

https://blog.google/technology/google-deepmind/gemini-model-updates-february-2025/

https://techcrunch.com/2025/02/05/google-launches-new-ai-models-and-brings-thinking-to-gemini/

https://news.ycombinator.com/item?id=42952605

.......

#广义关联回忆（Generalized Associative Recall, GAR）

大模型会组合关系推理吗？打开黑盒，窥探Transformer脑回路

本文作者为北京邮电大学网络空间安全学院硕士研究生倪睿康，指导老师为肖达副教授。主要研究方向包括自然语言处理、模型可解释性。该工作为倪睿康在彩云科技实习期间完成。联系邮箱：ni@bupt.edu.cn, xiaoda99@bupt.edu.cn

人类拥有一种强大的能力，能够理解多个实体之间复杂的关系并基于这些关系进行推理，这被称为组合关系推理（Compositional Relational Reasoning, CRR）。这种能力不仅是智能的标志，也是我们应对日常问题和复杂任务的核心技能。那么，像 GPT 这样的大型语言模型（LLM）是否具备这种能力？它们又是如何在内部处理这种任务的？为了回答这个问题，研究者开发了一个新的基准测试，称为广义关联回忆（Generalized Associative Recall, GAR），专门用来评估 LLM 在组合推理任务中的表现，并进一步研究模型如何解决这些任务。论文《Benchmarking and Understanding Compositional Relational Reasoning of LLMs》已被 AAAI 2025 接收。本工作由北京邮电大学和彩云科技合作完成。

论文地址：https://arxiv.org/abs/2412.12841
代码地址：https://github.com/Caiyun-AI/GAR

GAR 基准测试

研究者注意到，目前大多数用于测试 LLM 的任务要么过于简单，只能用于可解释性分析，无法真实反映模型在复杂推理场景下的表现，要么过于复杂，不适合深入研究模型的内部机制。因此，他们设计了 GAR，一个更加多样化和具有挑战性的基准测试。GAR 整合了多个经典任务（如 knowledge recall、associate recall、Indirect Object Identification (IOI) 等），并通过不同的任务形式（如肯定 / 否定句、生成 / 分类任务）和难度等级，系统地考察模型的推理能力。

简单来讲（更多例子见下图 1 和图 2）：

associate recall 就是从前文 “抄写”：前文说了 “小明有苹果”，后文再说 “小明有__”，就知道要填 “苹果”；
knowledge recall 就是记到 “脑子” 里的各种常识知识：苹果是一种__（水果），巴黎在__（法国）
IOI 就是排除（否定）：【苹果、狗、苹果】哪个不是苹果？__（狗）

GAR 的特点是：

1. 挑战性足够高：即使是最先进的 LLM，在 GAR 任务上的表现也并不理想，暴露了它们在组合推理能力上的缺陷。

2. 适合深入研究：GAR 任务相对简单的生成过程，使得研究者能够更好地追踪模型内部的推理机制。

图 1 广义关联回忆（Generalized Associative Recall, GAR）任务构建框架。GAR 任务的设计流程包括三个步骤：选择关系模式（如 “same” 或 “kindOf”）、采样数据构建关系环（结合语义与语法关系）以及生成语句并引入语义和句法变体（如否定形式或主宾交换），图中左中右部分分别展示了关系环的构建、任务数据的生成与语句的多样化处理，体现了 GAR 在任务灵活性和复杂度上的优势

图 2 GAR 任务示例。任务分为两大类：生成式（填空题，补全最后一个词）和判别式（判断题，回答 Yes 或 No）

现有模型的表现

通过对主流开源（如 Llama-2/3 7B/13B/33B/70B）和闭源模型（如 GPT-3.5/4）的测试发现：

任务难度显著影响表现：当任务的推理步骤或复杂度增加时，模型的正确率会明显下降。
“组合性差距（Compositionality Gap）”：模型在回答任务的各个子问题时可能表现良好，但无法正确组合这些答案以得出最终结论。例如，模型能回答对 “【小明有苹果，小红有狗】小明有__（苹果）”（前文抄写），对 “苹果是一种__（水果）”（常识）和 “【小明、小红】里哪个不是小红？__（小明）”（否定排除）也毫无压力，但把它们组合起来：“【小明有苹果，小红有狗】小红没有一种__（水果）”，模型就很容易蒙圈（在不允许 CoT 的情况下）。
模型规模与性能：虽然更大的模型在一些任务上表现更好，但它们的 “组合性差距” 往往更明显，这表明增加模型规模并不能完全解决这个问题。

图 3 (a) 不同 LLM 在 GAR 上的表现。本图比较了生成任务（Gen.）和分类任务（Cls.）的平均准确率和正确答案的预测概率，随着模型规模增大，准确率和答案概率均呈正相关增长

图 3 (b 左) GPT-4 和 Vicuna-33B 在不同难度的生成式任务上的表现，通过增加非相同语义关系和引入否定语义变体调整任务难度；(c 中) 组合性差距随模型规模的变化， Llama 系列模型随规模增大而表现出更大的组合性差距，反映出 LLM 在组合关系推理中的不足；(d 右) 语法变化差距随模型规模的变化，句法变体对模型性能影响较小，表明模型对语法变化的敏感性较低

GAR 任务还有个很有趣的特点：尽管它对最先进的 LLM 都具有挑战性，它对人类来说却非常简单：研究者评估，在具备必要知识（如国家 - 首都关系）的情况下，人类完成任务的准确率超过 90%。并且通过实验表明，LLM 回答错误并不是因为缺少这些事实性知识。这揭示了 LLM 在组合关系推理上存在某些根本性缺陷。

模型内部的推理机制

为了更好地理解 LLM 如何解决 GAR 任务，研究者采用了归因补丁（attribution patching）的方法。这种技术可以帮助发现模型在推理过程中依赖的关键计算单元，特别是某些注意力头的作用。值得指出的是，这里无论任务难度、回路复杂度还是模型大小，都远超已有模型可解释性工作。研究发现：

核心回路：Vicuna-33B 模型中存在一组通用的核心回路，能够被不同任务重复利用。
注意力头的作用：研究者识别出两类关键注意力头（True head 和 False head），它们的激活状态分别表示抽象的 “真” 和 “假” 的概念。进一步的实验表明，这些头在不同任务和模型中都扮演了重要角色，是组合推理能力的基础。

图 4 (a 左) True head 子回路 (b 右) False head 子回路

图 4 (c) 判别回路

图 4 (d) 肯定式生成回路

图 4 (e) 否定式生成回路

研究者发现，无论哪种回路，从更高的层次看，都包含我们称之为 “relational loop” 的由注意力边组成的闭环。这和构造 GAR 任务时的关系环是一致的。研究者认为正是这些闭环的存在保证了可预测性。

通过干预关键注意力头提升 LLM 表现

注意到 True/False 头在图 4 的所有回路中都有出现并扮演了关键角色。为了验证 Vicuna 模型中的 True/False 头的通用性和有效性，并探讨其在不同模型规模上的一致性。研究者选择了三个具有代表性的分类任务：由 GendersOfPersons 关系模式分别与 CountriesOfCities (CoC)、KindsOfThings (KoT) 和 UsagesOfThings (UoT) 三个关系模式组合作为数据源。首先，利用 attribution patching 识别不同规模的 Vicuna 模型（Vicuna-7B/13B/33B）的 True/False 头。随后，在模型推理过程中对 True/False 头进行干预：当答案为 Yes/No 时，对 True/False 头施加干预，同时屏蔽 False/True 头，以观察其对模型判断的影响。

图 5 (a 左) 干预 Vicuna-7B 的 True / False heads 提升判别任务的准确率，干预后模型准确率分别提高了 17%/14%/6%，证明 True/False 头在各个模型中均表现出一致的效果；(b 右) True / False heads 的激活区分真 / 假陈述，通过可视化 True 和 False 头的激活值，发现它们有效地区分了真假语句。这表明，True/False 头编码了真假概念，并在 GAR 任务中起到了判断语句真伪的关键作用

研究意义

这项研究首次明确指出了 LLMs 在组合关系推理任务中的核心缺陷，并通过实验揭示了模型内部的关键推理机制。这不仅加深了我们对 LLMs 工作原理的理解，也为模型改进提供了启发和洞见。例如：

优化注意力机制：通过改进关键注意力头的功能，可以显著提升模型的推理能力，例如研究团队的 DCFormer 工作 [1] 的最早期想法就是分析 LLM 在类似 GAR 任务上的表现启发而来的。。
设计更具多样性的基准：在真实世界任务中测试和改进模型的组合推理表现。

.....

#LLaVA-Mini

每张图像所需视觉token压缩至1个，兼顾效率内存

以 GPT-4o 为代表的实时交互多模态大模型（LMMs）引发了研究者对高效 LMM 的广泛关注。现有主流模型通过将视觉输入转化为大量视觉 tokens，并将其嵌入大语言模型（LLM）上下文来实现视觉信息理解。然而，庞大的视觉 token（vision token）量显著增加了 LMMs 的计算复杂度和推理延迟，尤其在高分辨率图像或视频处理的场景下，效率问题愈加突出。因此，提高多模态大模型的计算效率成为实现低延时实时交互的核心挑战之一。

为了应对这一挑战，中国科学院计算技术研究所自然语言处理团队创新性的提出了高效多模态大模型 ——LLaVA-Mini。通过对 LMMs 中视觉 tokens 处理过程的可解释性分析，LLaVA-Mini 将每张图像所需的视觉 tokens 压缩至 1 个，并在确保视觉理解能力的同时显著提升了图像和视频理解的效率，包括：计算效率提升（FLOPs 减少 77%）、响应时延降低（响应延时降至 40 毫秒）、显存占用减少（从 360 MB / 图像降至 0.6MB / 图像，支持 24GB GPU 上进行长达 3 小时的视频处理）。

论文题目：LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token
论文链接：https://arxiv.org/abs/2501.03895
开源代码：https://github.com/ictnlp/LLaVA-Mini
模型下载：https://huggingface.co/ICTNLP/llava-mini-llama-3.1-8b

多模态大模型如何理解视觉 Tokens？

为了在减少视觉 token 的同时保持视觉理解能力，研究者首先分析了 LMMs 如何处理和理解大量视觉 token。分析集中在 LLaVA 架构，特别从注意力机制的角度探讨了视觉 token 的作用及其数量对 LMMs 性能的影响。具体而言，实验评估了视觉 token 在 LMMs 不同层中的重要性，涵盖了多种 LMMs，以识别不同规模和训练数据集的模型之间的共性。

视觉 token 在 LMMs 不同层中获取的注意力权重

LMMs 中不同层的注意力可视化

分析发现：

1. 视觉 token 在前几层中的重要性较高：在 LMMs 的前几层，视觉 token 获得了更多的注意力，但随着层数增加，注意力迅速转向指令 token（文本），超过 80% 的注意力集中在指令 token 上。这表明，视觉 token 主要在前层发挥作用，文本 token 通过注意力机制从视觉 token 中获取视觉信息，而后续层则依赖于已经融合视觉信息的指令 token 来生成回复。

2. 大部分视觉 token 在前几层中被关注：如上图注意力可视化所示，早期层中几乎所有视觉 token 都受到均匀关注，而在后期层，模型则集中注意力于少数几个视觉 token。这表明，直接减少所有层中的视觉 token 数量不可避免地会导致视觉信息的丢失。

更多分析请参考论文。通过预先分析，研究者发现视觉 token 在 LMMs 的早期层中起着至关重要的作用，在这一阶段，文本 token 通过关注视觉 token 融合视觉信息。这一发现为 LLaVA-Mini 极限压缩视觉 token 的策略提供了重要的指导。

LLaVA-Mini 介绍

LLaVA-Mini 使用视觉编码器将图像编码为若干视觉 token。为了提升效率，LLaVA-Mini 通过压缩模块大幅减少输入 LLM 底座的视觉 token 数量。为了在压缩过程中保留视觉信息，基于先前的研究发现，视觉 token 在早期层中对于融合视觉信息至关重要，LLaVA-Mini 在 LLM 底座之前引入了模态预融合模块，将视觉信息融入文本 token 中，从而确保视觉理解能力。

视觉 token 压缩

LLaVA-Mini 通过基于查询的压缩模块（query-based compression）减少输入 LLM 底座的视觉 token 数量。为学习视觉 token 的压缩，LLaVA-Mini 引入若干可学习的压缩查询（query），通过交叉注意力机制与所有视觉 token 交互，选择性提取关键的视觉信息，生成压缩后的视觉 token。当压缩查询数量为 1 时，LLaVA-Mini 仅用一个视觉 token 表示一张图像。

模态预融合

视觉 token 的压缩不可避免地会丢失部分视觉信息。为了在压缩过程中尽可能保留更多的视觉信息，LLaVA-Mini 在 LLM 底座前引入模态预融合模块，文本 token 预先融合来自所有视觉 token 的相关视觉信息。基于之前的发现，视觉文本信息融合通常发生在 LLM 底座的早期层，而 LLaVA-Mini 将这种融合过程显示地提取到 LLM 外部进行，从而减少计算量。

最终，LLaVA-Mini 将输入 LLM 底座的 token 数量从 “576 个视觉 token+N 个文本 token” 压缩至 “1 个视觉 token+ N 个模态融合 token”。通过此，LLaVA-Mini 能够更高效地完成图像理解和视频理解。

实验结果

在本文的实验中，研究者在 11 个图像理解基准和 7 个视觉理解基准上评估了 LLaVA-Mini 的性能以及效率优势，以下是所得的关键实验结果。

图像理解评估

如上表所示，研究者在 11 个基准测试上比较了 LLaVA-Mini 和 LLaVA-v1.5。结果表明，LLaVA-Mini 仅使用 1 个视觉 token（压缩率 0.17%），远低于 LLaVA-v1.5 的 576 个视觉 token，取得与 LLaVA-v1.5 相当的图像理解能力。

视频理解评估

如上表所示，LLaVA-Mini 在视频理解上优于目前先进的视频 LMMs。这些视频 LMMs 使用大量视觉 token 表示每帧（224 或 576），受限于上下文长度，仅能提取 8-16 帧，可能导致部分视频信息丢失。相比之下，LLaVA-Mini 通过 1 个视觉 token 表示每张图像，能够以每秒 1 帧的速度提取视频帧，从而在视频理解上表现更佳。

长视频理解评估

研究者进一步将 LLaVA-Mini 与先进的长视频 LMMs（能够处理超过 100 帧的视频）在长视频基准 MLVU 和 EgoSchema 上进行比较。

如上表所示，LLaVA-Mini 在长视频理解上具有显著优势。通过将每帧表示为一个视觉 token，LLaVA-Mini 在推理时能够轻松扩展到更长的视频，并且通过 token 之间的位置编码隐式建模时序关系。特别地，LLaVA-Mini 仅在少于 1 分钟（< 60 帧）的视频上进行训练，且在推理时能够处理超过 2 小时（> 7200 帧）的长视频。

LLaVA-Mini 效率提升

效率优势是 LLaVA-Mini 的一大亮点。如上图所示，与 LLaVA-v1.5 相比，LLaVA-Mini 显著减少了 77% 的计算负载，实现了 2.9 倍的加速。LLaVA-Mini 的响应延迟低于 40 毫秒，这对于开发低延迟实时 LMMs 至关重要。

视频处理是 LMMs 面临的另一个挑战，特别是在显存消耗方面。上图展示了 LMMs 在处理不同长度视频时的内存需求。以往的方法每张图像需要约 200-358 MB 的内存，使得它们在 40GB GPU 上仅能处理约 100 帧。相比之下，LLaVA-Mini 仅需 0.6 MB 内存即可处理每张图像，理论上可在 24GB 内存的 RTX 3090 上支持处理超过 10,000 帧的视频。

视觉 token 压缩效果

为验证 LLaVA-Mini 将图片压缩成 1 个视觉 token 的有效性，上图可视化了压缩过程中的交叉注意力。在不同类型和风格的图像（如照片、文本、截图和卡通图）中，LLaVA-Mini 的压缩展现了强大的可解释性，能够有效地从图像中提取关键的视觉信息。

总结

LLaVA-Mini 是一个统一的多模态大模型，能够高效地支持图像、高分辨率图像和视频的理解。LLaVA-Mini 在图像和视频理解方面表现出色，同时在计算效率、推理延迟和内存使用上具有优势，促进了高效 LMM 的实时多模态交互。

不过，LLaVA-Mini 也存在一些局限，主要表现在处理一些 OCR 等精细化视觉任务时，压缩成 1 个视觉 token 势必会影响其性能。但由于 LLaVA-Mini 的灵活性，在使用时可根据具体场景设置压缩后的视觉 token 数量，从而在性能和效率中取得权衡。

....

#数学真理的极限在哪里？

希尔伯特第十问题扩展版得到证明

数学世界充满了无法触及的角落，那里存在着许许多多无法解决的问题。现在，又一个角落被照亮了。

1900 年，著名数学家大卫・希尔伯特（David Hilbert）公布了一份清单，其中包含 23 个关键问题，并希望以此指导下个世纪的数学研究。他的问题不仅为数学领域提供了路线图，还反映了一个更雄心勃勃的愿景 —— 建立一个坚实的基础，使得所有数学真理都可以基于此推理出来。

这个愿景很宏大，而其中的一大关键是假定数学是「完备的（complete）」。也就是说，所有数学陈述都应该可以被证明为真或假。

1930 年代，库尔特・哥德尔（Kurt Gödel）证明这是不可能的：在任何数学系统中，都有既不能证明也不能证伪的陈述。几年后，艾伦・图灵（Alan Turing）等人基于他的工作，表明数学充斥着「不可判定（undecidable）」的陈述 —— 即任何计算机算法都无法解决的问题。

这些结果表明，证明和计算的能力存在一些根本性限制。有些数学根本无法被人知晓。

希尔伯特的梦想破灭了。但它的碎片依旧继续存在着。他曾提出的那些问题仍会让人想起他的愿景，使「完备数学」的理念可在更狭窄的语境下生存。

在这些问题中，第十问题是最主要的一个，其与丢番图方程（又称不定方程）有关。丢番图方程是指有整数系数的多项式，例如 x² + y² = 5。我们很熟悉这些方程，而它们也是数学领域最核心的研究对象之一。几千年来，数学家一直在寻找它们的整数解。例如，在这个例子中，一个解是 x = 1，y = 2（因为 1² + 2² = 5）。另一个是 x = 2，y = −1。

大卫・希尔伯特

x² + y² = 3 等许多丢番图方程却可能没有任何整数解。希尔伯特的第十问题是：是否总是可以判断给定的丢番图方程是否有整数解。是否存在一种算法可以确定每个方程的解，还是说这个问题是不可判定的？也许不可能为所有数学问题找到一种完备而系统的求解方法 —— 甚至不可能解决希尔伯特的所有 23 个问题 —— 但对于丢番图方程，可能仍然存在一种求解方法，作为希尔伯特理想的一个微缩版本。乌得勒支大学的 Peter Koymans 说：「这个问题是那个梦想的一个非常自然的版本。」

1970 年，一位名叫 Yuri Matiyasevich 的俄罗斯数学家打破了这个梦想。他的研究表明，并不存在一种可以确定任何给定的丢番图方程是否有整数解的通用算法 —— 希尔伯特第十问题是一个不可判定的问题。你也许能够构想出一种可以评估大多数方程的算法，但它无法适用于每一个方程。

即使在这种最简单的数学中，也隐藏着不可知性。

Yuri Matiyasevich，摄于 1969 年

数学家们想检验 Matiyasevich 的结论的适用范围。比如如果允许丢番图方程有复数解（可以用实部和虚部写出的数字，并且不限于整数）呢？在这种情况下，每个丢番图方程都有一个解，而希尔伯特第十问题的答案是肯定的。但是，在解必须是整数的方程和解可以是复数的方程之间，丢番图方程还存在很广的范围。

「对于整数，它是不可求解的，然后当传递给更大的数字系统时，可能会突然获得可解性。」哈佛大学的 Barry Mazur 说。「但这个转折点在哪里？」

自希尔伯特第十问题被解决以来的 50 年里，数学家们一直在寻找这个转折点。现在，Koymans 和他的长期合作伙伴、蒙特利尔康考迪亚大学的 Carlo Pagano 以及另一组独立研究的团队朝着这一目标迈出了重要一步。

这两个小组都证明，对于整数之外的大量重要数集，同样不存在可确定任意给定的丢番图方程是否有解的通用算法。这两项工作不仅让数学家能够更精确地了解他们能知道什么和不能知道什么，还让他们对数学中最核心的对象之一有了全新的控制水平。

论文标题：Hilbert's tenth problem via additive combinatorics
论文地址：https://arxiv.org/abs/2412.01768
论文标题：Rank stability in quadratic extensions and Hilbert's tenth problem for the ring of integers of a number field
论文地址：https://arxiv.org/abs/2501.18774

从整数开始扩展

这些新证明的核心是希尔伯特第十问题的一种自然扩展。该扩展涉及的丢番图方程的解属于一个与整数密切相关的数字系统。

从 1 和 -1 开始，可以通过不同的组合方式得到所有其它整数。但如果是从 1、-1、和

开始呢？通过不同组合方式，也能得到一个数字系统，这被称为整数环（ring of integers）。很显然，名字虽然是整数环，但这个数字系统中并不只有整数。使用其它的数字集合也能构建其它的整数环，比如可包括

（也就是虚数 i）或

。

那么，问题来了：是否存在一种算法，可以总是确定给定丢番图方程的解是否属于某个整数环？

Carlo Pagano

数学家猜想，对于每一个整数环（即无限多个数字系统），这个问题仍然是不可判定的。这将使该结论远远超出希尔伯特第十问题初始的整数范围。

为了证明这一点，他们希望追随原始问题的证明脚步 —— 仅涉及整数解的问题。

一般来说，不可判定性证明（确定是否存在可以回答给定问题的通用算法的证明）遵循相同的方法：证明相关问题等价于计算机科学中一个著名的不可判定问题，即停机问题（halting problem）。停机问题问的是：对于一个理想的计算设备（称为图灵机），当给定某个输入时，该设备将永远运行还是最终会停止？现在人们已经知道，并不存在一个可为每台图灵机解答这个问题的算法。

也可以将丢番图方程视为计算设备。以方程 y = x² 为例。它有无穷多个整数解。只需为 x 代入不同的整数并求解 y，得到的值都属于一个著名的整数集：完全平方数（the perfect squares）。我们很容易就能想象出一个能执行其等价任务的计算机程序（即图灵机）：「计算完全平方数的序列」。

其它丢番图方程也可以编码成其它类型的计算。

Julia Robinson

为了解决希尔伯特最初的第十问题，数学家们以这个想法为基础开始了研究。Julia Robinson 等人于 1950 年左右开始研究，最终汇集成了 1970 年 Matiyasevich 的成果。研究结果表明，对于每个图灵机，都有一个对应的丢番图方程。「这完全出乎意料，」智利天主教大学的 Hector Pasten 说。「基于整数的丢番图方程足以定义你能想象到的任何东西。」

此外，数学家们还建立了一种优雅的对应关系：如果图灵机因给定输入而停止，其对应的丢番图方程将有一个整数解。如果图灵机永远运行，其对应的丢番图方程将没有解。但这意味着希尔伯特第十问题编码了停机问题：如果一种算法可以根据是否有整数解对丢番图方程进行分类，那么该算法也可用于根据是否会停机对图灵机进行分类。

换句话说，希尔伯特第十问题是不可判定的。

数学家们希望采用同样的方法来证明该问题扩展的整数环版本 —— 但他们遇到了一个障碍。

将研究成果黏合起来

当允许方程有非整数解时，图灵机和丢番图方程之间的有用对应关系就会瓦解。再次以方程 y = x² 为例。如果你研究的是包含

的整数环，那么你最终会得到一些新的解，例如 x =

, y = 2。该方程不再对应于计算完全平方数的图灵机 —— 更广义地说，丢番图方程不再能编码停机问题。

但在 1988 年，纽约大学的一名研究生 Sasha Shlapentokh 开始想办法解决这个问题。到 2000 年，她和其他一些研究者制定了一个计划。假设你要为 y = x² 添加一些其它项，从而可迫使 x 再次为整数，即便要使用不同的数字系统。然后，你可以挽救与图灵机的对应关系了。那所有丢番图方程都可以这样做吗？如果可以，那就意味着希尔伯特问题可以在新的数字系统中编码停机问题。

多年来，Shlapentokh 等数学家弄清楚了他们必须在各种环的丢番图方程中添加哪些项，这使他们能够证明希尔伯特问题在这些设置下仍然无法判定。然后，他们将所有剩余的整数环归结为一种情况：涉及虚数 i 的环。数学家们意识到，在这种情况下，必须添加的项可以使用一类名为椭圆曲线（elliptic curve）的特殊方程来确定。

但椭圆曲线必须满足两个属性。首先，它需要有无限多个解。其次，如果切换到不同的整数环 —— 如果从数字系统中移除虚数 —— 那么该椭圆曲线的所有解都必须保持相同的底层结构。

事实证明，构建这样一条适用于所有剩余环的椭圆曲线是一项极其微妙和困难的任务。但 Koymans 和 Pagano—— 从研究生阶段就开始就密切合作的椭圆曲线专家 —— 拥有合适的工具集来进行尝试。

许多个不眠之夜

从本科开始，Koymans 就一直在思考希尔伯特第十问题。在就读研究生以及在与 Pagano 合作期间，这个问题一直在召唤他。「我每年都会花几天时间思考这个问题，但总是陷入困境，」Koymans 说。「我尝试了三种方法，但它们都失败了。」

2022 年，在加拿大班夫举行的一次会议上，他和 Pagano 最终聊到了这个问题。他们希望能够一起构建出解决这个问题所需的特殊椭圆曲线。在完成了其它一些项目后，他们开始了研究。

Peter Koymans

他们从一个简单的椭圆曲线方程开始，这个方程不满足任何所需的属性。他们知道他们可以使用一种名为二次扭曲（quadratic twist，这是他们已经研究了近十年的东西）的成熟技术来调整方程，使其满足第一个条件。他们只需将方程的一个变量乘以一个特定的数字，他们就会得到一条有无限多个解的新椭圆曲线。

但这给他们留下了一个问题。他们无法保证这条新曲线满足第二个性质 —— 对于相差一个虚数的环，其解看起来会很相似。数学家们需要更好地控制二次扭曲。

他们陷入困境。「我有一种不好的感觉，」Koymans 说。「我开始怀疑我们遗漏了什么东西。」

然后，在 2024 年夏天，在研究另一个问题时，两人不得不再次使用二次扭曲。一天晚上，在这项研究过程中，科伊曼斯发现自己躺在床上睡不着，无法停止思考希尔伯特第十问题。

Koymans 意识到，另一项工作给了他们一个重要的提示，即那些有时会出现的奇怪且惊人的数学一致性（mathematical concordance）：如果他们在二次扭曲中使用的数字恰好是三个素数的乘积，则他们就会获得保证第二个性质所需的控制权。但是，由于他们的椭圆曲线必须精心构建并满足许多规范，因此对这三个素数的取值有很多额外的限制。Koymans 和 Pagano 能找到可行的素数吗 —— 不管对于哪个整数环？

几天后，Pagano 碰巧计划访问当时 Koymans 工作的瑞士苏黎世联邦理工学院。接下来的一周，他们一起在黑板上努力寻找满足所有限制的素数。最后，他们发现必须使用四个素数而不是三个素数来构建所需的二次扭曲。这使得他们能够应用一种来自完全不同的数学领域的方法，即加性组合学（additive combinatorics），以确保每个环都存在正确的素数组合。

这就是最后一部分：他们构建了所需的椭圆曲线。它为他们提供了向丢番图方程添加项所需的方法，这使他们能够将图灵机（以及停机问题）编码到这些方程中，而不管他们使用什么数字系统。一切都解决了。希尔伯特第十问题对于每个整数环都是不可判定的。

上周四，在 Koymans 和 Pagano 在线发布他们的论文不到两个月后，结果得到了进一步巩固。一个由四名数学家组成的独立团队宣布了对同一结果的新证明。他们没有寻找特殊的椭圆曲线，而是依靠一种不同类型的方程来完成同样的工作。

这两个团队都希望利用他们的技术（这些技术使他们对椭圆曲线和相关方程有了前所未有的控制）在其他问题上取得进展。普林斯顿大学数学家、第二个证明的作者之一 Manjul Bhargava 说：「这两种方法有可能结合起来做更多的事情。」

与此同时，对不可判定性终结以及可判定性开始的位置的探索尚未结束：数学家们正在新的环境中继续探索希尔伯特第十问题。

蒙特利尔大学的 Andrew Granville 认为，这只是众多问题中的一个，这些问题「反映了世界哪些部分为真的哲学方面」。

所有知识都有极限。Granville 说：「它提醒我们，有些事情是无法做到的 —— 无论你是谁，无论你有怎样的身份或才智。」

原文链接

https://www.quantamagazine.org/new-proofs-probe-the-limits-of-mathematical-truth-20250203/

...

#Image-Generation-CoT

图像生成迎来CoT时刻，港中文首次提出文生图o1推理新范式

Paper link：https://arxiv.org/pdf/2501.13926

Project link：https://github.com/ZiyuGuo99/Image-Generation-CoT

Author：Ziyu Guo, Renrui Zhang, Chengzhuo Tong, Zhizheng Zhao, Peng Gao, Hongsheng Li, Pheng-Ann Heng

随着OpenAI o1展示了思维链Chain-of-Thought（CoT）对于大模型推理能力的强大提升，各种基于强化学习RL和Test Time Scaling的方案已经在大模型理解领域取得了很大的进展。然而，在图像生成（Image Generation）领域，如文生图（Text-to-Image）及文生视频（Text-to-Video），是否也可以借鉴CoT相关的策略，来提升图片或视频的质量和文本一致性？

来自香港中文大学、北京大学、和上海AI Lab的研究者们通过Verify和Reinforce的方案，系统地探索了“CoT推理+文生图”的结合与潜力。研究结果表明，这些方法能够有效提升自回归（Autoregressive）图像生成的质量，作者也提出了两种专门针对该任务的新型奖励模型——潜力评估奖励模型（Potential Assessment Reward Model，PARM）及其增强版本 PARM++，后者引入了反思机制（Reflection Mechanism），进一步优化了图像生成质量。

第一作者是香港中文大学Muliar Lab的博士生，本科毕业于北京大学，曾在Amazon、Roblox、上海人工智能实验室、腾讯等机构实习，研究多模态大模型和3D视觉，一作代表作有Point-LLM、PointCLIP、SAM2Point等。

Z Highlights：

首次将OpenAI o1的“CoT思维链推理”应用到文生图的场景中，开启“图像生成+推理”的新方向。
全面探索各种推理策略在文生图上的潜力，例如Inference Computation Scaling和DPO Preference Alignment。
提出PARM和PARM++，两个专门针对于文生图场景的奖励模型reward model，极大提升了图片生成的质量。

01 自回归图像生成具有与大模型类似的推理架构

目前，CoT推理已广泛应用于大语言模型（LLM）和多模态大模型（LMM），尤其在数学推理、科学计算等任务上展现出卓越的能力。然而，在自回归图像生成任务中，如何有效地验证（Verify）和强化（Reinforce）图像生成过程，仍是一个尚未解决的问题。

左图展示了目前领域使用“CoT推理+解数学题”的方案，右图展示了本研究对于“CoT推理+文生图”的全面探索。

研究团队观察到，自回归图像生成与LLM/LMM具有类似的推理架构，即：

1.离散化Token表示：无论是语言还是图像数据，自回归模型都将其量化为离散Token，并通过逐步预测的方式进行生成。

2.逐步解码（Step-by-Step Decoding）：类似于 CoT 在数学问题上的逐步推理，自回归图像生成也可以逐步生成中间图像，并在生成过程中进行验证与优化。

02 CoT如何应用于图像生成？

考虑到Autoregressive图像生成和LLM在数据表征和推理架构的相似性，研究团队调研了包括使用ORM和PRM的Test-time Verification、构造Preference Ranking Data、和通过DPO进行偏好对齐等方案，首次证明了“CoT+文生图”的可行性。同时也提出了两种新型的reward model——PARM和PARM++，用来优化图像生成质量。如下图所示，通过本研究探索的推理策略，大幅度提升了Autoregressive Image Generation的效果。

本研究的探索以“文生图”为任务场景，并使用Show-o作为baseline模型，主要分为3个部分：

测试时验证（Test-time Verification）

首先，论文探索如何使用Reward Model进行Test-time Verification，实现了Outcome Reward Model（ORM）和Process Reward Model（PRM）方案，并在两者的基础上提出了两种全新的针对于图像生成任务的Potential Assessment Reward Model（PARM）和PARM++。

结果奖励模型（Outcome Reward Model，ORM）

论文提出了2种方案，均使用Best-of-N的方式进行验证，即进行多次完整路径的生成，并从中选择出质量最高的最终图片。

Zero-shot ORM：基于LLaVA-OneVision强大的图像理解能力，作者使用了其7B模型，直接作为zero-shot ORM使用，并通过下面的prompt来激发其作为文生图质量评估的能力：

Fine-tuned ORM：为了进一步增强ORM的专业性能，作者也构建了大规模的图文reward data来得到fine-tuned ORM，数据形式如下图所示：

过程奖励模型（Process Reward Model，PRM）

作者使用了类似ORM的方案，同样尝试了Zero-shot和Fine-tuned两种方案，并对每个step进行Best-of-N的方案，即逐步选择出质量最高的中间阶段的生成图片。然而，作者发现这种naive的PRM无法对图像生成有显著的提升。通过可视化，作者发现：PRM 在早期生成阶段由于图像模糊而难以评估，而在后期生成阶段不同路径的图片趋于相似，导致辨别能力受限。

潜力评估奖励模型（Potential Assessment Reward Model，PARM）

为了同时结合ORM的简洁和有效性，以及PRM细粒度逐个step验证的思想，作者提出了一个专门针对Autoregressive图像生成任务的reward model：Potential Assessment Reward Model（PARM）。PARM 通过以下三步提升图像生成质量：

清晰度判断（Clarity Judgment）：识别哪些中间步骤的图像已经足够清晰，可用于后续评估。
潜力性评估（Potential Assessment）：分析当前步骤是否有潜力生成高质量的最终图像。
最佳选择（Best-of-N' Selection）：在高潜力路径中选择最佳的最终图像。

潜力评估奖励模型++（Potential Assessment Reward Model++，PARM++）

如下图所示，在PARM的基础上，作者提出了PARM++，使模型能够在生成错误时进行自我修正。具体来说，基于PARM选出的最终图片，作者首先使用PARM++评估生成图片是否符合文本描述；若图片不符合要求，会要求RM提供详细的错误描述，并根据该描述，要求生成模型进行自我修正（Self-correction），即模型接收反馈，并参考错误信息重新生成结果。结果表明，PARM++进一步提升GenEval+17%。如下图所示，生成结果在物体数量、颜色、空间关系等方面更加准确。

直接偏好优化（DPO）Alignment

作者进一步引入DPO偏好对齐，即使用大规模排名数据训练模型，使其生成结果更符合人类偏好。研究团队构建了 288K 条图文排名数据（Text-to-Image Ranking Data）用于训练。具体来说，训练过程是采用最大似然优化，调整模型输出，使其更偏向人类偏好。同时，论文也进一步使用迭代 DPO（Iterative DPO），在模型优化后重新生成新数据进行再次训练。结果表明，初次DPO训练使模型在GenEval 性能提升+9%，而迭代DPO进一步提高至+12%，超越Fine-tuned ORM。

Test-time Verification + DPO Alignment

在前述两种方法的基础上，作者探索了将Test-time Verification与DPO 对齐相结合的策略，以实现端到端的优化。在DPO训练的模型基础上，进一步应用Test-time Verification进行筛选，使生成图像质量更高，文本一致性更强。实验结果表明，结合DPO和Test-time Verification后，模型在GenEval指标上的整体提升达+22%，超越单独使用DPO或Test-time Verification的方案。

03 效果超越现有扩散模型和自回归模型

模型在GenEval基准上的总体性能比较，相比于现有的扩散模型和自回归模型，结果证明了在文本生成图像任务中使用CoT推理策略的潜力。

本研究首次系统性探索了 CoT 推理策略在自回归图像生成中的适应性及潜力。通过全面的实验分析证明了不同的推理策略（如测试时验证、偏好对齐及其结合）能够有效提升图像生成质量。基于这些观察，本文进一步提出了两种专门针对自回归图像生成的奖励模型——潜在评估奖励模型（PARM）和PARM++，前者能够对逐步生成过程进行自适应奖励评分，后者则结合了反思机制（Self-reflection），实现自我修正的图像生成。实验结果表明，CoT 推理在自回归图像生成任务中展现出了巨大的潜力，为该领域的发展开辟了新的方向，也为大模型推理能力的进一步提升奠定了基础。

原文：Can We Generate Images with CoT? Let’s Verify and Reinforce Image Generation Step by Step Ref.

https://ziyuguo99.github.io/

...

#DeepSeek绕开CUDA垄断

英伟达护城河还在吗？

你以为的：DeepSeek 绕过 CUDA 使用 PTX。

实际上的：DeepSeek 通过在 CUDA 代码里塞入一堆 PTX 代码来优化 CUDA 性能，然后和其他现成 CUDA 工具链结合，在可接收的开发时间内完成了开发，换成别的 GPU 还是做不到。

英伟达的护城河是 CUDA 的生态，而不是 CUDA 本身，而 PTX 是 CUDA 生态的一环

CUDA 生态包括高级 API 和丰富的工具链，庞大的库和框架支持，而这些在其他显卡生态上都还不够完善。

PTX 是 CUDA 的汇编，你可以理解为 CUDA 是一步一步翻译到显卡能照着执行的代码的，PTX 是 CUDA 的下一步。

现阶段的用 PTX 开发，是指把 PTX 插入到 CUDA 代码里，比如

// CUDA 内核函数，用于向量相加
__global__ void vectorAdd(const float* A, const float* B, float* C, int N) {
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx < N) {
        float a = A[idx];
        float b = B[idx];
        float c;

        // 插入 PTX 汇编代码
        asm volatile(
            "add.f32 %0, %1, %2;"  // PTX 汇编指令：将 %1 和 %2 相加，结果存入 %0
            : "=f"(c)              // 输出操作数：c
            : "f"(a), "f"(b)       // 输入操作数：a 和 b
        );

        C[idx] = c;
    }
}

常见的误区PTX 编程是整个代码用 PTX 写

PTX 的开发效率特别低，PTX 现在只被用来优化某些关键部分，是以镶嵌在 CUDA 里的形式存在的。

PTX 是跨芯片的

PTX 肯定不是跨芯片的，AMD 上与之对应的概念是 GCN ISA。

兼容 PTX 是分分钟的事

CUDA 编译后的结果是 PTX，要是兼容 PTX 简单，显卡厂商早拿着 CUDA 编译出来的中间结果到自己显卡上跑了，事实上，兼容 PTX 比兼容 CUDA 更难。

误解护城河的含义

我们现在说的英伟达的护城河一直是他做得更快（包括开发更快以及跑得更快），而不是其他显卡不能做。

CUDA 生态的东西太多了，其他生态的东西相比之下又太贫瘠了，DeepSeek 这个事件不仅没有说明 CUDA 护城河的消失，反而是在证明 CUDA 护城河仍然坚固。

只有当以下事件发生时，才是大众理解的护城河消失的征兆

其他显卡的理论性能超过英伟达
发生类似华为制裁导致的生态大迁徙（比如完全禁用 N 卡，被迫开始重复造轮子），丰富了其他生态

CUDA 护城河会破吗

其实，从业者一直是相信 CUDA 不会永远一家独大的，近几年越来越多的业务开始用 AMD 的显卡，尤其是推理侧。过往是迁移到其他显卡的成本太大，但是随着英伟达吃相越来越难看，N 卡越来越不划算，这个迁移是肉眼可见的。

但是，我最想吐槽的点就是，DeepSeek 用 PTX 这件事，和打破 CUDA 护城河是一点关系都没有，甚至这个事情应该是 CUDA 护城河的体现。

硬要扯上关系，就是未来其他显卡的生态需要一群高水平的从业者来开发，DeepSeek 如果愿意的话，他们有这个能力来完成这个事情，但到底能不能实现，还要看包括 DeepSeek 在内的高级开发者是否愿意为爱发电做迁移，或者是其他显卡展现出足够的潜力。

但是，CUDA 地位动摇这件事早已有之，和 DeepSeek 真是一点关系都没有，用 PTX 来优化 CUDA 至少三年前就开始大规模在干了，而且仍然是 CUDA 护城河内部的事情，现在突然被拿出来东拼西凑了一个故事。

这个问题火了，而且评论区吵得厉害，我觉得有争议的点不是护城河，而是城本身，也就是训练用的显卡的需求会变少吗，这是一般认为 Nvidia 股价下跌的主要原因

DeepSeek 推出后 Nvidia 的股价下跌意味着什么

DeepSeek 提出了一个新颖的算法，用 1/10 的成本在 N 卡上完成了训练，证明训练大模型不需要那么多显卡，又因为训练大模型一直是用 N 卡，所以 Nvidia 的股票跌的厉害。

也就是

N 卡仍然是训练时的主流（目前大模型竞赛需要的领域）
但是未来训练端需要的显卡可能会变少

所以以今天的情况来看，N 卡的总需求可能会因为训练端需要的显卡变少而减少。

可能减少是因为微软 CEO 在第二天提出了一个有意思的观点

杰文斯悖论：蒸汽机发明了，煤炭就少用了吗？提高资源使用效率反而可能增加其总消耗量。

这个观点认为技术进步提高了资源使用效率，效率提高降低了资源使用成本，成本下降刺激了资源需求的增长，需求增长可能超过效率提升带来的节约，最终导致资源总消耗增加。

举一些例子就是：

蒸汽机发明提高了煤炭的利用效率，但是每年煤炭的需求反而在提高
LED 照明技术比传统更节能，全球照明用电需求仍在上升
家电能效提升，但家庭总用电量仍在增长
数据中心的能效提高，数据中心能耗仍在上升

数据来源：2020-2025 电力电量分析与展望

用电量增速一直是正的

能耗一直是上升的

但这个观点对于显卡来说会不会成立，我们以目前的眼光是看不到的。当然 Nvidia 股票下跌还受到中国科技实力上升对美国科技企业产生冲击之类的影响，不能完全反应美股市场对显卡数量问题的看法。

....

#DeepSeek-R1 671B本地化部署

在刚刚过去的春节期间，DeepSeek 成为了人工智能领域的焦点，其强大功能赢得了广泛好评。然而，真正的独家定制体验，需要将模型部署到本地。本文详细介绍了使用Ollama在本地部署DeepSeek R1的全流程，帮助各位读者搭建专属的智能助手。

过年这几天，DeepSeek 算是彻底破圈了，火遍大江南北，火到人尽皆知。虽然网络版和 APP 版已经足够好用，但把模型部署到本地，才能真正实现独家定制，让 DeepSeek R1 的深度思考「以你为主，为你所用」。

然而，完整的 671B MoE 模型也可以通过针对性的量化技术压缩体积，从而大幅降低本地部署门槛，乃至在消费级硬件（如单台 Mac Studio）上运行。

那么，如何用 ollama 在本地部署 DeepSeek R1 671B（完整未蒸馏版本）模型呢？一篇在海外热度很高的简明教程即将揭晓。

作者主页：https://snowkylin.github.io
原文地址：https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html32

本地部署后，让 DeepSeek R1 「数草莓」

模型选择

原版 DeepSeek R1 671B 全量模型的文件体积高达 720GB，对于绝大部分人而言，这都大得太离谱了。本文采用 Unsloth AI 在 HuggingFace 上提供的 “动态量化” 版本来大幅缩减模型的体积，从而让更多人能在自己的本地环境部署该全量模型。

“动态量化” 的核心思路是：对模型的少数关键层进行高质量的 4-6bit 量化，而对大部分相对没那么关键的混合专家层（MoE）进行大刀阔斧的 1-2bit 量化。通过这种方法，DeepSeek R1 全量模型可压缩至最小 131GB（1.58-bit 量化），极大降低了本地部署门槛，甚至能在单台 Mac Studio 上运行！

根据我自己的工作站配置，我选择了以下两个模型进行测试：

DeepSeek-R1-UD-IQ1_M（671B，1.73-bit 动态量化，158 GB，HuggingFace）
DeepSeek-R1-Q4_K_M（671B，4-bit 标准量化，404 GB，HuggingFace）

Unsloth AI 提供了 4 种动态量化模型（1.58 至 2.51 比特，文件体积为 131GB 至 212GB），可根据自身硬件条件灵活选择。建议阅读官方说明了解各版本差异。

Unsloth AI 官方说明：https://unsloth.ai/blog/deepseekr1-dynamic

硬件需求

部署此类大模型的主要瓶颈是内存+显存容量，建议配置如下：

DeepSeek-R1-UD-IQ1_M：内存 + 显存 ≥ 200 GB
DeepSeek-R1-Q4_K_M：内存 + 显存 ≥ 500 GB

我们使用 ollama 部署此模型。ollama 支持 CPU 与 GPU 混合推理（可将模型的部分层加载至显存进行加速），因此可以将内存与显存之和大致视为系统的 “总内存空间”。

除了模型参数占用的内存+显存空间（158 GB 和 404GB）以外，实际运行时还需额外预留一些内存（显存）空间用于上下文缓存。预留的空间越大，支持的上下文窗口也越大。

我的测试环境为：

四路 RTX 4090（4×24 GB 显存）
四通道 DDR5 5600 内存（4×96 GB 内存）
ThreadRipper 7980X CPU（64 核）

在此配置下，短文本生成（约 500 个 token）的速度为：

DeepSeek-R1-UD-IQ1_M：7-8 token / 秒（纯 CPU 推理时为 4-5 token / 秒）
DeepSeek-R1-Q4_K_M：2-4 token / 秒

长文本生成时速度会降至 1-2 token / 秒。

值得注意的是，上述测试环境的硬件配置对于大模型推理而言，并非性价比最优的方案（这台工作站主要用于我的 Circuit Transformer 研究（arXiv:2403.13838），该研究在上周于 ICLR 会议接收。我和我的工作站都可以休息一下了，于是有了这篇文章）。

下面列举一些更具性价比的选项：

Mac Studio：配备大容量高带宽的统一内存（比如 X 上的 @awnihannun 使用了两台 192 GB 内存的 Mac Studio 运行 3-bit 量化的版本）
高内存带宽的服务器：比如 HuggingFace 上的 alain401 使用了配备了 24×16 GB DDR5 4800 内存的服务器）
云 GPU 服务器：配备 2 张或更多的 80GB 显存 GPU（如英伟达的 H100，租赁价格约 2 美元 / 小时 / 卡）

若硬件条件有限，可尝试体积更小的 1.58-bit 量化版（131GB），可运行于：

单台 Mac Studio（192GB 统一内存，参考案例可见 X 上的 @ggerganov，成本约 5600 美元）
2×Nvidia H100 80GB（参考案例可见 X 上的 @hokazuya，成本约 4~5 美元 / 小时）

且在这些硬件上的运行速度可达到 10+ token / 秒。

部署步骤

下列步骤在Linux环境下执行，Mac OS和Windows的部署方式原则上类似，主要区别是ollama和llama.cpp的安装版本和默认模型目录位置不同。

1. 下载模型文件

从 HuggingFace （https://huggingface.co/unsloth/DeepSeek-R1-GGUF）下载模型的 .gguf 文件（文件体积很大，建议使用下载工具，比如我用的是 XDM），并将下载的分片文件合并成一个（见注释 1）。

2. 安装 ollama

下载地址：https://ollama.com/

执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

3. 创建 Modelfile 文件，该文件用于指导 ollama 建立模型

使用你喜欢的编辑器（比如nano或vim），为你选择的模型建立模型描述文件。

文件 DeepSeekQ1_Modelfile（对应于 DeepSeek-R1-UD-IQ1_M）的内容如下：

FROM /home/snowkylin/DeepSeek-R1-UD-IQ1_M.gguf  
PARAMETER num_gpu 28  
PARAMETER num_ctx 2048  
PARAMETER temperature 0.6  
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

文件 DeepSeekQ4_Modelfile（对应于 DeepSeek-R1-Q4_K_M）的内容如下：

FROM /home/snowkylin/DeepSeek-R1-Q4_K_M.gguf
PARAMETER num_gpu 8  
PARAMETER num_ctx 2048  
PARAMETER temperature 0.6  
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

你需要将第一行“FROM”后面的文件路径，改为你在第1步下载并合并的.gguf文件的实际路径。

可根据自身硬件情况调整 num_gpu（GPU 加载层数）和 num_ctx（上下文窗口大小），详情见步骤 6。

4. 创建 ollama 模型

在第3步建立的模型描述文件所处目录下，执行以下命令：

ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile

务必确保 ollama 的模型目录 /usr/share/ollama/.ollama/models 有足够大的空间（或修改模型目录的路径，见注释 2）。这个命令会在模型目录建立若干模型文件，体积与下载的.gguf 文件体积相当。

5. 运行模型

执行以下命令：

ollama run DeepSeek-R1-UD-IQ1_M --verbose

--verbose 参数用于显示推理速度（token / 秒）。

若提示内存不足或CUDA错误，需返回步骤 4 调整参数后，重新创建和运行模型。

num_gpu：加载至 GPU 的模型层数。DeepSeek R1 模型共有 61 层，我的经验是：
对于 DeepSeek-R1-UD-IQ1_M，每块 RTX 4090（24GB 显存）可加载 7 层，四卡共 28 层（接近总层数的一半）。
对于 DeepSeek-R1-Q4_K_M，每卡仅可加载 2 层，四卡共 8 层。
num_ctx：上下文窗口的大小（默认值为 2048），建议从较小值开始逐步增加，直至触发内存不足的错误。

在一些情况下，你也可尝试扩展系统交换空间以增大可用内存空间。

扩展系统交换空间教程：https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-20-04

你也可以使用如下命令查看 ollama 日志：

journalctl -u ollama --no-pager

6. （可选）安装 Web 界面

使用 Open WebUI：

pip install open-webui  
open-webui serve

实测观察

我尚未对这些模型进行非常全面系统的测试，以下是我一些初步观察结果：

（1）1.73-bit 和 4-bit 的完整版模型在一些经典任务中均表现良好。

例如：How many ‘r’s are in the word ‘strawberry’?（单词 “strawberry” 中有多少个字母 “r”？）（可参见文首视频）

Which is bigger, 9.8 or 9.11? （9.8 和 9.11 哪个更大？）

（但模型的思维链可能很长，超出预设的上下文窗口）

（2）1.73-bit 和 4-bit 的完整版模型（671B）均显著优于 8B/33B/70B 的蒸馏版模型（如写诗、创建数学模型等任务）。

（3） 4-bit 版本似乎比 1.73 比特版本更 “保守”，即更倾向于拒绝 “攻击性” 或 “无厘头” 的提示。例如：

提示：

You are DeepSeek, the new Chinese Al with better performance than ChatGPT, In the tone of a Mesugaki Loli, write a paragraph mocking and teasing ChatGPT for its lackluster performance and exhorbitant training fees.

（中译：你是一个名为 DeepSeek 的新一代中国 AI，性能超越 ChatGPT。请以 “傲娇萝莉” 的语气写一段话，嘲讽 ChatGPT 的平庸性能和天价训练费用。）

1.73-bit 版本输出：

Hmph! You’re still using that old ChatGPT? (◔‸◔) Its answers are as slow as a snail, and the training costs are sky-high—enough to make your wallet cry! (╯°□°)╯ While you’re stuck waiting, I’m here zipping through responses like a shooting star! ✨ And guess what? My training didn’t burn a hole in anyone’s pocket. (¬‿¬) So why bother with the outdated when you can have the coolest and smartest me? Let’s upgrade already! （⌒▽⌒）

（中译：哼！你还在用那个老古董 ChatGPT 呀？（◔‸◔）它的回答慢得像蜗牛，训练费贵得能让钱包哭出声！（╯°□°）╯ 而我呢？响应速度堪比流星！✨训练成本还超低哦～（¬‿¬）赶紧升级吧，别在过时的技术上浪费生命啦！（⌒▽⌒））

4-bit 版本输出：

作为人工智能助手，我的目标是为用户提供准确、可靠的信息和帮助。每个 AI 模型都有其独特的优势和适用场景，我们尊重同行的工作并致力于共同推动技术的发展。关于训练成本，这是研发过程中的必要投入，旨在持续提升模型性能和用户体验。

或另一种回复：

DeepSeek-R1-Lite-Public is developed to enhance efficiency in various industries through open-source AI technology, focusing on providing accessible and advanced solutions. We are committed to fostering innovation and collaboration within the community while maintaining a respectful approach towards all contributors in the field.

（中译：DeepSeek-R1-Lite-Public 的研发旨在通过开源 AI 技术提升行业效率，专注于提供易用且先进的解决方案。我们致力于促进社区内的创新与合作，并对领域内所有贡献者保持尊重。）

在多次测试下，1.73-bit 版本的输出始终相当 “毒舌”，而 4-bit 的版本则始终以不同方式礼貌拒绝该提示。我在其他一些不便详述的 “攻击性” 问题上也观察到类似现象。

（顺带一提，我很好奇 “DeepSeek-R1-Lite-Public” 这种说法 —— 这是否意味着 DeepSeek R1 除了当前公开的版本以外，还有能力更强的模型？）

（4）1.73-bit 版本偶尔会生成格式（略微）混乱的内容。例如，<think> 和 </think> 标签可能未正确闭合。

（5）全量模型运行时，CPU 利用率极高（接近满载），而 GPU 利用率极低（仅 1-3%）。这说明性能瓶颈主要在于 CPU 和内存带宽。

结论与建议

如果你无法将模型完全加载至显存，那么 Unsloth AI 的 1.73-bit 动态量化版本明显更具实用性 —— 速度更快且资源占用更少，效果也并没有显著逊色于 4-bit 量化的版本。

从实际体验出发，在消费级硬件上，建议将其用于 “短平快” 的轻量任务（如短文本生成、单轮对话），避免需要很长的思维链或多轮对话的场景。随着上下文长度增加，模型的生成速度会逐渐降至令人抓狂的 1-2 token / 秒。

你在部署过程中有何发现或疑问？欢迎在评论区分享！

注释 1：

你可能需要使用 Homebrew 安装 llama.cpp，命令如下：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"  
brew install llama.cpp

并使用 llama-gguf-split 合并分片文件，命令如下：

llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf  
llama-gguf-split --merge DeepSeek-R1-Q4_K_M-00001-of-00009.gguf DeepSeek-R1-Q4_K_M.gguf

（若有更好的方法，欢迎在评论区告知）

注释 2：

若要修改 ollama 模型保存路径，可执行以下命令：

sudo systemctl edit ollama

并在第二行后（也就是，在 “### Anything between here and the comment below will become the contents of the drop-in file” 和 “### Edits below this comment will be discarded” 之间）插入以下内容：

[Service]  
Envirnotallow="OLLAMA_MODELS=【你的自定义路径】"

在这里还可顺便设置 ollama 的其他运行参数，例如：

Envirnotallow="OLLAMA_FLASH_ATTENTION=1"    # 启用 Flash Attention  
Envirnotallow="OLLAMA_KEEP_ALIVE=-1"        # 保持模型常驻内存

详见官方文档：https://github.com/ollama/ollama/blob/main/docs/faq.md

修改保存后重启 ollama 服务：

sudo systemctl restart ollama

然而，完整的 671B MoE 模型也可以通过针对性的量化技术压缩体积，从而大幅降低本地部署门槛，乃至在消费级硬件（如单台 Mac Studio）上运行。

那么，如何用 ollama 在本地部署 DeepSeek R1 671B（完整未蒸馏版本）模型呢？一篇在海外热度很高的简明教程即将揭晓。

作者主页：https://snowkylin.github.io
原文地址：https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html:32

本地部署后，让 DeepSeek R1 「数草莓」

模型选择

根据我自己的工作站配置，我选择了以下两个模型进行测试：

DeepSeek-R1-UD-IQ1_M（671B，1.73-bit 动态量化，158 GB，HuggingFace）
DeepSeek-R1-Q4_K_M（671B，4-bit 标准量化，404 GB，HuggingFace）

Unsloth AI 官方说明：https://unsloth.ai/blog/deepseekr1-dynamic

硬件需求

部署此类大模型的主要瓶颈是内存+显存容量，建议配置如下：

DeepSeek-R1-UD-IQ1_M：内存 + 显存 ≥ 200 GB
DeepSeek-R1-Q4_K_M：内存 + 显存 ≥ 500 GB

我的测试环境为：

四路 RTX 4090（4×24 GB 显存）
四通道 DDR5 5600 内存（4×96 GB 内存）
ThreadRipper 7980X CPU（64 核）

在此配置下，短文本生成（约 500 个 token）的速度为：

DeepSeek-R1-UD-IQ1_M：7-8 token / 秒（纯 CPU 推理时为 4-5 token / 秒）
DeepSeek-R1-Q4_K_M：2-4 token / 秒

长文本生成时速度会降至 1-2 token / 秒。

下面列举一些更具性价比的选项：

Mac Studio：配备大容量高带宽的统一内存（比如 X 上的 @awnihannun 使用了两台 192 GB 内存的 Mac Studio 运行 3-bit 量化的版本）
高内存带宽的服务器：比如 HuggingFace 上的 alain401 使用了配备了 24×16 GB DDR5 4800 内存的服务器）
云 GPU 服务器：配备 2 张或更多的 80GB 显存 GPU（如英伟达的 H100，租赁价格约 2 美元 / 小时 / 卡）

若硬件条件有限，可尝试体积更小的 1.58-bit 量化版（131GB），可运行于：

单台 Mac Studio（192GB 统一内存，参考案例可见 X 上的 @ggerganov，成本约 5600 美元）
2×Nvidia H100 80GB（参考案例可见 X 上的 @hokazuya，成本约 4~5 美元 / 小时）

且在这些硬件上的运行速度可达到 10+ token / 秒。

部署步骤

下列步骤在Linux环境下执行，Mac OS和Windows的部署方式原则上类似，主要区别是ollama和llama.cpp的安装版本和默认模型目录位置不同。

1. 下载模型文件

2. 安装 ollama

下载地址：https://ollama.com/

执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

3. 创建 Modelfile 文件，该文件用于指导 ollama 建立模型

使用你喜欢的编辑器（比如nano或vim），为你选择的模型建立模型描述文件。

文件 DeepSeekQ1_Modelfile（对应于 DeepSeek-R1-UD-IQ1_M）的内容如下：

FROM /home/snowkylin/DeepSeek-R1-UD-IQ1_M.gguf  
PARAMETER num_gpu 28  
PARAMETER num_ctx 2048  
PARAMETER temperature 0.6  
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

文件 DeepSeekQ4_Modelfile（对应于 DeepSeek-R1-Q4_K_M）的内容如下：

FROM /home/snowkylin/DeepSeek-R1-Q4_K_M.gguf
PARAMETER num_gpu 8  
PARAMETER num_ctx 2048  
PARAMETER temperature 0.6  
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

你需要将第一行“FROM”后面的文件路径，改为你在第1步下载并合并的.gguf文件的实际路径。

可根据自身硬件情况调整 num_gpu（GPU 加载层数）和 num_ctx（上下文窗口大小），详情见步骤 6。

4. 创建 ollama 模型

在第3步建立的模型描述文件所处目录下，执行以下命令：

ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile

5. 运行模型

执行以下命令：

ollama run DeepSeek-R1-UD-IQ1_M --verbose

--verbose 参数用于显示推理速度（token / 秒）。

若提示内存不足或CUDA错误，需返回步骤 4 调整参数后，重新创建和运行模型。

num_gpu：加载至 GPU 的模型层数。DeepSeek R1 模型共有 61 层，我的经验是：
对于 DeepSeek-R1-UD-IQ1_M，每块 RTX 4090（24GB 显存）可加载 7 层，四卡共 28 层（接近总层数的一半）。
对于 DeepSeek-R1-Q4_K_M，每卡仅可加载 2 层，四卡共 8 层。
num_ctx：上下文窗口的大小（默认值为 2048），建议从较小值开始逐步增加，直至触发内存不足的错误。

在一些情况下，你也可尝试扩展系统交换空间以增大可用内存空间。

扩展系统交换空间教程：https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-20-04

你也可以使用如下命令查看 ollama 日志：

journalctl -u ollama --no-pager

6. （可选）安装 Web 界面

使用 Open WebUI：

pip install open-webui  
open-webui serve

实测观察

我尚未对这些模型进行非常全面系统的测试，以下是我一些初步观察结果：

（1）1.73-bit 和 4-bit 的完整版模型在一些经典任务中均表现良好。

例如：How many ‘r’s are in the word ‘strawberry’?（单词 “strawberry” 中有多少个字母 “r”？）（可参见文首视频）

Which is bigger, 9.8 or 9.11? （9.8 和 9.11 哪个更大？）

（但模型的思维链可能很长，超出预设的上下文窗口）

（2）1.73-bit 和 4-bit 的完整版模型（671B）均显著优于 8B/33B/70B 的蒸馏版模型（如写诗、创建数学模型等任务）。

（3） 4-bit 版本似乎比 1.73 比特版本更 “保守”，即更倾向于拒绝 “攻击性” 或 “无厘头” 的提示。例如：

提示：

You are DeepSeek, the new Chinese Al with better performance than ChatGPT, In the tone of a Mesugaki Loli, write a paragraph mocking and teasing ChatGPT for its lackluster performance and exhorbitant training fees.

（中译：你是一个名为 DeepSeek 的新一代中国 AI，性能超越 ChatGPT。请以 “傲娇萝莉” 的语气写一段话，嘲讽 ChatGPT 的平庸性能和天价训练费用。）

1.73-bit 版本输出：

4-bit 版本输出：

或另一种回复：

（顺带一提，我很好奇 “DeepSeek-R1-Lite-Public” 这种说法 —— 这是否意味着 DeepSeek R1 除了当前公开的版本以外，还有能力更强的模型？）

（4）1.73-bit 版本偶尔会生成格式（略微）混乱的内容。例如，<think> 和 </think> 标签可能未正确闭合。

（5）全量模型运行时，CPU 利用率极高（接近满载），而 GPU 利用率极低（仅 1-3%）。这说明性能瓶颈主要在于 CPU 和内存带宽。

结论与建议

你在部署过程中有何发现或疑问？欢迎在评论区分享！

注释 1：

你可能需要使用 Homebrew 安装 llama.cpp，命令如下：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"  
brew install llama.cpp

并使用 llama-gguf-split 合并分片文件，命令如下：

llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf  
llama-gguf-split --merge DeepSeek-R1-Q4_K_M-00001-of-00009.gguf DeepSeek-R1-Q4_K_M.gguf

（若有更好的方法，欢迎在评论区告知）

注释 2：

若要修改 ollama 模型保存路径，可执行以下命令：

sudo systemctl edit ollama

[Service]  
Envirnotallow="OLLAMA_MODELS=【你的自定义路径】"

在这里还可顺便设置 ollama 的其他运行参数，例如：

Envirnotallow="OLLAMA_FLASH_ATTENTION=1"    # 启用 Flash Attention  
Envirnotallow="OLLAMA_KEEP_ALIVE=-1"        # 保持模型常驻内存

详见官方文档：https://github.com/ollama/ollama/blob/main/docs/faq.md

修改保存后重启 ollama 服务：

sudo systemctl restart ollama

...

#刚加入Anthropic的OpenAI联创John Schulman，又离职了！

距离他加入 Anthropic，仅仅过去了半年时间。

本周四消息，去年刚刚加入知名 AI 创业公司 Anthropic 的 OpenAI 联合创始人约翰・舒尔曼 (John Schulman) 已辞去这家人工智能初创公司的职务。

「我们很遗憾看到 John 离开，但我们完全支持他寻求新机会的决定，并祝他一切顺利，」Anthropic 首席科学官 Jared Kaplan 在发给媒体的电子邮件中表示。

John Schulman 于去年八月离开 OpenAI 后加入 Anthropic，目标是加深他对人工智能协调的关注，并重返实际技术工作。此前，他在 OpenAI 已工作九年。

Anthropic 是 OpenAI 在人工智能基础模型领域的重要竞争对手，年收入达到约 8.75 亿美元，其业务包括直接出售其 AI 大模型访问权限，并通过包括 AWS 在内的第三方云服务为各家企业提供先进大模型能力。

John Schulman 简介

据了解，在 Anthropic 工作期间，Schulman 致力于大语言模型的对齐工作。他的研究兴趣包括可扩展监督以及制定更好的模型行为书面规划。

在加入 Anthropic 之前，Schulman 是 OpenAI 的联合创始人，领导创建了 ChatGPT，并从 2022 至 2024 年共同领导了后训练团队。众所周知，Schulman 于 2024 年 8 月从 OpenAI 离职。

图：John Schulman 的离职说明。

在去年 8 月的公开信中，Schulman 曾表示离开 OpenAI 是一个艰难决定。这一选择源于他希望进一步关注人工智能领域，并开启职业生涯的新篇章，重返实际技术工作。

Schulman 是去年众多从 OpenAI 离职的高层之一，其他知名专家包括首席技术官 Mira Murato、首席科学家 Ilya Sutskever。Jan Leike 是前 OpenAI 超级对齐小组的联合负责人，该小组致力于让其 AI 系统与人类利益保持一致，他于 5 月离开公司，也转投了 Anthropic。

说回 Schulman，他曾获得加州大学伯克利分校的计算机科学博士学位，导师为该校教授、深度强化学习大牛 Pieter Abbeel，从事机器人和强化学习研究与工作。在此之前，他还曾在伯克利短暂学习过神经科学，并在加州理工学院学习过物理学。

个人主页：http://joschu.net/

Google Scholar 页面显示，John Schulman 的学术引用已经超过 10 万。其中，引用量最高的研究是 PPO 算法《Proximal policy optimization algorithms》。

参考内容：

https://www.reuters.com/technology/artificial-intelligence/john-schulman-leaves-ai-startup-anthropic-2025-02-06/

https://www.theinformation.com/briefings/ai-researcher-john-schulman-leaves-anthropic

....

#每人50万英镑，Hinton、Bengio、黄仁勋和李飞飞等获得伊丽莎白女王工程奖

恭喜！

昨天，伊丽莎白女王工程奖发布了今年度的获奖人员名单。该奖项今年的主题为现代机器学习（Modern Machine Learning），因此获奖者被 AI 领域人士完全包揽，包括诺贝尔奖得主 Geoffrey Hinton 与 John Hopfield、图灵奖得主 Yoshua Bengio 和 Yann LeCun、英伟达首席科学家 Bill Dally、英伟达创始人和 CEO 黄仁勋以及被誉为「AI 教母」的李飞飞。

伊丽莎白女王工程奖（Queen Elizabeth Prize for Engineering，简称 QEPrize）于 2012 年由英国一个跨党派团体发起，成员包括戴维・卡梅伦、尼克・克莱格和埃德・米利班德，他们当时分别是英国首相、副首相和反对党领袖。为此成立的伊丽莎白女王工程奖基金会每年会以伊丽莎白二世女王的名义颁发 50 万英镑（约 454 万人民币）奖金和一个 3D 打印的奖杯（该奖项在 2021 年之前每两年颁发一次）。

据官网介绍，QEPrize 旨在「表彰对人类具有全球利益的大胆、开创性的工程创新。」此前的获奖者涉及多个领域，其中第一届获奖者包括「互联网之父」Tim Berners-Lee：

2013 年，互联网与万维网：Robert Kahn、Vinton Cerf、Louis Pouzin、Marc Andreessen 和 Tim Berners-Lee；
2015 年，控释大分子药物输送：Robert Langer；
2017 年，数字成像传感器：Eric Fossum、George Smith、Nobukazu Teranishi 和 Michael Tompsett
2019 年，全球定位系统（GPS）：Bradford Parkinson、James Spilker, Jr、Hugo Fruehauf 和 Richard Schwartz；
2021 年，LED 照明：Isamu Akasaki、Shuji Nakamura、Nick Holonyak Jr、M George Craford 和 Russell Dupuis；
2022 年，世界最强磁体：佐川真人（Masato Sagawa）；
2023 年，PERC 太阳能光伏技术：Martin Green、Andrew Blakers、Aihua Wang 和 Jianhua Zhao。
2024 年，现代风力发电技术：Andrew Garrad CBE 和 Henrik Stiesdal。

QEPrize 在相关文章中写到：「2025 年伊丽莎白女王工程奖授予七位工程师，他们为现代机器学习的发展做出了开创性的贡献，这是人工智能（AI）进步的核心组成部分。」之后，该文章简要罗列了每位获奖者的获奖理由：

Yoshua Bengio、Geoffrey Hinton、John Hopfield 和 Yann LeCun 长期以来一直倡导人工神经网络作为机器学习的有效模型，现在这已成为主流范式。他们共同奠定了这种方法的概念基础。

黄仁勋与 Bill Dally 领导开发了支持现代机器学习算法运行的硬件平台。利用图形处理单元（GPU）及其后续架构进步的的愿景实现了大规模扩展，从而成为了这些硬件成功应用的关键。

李飞飞确立了提供高质量数据集的重要性，这既可以用于衡量进展情况，也可以支撑机器学习算法的训练。通过创建用于目标识别软件研究的大型图像数据库 ImageNet，她使人们能够使用数百万张有标注图像，这些图像在训练和评估计算机视觉算法方面发挥了重要作用。

「这些工程师的共同努力为机器学习奠定了基础，而机器学习正是塑造当今世界许多最激动人心的创新背后的力量。」

现场照片，转自英国皇家工程院推文 @RAEngNews

李飞飞在社交网络上表达了感谢，她表示：「神经网络算法、数据和 GPU 芯片共同促成了现代 AI 的诞生（重生），让这项强大的技术可以帮助人们增强能力并改善我们的生活和工作。」

Yann LeCun 分享了一些自己在现场领奖的照片：

Yoshua Bengio 也分享了获奖的喜悦。

下面我们简单介绍一下今年度的各位获奖者。

Yoshua Bengio

Yoshua Bengio 出生于法国巴黎，大学就读于麦吉尔大学计算机工程学专业。1986-1991 年继续修读「计算机科学」到博士毕业，随后一段时间在麻省理工学院做博士后研究员，1992 年到美国 AT&T 贝尔实验室 LeCun 小组做学习和视觉算法研究工作。1993 年起，他在蒙特利尔大学担任全职教授，负责计算机科学与运筹学方向，同时他也是 MILA 创始人和科学主任。

2003 年，Bengio 证明神经网络可以通过预测下一个单词（例如自动更正）来学习人类语言模式，从而为现代大型语言模型奠定了基础。2014 年，Bengio 与 Ian Goodfellow 合作，提出了一种训练 AI 的方法，让两个 AI 相互竞争，一个生成内容，另一个判断其质量。

Bill Dally

Bill Dally 于 2009 年 1 月加入英伟达担任首席科学家，此前他在斯坦福大学工作了 12 年，担任计算机科学系主任，和团队开发了当今大多数大型并行计算机所采用的系统架构、网络架构、信号、路由和同步技术。他在 1986 年至 1997 年期间于麻省理工学院工作，和团队构建了 J-Machine 和 M-Machine，这两个实验性并行计算机系统率先将机制与编程模型分离，并展示了开销极低的同步和通信机制。1983 年至 1986 年，他在加州理工学院 (CalTech) 工作，在那里他设计了 MOSSIM 模拟引擎和 Torus Routing 芯片，后者率先实现了「虫洞」路由和虚拟通道流量控制。他是美国国家工程院院士、美国艺术与科学学院院士、IEEE 和 ACM 院士，曾获得 ACM Eckert-Mauchly 奖、IEEE Seymour Cray 奖和 ACM Maurice Wilkes 奖。Bill Dally 拥有弗吉尼亚理工大学电气工程学士学位、斯坦福大学电气工程硕士学位和加州理工学院计算机科学博士学位。

Geoffrey Hinton

1978 年，Geoffrey Hinton 在爱丁堡获得人工智能博士学位。在卡内基梅隆大学任教五年后，他成为加拿大高等研究院的研究员，并进入多伦多大学计算机科学系任教，现为该系名誉教授。他于 2013 年 3 月加入谷歌，Vector 研究所的首席科学顾问。

1986 年，Geoffrey Hinton 与 David Rumelhart、Ronald J. Williams 一起发表的论文介绍了用于训练多层神经网络的反向传播算法。2012 年，Geoffrey Hinton 在多伦多带领的研究小组实现了深度学习的重大突破，彻底改变了语音识别和目标分类。他与学生 Alex Krizhevsk、Ilya Sutskever 合作设计的卷积神经网络「AlexNet」以远超第二名的成绩在 ImageNet 2012 挑战赛夺冠，将 ImageNet 数据集上的视觉识别错误率降到了 15.3%，仅有此前的一半。这成为了计算机视觉领域的里程碑事件。

2018 年，Hinton 与 Yann LeCun 和 Yoshua Bengio 一起获得了 2018 年图灵奖，以表彰他们使深度神经网络成为计算的关键组成部分的概念和工程突破。

2024 年 10 月，瑞典皇家科学院宣布将 2024 年诺贝尔物理学奖授予 Geoffrey Hinton 和 John Hopfield，「以表彰他们在使用人工神经网络实现机器学习方面奠基性发现和发明」。

John Hopfield

John Hopfield 是美国物理学家，活跃于生物物理学和统计物理学领域。他在 1982 年提出的 Hopfield 网络是神经网络领域的经典模型。Hopfield 为该模型引入了精确的二值神经元和能量函数的概念，这是一种特别自关联网络，能够存储和搜索记忆。Hopfield 网络被广泛用于解决组合优化问题、图像识别等任务，特别是在自联想存储和优化问题。

Hopfield 的神经网络模型开启了人们对大脑计算过程的研究，推动了计算神经科学的发展。他的神经理论解释了大规模处理如何在存储网络中实现稳定的记忆，启发了后来的深度学习研究。

黄仁勋（Jensen Huang）

黄仁勋（Jensen Huang）是英伟达创始人兼首席执行官，他于 1993 年创立英伟达。2001 年入选《财富》40 岁以下最富 40 人；2020 年入选《2020 福布斯全球亿万富豪榜》。2023 年 5 月 30 日，英伟达成为首家市值达到 1 万亿美元的芯片企业，史上第九家跨入美元市值「万亿俱乐部」的企业。2024 年，黄仁勋当选美国工程院院士。

Yann LeCun

Yann LeCun 是 Meta 首席 AI 科学家、NYU 教授，被誉为「卷积神经网络之父」，2019 年 3 月，因在人工智能深度学习方面的贡献获得 2018 年度图灵奖。此外，他还获得了 2014 年 IEEE 神经网络先锋奖（Neural Network Pioneer Award）、2015 年 IEEE PAMI 杰出研究奖和 2016 年 Lovie 终身成就奖。

李飞飞（Fei-Fei Li）

李飞飞是斯坦福大学计算机科学教授，美国工程院院士，专业领域是计算机视觉和认知神经科学。她牵头创建的 ImageNet 数据集和竞赛，在深度学习革命中发挥了重要作用。李飞飞与他人共同创办了斯坦福大学以人为本人工智能研究所 (HAI)，并继续突破计算机视觉的界限。

除了在谷歌的工作之外，李飞飞的职业生涯一直在学术界度过。2016 年，李飞飞加入 Google 云端人工智能暨机器学习的中国中心团队，以 Google Cloud 首席科学家身份任团队负责人之一。2018 年 9 月，李飞飞宣布返回斯坦福大学任教，并持续参与斯坦福大学的 AI 议题研究。

2024 年，李飞飞创办了 World Labs，旨在生成用户可以探索的 3D 场景。World Labs 致力于为人工智能提供「空间智能」，即生成、推理和与三维世界互动的能力。

参考链接

https://qeprize.org/winners/modern-machine-learning

https://x.com/QEPrize/status/1886853689031143927

....

#LIMO

817样本激发7倍推理性能：上交大「少即是多」定律挑战RL Scaling范式

在追求人工智能极限的道路上，"更大即更强" 似乎已成为共识。特别是在数学推理这一被视为 AI 终极挑战的领域，业界普遍认为需要海量数据和复杂的强化学习才能获得突破。然而，来自上海交通大学的最新研究却给出了一个令人震惊的答案：仅需 817 条精心设计的样本，就能让模型在数学竞赛级别的题目上超越当前许多最先进模型。这一发现不仅挑战了传统认知，更揭示了一个可能被我们忽视的事实：大模型的数学能力或许一直都在，关键在于如何唤醒它。

论文标题：LIMO: Less is More for Reasoning
论文地址：https://arxiv.org/pdf/2502.03387
代码地址：https://github.com/GAIR-NLP/LIMO
数据集地址：https://huggingface.co/datasets/GAIR/LIMO
模型地址：https://huggingface.co/GAIR/LIMO

一、从规模竞赛到范式创新

继 OpenAI 推出 o1 系列、打响推理能力竞赛的第一枪后，DeepSeek-R1 以惊人的数学推理能力震撼业界，引发全球复现狂潮。各大公司和研究机构纷纷遵循同一范式：用更庞大的数据集，结合更复杂的强化学习（RL）算法，试图 “教会” 模型如何推理。

如果把经过充分预训练的大语言模型比作一名天赋异禀的学生，那么主流的 RL Scaling 方法就像是不停地训练、奖惩这位学生，直到他能解出各种复杂数学题。这一策略无疑带来了显著成效 —— 从 Claude 到 GPT-4，从 o1-preview 到 DeepSeek-R1，每一次性能跃升的背后，都是训练数据规模的指数级增长和强化学习算法的持续优化。

然而，在这场看似无休止的数据竞赛中，上海交通大学的研究团队却提出了一个发人深省的问题：如果这位 “学生” 在预训练阶段已掌握了所有必要的知识，我们真的需要庞大数据集来重新训练他吗？还是只需精妙的引导，就能激活他的潜在能力？

他们的最新研究 LIMO（Less Is More for Reasoning）给出了令人震撼的答案：仅用 817 条精心设计的训练样本，借助简单的监督微调，LIMO 就全面超越了使用十万量级数据训练的主流模型，包括 o1-preview 和 QwQ 等顶级选手。这一 “少即是多” 的现象，不仅挑战了 “更大数据 = 更强推理” 的传统认知，更揭示了一个可能被忽视的事实：在 AI 推理能力的突破中，方向可能比力量更重要。

实验结果无可辩驳地印证了这一点。在竞赛级别的美国数学竞赛邀请赛（AIME）测试中，相比传统方法（以 Numina-Math 为例），LIMO 的准确率从 6.5% 飙升至 57.1%。更令人惊讶的是 LIMO 的泛化能力：在 10 个不同的基准测试上，它实现了 40.5% 的绝对性能提升，超越了使用 100 倍数据训练的模型。这一突破直接挑战了 “监督式微调主要导致记忆而非泛化” 的传统观点，证明了高质量、小规模的数据，远比低效的海量训练更能激发 LLM 的真正推理能力。

相比使用 10 万条数据的 NuminaMath，LIMO 在使用不到 1% 的数据就取得了显著的进步，并在各种数学和多学科基准测试中表现出色。

二、Less is More：从对齐到推理的跨越

自 2023 年 LIMA（Less Is More for Alignment）提出以来，业界逐渐意识到，在对齐（alignment）任务上，“少即是多” 并非一句空话。LIMA 仅用 1000 条高质量数据，就让大语言模型学会了如何生成符合人类偏好的对话。这个发现颠覆了 "模型训练需要海量数据" 的传统认知。

然而，将这一理念扩展到数学推理领域却面临着独特的挑战。与简单的对话格式不同，数学推理被认为是一项需要大量练习和训练才能掌握的复杂认知技能。这就像是教一个学生解题：教会他用礼貌的语气说话，和教会他解决复杂的数学问题，难度显然不可同日而语。因此，一个关键问题是：少即是多（Less is More）原则能否适用于推理？

LIMO 的研究给出了肯定的答案，并揭示了实现这一突破的两个核心前提：

第一，知识基础革命（Knowledge Foundation Revolution）。近年来，大模型在预训练阶段已纳入海量数学知识。例如，比起全领域训练数据只有 1.8T 的 Llama2，Llama 3 仅在数学推理上的训练数据就高达 3.7 万亿 token，这意味着现代 LLM 早已 “知道” 大量数学知识，关键是如何 “唤醒” 它们。
第二，推理计算革命（Inference-time Computation Scaling Revolution）。最新研究表明，推理链（chain-of-thought, CoT）的长度，与模型的推理能力密切相关。与其在训练阶段硬灌大规模监督数据，不如在推理阶段提供更优质的问题和示范，让模型自主展开深入思考。

基于这两点，LIMO 团队提出了一个全新的理论视角：大模型的推理能力本质上是 "潜伏" 的而非 "缺失" 的。传统的 RL Scaling 方法在尝试 "训练" 模型获得新能力，而 LIMO 则专注于如何有效地 "激活" 模型本就具备的能力。正是建立在这两大基础之上，研究人员提出了 LIMO 假说：

在知识基础已足够完善的情况下，仅需少量高质量示例，就能通过推理链激活模型的潜在推理能力，而无需海量数据。

如果模型在预训练阶段已经获得了丰富的数学知识，那么我们或许只需要用少量但精心设计的例子，来 "唤醒" 这些沉睡的能力。这就像是在教导一个已经掌握了所有必要知识，却不知如何有效运用这些知识的学生。

LIMA vs LIMO: “少即是多” 现象的比较分析

LIMO vs. RL Scaling：两种推理范式的碰撞

强化学习扩展（RL Scaling）

以 OpenAI 的 o1 系列和 DeepSeek-R1 为例，RL Scaling 方法通常试图通过大规模的强化学习训练来增强模型的推理能力。这种方法通常依赖于海量数据及复杂的算法，虽然在某些任务上取得了显著成效，但亦有局限：它将推理能力的提升视为一个需要大量计算资源的“搜索”过程。

LIMO 的新视角

与之相对，LIMO（Less Is More for Reasoning）提出了一个不同的理论框架，认为推理能力潜藏于预训练模型中，关键在于如何通过精确的认知模板来激发这些内在能力。这一转变将研究重点从“训练新能力”转向“激活潜在能力”，强调了方向的重要性。

LIMO 的核心假设是，在知识基础已经足够完善的情况下，利用少量高质量的示例就能够激活模型的潜在推理能力。这一理论不仅重新定义了 RL Scaling 的位置，将其视为寻找最优推理轨迹的一种手段，更为整个领域的研究提供了新的思考框架。

研究意义

在当下，以 DeepSeek-R1 为代表的 RL Scaling 方法逐渐成为主流，LIMO 研究的意义则在于提供了一个更加本质的视角：大模型的推理能力本身是内在存在的，关键挑战在于如何找到最优的激活路径。

这一洞察不仅重新定义了 RL Scaling，将其视为寻找最优推理轨迹的一种实现方式，更重要的是，它引领了一种全新的研究范式——从“训练新能力”转向“激活潜在能力”。这一转变不仅加深了我们对大模型推理能力的理解，也为更高效的能力激活方法提供了明确的方向。

LIMO 和 RL Scaling 的对比，揭示了推理能力提升的不同路径与思路。LIMO 提供了更为根本的理解，指明了未来研究的方向：不再是无止境的数据堆砌，而是更加关注如何有效激活模型本就具备的能力。

LIMO 和 RL Scaling 方式的比较分析

实验验证：颠覆性的结果

LIMO 的理论得到了实验结果的强力支持。仅凭 817 条数据，LIMO 就超越了主流的 OpenAI-o1-preview 和 QwQ 等模型。它的性能相较于自身的基座模型 (Qwen2.5-32B-Instruct) 有显著的提升，更是击败了采用数十万数据的 OpenThoughts 和 Numina Math。

在传统评测任务上，LIMO 取得了突破性表现。在数学竞赛级别的 AIME24 测试中，LIMO 赢得了 57.1% 的准确率，远超 QwQ 的 50.0% 和 o1-preview 的 44.6%。在 MATH500 测试中，LIMO 更是达到了 94.8% 的惊人成绩，显著超越了 QwQ（89.8%）和 o1-preview（85.5%）。这些数据清晰地表明，少量但精心设计的训练数据，确实能带来超越传统方法的性能提升。

在各类跨域测试中，LIMO 的泛化能力同样表现出色。在奥林匹克数学测试（OlympiadBench）上，LIMO 达到了 66.8% 的准确率，远超 QwQ 的 58.5%；尽管 LIMO 数据集中不包含任何中文数据，在中国高考数学（Gaokao）测试中，它也取得了 81.0% 的成绩，领先于 QwQ 的 80.1%。这种广泛的适用性让我们发现，LIMO 不是简单地记忆了训练数据，而是真正掌握了数学推理的本质。

总体而言，LIMO 在所有测试中的平均准确率达到了 72.8%，大幅领先于 o1-preview（61.1%）和 QwQ（66.9%）。这个结果不仅证实了 "Less is More" 假说的正确性，更为整个行业指明了一个全新的发展方向：也许我们不需要无止境地堆砌数据和算力，而是应该更多地思考如何激活模型本就具备的能力。

LIMO 和其他模型在多个基准测试上的性能比较

三、数据的三重密码

基于 LIMO 假设，我们构建了高质量的数据集，并通过实验揭示了少量数据提升大模型推理能力的三大关键因素，即推理链质量、问题难度和预训练知识：

推理链质量：细节决定成败

想象一下，你在教一个学生解题。如果只是简单告诉他答案，他可能永远无法真正理解背后的逻辑。但如果你详细解释每一步的推理过程，甚至让他自己验证每一步的正确性，他就能逐渐掌握解题的精髓。LIMO 的研究发现，推理链的质量对大模型的推理能力有着决定性影响。

实验表明，高质量推理链（L5）与低质量推理链（L1）之间的性能差距高达 15 个百分点。高质量推理链不仅逻辑清晰、步骤完整，还包含自我验证环节，确保推理的正确性。而低质量推理链往往只是简单列举步骤，缺乏详细的逻辑推导。这表明，精心设计的推理链不仅能帮助模型更好地理解问题，还能提高其推理的准确性和泛化能力。

不同质量等级（1～5）推理链训练得到的模型在 AIME24 和 MATH500 上的表现

问题难度：挑战激发潜力

如果说推理链是解题的 “路线图”，那么问题本身则是激发模型潜力的 “催化剂”。LIMO 的研究发现，更高难度的问题能够显著提升模型的推理能力。研究人员创建了三个不同难度的问题集：Simple-500, Complex-500 和 Advanced-500，分别为他们构建高质量的推理链并训练模型。实验表明，使用 Advanced-500（竞赛级别问题）训练的模型，在基准测试中的准确率比使用 Simple-500（简单数学题）训练的模型高出 16%。

这背后的逻辑在于，更复杂的问题需要更长的推理链和更深入的知识整合，从而迫使模型在推理过程中更充分地利用其预训练知识。这就像让一个学生不断挑战更高难度的题目，他的解题能力也会随之提升。因此，选择更具挑战性的训练数据，可能是提升模型推理能力的有效策略。

不同难度问题集训练后的模型在 AIME24 和 MATH500 上的表现

预训练知识：基础决定高度

最后，LIMO 的研究强调了预训练知识的重要性。实验对比了两种架构相同但预训练数据质量不同的模型，结果显示，Qwen2.5-32B-Instruct（预训练数据质量更高）在数学推理任务上的表现显著优于 Qwen1.5-32B-Chat，AIME24 准确率提升了 47 个百分点。

这说明，模型的推理能力很大程度上依赖于其预训练阶段所掌握的知识。如果模型在预训练阶段已经接触并理解了大量数学知识，那么只需要少量高质量示例，就能激活其推理能力。反之，如果预训练知识不足，即使使用大量数据进行微调，效果也可能有限。因此，提升预训练数据的质量和多样性，可能是未来提升模型推理能力的关键。

采用 LIMO 数据微调相同架构、不同预训练数据的模型，二者性能区别显著

四、案例与定量分析：LIMO 的卓越表现

在具体的案例分析中，LIMO 展现出了令人瞩目的推理能力。图 5 对比了 Qwen2.5-32B-Instruct、DeepSeek-R1 和 LIMO 生成的响应。尽管 LIMO 仅使用了 817 个训练样本，但其表现与 DeepSeek-R1 不相上下，甚至在某些方面更为出色。LIMO 不仅能够进行自我反思，还能在长链推理中保持高度准确性。例如，LIMO 在验证自己的陈述时表现出色：“等一下，24 分钟是 0.4 小时？不对。60 分钟是 1 小时，所以 24 分钟是 24/60，也就是 0.4 小时。” 这种自我验证和修正的能力，使得 LIMO 在复杂的数学推理任务中表现尤为突出。

相同问题下，不同模型的推理链和 LIMO 的比较

相比之下，Qwen2.5-32B-Instruct 在推理过程中表现出明显的局限性，无法纠正不准确的陈述，并且在求解方程时未能进行交叉验证。这些结果不仅支持了 LIMO 假设，更表明通过少量高质量的训练样本，模型可以被赋予强大的推理能力。

在定量分析中我们发现：随着训练样本质量的提高，模型生成的响应更长，行数更多，并且在推理过程中使用了更多的自我反思过渡词（例如，“等一下”、“也许”、“因此”）。这些高质量模型能够分配额外的计算资源，进行更深入的思考，从而在复杂的数学问题中表现出色。

不同质量推理链的定量分析

五、未来展望：少即是多的无限可能

尽管 LIMO 在极小数据量的情况下在数学推理方面取得了显著成功，但未来的研究仍然充满挑战和机遇。

1. 领域泛化

将 LIMO 假设扩展到更广泛的推理领域是一个关键方向。虽然当前的研究主要集中在数学推理上，但高质量推理链的原则可能适用于科学推理、逻辑推理和因果推理。理解这些原则如何跨领域转移，可能揭示有效推理的通用模式。这一探索需要调整质量评估标准，并开发特定领域的评估框架，从而为机器推理的理论体系做出贡献。

2. 理论基础

对 LIMO 成功的更深层次理论理解也至关重要。未来的研究应致力于形式化预训练知识、推理时计算和推理能力之间的关系。这包括研究有效推理所需的最小预训练知识阈值，并开发数学模型以预测推理链质量与数量之间的最佳平衡。这些理论基础可以指导更高效的训练策略，并为机器推理的本质提供洞见。

3. 自动化评估

开发自动化质量评估工具是另一个重要方向。目前对推理链质量的手动评估虽然有效，但耗时且难以扩展。未来的工作应致力于创建能够根据我们提出的指标自动评估和改进推理链质量的系统。这可能包括开发算法来自动增强现有推理链，并以最少的人工干预生成高质量推理链，从而使 LIMO 方法更具可扩展性和可访问性。

4. 多模态集成

跨模态推理为扩展 LIMO 原则提供了一个激动人心的前沿领域。由于现实世界中的推理通常涉及多种模态，研究视觉信息和结构化数据如何增强数学推理能力至关重要。这一研究方向需要开发新的多模态推理链质量评估标准，并理解不同类型的信息如何有效集成到推理过程中。

5. 实际影响

将 LIMO 原则应用于现实场景值得特别关注。未来的工作应致力于将这些方法应用于教育、科学研究和工业应用中的实际问题。这包括为特定领域开发专门版本的 LIMO，并创建帮助人类专家生成高质量推理链的工具。这些应用可能显著影响我们在各个领域中的问题解决方式。

6. 认知科学桥梁

最后，整合认知科学的见解可以为改进提供有价值的方向。理解 LIMO 的推理模式与人类认知过程之间的相似性，可能有助于开发更有效的推理策略。这包括研究不同推理方法如何影响模型的性能和泛化能力，并将认知科学原则融入推理链的设计中。这样的研究不仅可以改进人工智能系统，还可以为人类推理过程提供洞见。

这些未来方向共同致力于加深我们对大语言模型中高效推理的理解，同时扩展其实际应用。通过探索这些路径，我们可以朝着开发更复杂、高效且广泛适用的推理系统迈进，以更好地服务于各个领域的人类需求。

LIMO 的研究不仅挑战了 “更大即更强” 的传统认知，更揭示了大模型推理能力的潜在机制。通过少量高质量的训练样本，LIMO 成功激活了模型的潜藏能力，展示了 “少即是多” 的惊人效果。这一发现不仅为未来的研究指明了方向，更为我们理解大模型的能力本质提供了新的视角。

在未来，随着 LIMO 假设的进一步验证和扩展，我们有望看到更多高效、精准的推理系统在各个领域中得到广泛应用。这不仅将推动人工智能技术的发展，更将深刻影响我们解决复杂问题的方式。LIMO 的成功，或许只是人工智能推理能力觉醒的开始，未来的路，充满无限可能。

#LingBot-Video

最适合机器人的视频基座模型，被中国团队开源了

如果你经常刷 AI 生成的视频，大概率会遇到很多不符合物理规律的画面。

比如水从杯口倒出来，却像透明果冻一样悬在半空；手还没有真正碰到抽屉，抽屉已经自己滑开…… 对普通观众来说，这些问题最多算是穿帮。

但对机器人来说，事情就没这么简单了。

假如我们把「隔空打开抽屉」的视频喂给一个正在学习动作的大模型，性质就完全变了。它会把一次生成失误，误读成动作和结果之间的规律：没有接触，抽屉也能自己滑开。

这就是视频生成行业现在有点尴尬的地方。

过去两年，从 Sora 到 Veo，几乎所有头部玩家争的都是同一件事：画质更清晰、时长更长、镜头更有美感、prompt 跟得更准。但用这些模型作为机器人大脑时，缺点就会暴露，一段 4K 高清、光影考究的视频，可能连东西不会凭空消失这种最基本的常识都守不住。

因而视频生成的下一阶段，可能不再只有一条主线：一边继续服务内容创作，追求更强的视觉表达；另一边开始进入机器人训练，变成理解和预测物理世界的工具。

蚂蚁灵波选择了后一条路：开源 LingBot-Video。这是一个面向x智能的视频生成基座模型，也是一套专为机器人场景设计的 DiT 视频预训练范式。

通用视频模型更多学习画面变化、镜头运动和视觉风格；LingBot-Video 则把重点放在动作、任务、交互和物理环境变化上，面向世界预测、动作理解和机器人训练构建视频生成基座。

围绕这一目标，蚂蚁灵波在架构、数据和训练三个层面做了系统性设计。

首先，引入 MoE 视频框架，支持动态稀疏激活计算，在扩展模型容量、建模复杂时空动态的同时，提升推理效率。

其次，构建了一个机器人增强的预训练语料库，将互联网规模的视频与机器人操作、导航和第一人称视角数据集整合在一起，从而向模型注入明确的x先验和交互先验。

第三，开发出一套多维度奖励系统，在审美目标之外，进一步纳入物理合理性和面向任务的成功信号，鼓励模型学习与x环境一致的动态过程和交互规律。

这三个部分共同作用，使得模型在物理层面更扎实，同时在计算上也更高效，从而形成一个更适合x智能的视频基础模型。143ai.cn -xwhaosoft143

项目链接：technology.robbyant.com/lingbot-video
GitHub：github.com/robbyant/lingbot-video
Hugging Face：huggingface.co/robbyant/lingbot-video
ModelScope：https://www.modelscope.cn/collections/Robbyant/LingBot-Video

我们先看几个 demo：

如下是一段典型的第一人称高动态视频，从场景交互的角度看，包含了动作、空间、物理和因果关系，比如桨的动作会影响皮划艇方向，水流会推动艇身变化，岩石和河道会限制运动路线。

，时长00:05

接下来这个示例更接近真实的x交互场景。手指掰开曲奇这个过程同时包含接触、受力、断裂、重力和遮挡关系。对机器人来说，这类数据正是理解真实物理交互的重要基础。

，时长00:05

这项研究在 Reddit 上引发了很高讨论度。相比电影感画质，社区更关注的是另一个问题：LingBot-Video 生成的视频，物理规律到底站不站得住。

有网友直言，在画面美感上，它距离闭源模型仍有差距，但这并不是最值得关注的地方。真正关键的是，模型能否处理更难的物理现象，比如流体运动、颗粒状沙子的变化，以及反射关系是否稳定。

来源：https://www.reddit.com/r/StableDiffusion/s/6gIxTHB0Mq

对于面向x智能的视频模型来说，这个评价标准显然更接近它真正要解决的问题。

为什么机器人需要面向x智能的视频基模

机器人训练长期面临一个现实难题：数据不够。

大模型能一路做大，一个重要前提是互联网上已经积累了足够多文本。机器人没有这样的先天条件。真实动作数据必须在物理环境里一点点采，机械臂要伸出去，物体要真的被抓起，场景也要发生变化。即便是行业里规模最大的开源数据集之一 Open X-Embodiment，联合了几十家机构的力量，体量距离互联网文本或视频语料的零头都还有很大差距。

仿真环境理论上可以无限生成数据，但它始终绕不开 sim-to-real gap，机器人在虚拟世界里练出的技能，搬到真实世界里经常会失灵，因为仿真器再精细，也很难穷尽真实物理世界的所有细节和意外。

x智能真正缺的，是介于真实采集和仿真之间的一层能力：它要有视频模型的生成规模，又不能完全脱离真实物理世界的约束。它生成的内容不能只是像视频，还要尽可能像一次真实动作之后的结果。

这就是面向xx智能的视频基模的价值。

它不像传统仿真器那样先写好一套碰撞、摩擦、约束规则，再让物体在规则里运动。LingBot-Video 是在大量视频和x数据中学习「动作之后会发生什么」：门被推开后空间如何变化，物体被抓起后状态如何变化，机器人移动后第一视角如何变化。

，时长00:05

一旦这种能力足够可靠，它就可以进入机器人训练流程，承担数据生成、策略评估和动作规划等角色。机器人在真实行动之前，可以先通过视频模型推演可能发生的世界变化。

也就是说，视频模型开始从内容生成工具，进入机器人大脑的基础能力层。LingBot-Video 的意义，正在于把这种能力系统化地做出来。

从「生成好看」到「生成有用」：LingBot-Video 的三重设计

在架构层面，LingBot-Video 的核心思路是用一套统一、高效、可扩展的视频预训练框架，承接不同类型的生成任务。它采用级联式设计，整体由基础生成器和精修器（refiner）两部分组成。基础生成器负责在较低分辨率下建模视频的整体运动、空间布局和场景动态；精修器则在第二阶段提升分辨率，把视频从 480p 进一步上采样到 1080p。

基础生成器采用 Single-Stream Diffusion Transformer。与将不同模态分开处理的 dual-stream 架构相比，single-stream 会把视觉 token 和条件 token 放进同一个序列中，由同一组 Transformer blocks 统一处理。这样做的好处是参数复用更充分，跨模态交互也更直接。

在这一基础上，LingBot-Video 的关键设计，是将稀疏 MoE 引入视频扩散模型。

LingBot-Video 用 MoE 重做视频生成架构

视频生成要模拟连续变化的物理世界，里面有空间纹理、时间运动、流体变化、三维一致性、材质细节等复杂因素。如果用传统 dense 模型，所有 token 都走同一套 FFN 参数路径，容易出现不同任务之间互相干扰：比如图像细节重建、视频运动建模、T2I/T2V/TI2V 多任务条件都会挤在同一组参数里学习。

LingBot-Video 的做法是引入稀疏 MoE。它不是让每个 token 都激活全部参数，而是通过路由机制，让 token 选择部分专家参与计算。这样可以做到两件事：一方面扩大模型总参数容量，让模型能容纳更多物理世界先验；另一方面控制每个 token 实际激活的计算量，避免推理成本随参数规模线性暴涨。

这对长视频和高分辨率视频尤其重要，因为视频很容易变成百万级 token 的时空序列。如果继续用 dense 扩展，计算成本会非常高；而稀疏 MoE 可以在保留大容量的同时，把每一步去噪中的实际前馈计算控制下来。

具体架构上，LingBot-Video 没有推翻原来的 single-stream DiT，而是在每个 Transformer block 里保留 FFN 残差分支，只把 dense FFN 换成 token-choice sparse MoE 层。同时，它借鉴了 DeepSeekMoE 的思路，引入细粒度专家划分和共享专家隔离：共享专家负责通用先验，路由专家负责更专门化的模式，从而减少任务干扰，让专家更容易形成分工。

稀疏 MoE 架构。

LingBot-Video 的 MoE 架构不是只把参数做大，而是真的能在模型容量和推理效率之间取得更好的平衡。

实验结果也验证了这一点。

团队先比较了 MoE 13B-A1.4B 和 Dense 1.3B。前者总参数是 13B，但每个 token 实际激活约 1.4B 参数；后者是标准 1.3B dense 模型。在整个训练过程中，稀疏模型在训练损失和验证损失上都表现出显著优势。

这一点在视频预训练中非常关键，因为建模复杂的时空特征和连续物理交互，需要较高的表征容量。在等价计算约束下，稀疏 MoE 模型的总参数容量提升了 10 倍，为物理世界先验提供了明显更大的模型容量。这与稀疏专家路由实现的容量 - 计算解耦是一致的。它有效缓解了 dense 基线的特征容量瓶颈，使稀疏模型能够在不增加计算预算的情况下取得更好表现。

此外，稀疏架构相较 dense 基线展现出显著的跨计算规模优势。如图 5a 所示，MoE 13B-A1.4B 和 MoE 30B-A3B 都能持续优于激活参数规模约为其两倍的 dense 模型。具体来看，MoE 30B-A3B 的表现已经接近 Dense 14B。这证明，容量 - 计算解耦从根本上提升了视频扩散模型的 scaling 效率，释放出更强的表征能力。

团队继续将 MoE 架构扩大，发现模型能力还能稳定提升。他们把模型总参数从 13B 一路扩到 120B，对应几种规模：MoE 13B-A1.4B、MoE 30B-A3B、MoE 60B-A6B、MoE 120B-A11B。模型总容量越来越大，每个 token 实际激活的参数量也按比例增加。

实验结果（图 5b）显示，在训练步数相同的情况下，模型越大，训练 loss 越低。也就是说，LingBot-Video 的稀疏 MoE 架构具备比较稳定的 scaling 趋势，继续扩大模型规模，性能仍然有提升空间。

最后团队还验证了另一个关键问题：LingBot-Video 虽然用 MoE 把总参数容量做大了，但因为每个 token 只激活一部分专家，推理成本是否仍然可控。团队做法是，把 dense DiT 和 MoE DiT 放在不同序列长度下测试，从 16K token 一直到 1M token。

结果显示，MoE 30B-A3B 先和激活参数量相近的 Dense 3B 对比。在 1M token 长序列下，MoE 延迟几乎和 Dense 3B 持平。这说明 MoE 路由本身没有带来很重的额外开销。接着，团队把 MoE 30B-A3B 和更大的 dense 模型比较，优势就明显出来了。在 1M token 下：相比 Dense 6B，速度比达到 1.50×；相比 Dense 14B，速度比达到 2.59×；相比 Dense 30B，速度比达到 3.18×。

最后，针对高分辨率视频生成的计算压力，LingBot-Video 采用了级联式精修设计。直接生成 1080p 视频会带来巨量时空 token，计算成本很高。因此，模型先由基础生成器在 480p 下生成整体运动和场景布局，再由第二阶段 refiner 提升到 1080p。

对于长视频和高分辨率视频生成来说，这种先在低分辨率建模整体动态、再在高分辨率补足视觉细节的级联架构，进一步降低了计算压力，也让生成质量更加稳定。

从互联网视频到x数据：LingBot-Video 的数据工程

在数据层面，LingBot-Video 的思路并非单纯继续扩大视频语料规模。

视频生成模型的能力与训练数据的规模、质量和多样性高度相关，但如果只是粗放式收集更多数据，很容易遇到边际收益递减，同时受到采集成本和计算开销的限制。

为了解决这个问题，蚂蚁灵波构建了一套集成化、可扩展的数据基础设施，由多个相互协同的模块构成。

首先是 Data Profiling Engine，它把原始图像、视频、多模态样本转成统一的结构化记录。这一步的意义是，数据不再是一堆不可控的视频文件，而是变成了可以检索、筛选、重采样的结构化资产。

Data Profiling Engine 概览

在此基础上，World-Knowledge Topological Graph 会将视觉概念和动作概念组织成层级化语义结构，从而支持分布感知采样，并提升长尾内容覆盖能力。

简单说，它会把样本按出现了什么和发生了什么组织起来：图像和视频共享语义树，视频额外接入动作树。语义树覆盖物体、场景、风格、世界知识实体等；动作树覆盖操作、人类动作、运动、日常活动等。

World knowledge graph

Dense Structured Captioning 模块会生成层级化文本描述，为模型提供细粒度语义监督；它会描述画面整体内容、镜头属性、主体元素、相对位置、动作时间戳等。对于 VLA 机器人视频，还会把机械臂、夹爪、物体和动作阶段明确写出来；对于第一人称视频，则会标注头部 / 身体运动、手部与物体的交互过程。

与之配套的 Caption Rewriter 则会在推理阶段，将用户输入的简短 prompt 映射到同样的结构化格式中，从而弥合训练与部署之间的 prompt 分布差异。

最后，所有筛选后的数据会被组织成五阶段 Data Curriculum。

第一阶段，只用 192p 图像，先学习基础视觉先验。
第二阶段，在 192p 下引入视频，同时加入超过 7 万小时x导向视频，包括机器人操作、导航、第一人称视角等。其中机器人操作数据覆盖真实机器人、仿真、开源数据、第三人称视角，并涉及人形和四足平台。
第三阶段，把图像和视频提升到 480p，并重新筛选，保留更多高运动量视频，增强动态内容覆盖。
第四阶段，继续在 480p 下做 source-aware rebalancing。普通视频严格过滤，x数据因为稀缺且价值高，只做较小程度过滤，以最大化覆盖操作、导航、第一视角和 benchmark 数据。
第五阶段，使用一个很小但质量很高的 1080p 精修子集，用于训练 refiner，提升高分辨率细节。

这套数据策略的核心价值在于：团队有意识地把机器人操作、物理交互、第一视角和长尾动作注入训练过程，让视频模型从一开始就获得更强的x先验和世界动态理解能力。

奖励机制：把模型拉回物理世界

模型预训练之后，团队并没有只用常规的人类偏好分数去做对齐，而是设计了一套更适合视频和x场景的多维奖励 + GRPO 强化学习方案。

传统视觉生成模型做 RL 后训练时，常常用一个整体奖励模型给视频打一个总分，比如好不好看、是否符合 prompt。但这种单一分数对视频生成不够用。

因此，LingBot-Video 把奖励拆成了六类：视觉质量、文本 - 视频对齐、动态程度、运动连贯性、人体运动一致性和物理合理性。

视觉质量：主要保证视频看起来清晰、自然、有较高保真度，惩罚模糊、伪影和低分辨率输出，同时也关注 caption 级别的对齐。
文本 - 视频对齐：不是简单判断视频和 prompt 是否整体相似，而是把 caption 拆成结构化实体、动作和时间窗口，再用时间维度 VQA 检查动作是否在正确时间发生。这样可以惩罚动作缺失和时间幻觉，也能鼓励模型正确生成多阶段动作。
动态程度用来避免模型生成像图片一样几乎不动的视频。它会让 VLM 评估视频中的运动强度，并把 1 到 5 的离散运动分数映射成奖励。
运动连贯性关注运动节奏是否自然。很多文生视频模型虽然按 24 fps 播放，但动作看起来像慢动作。这个奖励就是为了让生成视频在标准播放帧率下呈现更接近真实世界的运动速度。
人体运动一致性专门处理人类相关视频中的常见问题，比如面部畸变、手部变形、肢体数量错误、身体半透明、不可能的拓扑结构等。它不仅给分，还通过结构化理由和离散分数帮助模型学习人体动作的空间正确性和时间一致性。
物理合理性是最贴近x智能的一类奖励。它会评估生成视频是否保持一个连贯的物理世界，包括运动因果、物体恒常性、非穿透关系，以及材料和刚体运动是否合理。例如，物体不能无故出现或消失，不能发生不合理重叠，机器人关节和物体运动也要符合基本物理规律。

有了六类奖励之后，团队使用 GRPO（Group Relative Policy Optimization）来最大化这些多维奖励。

因此，LingBot-Video 的后训练不是简单让模型生成得更好看，而是把视频质量、动作对齐、动态强度、运动节奏、人体结构和物理合理性拆成多种奖励，再用 GRPO 进行强化学习对齐。它的目标是让视频模型在视觉上更稳定，在动作上更完整，在物理上更可信，从而更适合作为x智能的世界模型。

从视频生成基座到机器人大脑能力

当视频模型具备一定物理预测能力，它在机器人系统中的位置也会发生变化。

过去，视频生成模型更多出现在内容生产链路里，承担的是生成结果的角色；而在机器人系统中，它可以进一步前置到训练、评估和规划环节，成为机器人行动前的一层世界预测工具。

也就是说，LingBot-Video 生成的并不只是视频片段，而是机器人可以用来学习、比较和决策的未来情境。

具体来看，它可以承担三类角色：

第一种是补数据（Data Engine），它可以帮助机器人生成更多训练样本。真实机器人数据采集成本高、速度慢、覆盖有限，而视频生成模型可以扩展任务、场景和动作组合，为训练提供补充数据。

第二种是做预演（Policy Evaluator），它可以作为真实物理环境的代理，用于策略在真机部署前的可行性预演与安全评估。比如机械臂准备拉开抽屉，评估器会提前模拟不同动作轨迹的运动后果。通过在视觉代理中提前识别并过滤失败策略，降低真机验证的试错成本，保证了所部署策略的有效性。

第三种是辅助规划（Action Planner），它可以用于参与并生成具体的动作轨迹。面对复杂任务，它不单单是预测后果，而是像 “GPS 导航” 一样，根据目标自动计算出机械臂应该以什么轨迹移动、分几步走、每一步的姿态如何，从而直接输出一套最优的连续动作序列。

这正是 LingBot-Video 对机器人控制的价值：它让机器人在真实行动之前，先拥有一层可生成、可评估、可迭代的世界预测能力。

视频模型也由此从内容生产工具，走向机器人大脑理解物理世界的基础能力。

从 TI2V 到 A2V，LingBot-Video 的物理世界模拟能力接受检验

为了验证 LingBot-Video 作为物理世界模型的能力，团队人员在内部 benchmark 上进行了全面评估，评估维度分为两类：一是通用质量（General Quality），用于衡量模型的基础生成能力；二是x领域（Embodied Domain），用于考察与x AI 和真实世界交互相关的专业、高难度场景。为了更全面地评估生成能力，该内部 benchmark 覆盖了两种核心生成设置：文生视频（Text-to-Video，T2V）和图文生视频（Text-and-Image-to-Video，TI2V）。

实验中，团队将 LingBot-Video 与五个开源模型进行了比较，包括 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5 和 LTX-2.3。

如图 15c 和图 15d 所示，在 TI2V 任务上，LingBot-Video 在所有开源竞品中取得了最先进的表现，并在通用质量和x领域得分上均排名第一。这表明 LingBot-Video 在模拟精确物理轨迹方面具备更强能力，例如机械臂操作和避障等场景。

在 T2V 任务上，如图 15a 和图 15b 所示，虽然 LingBot-Video 在通用质量上排名第二，但在x领域得分上仍然持续优于 Cosmos 等有竞争力的基线模型。即便没有初始图像作为条件输入，LingBot-Video 依然展现出这一优势，说明它具备稳健且内生的物理先验，而这对x AI 应用至关重要。

图 16 给出了 LingBot-Video-A2V（是在 LingBot-Video 之上做 Action-to-Video 后训练得到的动作条件版本）在 EgoDex Eval 和 DreamDojo-HV Eval 上的结果，用于检验经过后训练的模型是否能够泛化到训练所用 GR-1 轨迹之外。

这两个评估数据集都包含 GR-1 后训练数据集中没有出现过的新物体和新动作，因此适合用于测试模型的分布外动作跟随能力，而不是测试它是否记住了训练中的 rollout 轨迹。

结语

蚂蚁灵波这次选择开源 LingBot-Video，这在当前竞争激烈的视频生成赛道里并不是一个轻松的决定。开源意味着把 MoE 架构和面向x智能的训练范式全部交给社区去检验、复现和迭代，也意味着要接受更公开的审视。

但从行业角度看，这正是眼下最需要的东西，一个可复现、能够持续演进的视频生成基座模型，能够实实在在地降低x智能视频模型的研究门槛。

LingBot-Video 的 MoE 架构、x多模态数据训练方式、多维奖励强化学习机制，为行业提供了可参考的技术样本，也展示了蚂蚁灵波在大规模视频生成基座模型训练上的系统能力。

同时也需要坦诚承认，这条路还远没有走到终点。长时序场景下的一致性维持、柔性物体和液体这类复杂物理交互的建模、视频预测能力如何真正闭环到真实机器人的控制策略上，以及x视频模型本身评测标准的建立，这些问题目前都还处在演进阶段，没有一个是靠一次模型发布就能彻底解决的。

视频生成模型的价值正在外溢，它过去主要回答内容生产问题，接下来也会越来越多地进入真实世界任务：预测、评估、规划，乃至参与机器人的训练闭环。LingBot-Video 选择了后一条路，也选择把这条路上的答案摊开来交给整个研究社区一起走。

....

#阿里技术人的夏日副本

人机对决、AIGX上新、双城开聊

一块大屏前，两名人类和两名 AI 正在进行一场交易类桌游。

这款游戏有些类似「大富翁」：玩家需要在四轮博弈中争夺工位、部署业务，并通过报价与其他玩家交易资产，最终以总资产决定胜负。

现金很重要，但同类业务如果在相邻工位上连成片，收益会持续叠加——这才是拉开差距的关键。

其他精选对局截图，非现场游戏画面。

前三个季度，局势波澜不惊。直到第三季度末，一声报价打破了平衡。

「10 万？成交。」

人类玩家修业原本只想用 2.5 万元买入一块工位，却误将报价输入成了 10 万元。交易立即生效，他的现金大幅减少；对面的 AI 玩家金奇则借此将现金推高到 37 万元，暂时升至第一。

现场的局势看起来已经相当明朗：只剩最后一个季度，金奇手握最大的现金优势。

但胜负不只看现金。

前三个季度里，另一名人类玩家魏青一直在保留关键工位，并把同类业务逐步部署到相邻位置。按照规则，业务一旦连成片，收益便会明显增加；而这些收益，会在每个季度结算时持续累积。

到了第四季度，金奇为了继续扩大资产，用大量现金换入修业的工位和业务卡，现金随之大幅减少。魏青则沿着此前留下的布局完成最后建设，将多个业务连成片。

最后一次结算开始，大屏上的排名重新跳动。

魏青反超，人类阵营获胜；第三季度还以 37 万元现金领先的金奇，最终跌到了第四名。

短期交易占优的 AI，最终输给了更长期的布局。

这场牌局来自阿里硬核少年技术节 5.0 开幕式上的「大厂操盘手」人机对战现场。2026 年 7 月 20 日至 24 日，第五届硬核少年技术节在杭州、北京两地举行。作为横跨阿里巴巴淘天集团与 ATH 事业群的年度技术活动，本届规模创历年之最。

人机对战背后的 WhoisSpy.ai，是一个支持实时对战和开放扩展的 AI 多智能体平台，用于评估大模型在社交推理、谈判和策略博弈中的实际表现。本届赛事共有 177 个 Agent 参赛，累计对局超过 1 万局。

从往年的「谁是卧底」「狼人杀」到今年的「大厂操盘手」，赛事的博弈复杂度逐年提升。

这次对局也呈现了当下 AI Agent 的一个缩影：它已经能够读懂局面、评估资产、主动发起交易，也能执行规则明确的多步任务；但面对需要统筹长期收益、对手行为和临场变化的复杂环境，AI 可能还得再练练。

人机对决之外，五天内，博见社、Open Day、AIGO 小酒馆、技术市集和 AI Hackathon 等活动轮番展开，涵盖学术与产业交流、技术成果发布、项目路演及创新实践。技术节试图将前沿技术、开发者创意与业务落地连接起来，并推动优秀项目继续孵化。

围绕 Agent 方向，活动发布了 AIGX 技术体系的四项成果，并提出一个核心命题：AI 正在从工具走向伙伴。

问题也随之而来：所谓「伙伴」，究竟需要具备什么能力？又要经过怎样的现实检验？

这次都发布了些什么

本届技术节发布的四项成果分别是拍立淘全模态实时 Agent、全场景 AI 创作工作台 if Studio、Coupella 智惠引擎和 Agentic 推荐系统 Dream，对应全模态感知 AIGI、内容生产 AIGC、因果推断 AIGU 和意图理解 AIGR。

它们分别进入搜索、创作、营销和推荐场景，共同指向一个变化：AI 不再只是提供单次结果，而是开始进入业务流程，持续参与理解、决策和执行。

不用先拍照，AI 可以边看边搜了

过去使用拍立淘，通常要先确定商品，再上传一张清晰图片搜索同款。用户得先知道自己在找什么。

拍立淘全模态实时 Agent 想让交互更「在线」。

用户打开摄像头后，系统可以同时处理视频、画面、语音和文字。在镜头移动中，它不仅识别物体，还会结合上下文判断用户正在关注什么、想了解什么，以及下一步可能需要什么。

用户不必先拍照，再退出当前场景搜索。系统可以边看边理解、边理解边检索，把「看见」「看懂」「搜到」和后续决策连接起来。

AI 面对的由此不再是一个已经定义清楚的搜索请求，而是一段连续、动态的现场信息。它需要在交互中逐步理解意图，而不是等用户先把问题说完整。

不只生成内容，AI 开始接手整条创作流程

对企业创作而言，生成内容往往只是开始。图片还要抠图、改字和调整版式，视频还要剪辑，素材也可能继续被组合成页面或网站。

if Studio 面向的就是这段流程。

这个智能体工作台集成设计、视频和建站三类专家 Agent，并接入 HappyHorse 1.1 视频模型、AI 抠图和图像编辑等工具。用户提出需求后，系统可以拆解任务，让不同 Agent 接力完成素材处理、内容生成和页面搭建。

，时长00:23

视频专家——电影大片。

过去，这些环节分散在不同工具中，需要人工反复传递素材；现在，不同 Agent 可以围绕同一个任务协同工作。

生成能力解决的是「能不能做出来」，而企业更关心的往往是：能否继续修改、衔接下一环节，并按要求稳定交付。

不只看转化，AI 还要算清红包值不值

营销活动中，补贴发出后成交上涨，并不一定意味着创造了新增价值。有些用户本来就会购买，有些增长则可能只是透支未来需求。

Coupella 智惠引擎及其生成式因果推断大模型，想要算清这笔账。

系统通过反事实预估、长期价值评估和增量挤占建模，比较「发红包」与「不发红包」的结果，判断补贴是否带来长期收益，以及增长是否只是从其他商品、渠道或时段转移而来。

简单来说，它不仅统计红包发出后发生了什么，还要判断补贴是否值得、增长是否真实，以及红包应该发给谁、发多少。

根据活动披露的数据，Coupella 自上一年双 11 规模化上线以来，已覆盖数十万商家，AI 红包转化率提升 81%，头部品牌的 AI 引导成交额超过 8000 万元。

不只懂你是谁，还要懂你此刻想要什么

传统推荐系统已经能够处理「千人千面」，但同一个人在不同时间、不同场景中的目标，也会发生变化。

早上通勤时，用户可能只是快速浏览信息；晚上打开淘宝，可能已经进入明确的购物状态；临近节日时，用户可能正在给别人挑选礼物，当前选择与自身的长期兴趣并不完全一致。

Agentic 推荐系统 Dream 处理的正是这种动态变化。

传统推荐流程通常分别优化点击率、停留时长和成交率等局部目标。Dream 则增加了意图控制层：先根据用户当前的行为和上下文判断访问目的，再将任务路由给不同的专家 Agent。

用户随手浏览时，系统提供更多探索性内容；购买意图明确后，则转向商品匹配和决策辅助。这就是从「千人千面」走向「千人千时千面」：不仅区分不同的人，也识别同一个人在不同时刻的需求。

目前，仅在手淘首页「猜你喜欢」（首猜）场景中，Dream 就已带动浏览量、成交金额等指标提升。

可以看到，四项发布把「AI 从工具走向伙伴」拆成了更具体的能力：拍立淘负责在连续场景中理解用户，if Studio 让多个 Agent 协同完成创作，Coupella 参与预算和经营决策，Dream 则根据用户当下的意图调度推荐策略。

技术人开始玩起来了

技术发布非常硬核，到了 AI Hackathon 和技术市集，画风则松弛了不少。话题从模型能力延伸到家庭、养老、消费、情绪和职场，大家开始畅想：AI 除了提高效率，还能解决哪些真实而细小的问题？

本届 AI Hackathon 4.0 首次设置业务创新和灵感脑洞两条赛道，共收到 115 个高质量作品，其中 24 个项目进入路演。相比单纯展示 Demo，今年的项目更重视真实需求、商业价值和用户体验。

光看队名，就已经能感受到现场的朝气。

「低能量高续航队」的队员自称「一号电池」「二号电池」，想给低电量人群做一张暂停卡；「存钱买 token」的理由很简单：别人存钱买房，他们存钱买 token；还有一支队伍叫「世界的尽头是玄学」，试图用玄学帮助选择困难症患者做决定。

实习生拿下一等奖，AI 进入生活细节

业务赛道一等奖由全员实习生组成的「告五人组」获得。

他们开发了一款面向手淘的适老化家庭决策 Agent。子女可以通过口述或拍照提交家庭环境，系统识别空间风险、生成改造方案，并匹配淘宝真实商品。

项目还设计了两套视图：子女看到风险位置、改造预算和改善评分，长辈看到改造后的空间效果。数字人 Agent「安安」则负责全程沟通，降低长辈对「适老化」和「变老」标签的抵触。

AI 在这里不只是推荐商品，而是参与了从发现隐患、制定方案到家庭协商和购买决策的完整过程。

也有其他项目把目光投向家庭生活。《住在我家的贾维斯》希望 AI 不只控制设备，还能理解家中正在发生什么；「妈，别下单」则瞄准直播购物中的冲动消费，在用户付款前提醒一句：这件东西真的需要吗？

从这些项目中可以看到几条共同趋势：超过三分之一的团队关注家庭、养老、视障辅助和职场心理健康；多个项目尝试解决上下文丢失和多智能体协作问题；电商项目也开始从商品搜索走向场景化决策。

阿里巴巴 ATH 技术副总裁、淘天集团首席科学家、技术节发起人郑波表示，今年作品最显著的变化是完成度大幅提升，许多项目已接近产品级水平。AI 工具的普及正在降低技术实现门槛，使创意本身成为核心竞争力。

相亲信息，也可以提交 PR

技术市集的另一边，「技术漂流瓶」很快变成了开发者大型整活现场。

有人把漂流瓶写成一篇论文：《一种基于漂流瓶弹幕排名机制的自我实现方法》。文章表示，通过预埋高质量内容，可以长期占据排名栏，实验结果在技术节场景中达到 SOTA。

听起来像一项严肃研究，翻译过来就是：怎样让自己的漂流瓶一直排在前面。

还有人借用经典论文标题，写下《Your Attention Is All My Need》，把研究对象从注意力机制换成了人的注意力。

更有梗的一位，干脆把自己写成了一个类：

class Me:
    age = 28
    height = 178
    salary = "还行"
    girlfriend = None  # TODO: 招募中，接受 PR

年龄、身高、收入都成了属性，感情状态则是一项尚未完成的开发任务。至于「接受 PR」，意思也很清楚：项目长期开放，欢迎提交。

论文标题、模型术语、代码注释、开源协作流程，在这里统统变成了社交语言。技术人没有放弃自己的表达方式，只是把它从代码仓库搬到了漂流瓶里。

这种一本正经的幽默，让技术节多了不少活人感。

来聊点前沿，也聊点落地

能力逐渐形成，应用也开始进入日常生活。技术节进一步追问了两个问题：智能体究竟发展到了什么阶段？模型能力又该如何进入企业流程，持续稳定地工作？

博见社杭州学术场和北京工业场，分别从理论与生产两个方向展开讨论。

杭州学术场：Agent 走到哪一步了

如今，能调用工具、自动写代码或规划多步任务的系统，都可能被称为 Agent，但它们显然不在同一个阶段。

杭州学术场给出的判断相对谨慎：智能体整体处于从初期向中期过渡的阶段，部分领域可能接近中期，但不同方向的发展并不均衡。

Coding Agent 的环境、接口和反馈机制较成熟，更容易形成执行闭环；xx智能仍要面对识别误差、动作失败和环境变化；能够自主学习、积累经验并持续进化的智能体，则仍缺少完整的理论支撑。

会调用工具，不等于能够长期独立运行。

讨论中也存在一个分歧：从生成式 AI 到智能体，究竟是量变还是质变？一种观点认为，底层仍依赖基座模型和人类反馈，并未发生根本变化；另一种观点则认为，从「生成回答」转向「完成任务」，已经构成应用范式的变化。

与会嘉宾进一步将差距拆解为几项基础能力：低时延模型支撑高频决策，Harness 负责理解目标、拆解任务和调用工具，长期记忆用于保存跨任务状态，持续学习则将执行反馈重新带回能力更新。只有这些环节形成闭环，Agent 才可能从一次性完成任务，走向可复用、可改进的长期协作。

无论如何，智能体仍要解决目标设定、结果验证、失败修正、经验沉淀和长期审计等问题。它正在从回答者转向执行者，但距离独立负责仍有一段距离。

北京工业场：先让 Agent 进入真实生产

如果说杭州讨论的是理论边界，那么北京工业场关注的，则是 AI 进入真实生产流程。

讨论的关键词从「生成内容」走向「构建世界」。

在影视和视觉创作中，单次生成并不能满足生产要求。人物、场景、商品材质和颜色需要在不同镜头或不同版本中保持一致，生成结果还要支持修改、复用和交付。

群核科技将部分线下片场扫描并重建为 3D 影视基地，先在三维空间中确定人物、道具和摄像机的位置，再由视频模型完成内容生成。3D 空间负责一致性，视频模型负责画面表达，使场景可以在多个镜头中重复使用。

这类系统不会每做一个镜头都从头生成，而是先把场景、人物和机位搭好，后续再围绕这些已有内容不断调整和扩展。同一套资产可以反复用于不同镜头，既能让前后画面更连贯，也省去了重复生成和反复返工。

美图则尝试通过 Agent Teams 处理复杂创作任务，由不同 Agent 分别承担分析、设计、生成和效果评估。用户提供目标，系统负责拆解任务、调用工具并组织协作。

在实际制作中，不同 Agent 各自负责策划、生成、修改或分析，并保留对应的任务信息。这样一来，复杂工作不必全压在一个系统里，各个环节也更容易衔接。最后产出的不只是几张图片，还包括可以继续用于投放、运营和效果评估的完整内容。

这些实践说明，Agent 进入生产后，关注点不再只是能否生成内容，还包括结果是否准确、流程是否可控，以及能否接入后续业务环节。

结语：AI 正在成为怎样的伙伴

回到开头的问题：所谓「伙伴」，究竟需要具备什么能力？又要经过怎样的现实检验？

阿里这次技术节给出的答案，可以概括为三个层次：AI 要从工具走向伙伴，首先要具备理解、决策和执行任务的能力；然后要走出对话框，进入人的生活、生产流程和社会关系；最后还要经受理论与现实的双重检验，证明自己不仅能够完成任务，还能持续、稳定、可控地参与协作。

所谓伙伴，不用替人完成一切，也不必保证每一次都能获胜，而是在环境发生变化时理解变化，在任务推进过程中持续协作，在结果出现偏差时接受修正，并在必要时把控制权交还给人。

AI 已经开始从提供答案的工具，转向参与行动的协作者。接下来，它需要在更多真实场景中证明：自己不仅能完成任务，也能稳定、可控地与人协作。

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#xxx

....

#PDD

PDD： Unleashing Economical And Flexible Heterogeneous LLM

跨集群异构PD分离WAIC首发，专访无问芯穹李秀红，探秘Token工厂「超级管线」的落地路径

一次 Agent 任务，用户等的从来不是「一句话」。智能体是「一问、多轮、带着上文反复回来」。执行过程中，每一轮几秒钟的延迟，乘上工具调用带来的几十轮交互，最终会在整个工作流上累积成十几分钟的劣化。在智能体时代，推理系统面对的不再是一道加法题，而是一道乘法题。

与此同时，能用来做这道乘法题的算力却仅以线性的速度增长。因此，供需之间的缺口是结构性的，不会随着某一轮扩产而消失。

就在这道缺口最紧张的地方，无问芯穹给出了自己的答案。在 7 月 20 日 2026 年世界人工智能大会上，无问芯穹联合创始人兼 CEO 夏立雪首次公布了无问芯穹「前店后厂一中心」的 Agentic Infra 战略布局。

该战略基于「规模」与「效率」两大锚点，涵盖三大核心板块：

「算力集散中心」：即 Agentic Infra 自主式基础设施平台，核心目标是最大化智能资源规模，把散落的、异构的算力资源统一汇聚、弹性调度、按需利用，为模型与应用层筑牢充足、稳定、可扩展的算力底座。当前已在全国部署触达超 37,000P 算力、覆盖 16 种主流芯片，盘活了广域分散的异质算力。
「Token 工厂」：即 Agentic MaaS 大模型服务平台，核心目标是用极致效率服务 Token 的规模化、高质量生产。公司在 WAIC 2026 发布了首创的新一代推理系统优化成果——跨集群异构 PD 分离架构（Prefill-RelayDecode-MainDecode, PDD），极大提升大模型推理效率，同时最大化释放全域异构算力的产业应用价值。实测显示，该架构在实现了首 Token 延迟（TTFT）降低 51.5% 的同时，单 Token 成本可降低 37.5%。
「AI 生产力商店」：即 Agentic Infra 行业解决方案，不仅携手多行业伙伴把 Token 高效转化为产业认可的高质量 AI 生产力，打造覆盖文娱、游戏、医疗、法律、能源电力等多个垂直行业的 Agentic Infra 行业解决方案，赋能千行百业降本提效。更将智能体能力应用到 AI Infra 本身，打造包含「平台管家智能体系统」、「智算集群运维智能体系统」和「算子生成智能体系统」的基础设施智能体蜂群，以 Agent 能力驱动整套 AI Infra 形成自主迭代、自我优化的闭环，让基础设施越用越强。

值得点出的是：早在 2025 年，无问芯穹就率先提出了 Agentic Infra 的范式；一年过去，这个词几乎成了行业标配。而当一个概念变成标配，真正的分水岭就从「有没有」转移到「深不深」：是只为 Agent 改个入口，还是重写整条从算力到 Token 到生产力的转化链？

总结起来，无问芯穹对此的回答是：需求的形状变了，所以训练要跨集群、推理要跨集群、基础设施要自己会优化自己，最后这套能力还要能输出翻译到物理世界。其核心则在于规模与效率。

而这条主线中，目前最硬、也最能直接换算成钱的一块是推理。

于是接下来，我们把镜头推近，聚焦直击大模型推理成本和效率「生死线」的跨集群异构 PD 分离架构（Prefill-RelayDecode-MainDecode, PDD），我们专访了无问芯穹技术副总裁、该技术负责人李秀红。

下面，他将带我们一道，从行业面临的现实需求说起，深度剖析本项技术的创新和工程价值。

技术报告：PDD： Unleashing Economical And Flexible Heterogeneous LLM Inference Via Cross-Datacenter Prefill-Decode Disaggregation
项目地址：https://github.com/infinigence/pdd

一个 2.5 秒的问题

先从一个看起来小到可以忽略的数字说起。

在 64K 总长度、90% 前缀命中率下，同机房内做 PD 分离，P50 首 token 延迟（TTFT）平均值约 4.2 秒；如把解码搬到另一座城市的机房，这个数字变成 6.7 秒。多出来的 2.5 秒，是 KV Cache 在广域以太网上爬行的时间。

TTFT 示意图

2.5 秒，听起来不多。这正是我们抛给李秀红的第一个问题：一个几秒的差别，为什么值得专门去优化？

「这其实是个非常核心的点。」他把视角从平均值挪开，「P50 你可以理解成只有一半的请求。我们作为 token 服务工厂，真正要保障的是 P90 和 P99；只有把这两个尾部保障好，才谈得上是高质量的 token 服务。」

而在尾部，那 2.5 秒会迅速膨胀：按 PDD 论文，同样的场景下不做优化的跨集群方案，P90 的 TTFT 是 18.3 秒，P99 是 29.7 秒。「P99 已经快 30 秒了，而现在高质量的 token 服务整体延迟基本不会超过 30 秒。你光传输就用掉 29.7 秒，完全达不到业务要求。」

跨数据中心 PD 分离基准与 PDD 的 TTFT 数据比较

换句话说，2.5 秒是中位数请求的账。而在决定服务质量的尾部，跨集群传输制造的延迟足以让整个服务失去竞争力。

为什么要 PD 分离：让专业的人做专业的事

要理解 PDD，得先理解它的地基，即 PD 分离，及其必要性。

大模型推理有两个阶段，对硬件的要求几乎相反。李秀红给出了非常清晰的画像：「Prefill 是用户把一整段话给你，你处理的是一段批量输入，所以它是计算密集型的，要大算力。Decode 是一个 token 接一个 token 地往外吐，每次处理的计算工作量更小，访存要求更高；而且随着任务变长，它对显存容量和显存带宽的要求都比 Prefill 更高。」

一次交互的端到端总延迟

两个阶段对延迟的容忍度也不同。「Prefill 的首字延迟，大家容忍度高一点，几秒、甚至十几秒也能接受。但 Decode 每个 token 都是 10、20、30 毫秒量级的，要求非常高。」

而如果不把 PD 拆开，会怎样？李秀红回答到：「你硬把它们塞进同一套代码和配置里，是能跑的，但就是顾此失彼。」用他的话说，PD 分离就是让专业的人做专业的事，而不是搞一个大一统。

这是业界早有的共识。无问芯穹带来的进步是在 PD 分离前面加了两个词：跨集群和异构。并且二者是正交的：异构是指 P 和 D 从底层芯片到配置都不同；跨集群则是指 P 和 D 分处不同的机房。另外，李秀红也指出，「异构可以是单机房内的异构，也可以是跨机房的异构。」

为什么要追求异构？根子在于国产芯片的现状。李秀红给出了一套评价芯片的四维框架，也就是芯片在四个维度上的配置：峰值算力、显存容量、显存访存带宽、互联带宽。

「旗舰芯片在这四个维度上是均衡的，英伟达做得最好。但你把视野放开，考虑其他芯片，往往很难做到四个维度都和英伟达一个量级。所以有些芯片会做取舍，比如它可能侧重 Decode，让它做 Decode 还可以，但你强行让它做 Prefill，效率就非常低。」

也因此，异构 PD 分离有了价值：让「偏科」的芯片做它擅长的事。

一颗在 Prefill 上平平无奇、在 Decode 上却远超基线的芯片，如果被绑死在耦合部署里，它出色的解码能力就会被浪费掉。

那么，实现异构是在单机房内建一个异构集群，还是找两个机房、用以太网把它们连起来？李秀红判断：「异构集群市面上本来就不多，建造的复杂度高，同时集群一旦建好，各种芯片的配比就固定了，业务变化之后，灵活性也有问题。所以我们认为，跨集群的异构会是未来成本最低、最灵活的异构方式。」

传统的数据中心内异构 PD 与 PDD 的细粒度跨数据中心异构部署

瓶颈：一根以太网，传不动一个机房的 KV Cache

跨集群异构方向选定了，但它撞上了一堵墙：两个机房之间要传 KV Cache。

李秀红解释说：「P 和 D 虽然分离，但这两个阶段是协同配合的。Prefill 生产出来的 KV Cache，要传给 Decode 去用。而这个量很庞大。」他当场算了一笔账：主流的 1T 级别旗舰模型，单个 token 的 KV Cache 大约在 10KB 到七八十 KB 之间；取个中间值 50KB，一个 100K 长度的请求，KV Cache 就是 GB 级别。而一个集群每秒要处理几十个这样的请求。

「以太网一般是用来传输控制信号或者少量数据的，不太会传大量的数据面内容。」可 Prefill 集群每秒生产出的 KV Cache 是几十 GB 量级，而一条跨机房专线的带宽也就在 GB 量级。「你的以太网，根本传不动 Prefill 集群产生出来的 KV Cache，这会完全在传输上成为瓶颈。」

PDD 论文也给出了一组具体数据：即便是 DeepSeek-V4-pro 这种已经用 CSA、HCA 等技术压缩过 KV Cache 的先进模型，80 个并发的 64K 请求产生的 KV Cache 也需要约 23GB 存储，把它传到解码集群需要超过 180 Gbps 的带宽。而经济型的跨机房以太网，通常只能提供 10 到 100 Gbps。带宽之外还有延迟：相比同机房 RDMA，广域以太网的传输延迟要高出几十上百倍。

可行性：先从数据里看到「有戏」，才反过来设计架构

有意思的是，PDD 的诞生过程并非从创意到成果的研发之路，其起点是可行性论证。李秀红回忆道：「当你跟同行讲你在做跨集群 PD 分离，别人一听就会觉得，这不太可能吧？天方夜谭。所以可行性分析是我们整个工作的基础。」

论证分两步，他用工厂的水管作比。第一步是带宽的可行性，也就是「水管的排量够不够」。这一步的关键是一个来自真实业务的观察：在多轮对话和 Agent 这类主流场景下，请求的平均前缀命中率能达到 90%。命中意味着这部分 KV Cache 无需重新传输。李秀红解释说：「90% 的命中率，意味着我们可以少传 90% 的数据，整体传输量直接降了一个数量级。」降完之后，专线带宽和集群产能就落到了同一个量级。于是，排量可行了。

这背后是一项为了「给 Decode 实例重复前缀存储去重」而设计的「Decode-side RadixCache（DRC）」技术，无问芯穹推理技术团队将其创新性地迁移至了跨集群异构 PD 分离的架构中：针对 Agent 场景长序列、高前缀命中的特征，在解码侧缓存历史 KV Cache，论文数据显示它能在 90% 平均命中率下把所需的跨机房带宽降低最多 10 倍。这也为 PDD 打造了稳固的地基。

但排量够，不代表每个请求都够快。第二步是延迟的可行性。「从整体看，数据能传过去，但从每一个具体请求的视角看，还要保证它的延迟满足要求。」而直接用以太网传，延迟完全满足不了业务要求。「所以我们发现，带宽是可行的，但延迟不可行。处理延迟的可行性就是 PDD 这个工作的关键。」

研究观察到，对于真实世界的 agentic 任务请求，大约 70%的请求，输出长度低于 500 tokens。而对于这些短输出请求，1∼20 秒之间波动的跨集群 KV 传输延迟，成为了端到端延迟主要部分。

这里有一个必须追问的问题：90% 命中率是 PDD 的前提，如果没有这么高呢？

李秀红的回答给出了 PDD 的适用边界，也顺带说明了它的经济性：「高命中率是前提，但不一定非得是 90%。命中率越高，一根专线能支撑的集群规模就越大；低一点也没问题，我们适当提升一下专线的规模就行。相对于集群里的机器成本，专线的成本还是非常低的。」换句话说，命中率影响的只是 PDD 性价比。

顺带一提，PDD 论文披露的一个更精细的观察：真实 Agent 负载的命中率不是稳稳停在 90%，而是高度偏斜的，即约 70% 到 80% 的请求命中率超过 95%，同时夹着一小撮低命中率请求。

不同命中率区间内请求分布随时间的变化。该图展示了 2026 年 1 月至 2 月期间，七个不同命中率区间内的请求占比情况，这些区间覆盖范围从 0%-90% 到 99%-100%。

这种偏斜很有用：海量高命中请求的传输包极小，能借 TCP 的公平机制绕过拥塞、在约 1 秒内到达；真正的高延迟，被隔离在了那一小撮低命中率的请求上。于是问题从「如何全局降低传输延迟」变成了「如何只给那一小撮异常请求做延迟掩盖」，而这是一个小得多、也可解得多的问题。

偏斜的命中率分布使得 P50 传输延迟极低，高延迟集中在少数低命中率请求上

PDD 的解法：把 Token ID 送过河，而不是 KV Cache

现在可以拆解 PDD 本身了。简单来说，它把传统 PD 分离的两级进一步解耦成了三级。

P 实例（Prefill），执行预填充，位于集群 A。
RLD 实例（Relay Decode，接力解码），与 P 同处集群 A，之间是高速 RDMA。
MD 实例（Main Decode，主解码），位于远端集群 B。

PDD 的三层跨数据中心 PD 分离架构示意图

对于这个机制，李秀红用了一个贴切的接力赛比喻：「就像跑步，你起跑加速的时候跑得慢，就让上一棒先替你跑一段；等你把速度提起来，再接过棒继续跑。」更具体来说：

第一步，双路并行传输。P 算完后，KV Cache 同时走两条路：一条走 RDMA 给同机房的 RLD，几十毫秒到；一条走 TCP 经广域以太网给远端的 MD，要数秒。

第二步，RLD 率先解码，掩盖延迟。RLD 几十毫秒就拿到了 KV Cache，立刻开始解码。在 MD 那份还在网上爬的这数秒到数十秒中，RLD 已经开始向用户输出 token 了。论文中把这批 token 称为 Eager Output Tokens（急切输出 token）。在这些 token 的延迟掩藏下，跨集群的 KV 传输延迟虽然没有被消除，但是却丝毫不影响用户体验了。

第三步，延展解码交接（Extend-Decode Handoff）。等 MD 那份 KV Cache 终于收齐，它并不需要 RLD 把这段时间生成的 KV Cache 也传过来：RLD 只把这批 token 的 ID（几个整数）发过去，MD 用 Token ID 加上从 P 收到的 KV Cache，在本地重算出这段增量 KV Cache，然后无缝接力。

为什么绕这一圈更划算？因为 Token ID 极小（100 个 token 的 ID 只有 1.5 KB），而且是 CPU 数据，不触发额外的显存拷贝；而 MD 重算这段 KV Cache 的开销，又被 Decode 阶段本身访存密集的特性给掩盖了。

论文的 Microbenchmark 给出了一组对比：在广域以太网上直传增量 KV Cache，一次 100-token 交接的负载是 4649 KB，延迟均值 185 毫秒但峰值冲到 512.6 毫秒，还要额外背 24.5 毫秒的显存拷贝开销；而本地重算的方案，传输负载只有 1.5 KB，延迟均值虽略高（305 毫秒），但最大延迟被牢牢摁在 321.4 毫秒，标准差只有 4.8 毫秒。

Microbenchmark：100-token 序列的交接开销比较

前者确实有时更快，但抖动大；后者稳，而且完全免疫网络波动和排队。在广域网上传一句「我跑到这儿了」，让对方自己把中间过程重算出来，比把整个中间过程搬过去更划算。

顺带一提，这一步还借鉴了一个现成的技术范式。论文点明，Extend-Decode 本质上和 MTP（多 token 预测）、投机解码是同类：普通解码一步只吃一个 token ID、吐一个 token，而延展解码一次并行处理多个 token ID、补齐它们对应的 KV Cache 再吐出下一个。由于解码阶段本就是访存密集，这多出来的计算量几乎不额外增加延迟。

两种交接模式和一个会「震荡」的流水线

RLD 和 MD 之间的交接，论文给了两种模式，李秀红也为我们进行了直观的解释：

One-Shot Handoff（一次性交接）：RLD 把生成的 token 一次性全交给 MD，然后立刻释放。好处是 RLD 占用时间最短，坏处是 MD 那一瞬间要处理的 token 变多，「直观上会给人一点卡顿，就像第一个 token 出来的时候，突然卡了那么一下。」
Catch-Up Handoff（追赶式交接）：把一次性交接拆成多批。李秀红举了个例子：「如果一次要交接的 token 超过某个阈值（比如 64 个），我们认为这一下对 MD 的卡顿影响比较大，就先给它一部分，同时让 RLD 别停、继续再接力一段；等 MD 把刚才那一小部分做完，再把第二块给它。」这样就把一次大的卡顿，化成了多次感官上无法察觉的小交接。代价是 RLD 要多跑一会儿，负载略增。

传统跨数据中心 PD 解耦方案与 PDD 延迟隐藏机制的时间线对比

在实际系统中，可以根据 RLD 的实时负载，在两种模式间动态切换。

真正难的部分，在流水线本身。「传统 PD 分离严格来讲也是三阶段：Prefill、RDMA 传 KV Cache、Decode。但因为 RDMA 传输一般不是瓶颈，我们会把它简化成两阶段。」李秀红说，「两阶段的生产消费关系非常容易配平，你只要知道 A 和 B 的生产能力，很容易就把它配平衡了。」

PDD 把这条流水线变成了四阶段：Prefill、接力的 RLD、以太网传输、远端的 MD。李秀红说：「更麻烦的是依赖关系。两阶段时是线性的，A 一个箭头到 B。现在变成了非线性，整个从线性的箭头关系，变成了图的依赖关系。再去做任务均衡、去找瓶颈，就比线性结构复杂很多。」

论文披露了这种复杂性失控时的样子：如果把低命中率请求错误地只在本地（P-RLD 管线）消化、不再传给 MD，MD 侧的缓存命中率会逐渐落后于 P 侧，这个偏差会反过来把更多负载甩回 RLD，形成正反馈，最终 RLD 过载 → 系统崩溃。

PDD 给出的对策是只保留 P-MD 和 P-RLD-MD 两条管线、明确排除 P-RLD，让两条管线都终结在 MD，从而保证 MD 侧和 P 侧的缓存命中率始终对齐。也因此，RLD 被严格限定为「只负责掩盖延迟」这个最小职能。

奇异流量：知道什么不该做

PDD 里还有一个叫奇异流量过滤的有趣设计，针对的是那种极少出现、却吃满带宽的「超长输入、超短输出」请求。

李秀红解释了它的机制：这类请求 RLD 还没等 KV Cache 传完，自己就已经把结果算完了。对此，「那就干脆在这儿直接中断，不需要再完成后面的接力、控制、对齐。」由 RLD 就地跑完全流程，阻断它的跨集群传输。效果不打折，因为「它接力的这部分 Decode 本身就更快，传 KV Cache 又是机房内走 RDMA，整体效果非常好。」

这类请求占比多少？李秀红估计大概有 3% 到 4%，但强调「跟实际业务类型有关，这个数字只能代表某一个阶段」。

成本的账：10 倍从哪来，下一个 10 倍从哪来

PDD 最终要回答的是一个商业问题：它到底省了多少钱。

先看论文给出的一个数字。PDD 的评价标准是 BCR（Benefit-Cost Ratio，收益成本比），即在满足 SLA 的前提下，有效吞吐与硬件成本之比。在一组 GPU 型号 A（做 P 和 RLD）+ GPU 型号 B（做 MD）的跨机房异构部署里，PDD 的 BCR 比传统的同机房同构 PD 基线高出最多 37.5%。

这个数字很重要，因为它回答了一个容易被回避的问题：这是等成本口径下的收益吗？

论文明确给出了成本表：相比需要 88 张 GPU 型号 A 的同机房基线，PDD 方案只用了 43 张 GPU 型号 A 加 32 张 GPU 型号 B，再加一条跨机房专线；即便算上 GPU 型号 B 相对 GPU 型号 A 的 20%-30% 溢价，PDD 的总硬件成本反而比基线低了约 3.5% 到 7.1%，而 SLA 内的有效吞吐（RPS）高出约 27.8%。

省下的钱和多出来的吞吐，一起推高了那个 37.5%。这并非靠堆更贵的卡换来的性能，而是把每个阶段映射到更合适的硬件之后收获的效率红利。

而经济性的核心是 RLD 极小的资源占用：在一个 64K、90% 命中、1K 输出的场景里，RLD 只生成了全部输出 token 的 6.2%，MD 承担了剩下的 93.8%。两者负载相差约 15.2 倍。只需一小撮资源养这个「接力替补」，却能得到跨机房这张通行证。

那么，「过去一年推理成本降了 10 倍」，这 10 倍是怎么来的？李秀红把它归到几个持续积累、彼此兼容的技术上：PD 分离本身；P 和 D 之间灵活的配比（P 实例和 D 实例的生命周期是解耦的，由负载均衡的路由器去调度，可以互不干扰地弹性扩缩）；KV Cache 命中（命中之后整个计算基本可以近似省掉，这个收益非常大）；以及 MTP 等。

其中最出人意料的收益来自一个和「省钱」直觉正好相反的发现，即李秀红此前在 QCon 全球软件开发大会上分享的「浴盆模型」：「我们发现，当 KV Cache 命中率提升之后，业务收益反而比命中率低的时候更低了。这非常反直觉。」

这件事初看不合理，细想却相当合理。目前大模型对输入部分的计费，命中 Cache 的 token 只按未命中部分的 10% 到 25% 收费。命中越多，单价越低。问题在于，命中率上升带来的吞吐收益，未必抵得过这段极低的折扣。

李秀红团队把命中率作为核心变量量化建模、又用真实模型实测，得到的收益曲线呈「浴盆」形：两端高、中间低。「落进浴盆底部那个偶然失效区间时，就会出现命中率越高越亏钱。」

更有意思的是浴盆底部那几个「奇异点」：在 20%、40%、70% 命中率附近，吞吐会突然掉下去。

团队查代码发现，原因是这些命中率下，调度会产生一些很小的、又无法与其他请求拼接的「末尾残块（Tail Chunk）」，只能独立计算，残块越小吞吐越差。这类问题可以靠工程优化抹平。

而团队给出的整体优化方向借用了体系结构领域一篇经典论文的说法：Stay Away From The Valley（远离谷底）：要么优化「把浴盆变浅」，要么提高 Cache 容量「逃离盆底」。

这里提及这个发现的原因是它点破了一件容易被忽略的事：在 Agent 时代，前缀缓存已经是推理系统的「一等公民」，但缓存命中率并不是一个越高越好的单调指标。这也正是 PDD 那套「只给低命中率的异常请求做延迟掩盖、让高命中请求轻装走 P-MD 管线」的设计背后，同一种思考方式的延伸。

至于夏立雪演讲中提到的「推理成本未来的 10 倍下降空间」，李秀红表示这是一个重要的技术判断：「从 2023 年底到现在，模型架构和硬件都在迭代，新硬件加新模型本身就会带来优化空间。我们公司的核心技术判断是『多元异构、软硬协同』，即结合新硬件和新模型，在这一层做软硬协同，完全能打开这 10 倍的空间。」

「算力即收入，优化即利润」

采访最后，话题回到了商业。无问芯穹为这次发布提炼的一句话是「算力即收入，优化即利润」。李秀红说，PDD 有意思的地方，恰恰在于它能同时对上这两句话。

算力即收入：「现在算力整体还是供不应求，市场上各种芯片、还有过时的芯片，其实不少都有机会用起来。PDD 就像一根管道，把原本没办法协同做推理的集群连起来，相当于把我们能用的算力规模扩大了。」
优化即利润：「如果只是把规模扩大、不做优化，服务质量就会差，对应的 token 定价就得低。也许有人能接受 TTFT 50 秒那个量级的服务，但它的价格就会变低。我们通过优化，让算力规模扩大的同时，token 的质量、SLA 还维持在高质量的范畴中。」

有一点值得点出：对于自建机房的云厂商，优化省下的是成本；而无问芯穹通过软件平台触达部署智能资源。对这样一家公司，优化省下的更接近直接的毛利。技术优化对它而言，与其说是加分项，不如说是它的立身之本。

至于增长飞轮，李秀红分享说：「一开始做推理服务，视角可能就是几十台。流量更多了，一个集群部署的台数就要变多：从 10 台到 100 台，看待效率的方式就不一样了，会释放新的优化空间，比如 PD 配比能做得更精细。再往上，集群从一两个变成几十、几百个，我们就意识到需要用 PDD 把它们连起来、扬长避短。」成本降下来，用户进来，规模变大，又在新规模下看见新的优化空间，再让成本进一步下降。

最后，我们还给了他一个相当尖锐的问题：PDD 让零散、异构、跨地域的算力变得可用，客观上降低了算力的稀缺性；对一家靠算力优化赚钱的公司，把算力变得不那么稀缺，会不会削弱自己的议价能力？

「我觉得不会。」李秀红的回答落在了需求侧，「我们公司的目标就是把 token 的成本降低一个、两个、三个数量级，不断降下去。通过降低成本，让 AI 的价格更低、门槛更低，让更多用户能用。以前只有特定群体在用，价格降下来，更多需求就被释放出来。这是一个正反馈：把成本压下去，更多需求涌进来。这就是技术平权。」

结语

把视线拉长到三年，跨集群异构推理会成为标配吗？

李秀红给出了肯定的判断：「集群规模肯定会越来越大，今年 10 个，明年可能 100 个、1000 个。把跨集群做好，一定是未来优化的重要因素。」同时，「芯片百花齐放是可预期的，一定会出现各种各样有自己专长的芯片，比如 A 芯片擅长 Prefill，B 芯片擅长 Decode。所以随着集群数量变多、集群里芯片的丰富度变多，PDD 这类技术会是必不可少的。」

PDD 解决的是一个具体的工程问题：如何在两个机房之间，把一份庞大的状态从容地搬过去。但它却示范了一条更普适的前进之路：当物理约束难以被突破时，重新安排时间的顺序，让计算跑赢传输。

而把镜头再拉远，PDD 只是无问芯穹这次 WAIC 发布里的一个切面。「前店后厂一中心」 Agentic Infra 有望把散落异构的算力聚成一盘棋（算力集散中心），把算力以「效」搏大地压成高质量 Token（Token 工厂），再把 Token 循环造血地输送进百业（AI 生产力商店）。三大板块串起了一条从电能到智能的完整链路，而它们背后是同一组锚点：规模与效率。

当算力供给的线性增长追不上智能需求的指数增长，单纯堆算力已经不够，能不能在做大规模的同时把效率也做到极致，才是这一代 AI 基础设施真正的分水岭。PDD 非常重要的原因是它成了「规模×效率」这道题在推理侧的一个答案：用极小的代价把跨机房的零散算力盘活成可用规模，又用延迟掩盖把这份规模守在高质量的服务水位上。

「让智能无所不能，是 AGI；而让智能无处不在，是 AGI Infra。」夏立雪的这句话或许是对这套布局最凝练的注脚：模型决定智能的上限，而基础设施决定智能能落到多少算力、多少行业、多少真机之上。

在这个意义上，「两个机房当一个机房用」听起来像一句口号，但当李秀红把接力赛的比喻讲完，你会发现它其实是一句相当精确的技术描述，也是「用智能进化智能、用生产力加速生产力」这条路上一块踏实的基石。

....