在最难的泛化任务上，它比 Harness VLA 高 31 个点！

原创 于 2026-10-23 10:15:00 发布 · 501 阅读 · 7 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
EmbodiedRSI提出快慢双系统协同进化框架，通过假设图引导高信息价值物理实验，实现代码与技能联合更新；慢速系统基于PPO强化学习构建三层分层记忆，优化记忆筛选策略。在RoboCasa365 Composite-Unseen任务上较Harness VLA提升31.2个百分点，且支持零样本sim-to-real迁移至真实机械臂，验证冻结基座VLA下高效持续学习的可行性。

冻结基座模型依旧可以持续进化

——不重训也不采数据

目录

01    现有持续机器人学习的两处核心短板

02    快慢双系统：假设引导下的协同进化

快速系统：基于信息价值挑选物理实验，代码‑技能共同进化

慢速系统：基于奖励的分层记忆学习

03    仿真基准与真实机器人零样本迁移，怎么看待各项指标

仿真数据集RoboCasa365、LIBERO‑Pro

真实机械臂零样本sim‑to‑real迁移

04    小结

机器人基础模型具备不错的视觉运动控制能力，但一旦物体摆放、任务指令发生变化，性能就会出现明显滑坡。

想要修复这种退化，传统做法需要采集大量机器人交互数据做后训练，遥操作采集数据成本极高。现有的智能体增强方案可以在冻结基座模型之上做行为适配，但在选择要迭代哪些代码、技能时，对实体机器人的物理试错样本利用效率很低。

哥伦比亚大学与普林斯顿大学的EmbodiedRSI工作，打造了一套自进化智能体外层框架，让机器人自主判断下一步该探索什么，把实体交互的试错结果，直接转化为可复用的代码与操作技能。

▲图 | EmbodiedRSI自进化循环图。物理执行结果指导代码和技能更新，机器人基础模型保持冻结

01    现有持续机器人学习的两处核心短板

现在已经有不少“冻结VLA+外层智能体框架”的方案，借助高层推理规划、记忆管理，少量试错就可以修改可执行代码、调度预训练机器人策略。

  • 第一，物理试错样本被无差别消耗。

随着可执行程序、操作技能的组合空间越来越大，迭代更新的时候会反复去做高度近似的尝试，不会主动挑选能够区分不同假设、信息增益最高的物理实验。

实体机器人的每一次运行都是昂贵资源，盲目的试错会拉长学习周期。

  • 第二，代码、技能、记忆三者割裂。

很多方案代码模块、技能模块独立演化，但长时序的操纵任务，代码逻辑和操作技能是互相耦合影响的；同时记忆大多只是简单存储历史轨迹，不会判断哪部分记忆对后续自我迭代真正有帮助。

EmbodiedRSI的出发点就在于回答一个问题：

智能体框架如何自主挑选实验，高效把物理交互，转化成代码‑技能协同进化，以及适配未知场景、长时序任务的可复用经验。

▲图 | EmbodiedRSI总览。快速系统借助假设图挑选物理实验，每一次执行结果驱动代码‑技能联合更新；慢速系统沉淀对后续适配有益的分层记忆

整套架构分为快慢双系统，核心载体是假设图（Hypothesis Graph）。

  • 快速系统负责快速迭代，挑选高信息增益的物理实验，完成代码‑技能协同进化；
  • 慢速系统构建分层记忆，基于强化学习筛选对后续迭代真正有价值的历史经验。

02    快慢双系统：假设引导下的协同进化

▲图 | 物理试验下假设图的更新过程

快速系统：基于信息价值挑选物理实验，代码‑技能共同进化

快速系统维护一张假设图，节点代表候选的代码假设、技能假设，边记录假设之间的迭代 refine 关系，每一次物理试验得到的轨迹、任务成败证据，用来更新各个假设的置信度。

$c_i = \frac{n_{sup,i} + \alpha}{n_{sup,i} + n_{ref,i} + \alpha + \beta}$

简单来说，$c_i$代表第$i$条假设的置信度，$n_{sup,i}$、$n_{ref,i}$ 分别代表支持、推翻这条假设的物理试验次数，$\alpha$与$\beta$是贝塔分布的先验参数。

框架采用信息价值VOI实验选择策略：优先挑选能够最大程度降低系统内部不确定性、同时兼顾执行成本的物理试验。

$VOI_k(t) = G_k(t)/(C(t))G_k(t)$

代表做完实验t之后，探索不确定性的期望下降量；$(C(t))$综合计算时间、仿真步数、GPU开销、环境重置开销等物理试验成本，选择VOI分数最大的试验执行。

做完匹配对照试验之后进入代码-技能协同进化。

同一个初始状态下、分别运行纯代码、纯技能、代码+技能组合版本、计算联合增益：

$w_{ij} = R(C_i, S_j) - \max\{R(C_i), R(S_j)\}$

代码$C_i$和技能$S_j$联合执行的任务成功率；$R(C_i)$、$R(S_j)$分别是单独运行代码、单独运行技能的成功率。

如果联合增益为正、说明代码和技能互相促进、就在假设图增加双向works-with边记录这个耦合关系。

消融结果也证实了这一点，只更新代码或者只更新技能，在Composite‑Unseen 未见复合任务上表现远不如联合进化。

▲图 | 代码‑技能协同进化消融实验。柱状图展示RoboCasa365数据集上的任务成功率

可以看到，简单原子任务场景仅代码方案尚可；但是面对没见过的复合任务，技能和代码必须协同迭代，才能拿到显著收益。

这个现象也提醒我们：在现实机器人任务中，对熟悉任务有效的改动，直接迁移到全新组合任务不一定生效。

慢速系统：基于奖励的分层记忆学习

快速系统产生的大量物理交互证据，交给慢速系统构建三层分层记忆M1/M2/M3：

  • M1：原始物理执行记录，完整保存每一轮机器人轨迹、工具调用、动作、任务奖励；
  • M2：假设图，保存代码、技能假设，以及试验带来的支持、反驳证据；
  • M3：高度抽象的可复用认知规则、策略，是沉淀下来供快速系统复用的高层知识。

记忆不是无脑全部保存，采用奖励引导记忆学习，使用PPO强化学习训练记忆管理器。记忆动作包括保留、合并、抽象、压缩、遗忘、跳过。

记忆模块闭环奖励：

$r_t^{\text{mem}} = \lambda_1(R_{t+1} - R_t) + \lambda_2(H_t - H_{t+1}) - \lambda_3 C_{t+1}$

奖励由三部分加权组成：后续任务成功率提升量、探索不确定性下降量、下一轮物理试验的执行成本。

只有能帮助后续任务做得更好、降低不确定性、少消耗物理试验资源的记忆操作，才会被强化学习鼓励。

▲表 | 基于奖励的记忆学习消融实验。RoboCasa365 数据集上的未见复合任务成功率与学习 AUC 指标

可以看到，如果只是简单做检索复用记忆，不考虑记忆对未来迭代的价值，会损失明显性能；仅仅依靠任务成功率做奖励也不够，需要同时把不确定性、试验成本纳入奖励函数。

03    仿真基准与真实机器人零样本迁移，怎么看待各项指标

仿真数据集RoboCasa365、LIBERO‑Pro

RoboCasa365数据集分为三类任务：

Atomic‑Seen见过的单步原子任务；Composite‑Seen预训练见过的多技能组合任务；Composite‑Unseen，预训练完全没有见过的技能组合，也是最难的泛化测试集。

▲表 | RoboCasa365任务成功率（单位%）

在最难的Composite‑Unseen未见组合任务上，EmbodiedRSI 71.3%对比最强基线40.1%拉开较大差距；

在LIBERO‑Pro数据集，包含指令改写、物体位置调换两类扰动，EmbodiedRSI整体86.8%，对比基线Harness VLA的72.1%，在物体位置发生调换的任务场景提升尤其突出。

该结果是在冻结基座VLA模型前提下，依靠外层智能体框架迭代得到，不是基座大模型本身能力变强；指标反映的是外层框架利用有限物理试错，重组已有技能代码，适配新任务组合的能力。并不代表遇到完全陌生物体、完全新的动作模态也可以稳定生效。

真实机械臂零样本sim‑to‑real迁移

整套智能体管线完全在仿真中进化完成，不做任何真实世界微调，直接部署到SO‑101机械臂，底层视觉动作模型SmolVLA全程冻结。

测试任务包含多步操纵、算术语义推理、精密抓取五大类。

▲表 | 真实机器人任务成功率（每个任务30次试验）

整体成功率从46.0%提升至71.3%。

其中提升最大的是扑克筹码算术推理任务，原始VLA几乎很难完成带逻辑推理的任务；而镜架精密抓取任务几乎没有收益，说明这套框架擅长高层任务规划、代码逻辑编排。

对于机械臂末端微米级精密控制这类底层动力学层面问题，框架无法修复基座模型本身的硬件控制缺陷，这是该方案的边界。

04    小结

EmbodiedRSI证明：机器人持续学习不一定非要修改底层基础模型。在外层构建一套自进化智能体框架，借助假设图做信息价值引导的物理试验选择，让代码和技能协同进化，再通过强化学习筛选有价值的分层记忆，每一次实体机器人试错都产出最大的信息收益。

在仿真的未见复合操纵任务取得明显提升，并且仿真训练得到的整套agent流程直接零样本部署实体机械臂。

该工作为“冻结大模型前提下，实体机器人高效持续学习”提供了一套完整可行的思路，同时也清晰展示agent外层增强方案的能力边界：

擅长高层逻辑、任务编排重组，但是不能修复底层动力学、精密操纵层面基座模型本身的短板。

Ref

论文标题：EmbodiedRSI: Active Continual Robot Learning Through Hypothesis‑Guided Co‑Evolution

论文链接：https://arxiv.org/pdf/2610.10498

项目主页：https://geeksongs.github.io/agentic_robotics/

标签
#机器人 #具身智能
博客
具身智能、端到端、自动驾驶、大模型......技术交流群汇总
11-17 424
深蓝学院搭建了16个领域的交流群（具身智能、端到端、自动驾驶、机器人、大模型......等等），小伙伴们可以在群内交流、分享问题、获取行业资讯。这样在各大企业工作的，可以相互内推，互通信息；在学校读研读博的，可以交流想法，携手合作。截至目前，我们的社群已经细分到了【16】个子方向的领域，并且还在不断地壮大规模！不限学校、不限专业，只要你是人工智能相关行业的人就能加入（社群内会有。的面试题以及论文资源，还有相关领域的小伙伴一同学习、交流！所以，如果你想要跟更多优秀的小伙伴扎堆学习成长，后台私信。
博客
2024年自动驾驶规划控制面试及答案
07-22 1899
A*吸取了Dijkstra 算法中的cost_so_far，为每个边长设置权值，不停的计算每个顶点到起始顶点的距离（G），以获得最短路线， 同时也汲取贪婪最佳优先搜索算法中不断向目标前进优势，并持续计算每个顶点到目标顶点的距离（Heuristic distance），以引导搜索队列不断想目标逼近，从而搜索更少的顶点，保持寻路的高效。DWA，TEB算法。通常情况下，在机器人高速运动的时候，想要得到非常连续、平滑、噪音低的运动控制，第3个约束条件是必不可少的，有的甚至还要求加速度的导数jerk都是连续的。
博客
彻底搞懂3DGS｜不用神经网络逐点查询，为什么一团团高斯也能渲染三维世界？
10-28 316
为了知道画面某个像素是什么颜色，系统会从相机发出一条光线，沿光线选取许多三维采样点，再查询对应的密度与颜色，通过体渲染合成像素。假设一开始只有一颗很小的高斯，面对一片有复杂纹理的区域，就算把它调得再准确，也很难覆盖所有细节。想象一堵很薄的墙，或者自行车的一根细长车架。每颗高斯只分配给可能被它覆盖的 Tile，之后借助 GPU 上的快速排序，组织每个 Tile 内的候选高斯，再进行像素颜色合成。它们可以改变形状、方向、透明度和颜色，还可以在训练中被复制、拆分或移除，让表示能力逐渐集中到真正需要细节的地方。
博客
Science Robotics｜只靠一只前视摄像头，时速100公里！AI无人机跑赢世界冠军
10-27 346
首先，赛门顺序和几何形状是已知的，系统高度利用方形赛门的结构，并不是完全未知环境的自主探索。其次，MonoRace的视觉感知与控制仍是分开的模块，并非视觉到电机的全端到端学习。再次，它没有加入其他无人机的检测与避碰能力，所以在多机竞速项目中撞上其他队伍的无人机，最终只获得第三名。为此，系统会根据自己刚刚估计的飞行位置，预测下一道门大概会出现在哪里，再把图像中最有价值的区域裁剪出来处理。它接收无人机估计的位置、速度、姿态及与赛门有关的状态等信息，直接输出四个电机的控制指令，不再经过传统的多级内环控制器。
博客
随手拍几张照片，重建完整 3D 资产：NVIDIA GATOR，生成打底 + 智能体精修
10-27 294
GATOR 的做法是在每个 patch 上，对对齐的 RGB、掩码、点图三个 token 做一次注意力，让模型在同一位置同时看到"长什么样、是不是目标、深度对不对"，既能保留周围场景上下文，又能把目标从杂物里分出来，还对深度和掩码的估计误差更鲁棒。GATOR 的价值不在于某个 CD 或 F1 又刷低了，而在于它把"生成式重建"和"智能体精修"这对看似矛盾的思路真正融合成了可用的流水线：生成负责在一两分钟内给出完整、带位姿、八成可用的资产，智能体只在可靠基础上做局部手术，用渲染回看决定取舍。
博客
点云有了 XYZ，强度怎么办？IROS 2026 NIDAR 给出零样本生成方案
10-26 503
进入 Isaac Sim 与 Unreal Engine 5（UE5）后，同一流程又能利用场景已有的 RGB、几何与标定，为仿真点云补充强度，把真实数据上的重建方法延伸到不同平台。作者将 RGB、深度和 NIDAR 派生表示接入 BC-RNN（基于循环神经网络的行为克隆）策略，并与 RGBD、RGBD＋灰度进行对照，考察近红外／反射率相关线索能否成为抓取策略的有效补充。部署时，系统结合相机与 LiDAR 标定，将图像表示关联到已有点云，经几何相关处理和分位数重映射，生成点级强度。
博客
24小时拿下近13%付费团队！这个“只做判断”的模型，戳中了Agent的命门？
10-26 507
这里最值得看的不是谁在一张表里“赢了”，而是当任务被限定为重复、结构化判断时，专用决策模型确实出现了与通用 LLM 不同的效率曲线。Vercel 在介绍 Jev 时列出的使用场景就集中在这些位置：选择 Agent 下一步使用的工具或子智能体、判断工作流应该继续还是停止、给操作做风险评分、验证模型输出，以及把不确定案例转给人工。真正值得注意的不只是“火得快”，而是一个几乎不做文本生成的专用决策模型，第一次获得了大规模开发者的集中关注。选一个分支，本来是个分类问题，一个几百 KB 的小模型或几行规则就能处理；
博客
GPT-6 太慢？清华叉院提出 Spotter：具身模型先执行，VLM 只在出错时介入
10-25 419
研究团队在 Franka Research 3 机械臂上部署 Spotter，具身模型为基于遥操作数据微调的 π0.5，测试了三项任务：叠杯、将方块放入杯中，以及包含两个子步骤的长程任务（先将方块放入杯中，再将另一方块放至盘中），每项任务测试 10 次。这里的具身模型，指直接输出机器人动作的模型，如视觉-语言-动作模型（VLA）π0.5、世界动作模型 Cosmos Policy。实验显示，在相同步数限制下，Spotter 的成功率与 VLM 全程指挥的方案相当或更高，成功任务的耗时却接近具身模型单独执行；
博客
彻底搞懂NeRF｜一组照片，为什么能生成从没拍过的视角？
10-24 163
2020 年，NeRF（Neural Radiance Fields，神经辐射场）给出了一个很有代表性的答案：它不急着先生成传统的三角网格，而是训练一个神经网络，让网络学会回答三维空间中的“这个位置有什么、朝这个方向看是什么颜色”。随后，再利用这套表示渲染出新的照片。例如，一面纹理稀少的白墙可能渲染得很像真实照片，但网络对墙面细小凹凸、厚度乃至未被观察到的背后结构，未必有足够可靠的约束。观看时最值得注意的，不是它把某张照片“转动”了，而是相机位置连续变化时，物体的遮挡、透视和细节仍然尝试保持一致。
博客
全开源！浙大高飞团队发布CrossFly：面向无人机跨室内外交互导航的全新基准
10-23 306
论文在未见过场景测试中观察到，带高层规划的 CrossFly‑Agent 相比无规划的方法在室外套件把 SR 从 16.2% 提到 18.5%，说明子任务监督总体是正向收益，但提升幅度有限，也侧面反映跨域长时序导航本身很难靠单点改动大幅拉高。从结果看，即便是分层设计的 CrossFly‑Agent，未见场景跨域任务成功率也只有 9.7%，说明异构环境下长时序、面向交互的空中移动仍是一个远未解决的问题。输入为全局指令、高层预测的子任务、夹爪状态，加上三帧图像：初始帧、3 秒前的画面、当前帧。
博客
具身智能卷到模型层之后，竞争开始往 Harness 上转移了……
10-22 563
Thea：论文（https://arxiv.org/abs/2608.11246）、系统架构（https://eit-hai.github.io/thea/system.html）、物理世界接口（https://eit-hai.github.io/thea/gaps.html）、实验（https://eit-hai.github.io/thea/experiments.html）图中左侧提供已知测试信号，中间是单独取出的被测组件，右侧观察其响应，使开发者可以集中检查这一部分的行为。它的能力边界同样清楚。
博客
具身智能的下一层：VLA、WAM 之后，抢的是 Harness 这层“衔接”
10-22 579
这样看，VLA 更强调观测、目标与动作之间的连接，WAM 更明确地学习动作对应的未来变化，两种能力也可以融合在同一个模型中。▲图4 | SelfWAM 中部展示训练时视频与动作信息如何交互，右上角给出单独的动作预测路径，右下角是可选的视频预测路径。两条路径的分开，使模型既能利用世界预测学习动作，也能在执行时保留较轻的动作生成流程。底部箭头将执行后的真实观测重新送回模型，刷新历史信息，让下一轮动作依据更新后的现场继续生成。模型能力的提升，还要通过合适的调用与反馈流程，才能稳定转化为完整任务的收益。
博客
机器视觉中CNN与Transformer的原理及应用差异
10-21 548
涵盖鸟瞰图视角场景重建，多雷达与相机传感器特征融合，车辆行人轨迹预测以及可行驶区域精细化分割等核心任务，现有量产自动驾驶方案多采用卷积主干加Transformer辅助建模的混合结构。，这类机器人需要动态识别多变环境中的物体关联，需要建模远距离场景布局，全局注意力机制可以有效提升复杂环境下的感知鲁棒性，帮助机器人完成避障路径规划和适应动态场景。动态避障也是类似逻辑：卷积擅长认出"这是什么"，但很难判断"它接下来往哪走"——带时序注意力的结构可以关联多帧特征，预判轨迹。远距离特征的交互，一次运算就能完成。
博客
百万无人机三维空域无冲突规划！浙大GuardPIBT：保留PIBT内核，神经网络只做残差建议
10-21 503
GuardPIBT提出一个很务实的思路：大规模多智能体规划，不用非此即彼——要么纯传统搜索，要么完全端到端神经网络。另一组启用网络重排序干预。保持优先级噪声、环境完全一致，对比H步闭环执行之后的整体代价，计算干预带来的收益，以此作为门控网络的标签。对停滞不前的少量长尾智能体，再调用时间索引SIPP做局部修复，不对全部智能体做昂贵的完整重规划，把算力消耗集中在少数卡住的个体。但也要认清边界：目前是离散体素仿真层面的验证，想要落地真实无人机集群，还需要对接动力学、噪声感知、在线动态新增/消失智能体等现实问题。
博客
港科广UniWAM：把VLA和WAM揉进同一个Transformer，仿真真机双SOTA
10-20 582
而更有参考价值的是分布偏移测试LIBERO‑Plus，用来模拟光照、视角、物体布局、机器人状态、语言指令扰动，UniWAM总体成功率92.6%，在机器人本体扰动、语言指令、光照、背景扰动维度上取得最优结果。三者通过共享的注意力层互相交换信息，动作生成可以参考语义理解，也可以参考对未来画面的预判。，依靠人类第一视角数据、机器人演示数据、VQA数据联合预训练，在仿真、真实双环境的多项基准刷新性能，还揭示了人‑机联合预训练的对数‑线性缩放规律，为通用机器人基础模型提供了新的实现路径。
博客
世界模型只训不推！华科&地平线ReDrive：推理期极简的端到端自动驾驶框架
10-20 254
对时空token施加掩码，利用可见部分特征预测被掩码位置的潜表征，由EMA目标编码器生成目标特征，使用L1损失对齐预测与目标表征。推理阶段舍弃未来预测器，保留编码器‑规划器极简链路，在仿真基准拿到不错指标的同时，降低车载推理算力压力。推理链路足够简洁，但仅依靠轨迹损失监督，表征很难学到场景未来演化规律，规划性能存在明显天花板。推理链路对比可以直观体现架构优势：对比推理阶段携带未来预测的世界模型方案，ReDrive上线推理完全剔除预测分支，前向计算仅保留编码器与规划器，不存在额外生成开销。
博客
李飞飞团队把灵巧手数据交给 Agent，只用1条人类视频让真机成功率暴涨 3.5 倍？
10-19 329
▲表 |十一项任务的真实世界回放成功率。实验覆盖11项真实灵巧操作任务，任务类型包含刚体、铰接件、可变形物体，任务包括开瓶子、剪刀裁剪、礼物盒打包、打结、多杯抓取、电脑装机等。但现有方案大多是固定流水线，刚体、铰接物体、可变形物体需要完全不同的重建与运动生成逻辑，长时序多子任务场景很容易发生错误传播。重建完成后，优化仿真内物体掩码和视频掩码IoU，确定物体初始位姿，把物体、机器人一并部署进仿真环境。生成轨迹之后，调用仿真校验器验证接触、运动可行性，不达标就迭代调整，校验全部通过才进入下一阶段。
博客
TRO顶刊｜隐蔽攻击下的多机器人安全学习控制：小规模学习，大规模泛化
10-19 345
简单说，它不是等攻击被检测出来再补救，而是把攻击者和防御者放进同一个微分博弈里，在线学习双方的策略，让机器人团队在“最坏攻击”下继续完成任务。在 β = 0.5 的包含控制实验中，DSLC 的 IAE 为 21.44，低于 DRHRL 的 31.66，相对降低 32.3%，说明它在攻击下确实实现了更优的控制性能。每组左侧为实物快照，右侧为运动轨迹。在六机器人直线编队实验中，β = 1 时，DSLC 的 IAE 为 2.19，DRHRL 为 7.30，相对降低 70.0%，体现了受攻击时的协同控制性能改善。
博客
穿缝抓杯、拿瓶浇花：南洋理工团队让无人机从“会飞”走向“会干活”
10-18 321
学习时，让视觉反馈支撑接近、合爪和带载抬升；随后，从正在执行的指令状态出发构造平滑过渡，沿用 QuadHand 的全身规划框架生成可执行轨迹：联合调整路径进度和分段时长，使机身与机械臂满足运动约束，夹爪开合也随重新安排的进度触发。穿缝抓杯和拿瓶浇花让这些问题变得直观，也留下了明确的下一步：真实接触与在线感知、局部技能稳定性、场景变化适应和失败后的恢复，都需要继续提高。要执行“拿起书旁边的水瓶，给走廊里的植物浇水”，系统先在预建场景图中解析类别和空间关系，确定唯一目标，再将局部技能与跨区域转场组成有序计划。
博客
用卫星地图训练无人机导航！SatNav：11.8万条长程导航任务，真机部署已验证
10-17 527
受房间、走廊的空间和通行条件限制，室内很难构建丰富的长距离路线，模型的长期记忆和连续决策能力也难以得到充分测试。室外有丰富的建筑、湖泊和道路，借助卫星地图，可以方便地生成不同长度和布局的任务。不带星号的模型从对应的基础模型开始训练。UniNaVid 使用已有导航训练的权重，再在 SatNav 上微调，相比从通用基础模型开始训练，在 Test Seen 和 Test Unseen 上的成功率分别提升。适配器将无人机图像的特征对齐到卫星图像的特征空间，让 SatNav 上训练的导航模型能够使用真实无人机画面。
博客
清华 AIR 重磅三连：不改一行权重，跑通机器人自进化闭环
10-17 317
真机化学实验场景 ChemLab-Evo（ARX 机械臂）Level-1 三任务均值 83.3%（π0.5 73.3、Cosmos3-Nano 70.0、Fast-WAM 76.7、LingBot-VA 71.7），其中取试管 100%、放烧杯 70%、倒水 80%；实验数据显示，LIBERO-Pro 上 π0.5 的 Goal-T 由 31.0% 升至 92.5%、Goal-S 由 38.0% 升至 89.0%，Goal 平均 34.5%→90.8%；held-out 即便严谨，也仍是同一实验室的划分。
博客
像素扩散缺的不是构图，是纹理：UCSD×Adobe 用 GAN 后训练补齐高频
10-16 564
在 DeCo 的匹配实验中，感知监督提高了 TOPIQ 和 MANIQA 等无参考质量分数，却使 FID 从 33.27 变为约 34.1，DPG 从 81.6 变为 81.4。原有学习目标继续约束生成过程，额外的判别器比较真实图像与模型预测的干净图像，并为生成模型提供反馈。对抗监督的效果，既取决于输出中是否存在可修正的误差，也取决于可训练的表示能否有效改变这些图像成分。一张生成图可以有正确的构图和主体，却仍然缺少让人相信它的纹理：毛发略显平滑，砖墙不够细致，材质也少了一些层次。加粗为各模型中更好的结果。
博客
JEPA进军端到端！杨立昆团队最新：百倍推理加速，让JEPA世界模型真正能“上车规划”
10-16 153
可以清晰看到基线的矛盾：DINO‑WM、JEPA‑WM规划效果优秀，但单场景规划耗时接近100秒，完整数据集评测几乎不可行，完全达不到自动驾驶实时性硬性约束；LeWM速度快，但几何误差巨大，FDE达到12.4米，规划基本不可用。这篇AD‑E2E‑JEPA论文瞄准一个很现实的工程痛点：现有的JEPA自动驾驶世界模型陷入两难，一部分模型规划精度尚可，但单场景规划耗时动辄一分钟以上，完全无法实车部署；，FDE为3.2m，Top‑1命中率47%，已经追上DINO‑WM、JEPA‑WM的规划水平。
博客
浙大高飞团队DiffWAM：不生成视频也能导航，机载延迟1.08秒，让无人机导航更快更轻
10-15 343
第一，时序关联：在特征网格内部，跨时间索引抓取前后时刻特征，计算特征差异，捕捉物体、相机的运动变化；在模型计算新轨迹的这段时间，飞行器本身还在不停运动，等推理完成之后，观测对应的机体状态已经发生偏移，新生成轨迹和现实机身状态对不上，这是大模型机载部署非常现实的工程痛点。浙大高飞团队联合微分智飞提出的DiffWAM给出一条不一样的技术路径：不需要在线输出完整未来视频，直接复用冻结视频世界模型的多层中间预测特征，搭配单帧图像几何信息，解码输出连续的无人机SE(3)相机轨迹。
博客
Claude满分、GPT 99分！何恺明团队VISTA把ARC-AGI-3打穿了，动作比人类少57%
10-15 537
上下文快要溢出时，模型写一份交接摘要，开启全新上下文会话，，只是在模型外部增加视觉工具层，原始观测图像完整保存，模型推理过程中可以主动调取历史任意帧画面、放大局部细节，不用把画面压缩成文本摘要。在开源模型GLM‑5.3 Flash 320B上面，完整VISTA也实现66.93的RHAE，远高于官方基线1.89，证明这套视觉harness不是闭源大模型专属，对开源基座同样有增益。该工作给出一个很有启发的思路：提升交互式智能体，不一定一味追求更大的基座模型，也可以在模型外层做“感知‑记忆‑检索”的外设框架。
博客
香港中文大学：人形全身操作的三大痛点，WholeBodyWAM 如何破解？
10-14 142
不同全身控制器（Whole-Body Controller, WBC）对外暴露的命令接口，物理含义并不一致——相似的动作，在A控制器里是任务空间目标，在B控制器里可能是关节目标，导致动作语义难以复用；图1 | WholeBodyWAM总览：面对“扩展动作接口”与“从零重学全身”两条路线，论文选择第三条路——通过WBC锚定，把预训练WAM的世界–动作先验保留并推广到人形全身操作。在每任务50/100条示教的低数据预算下，WholeBodyWAM的优势最大——这正是“有效复用预训练世界–动作先验”的直接体现。
博客
Bridge-WA 把世界模型拆成三件事：未来状态、变化区域、局部运动
10-14 426
WorldBridge 根据世界先验与当前动作特征的匹配程度，调节注意力更新和 FiLM 特征调制的强度：先验有帮助时使用它，先验与当前决策不相容时减弱它。视觉语言动作模型（VLA）已经能够理解“拿起什么、放到哪里”，但到了真实操作现场，背景、光照或相机视角稍有变化，动作仍可能失误。不要求机器人在每次决策时生成未来视频，而是从当前观测预测未来状态、变化区域和局部运动，再通过可靠性门控将这些先验用于动作生成。论文中的例子显示，任务语义没有改变，仅仅更换外观或视角，就可能出现碗掉落、机械臂碰撞等失败。
博客
中国高校“屠榜”Nature Index，哈佛十年第一首次易主？
10-13 346
清华增长 18.7%，上海交大增长 25.6%，中科大增长 20.1%，北大增长 16.8%，南京大学增长 16.5%，四川大学增长 33.3%，复旦增长 21.6%。按照 2026 Research Leaders 公布的数据，哈佛的 Share 从 2024 年的 1251.70 增长到 2025 年的 1259.01，身体进得去，形态变得了，策略学得对物理，技能留得住。把这些工作重新放回 Nature Index 的榜单里，会发现这篇文章真正有意思的地方，并不是要证明“榜单上的学校机器人都很强”。
博客
从单帧到整组相机：浙大 StreamRig 将 rig 内几何引入流式里程计
10-13 602
零样本条件下，StreamRig 的三项指标均列第一：平移漂移 3.48%（次优 CUT3R 为 4.61%），ATE 0.88 米，旋转漂移 14.88°/100 m，较 CUT3R 的 39.85°/100 m 低约 63%。对真机数据昂贵的人形机器人，“仿真训练、真机直接部署”的路线已在 ZJH 上得到初步验证，但真机的公制尺度仍需额外标定。展望方面，NCLT 上的探索性试验提示，压缩后的 rig token 或可用于同一采集序列内的重访检索，但论文未对此做定量评估，判定阈值也仍需逐序列调整。
博客
每条路线都跑出惊艳 Demo，为什么具身智能依旧难以落地？
10-12 678
把语言、图像、视频、音频和 action 放进统一的 omnimodal world model 中，并同时探索 robot policy、forward dynamics 与 inverse dynamics。它负责理解场景、拆分多步任务，甚至协调多台机器人，但真正的 motor execution 仍然可以交给下面的 VLA。这一方向现在呈现出的趋势，不是让 reasoning model 一路控制到电机，而是让它承担更长时程的任务理解、监控和协调，把具体执行交给 VLA、运动规划器和专用技能。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值