穿缝抓杯、拿瓶浇花：南洋理工团队让无人机从“会飞”走向“会干活”

具身智能、端到端、自动驾驶、大模型......技术交流群汇总

深蓝学院搭建了16个领域的交流群（具身智能、端到端、自动驾驶、机器人、大模型......等等），小伙伴们可以在群内交流、分享问题、获取行业资讯。这样在各大企业工作的，可以相互内推，互通信息；在学校读研读博的，可以交流想法，携手合作。截至目前，我们的社群已经细分到了【16】个子方向的领域，并且还在不断地壮大规模！不限学校、不限专业，只要你是人工智能相关行业的人就能加入（社群内会有。的面试题以及论文资源，还有相关领域的小伙伴一同学习、交流！所以，如果你想要跟更多优秀的小伙伴扎堆学习成长，后台私信。

2024年自动驾驶规划控制面试及答案

A*吸取了Dijkstra 算法中的cost_so_far，为每个边长设置权值，不停的计算每个顶点到起始顶点的距离（G），以获得最短路线， 同时也汲取贪婪最佳优先搜索算法中不断向目标前进优势，并持续计算每个顶点到目标顶点的距离（Heuristic distance），以引导搜索队列不断想目标逼近，从而搜索更少的顶点，保持寻路的高效。DWA，TEB算法。通常情况下，在机器人高速运动的时候，想要得到非常连续、平滑、噪音低的运动控制，第3个约束条件是必不可少的，有的甚至还要求加速度的导数jerk都是连续的。

彻底搞懂3DGS｜不用神经网络逐点查询，为什么一团团高斯也能渲染三维世界？

为了知道画面某个像素是什么颜色，系统会从相机发出一条光线，沿光线选取许多三维采样点，再查询对应的密度与颜色，通过体渲染合成像素。假设一开始只有一颗很小的高斯，面对一片有复杂纹理的区域，就算把它调得再准确，也很难覆盖所有细节。想象一堵很薄的墙，或者自行车的一根细长车架。每颗高斯只分配给可能被它覆盖的 Tile，之后借助 GPU 上的快速排序，组织每个 Tile 内的候选高斯，再进行像素颜色合成。它们可以改变形状、方向、透明度和颜色，还可以在训练中被复制、拆分或移除，让表示能力逐渐集中到真正需要细节的地方。

Science Robotics｜只靠一只前视摄像头，时速100公里！AI无人机跑赢世界冠军

首先，赛门顺序和几何形状是已知的，系统高度利用方形赛门的结构，并不是完全未知环境的自主探索。其次，MonoRace的视觉感知与控制仍是分开的模块，并非视觉到电机的全端到端学习。再次，它没有加入其他无人机的检测与避碰能力，所以在多机竞速项目中撞上其他队伍的无人机，最终只获得第三名。为此，系统会根据自己刚刚估计的飞行位置，预测下一道门大概会出现在哪里，再把图像中最有价值的区域裁剪出来处理。它接收无人机估计的位置、速度、姿态及与赛门有关的状态等信息，直接输出四个电机的控制指令，不再经过传统的多级内环控制器。

随手拍几张照片，重建完整 3D 资产：NVIDIA GATOR，生成打底 + 智能体精修

GATOR 的做法是在每个 patch 上，对对齐的 RGB、掩码、点图三个 token 做一次注意力，让模型在同一位置同时看到"长什么样、是不是目标、深度对不对"，既能保留周围场景上下文，又能把目标从杂物里分出来，还对深度和掩码的估计误差更鲁棒。GATOR 的价值不在于某个 CD 或 F1 又刷低了，而在于它把"生成式重建"和"智能体精修"这对看似矛盾的思路真正融合成了可用的流水线：生成负责在一两分钟内给出完整、带位姿、八成可用的资产，智能体只在可靠基础上做局部手术，用渲染回看决定取舍。

点云有了 XYZ，强度怎么办？IROS 2026 NIDAR 给出零样本生成方案

进入 Isaac Sim 与 Unreal Engine 5（UE5）后，同一流程又能利用场景已有的 RGB、几何与标定，为仿真点云补充强度，把真实数据上的重建方法延伸到不同平台。作者将 RGB、深度和 NIDAR 派生表示接入 BC-RNN（基于循环神经网络的行为克隆）策略，并与 RGBD、RGBD＋灰度进行对照，考察近红外／反射率相关线索能否成为抓取策略的有效补充。部署时，系统结合相机与 LiDAR 标定，将图像表示关联到已有点云，经几何相关处理和分位数重映射，生成点级强度。

24小时拿下近13%付费团队！这个“只做判断”的模型，戳中了Agent的命门？

这里最值得看的不是谁在一张表里“赢了”，而是当任务被限定为重复、结构化判断时，专用决策模型确实出现了与通用 LLM 不同的效率曲线。Vercel 在介绍 Jev 时列出的使用场景就集中在这些位置：选择 Agent 下一步使用的工具或子智能体、判断工作流应该继续还是停止、给操作做风险评分、验证模型输出，以及把不确定案例转给人工。真正值得注意的不只是“火得快”，而是一个几乎不做文本生成的专用决策模型，第一次获得了大规模开发者的集中关注。选一个分支，本来是个分类问题，一个几百 KB 的小模型或几行规则就能处理；

GPT-6 太慢？清华叉院提出 Spotter：具身模型先执行，VLM 只在出错时介入

研究团队在 Franka Research 3 机械臂上部署 Spotter，具身模型为基于遥操作数据微调的 π0.5，测试了三项任务：叠杯、将方块放入杯中，以及包含两个子步骤的长程任务（先将方块放入杯中，再将另一方块放至盘中），每项任务测试 10 次。这里的具身模型，指直接输出机器人动作的模型，如视觉-语言-动作模型（VLA）π0.5、世界动作模型 Cosmos Policy。实验显示，在相同步数限制下，Spotter 的成功率与 VLM 全程指挥的方案相当或更高，成功任务的耗时却接近具身模型单独执行；

彻底搞懂NeRF｜一组照片，为什么能生成从没拍过的视角？

2020 年，NeRF（Neural Radiance Fields，神经辐射场）给出了一个很有代表性的答案：它不急着先生成传统的三角网格，而是训练一个神经网络，让网络学会回答三维空间中的“这个位置有什么、朝这个方向看是什么颜色”。随后，再利用这套表示渲染出新的照片。例如，一面纹理稀少的白墙可能渲染得很像真实照片，但网络对墙面细小凹凸、厚度乃至未被观察到的背后结构，未必有足够可靠的约束。观看时最值得注意的，不是它把某张照片“转动”了，而是相机位置连续变化时，物体的遮挡、透视和细节仍然尝试保持一致。

全开源！浙大高飞团队发布CrossFly：面向无人机跨室内外交互导航的全新基准

论文在未见过场景测试中观察到，带高层规划的 CrossFly‑Agent 相比无规划的方法在室外套件把 SR 从 16.2% 提到 18.5%，说明子任务监督总体是正向收益，但提升幅度有限，也侧面反映跨域长时序导航本身很难靠单点改动大幅拉高。从结果看，即便是分层设计的 CrossFly‑Agent，未见场景跨域任务成功率也只有 9.7%，说明异构环境下长时序、面向交互的空中移动仍是一个远未解决的问题。输入为全局指令、高层预测的子任务、夹爪状态，加上三帧图像：初始帧、3 秒前的画面、当前帧。

在最难的泛化任务上，它比 Harness VLA 高 31 个点！

在外层构建一套自进化智能体框架，借助假设图做信息价值引导的物理试验选择，让代码和技能协同进化，再通过强化学习筛选有价值的分层记忆，每一次实体机器人试错都产出最大的信息收益。快速系统维护一张假设图，节点代表候选的代码假设、技能假设，边记录假设之间的迭代 refine 关系，每一次物理试验得到的轨迹、任务成败证据，用来更新各个假设的置信度。，打造了一套自进化智能体外层框架，让机器人自主判断下一步该探索什么，把实体交互的试错结果，直接转化为可复用的代码与操作技能。可以看到，简单原子任务场景仅代码方案尚可；

具身智能卷到模型层之后，竞争开始往 Harness 上转移了……

Thea：论文（https://arxiv.org/abs/2608.11246）、系统架构（https://eit-hai.github.io/thea/system.html）、物理世界接口（https://eit-hai.github.io/thea/gaps.html）、实验（https://eit-hai.github.io/thea/experiments.html）图中左侧提供已知测试信号，中间是单独取出的被测组件，右侧观察其响应，使开发者可以集中检查这一部分的行为。它的能力边界同样清楚。

具身智能的下一层：VLA、WAM 之后，抢的是 Harness 这层“衔接”

这样看，VLA 更强调观测、目标与动作之间的连接，WAM 更明确地学习动作对应的未来变化，两种能力也可以融合在同一个模型中。▲图4 | SelfWAM 中部展示训练时视频与动作信息如何交互，右上角给出单独的动作预测路径，右下角是可选的视频预测路径。两条路径的分开，使模型既能利用世界预测学习动作，也能在执行时保留较轻的动作生成流程。底部箭头将执行后的真实观测重新送回模型，刷新历史信息，让下一轮动作依据更新后的现场继续生成。模型能力的提升，还要通过合适的调用与反馈流程，才能稳定转化为完整任务的收益。

机器视觉中CNN与Transformer的原理及应用差异

涵盖鸟瞰图视角场景重建，多雷达与相机传感器特征融合，车辆行人轨迹预测以及可行驶区域精细化分割等核心任务，现有量产自动驾驶方案多采用卷积主干加Transformer辅助建模的混合结构。，这类机器人需要动态识别多变环境中的物体关联，需要建模远距离场景布局，全局注意力机制可以有效提升复杂环境下的感知鲁棒性，帮助机器人完成避障路径规划和适应动态场景。动态避障也是类似逻辑：卷积擅长认出"这是什么"，但很难判断"它接下来往哪走"——带时序注意力的结构可以关联多帧特征，预判轨迹。远距离特征的交互，一次运算就能完成。

百万无人机三维空域无冲突规划！浙大GuardPIBT：保留PIBT内核，神经网络只做残差建议

GuardPIBT提出一个很务实的思路：大规模多智能体规划，不用非此即彼——要么纯传统搜索，要么完全端到端神经网络。另一组启用网络重排序干预。保持优先级噪声、环境完全一致，对比H步闭环执行之后的整体代价，计算干预带来的收益，以此作为门控网络的标签。对停滞不前的少量长尾智能体，再调用时间索引SIPP做局部修复，不对全部智能体做昂贵的完整重规划，把算力消耗集中在少数卡住的个体。但也要认清边界：目前是离散体素仿真层面的验证，想要落地真实无人机集群，还需要对接动力学、噪声感知、在线动态新增/消失智能体等现实问题。

港科广UniWAM：把VLA和WAM揉进同一个Transformer，仿真真机双SOTA

而更有参考价值的是分布偏移测试LIBERO‑Plus，用来模拟光照、视角、物体布局、机器人状态、语言指令扰动，UniWAM总体成功率92.6%，在机器人本体扰动、语言指令、光照、背景扰动维度上取得最优结果。三者通过共享的注意力层互相交换信息，动作生成可以参考语义理解，也可以参考对未来画面的预判。，依靠人类第一视角数据、机器人演示数据、VQA数据联合预训练，在仿真、真实双环境的多项基准刷新性能，还揭示了人‑机联合预训练的对数‑线性缩放规律，为通用机器人基础模型提供了新的实现路径。

世界模型只训不推！华科&地平线ReDrive：推理期极简的端到端自动驾驶框架

对时空token施加掩码，利用可见部分特征预测被掩码位置的潜表征，由EMA目标编码器生成目标特征，使用L1损失对齐预测与目标表征。推理阶段舍弃未来预测器，保留编码器‑规划器极简链路，在仿真基准拿到不错指标的同时，降低车载推理算力压力。推理链路足够简洁，但仅依靠轨迹损失监督，表征很难学到场景未来演化规律，规划性能存在明显天花板。推理链路对比可以直观体现架构优势：对比推理阶段携带未来预测的世界模型方案，ReDrive上线推理完全剔除预测分支，前向计算仅保留编码器与规划器，不存在额外生成开销。

李飞飞团队把灵巧手数据交给 Agent，只用1条人类视频让真机成功率暴涨 3.5 倍？

▲表 |十一项任务的真实世界回放成功率。实验覆盖11项真实灵巧操作任务，任务类型包含刚体、铰接件、可变形物体，任务包括开瓶子、剪刀裁剪、礼物盒打包、打结、多杯抓取、电脑装机等。但现有方案大多是固定流水线，刚体、铰接物体、可变形物体需要完全不同的重建与运动生成逻辑，长时序多子任务场景很容易发生错误传播。重建完成后，优化仿真内物体掩码和视频掩码IoU，确定物体初始位姿，把物体、机器人一并部署进仿真环境。生成轨迹之后，调用仿真校验器验证接触、运动可行性，不达标就迭代调整，校验全部通过才进入下一阶段。

TRO顶刊｜隐蔽攻击下的多机器人安全学习控制：小规模学习，大规模泛化

简单说，它不是等攻击被检测出来再补救，而是把攻击者和防御者放进同一个微分博弈里，在线学习双方的策略，让机器人团队在“最坏攻击”下继续完成任务。在 β = 0.5 的包含控制实验中，DSLC 的 IAE 为 21.44，低于 DRHRL 的 31.66，相对降低 32.3%，说明它在攻击下确实实现了更优的控制性能。每组左侧为实物快照，右侧为运动轨迹。在六机器人直线编队实验中，β = 1 时，DSLC 的 IAE 为 2.19，DRHRL 为 7.30，相对降低 70.0%，体现了受攻击时的协同控制性能改善。

用卫星地图训练无人机导航！SatNav：11.8万条长程导航任务，真机部署已验证

受房间、走廊的空间和通行条件限制，室内很难构建丰富的长距离路线，模型的长期记忆和连续决策能力也难以得到充分测试。室外有丰富的建筑、湖泊和道路，借助卫星地图，可以方便地生成不同长度和布局的任务。不带星号的模型从对应的基础模型开始训练。UniNaVid 使用已有导航训练的权重，再在 SatNav 上微调，相比从通用基础模型开始训练，在 Test Seen 和 Test Unseen 上的成功率分别提升。适配器将无人机图像的特征对齐到卫星图像的特征空间，让 SatNav 上训练的导航模型能够使用真实无人机画面。

清华 AIR 重磅三连：不改一行权重，跑通机器人自进化闭环

真机化学实验场景 ChemLab-Evo（ARX 机械臂）Level-1 三任务均值 83.3%（π0.5 73.3、Cosmos3-Nano 70.0、Fast-WAM 76.7、LingBot-VA 71.7），其中取试管 100%、放烧杯 70%、倒水 80%；实验数据显示，LIBERO-Pro 上 π0.5 的 Goal-T 由 31.0% 升至 92.5%、Goal-S 由 38.0% 升至 89.0%，Goal 平均 34.5%→90.8%；held-out 即便严谨，也仍是同一实验室的划分。

像素扩散缺的不是构图，是纹理：UCSD×Adobe 用 GAN 后训练补齐高频

在 DeCo 的匹配实验中，感知监督提高了 TOPIQ 和 MANIQA 等无参考质量分数，却使 FID 从 33.27 变为约 34.1，DPG 从 81.6 变为 81.4。原有学习目标继续约束生成过程，额外的判别器比较真实图像与模型预测的干净图像，并为生成模型提供反馈。对抗监督的效果，既取决于输出中是否存在可修正的误差，也取决于可训练的表示能否有效改变这些图像成分。一张生成图可以有正确的构图和主体，却仍然缺少让人相信它的纹理：毛发略显平滑，砖墙不够细致，材质也少了一些层次。加粗为各模型中更好的结果。

JEPA进军端到端！杨立昆团队最新：百倍推理加速，让JEPA世界模型真正能“上车规划”

可以清晰看到基线的矛盾：DINO‑WM、JEPA‑WM规划效果优秀，但单场景规划耗时接近100秒，完整数据集评测几乎不可行，完全达不到自动驾驶实时性硬性约束；LeWM速度快，但几何误差巨大，FDE达到12.4米，规划基本不可用。这篇AD‑E2E‑JEPA论文瞄准一个很现实的工程痛点：现有的JEPA自动驾驶世界模型陷入两难，一部分模型规划精度尚可，但单场景规划耗时动辄一分钟以上，完全无法实车部署；，FDE为3.2m，Top‑1命中率47%，已经追上DINO‑WM、JEPA‑WM的规划水平。

浙大高飞团队DiffWAM：不生成视频也能导航，机载延迟1.08秒，让无人机导航更快更轻

第一，时序关联：在特征网格内部，跨时间索引抓取前后时刻特征，计算特征差异，捕捉物体、相机的运动变化；在模型计算新轨迹的这段时间，飞行器本身还在不停运动，等推理完成之后，观测对应的机体状态已经发生偏移，新生成轨迹和现实机身状态对不上，这是大模型机载部署非常现实的工程痛点。浙大高飞团队联合微分智飞提出的DiffWAM给出一条不一样的技术路径：不需要在线输出完整未来视频，直接复用冻结视频世界模型的多层中间预测特征，搭配单帧图像几何信息，解码输出连续的无人机SE(3)相机轨迹。

Claude满分、GPT 99分！何恺明团队VISTA把ARC-AGI-3打穿了，动作比人类少57%

上下文快要溢出时，模型写一份交接摘要，开启全新上下文会话，，只是在模型外部增加视觉工具层，原始观测图像完整保存，模型推理过程中可以主动调取历史任意帧画面、放大局部细节，不用把画面压缩成文本摘要。在开源模型GLM‑5.3 Flash 320B上面，完整VISTA也实现66.93的RHAE，远高于官方基线1.89，证明这套视觉harness不是闭源大模型专属，对开源基座同样有增益。该工作给出一个很有启发的思路：提升交互式智能体，不一定一味追求更大的基座模型，也可以在模型外层做“感知‑记忆‑检索”的外设框架。

香港中文大学：人形全身操作的三大痛点，WholeBodyWAM 如何破解？

不同全身控制器（Whole-Body Controller, WBC）对外暴露的命令接口，物理含义并不一致——相似的动作，在A控制器里是任务空间目标，在B控制器里可能是关节目标，导致动作语义难以复用；图1 | WholeBodyWAM总览：面对“扩展动作接口”与“从零重学全身”两条路线，论文选择第三条路——通过WBC锚定，把预训练WAM的世界–动作先验保留并推广到人形全身操作。在每任务50/100条示教的低数据预算下，WholeBodyWAM的优势最大——这正是“有效复用预训练世界–动作先验”的直接体现。

Bridge-WA 把世界模型拆成三件事：未来状态、变化区域、局部运动

WorldBridge 根据世界先验与当前动作特征的匹配程度，调节注意力更新和 FiLM 特征调制的强度：先验有帮助时使用它，先验与当前决策不相容时减弱它。视觉语言动作模型（VLA）已经能够理解“拿起什么、放到哪里”，但到了真实操作现场，背景、光照或相机视角稍有变化，动作仍可能失误。不要求机器人在每次决策时生成未来视频，而是从当前观测预测未来状态、变化区域和局部运动，再通过可靠性门控将这些先验用于动作生成。论文中的例子显示，任务语义没有改变，仅仅更换外观或视角，就可能出现碗掉落、机械臂碰撞等失败。

中国高校“屠榜”Nature Index，哈佛十年第一首次易主？

清华增长 18.7%，上海交大增长 25.6%，中科大增长 20.1%，北大增长 16.8%，南京大学增长 16.5%，四川大学增长 33.3%，复旦增长 21.6%。按照 2026 Research Leaders 公布的数据，哈佛的 Share 从 2024 年的 1251.70 增长到 2025 年的 1259.01，身体进得去，形态变得了，策略学得对物理，技能留得住。把这些工作重新放回 Nature Index 的榜单里，会发现这篇文章真正有意思的地方，并不是要证明“榜单上的学校机器人都很强”。

从单帧到整组相机：浙大 StreamRig 将 rig 内几何引入流式里程计

零样本条件下，StreamRig 的三项指标均列第一：平移漂移 3.48%（次优 CUT3R 为 4.61%），ATE 0.88 米，旋转漂移 14.88°/100 m，较 CUT3R 的 39.85°/100 m 低约 63%。对真机数据昂贵的人形机器人，“仿真训练、真机直接部署”的路线已在 ZJH 上得到初步验证，但真机的公制尺度仍需额外标定。展望方面，NCLT 上的探索性试验提示，压缩后的 rig token 或可用于同一采集序列内的重访检索，但论文未对此做定量评估，判定阈值也仍需逐序列调整。

每条路线都跑出惊艳 Demo，为什么具身智能依旧难以落地？

把语言、图像、视频、音频和 action 放进统一的 omnimodal world model 中，并同时探索 robot policy、forward dynamics 与 inverse dynamics。它负责理解场景、拆分多步任务，甚至协调多台机器人，但真正的 motor execution 仍然可以交给下面的 VLA。这一方向现在呈现出的趋势，不是让 reasoning model 一路控制到电机，而是让它承担更长时程的任务理解、监控和协调，把具体执行交给 VLA、运动规划器和专用技能。