领域 ALL
特色 ALL
请选择
速览
今日热度
LEANN: A Low-Storage Vector Index
NLP VDIT RecSys / IR DRSA Neural Search AI Systems and Hardware EDIO VDRAD
1.43w
热度
2025年06月09日
基于嵌入的向量搜索支撑着许多重要应用,例如推荐系统和检索增强生成(RAG)。该技术依赖向量索引来实现高效搜索。然而,这些索引需要存储高维嵌入向量以及庞大的索引元数据,其总体规模可能达到原始数据(如文本片段)大小的数倍。如此高的存储开销使得在个人设备或大规模数据集上部署向量搜索变得困难甚至不切实际。为解决这一问题,我们提出了LEANN——一种面向向量搜索的高效存储索引方案,它通过即时重新计算嵌入向量而非预先存储,并对最先进的近似图索引进行压缩,同时保持搜索精度。LEANN能够在仅使用极小部分存储空间(例如仅为原始数据的5%)的情况下实现高质量的向量搜索,并支持存储高效的索引构建与更新。在真实场景的基准测试中,与传统索引相比,LEANN可将索引大小减少高达50倍,同时在RAG应用中保持最先进的搜索精度和相当的响应延迟。
许愿开讲
PDF
解读
How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?
Agent Agent Eval Benchmarks Autonomous Workflows ML AutoML
879
热度
2026年09月30日
近期涌现的自主机器学习工程(MLE)智能体在公开排行榜上取得了显著进展。然而,由于长周期任务中性能提升趋于停滞,加之大语言模型(LLM)基础能力(如读取、写入、Shell执行等原语)尚显有限,当前的MLE智能体往往依赖日益复杂的系统架构:例如多智能体协同调度器、专用检索子智能体等。尽管此类复杂架构持续演进,但学界却极少关注另一条技术路径——即采用更基础但能力更强的代码生成智能体:这类智能体直接通过读取(read)、写入(write)和Shell命令(bash)等原语与执行环境交互。本文发现,在相同的时间预算约束下,且采用同一前沿大语言模型作为主干网络时,当前开源的最先进复杂架构智能体,其性能并不优于一个仅含单次会话的极简架构代码智能体基线模型;这表明模型主干网络本身才是性能提升的主要驱动力。我们通过一系列大规模、系统性的消融实验进一步论证:在代码智能体任务场景中,上述各类附加架构层实为冗余。最终我们得出结论:围绕强模型人工设计并不断堆砌复杂架构的努力,在当前MLE基准测试中所获得的性能增益极为有限,投入产出比低下。
许愿开讲
PDF
解读
Into the LidarVerse: A Real-Time Unified LiDAR World Model Across Tasks and Sensors
Embodied AI and Robotics World Models AD ML Generative Models
451
热度
2026年10月13日
我们提出了LidarVerse——一种面向多任务、多传感器的实时统一激光雷达(LiDAR)世界模型,专用于传感器仿真。当前的激光雷达仿真器主要遵循两种互为补充的范式:基于重建的方法能够忠实保留真实采集场景的几何结构,但需针对每个场景进行耗时的单独优化;而生成式方法则通过对大量数据进行联合学习来摊薄训练成本,却难以保证长时序 rollout 所必需的一致性。LidarVerse 将上述两类范式融合进一个统一的条件生成框架之中。该框架采用一种通用分词器(universal tokenizer),将激光雷达的距离序列映射至共享潜在空间;在此空间中,一个双向教师模型(bidirectional teacher)学习构建统一接口,以支持对多种条件输入进行建模——包括激光雷达前缀(LiDAR prefix)、高精地图(HD-Map)、持久化空间缓存(persistent spatial cache),以及可选的文本提示。通过灵活调整可用的场景先验信息,同一模型即可动态切换角色:或生成全新的虚拟世界,或预测点云未来状态,或在无需逐场景优化的前提下,泛化地重仿真已观测场景。我们进一步将教师模型蒸馏为一个四步自回归因果学生模型(four-step autoregressive causal student),并同时维护一个滚动式时间维度键值缓存(rolling temporal K/V cache)与一个世界坐标系对齐的空间缓存(world-aligned spatial cache),从而实现在单块H100 GPU上以11 FPS的帧率完成持续、长时序的实时推理。在全部三项评估协议所涵盖的大多数指标上,LidarVerse 均达到当前最优性能;其分词器不仅原生支持32线、64线和128线激光雷达,还可泛化至未见过的扫描模式。这些结果表明,生成式建模能力与重建导向的几何保真性可在单一模型中协同实现,为未来闭环式传感器仿真提供了核心基础能力。
许愿开讲
PDF
解读
A Fix for Softmax and Cross-Entropy
ML LFDDR POA
446
热度
2026年10月22日
标准的 softmax、log-softmax 和交叉熵实现存在两个数值缺陷。第一个缺陷称为“softmax 崩塌”(Softmax Collapse):当某一个目标 logit 显著大于其余所有 logits 时,其梯度在计算中会被舍入为零,导致各 logits 的梯度之和不再为零。第二个缺陷称为“softmax 抵消”(Softmax Cancellation):当学生模型的 logits 与教师模型的 logits 非常接近时,即使二者完全相等,该实现仍会产生非零梯度。我们提出了 log-softmax、softmax 和交叉熵的简洁新实现,可同时修复上述两个缺陷。我们的修正方案消除了此前观测到的“弹射现象”(Slingshot phenomenon),在引入权重衰减(weight decay)时加速了“顿悟”(grokking)过程,在未使用权重衰减时防止了准确率崩塌(accuracy collapse),在知识蒸馏过程中阻止了学生网络偏离教师模型,并进一步揭示:在完成记忆阶段后,logits 的增长将趋于稳定——这一平衡态由权重衰减与 Adam 优化器的超参数 $ε$ 共同决定。
许愿开讲
PDF
解读
HiP3R: Hierarchical Pose Graphs for Long-Horizon 3D Reconstruction
AK's Picks CV VSER
317
热度
2026年10月22日
前馈模型能够基于短视频片段准确估计相机运动与三维几何结构。然而,其计算开销和内存消耗较大,难以直接对包含数千帧的长视频序列进行端到端推理。因此,长视频必须被划分为若干重叠的片段(chunks)分别处理。这种划分方式导致生成彼此独立的局部重建结果:各片段采用不一致的坐标系,且对重叠区域中的共享相机存在重复估计。为实现全局一致性,需在整段序列中传播来自相邻重叠区域及远距离回访帧的几何约束。这一需求自然引出了位姿图优化(pose graph optimization)方法。但图结构的粒度选择带来了一定权衡:以片段为节点构建的位姿图能高效校正尺度漂移并闭合大范围回环,但其刚性变换无法修正片段内部误差或缓解帧间预测冲突;而以单帧为节点的优化虽具备更强的局部灵活性,却在全局扩展时面临高昂的计算成本,且易破坏度量尺度的一致性。HiP3R 通过构建一种分层位姿图(hierarchical pose graph)来解决上述权衡问题:首先,对鲁棒的片段级 $\mathrm{Sim}(3)$ 位姿图进行优化,以确立整体场景布局与全局尺度;随后,在固定该布局的前提下,为每一帧估计一个共享的 $\mathrm{SE}(3)$ 相机位姿,从而将多个重叠窗口的预测结果融合为一条统一、连续的相机轨迹。在多个基准数据集上的实验表明,HiP3R 能显著提升相机轨迹精度与三维重建质量。本方法可无缝适配基于分块处理(chunk-based)或流式处理(streaming)的各类后端系统,无需额外训练或微调。源代码已开源,地址为:https://kkakkkka.github.io/HiP3R。
许愿开讲
PDF
解读
Dream What I Can: Sparse Visual Planning for Long-Horizon Robot Manipulation
Embodied AI and Robotics World Models Task Decomposition
310
热度
2026年10月18日
视频模型为通用机器人操作提供了丰富的先验知识,但看似合理的视觉未来预测并不总能实际执行。本文提出 DreamCan——一种通过稀疏视觉规划将视频模型落地的分层策略:其高层规划器源自预训练视频模型,底层则为视觉运动策略。该高层规划器并不预测稠密的动作轨迹,而是生成稀疏的视觉子目标,从而在可达性与任务效用之间取得平衡。我们仅利用离线采集、无动作标注的机器人视频数据,便能估计上述两项指标,并借助动态规划算法自动选取最优子目标序列,全程无需人工标注。实验表明,由此生成的子目标比均匀间隔选取的子目标更易可靠达成;整套系统在各项基准测试中均显著优于基于语言、稠密视频以及均匀子目标的规划方法:在 Language-Table 任务上达到很高的规划成功率,在 LIBERO-Long 基准上更以仅含 0.1B 参数的轻量级底层策略实现了 91.2% 的任务成功率。进一步引入额外的次优视频样本并增加测试时计算资源,还可进一步提升成功率。此外,该系统亦能成功完成多项具挑战性的现实世界双臂操作任务,包括纸盒折叠与装箱,且可泛化至未见过的物体组合场景。更多实验结果请参见 https://dreamcan.github.io/。
许愿开讲
PDF
解读
BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing
LLM MQIA Long Context ML TAVR
298
热度
2026年10月22日
循环式架构通过将激活值反复送入同一组网络层,实现在参数量恒定的前提下提升模型性能。然而在推理阶段,每次循环都会生成独立的键值缓存(KV-cache),导致内存占用随循环次数线性增长。为应对这一挑战,先前研究提出了“KV共享”(即在不同循环深度间复用同一份KV缓存)策略,并发现:在某些情况下,可将最后一次循环所生成的KV缓存直接复用于此前各次循环,且不会造成性能下降;我们将这一特性称为“KV可共享性”(KV-shareability)。然而,目前学界对KV可共享性的内在机理仍缺乏深入理解——即便是结构完全相同、训练过程一致的循环式模型,其KV可共享性也未必稳定出现。本文聚焦于探究如何在循环式模型中主动构建并增强KV可共享性。我们提出一种两阶段方法:第一阶段,在预训练过程中引入随机深度(stochastic depth)机制,该机制促使残差动态呈现收缩性,从而推动各次循环所产生的表征逐步收敛至一个共同极限;第二阶段,我们提出名为BeNice!的后训练方法:将最后一次循环生成的KV缓存广播至第一次循环,并在保持原始模型性能不变的前提下,针对性地微调首次循环,使其输出与共享缓存相兼容的残差。结果表明,BeNice!不仅成功实现了KV可共享性,其在未启用KV共享时的验证困惑度(validation perplexity)亦与标准微调方法完全相当。借助BeNice!,我们进一步证实KV共享可与各类其他KV压缩技术协同增效:既可与内存高效的序列混合器(如多隐变量注意力机制、Kimi Delta注意力机制)组合使用,亦可与低精度KV缓存量化技术(如fp8、mxfp8、nvfp4)联合部署。最后,在模拟的低内存、长上下文推理场景下,KV共享使缓存命中率最高提升31.4%,吞吐量最高提升23.6%,第90百分位的首Token生成延迟(p90 time-to-first-token)最高降低83.6%。
许愿开讲
PDF
解读
Uniform convergence at optimal rate and scale
ML NNGTB
269
热度
2026年10月17日
一致收敛性所探讨的问题是:需要多少个随机样本,才能使得经验均值在整类函数上同时地、一致地逼近其理论期望值。它既是概率论中的一个核心概念,也是统计学习理论的重要基石。对于取值为二元(即{0,1})的函数类,Vapnik–Chervonenkis定理指出,一致收敛性成立当且仅当该函数类的VC维有限;进一步地,当VC维为 $d$ 时,为达到加性误差 $\varepsilon$ 所需的最坏情形样本复杂度(即最小样本量)精确地为 $d/\varepsilon^2$ 量级。而对于实值函数类,与之对应的组合参数是“胖破碎维数”(fat-shattering dimension),它依赖于一个近似尺度 $\gamma$。此时的关键挑战在于:能否仅用 $d/\varepsilon^2$ 量级的样本,就实现总误差为 $\gamma + \varepsilon$ 的一致逼近——其中 $d$ 现在指在尺度 $\gamma$ 下的胖破碎维数;这一样本量界须与前述二元函数类的最优界完全匹配。此前的研究成果要么达到了最优的误差尺度(即最优 $\gamma$),要么实现了最优的样本复杂度(即最优 $d/\varepsilon^2$),但始终未能二者兼得。本文的主要结果成功弥合了这一长期存在的缺口,首次确立了在最优误差尺度下的尖锐(即不可改进的)样本复杂度界。在证明过程中,我们发展并运用了若干可能具有独立意义的技术工具: 第一,我们引入了“带间隔的 $\varepsilon$-网”($\varepsilon$-nets with margin)。经典定义中,一个 $\varepsilon$-网要求与给定函数族中所有测度不小于 $\varepsilon$ 的集合均发生交集;而我们允许该网仅需与每个此类集合的一个略微放大版本相交。出人意料的是,这一看似微小的松弛,却使得所得界在自然的几何设定下可完全摆脱环境空间维度的影响。 第二,我们在离散与实值两类设定下均获得了更优的覆盖数(covering number)上界:一方面,我们将Haussler覆盖引理推广至“偏概念类”(partial concept classes);另一方面,利用这一推广,我们为实值函数类构造出了在最优尺度下达到最优 $\ell_2$ 距离精度的覆盖。 第三,我们通过精心设计覆盖结构,实现了在最优尺度下的“链式界”(chaining bound):具体而言,我们使逐层逼近所用的覆盖彼此对齐,从而保证后续层级的近似结果相较前一层越来越接近目标函数,进而显著提升链式论证的整体效率。
许愿开讲
PDF
解读
Attention Is Not What You Need
ML TAVR DML
211
热度
2025年12月22日
我们重新审视序列建模中的一个基本问题:显式的自注意力机制是否确实是实现强大性能和推理能力所必需的?我们认为,标准的多头注意力机制最好被理解为一种张量提升(tensor lifting)形式:隐藏向量被映射到成对交互的高维空间中,学习过程则通过梯度下降对该提升后的张量施加约束。这一机制虽然表达能力极强,但在数学上却不够透明,因为经过多层堆叠后,模型很难再用少量显式不变量来描述。为了探索另一种可能,我们提出了一种基于格拉斯曼流形(Grassmann flows)的无注意力架构。我们的因果格拉斯曼层(Causal Grassmann layer)并不构造 L×L 的注意力矩阵,而是(i)线性地压缩令牌状态,(ii)通过普吕克坐标(Plücker coordinates)将局部令牌对编码为格拉斯曼流形上的二维子空间,(iii)再通过门控混合机制将这些几何特征融合回隐藏状态中。因此,信息通过在多尺度局部窗口上对低秩子空间进行可控变形而传播,其核心计算发生在有限维流形上,而非无结构的张量空间中。在 Wikitext-2 语言建模基准测试中,仅基于格拉斯曼机制、参数量在1300万至1800万之间的模型,其验证困惑度(perplexity)与同等规模的Transformer模型相比,差距约为10%至15%。在 SNLI 自然语言推断任务中,将格拉斯曼-普吕克模块作为 DistilBERT 的顶层分类头时,其表现略优于标准的Transformer分类头,最佳验证准确率和测试准确率分别为 0.8550 和 0.8538,而后者为 0.8545 和 0.8511。我们分析了格拉斯曼混合的复杂度,证明其在固定秩的情况下具有关于序列长度的线性缩放特性,并认为这类基于流形的设计为从几何和不变性角度理解神经网络推理过程提供了更结构化的路径。
许愿开讲
PDF
解读
Entropy-Preserving Reinforcement Learning
ML RL PGPO
198
热度
2026年03月12日
策略梯度算法推动了近期语言模型推理能力的诸多进步。其一大优势在于能够基于自身生成的轨迹进行自主探索式学习,这一过程对激发多样化与创造性的解决方案至关重要。本文表明,许多策略梯度算法在训练过程中会自然地降低策略熵——即所探索轨迹的多样性——从而导致最终策略的探索能力持续受限。本文主张,熵应在整个训练过程中被主动监测与调控。我们从理论上系统分析了主流策略梯度目标函数对熵动态演化的影响机制,识别出若干显著影响熵行为的经验性因素(例如数值精度),并提出了明确的熵调控机制:其一为REPO(Reward-Entropy-Preserving Optimization)算法族,通过修正优势函数(advantage function)来实现对熵的调节;其二为ADAPO(Adaptive Asymmetric Clipping for Policy Optimization),一种自适应非对称裁剪方法。采用我们提出的保熵训练方法所得到的模型,能在整个训练过程中持续维持策略的多样性,最终习得性能更优的策略,且该策略在新环境中仍具备良好的可迁移性与后续顺序学习能力。
许愿开讲
PDF
解读