2025_NIPS_1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Cap

一、文章主要内容总结

该研究聚焦强化学习（RL）的扩展性问题，核心探索网络深度对自监督强化学习（self-supervised RL）性能的影响。传统RL模型多采用2-5层的浅层架构，而NLP、计算机视觉等领域的深度模型已证明规模缩放的有效性。为此，研究团队以对比强化学习（CRL）为基础，结合残差连接、层归一化、Swish激活函数等架构技术，构建了深度可达1024层的RL模型，在无演示、无奖励的无监督目标条件设置下开展实验。

实验覆盖移动、导航、机器人操作等多类任务（如Ant迷宫导航、Humanoid人形机器人任务、机械臂操作），结果显示：

1. 深度扩展带来显著性能提升，相较于传统4层模型，部分任务（如Humanoid相关任务）性能提升2-50倍，在10个任务中有8个超越SAC、TD3+HER等主流目标条件RL基线；
2. 性能提升并非平滑增长，而是在特定临界深度（如Ant Big Maze的8层、Humanoid U-Maze的64层）出现突变，伴随全新行为模式的涌现（如人形机器人学会翻越墙壁、坐姿蠕动等复杂动作）；
3. 深度缩放的效果优于宽度缩放，且能解锁批量大小（batch size）缩放的潜力，同时 actor 和 critic 网络的联合深度扩展可形成互补优势；
4. 深度模型通过学习更丰富的表征、优化探索与模型表达能力的协同作用、精准分配关键状态区域的表征容量等机制实现性能突破，但该优势在离线RL场景中暂未显现。

二、创新点

1. 突破RL深度缩放瓶颈：首次系统性验证将RL模型深度扩展至1024层的可行