2025_NIPS_Self-Supervised Reinforcement Learning that Transfers using Random Features

文章核心总结与翻译

一、主要内容

文章提出一种自监督强化学习算法RaMP（Random Features for Model-Free Planning），旨在解决模型无关强化学习（MFRL）泛化能力弱、模型基强化学习（MBRL）易受累积误差影响的问题。其核心是通过无监督预训练学习与任务无关的随机特征累积（Q-basis），隐式建模环境动力学，在测试时通过线性回归重组Q-basis以快速适配新奖励函数，最终结合模型预测控制（MPC）实现跨任务迁移。实验在机器人操作、移动等多个高维、长时域场景中验证了该方法的迁移效率和扩展性，性能优于MBPO、PETS等基线算法。

二、创新点

1. 随机特征与Q-basis设计：用大量任务无关的随机特征替代特定奖励函数，通过MFRL学习其长期累积形成Q-basis，实现动力学与奖励、策略的解耦，且无需显式建模动力学。
2. 自监督与离线训练兼容：可基于无奖励标签的离线数据集预训练，避免对训练任务的依赖，天然适配大规模通用离线数据。
3. 高效在线适配机制：新任务仅需通过线性回归将奖励函数映射为Q-basis的线性组合，结合MPC快速规划，无需重复大量计算。
4. 兼顾扩展性与迁移性：规避MBRL的累积误差问题，同时突破MFRL的任务绑定限制，支持高维观测、长时域和复杂动作空间场景。

三、关键部分翻译（Markdown格式）

Abstr