超级会员免费看
储备池学习：从学习到学习的新范式
在传统的储备池计算中，通常会采用一个“现成”的储备池，如具有随机突触权重的递归神经网络或复杂的物理设备，然后针对特定的计算任务调整从该储备池进行线性读出的权重。然而，我们不禁思考：如果在为特定计算任务优化线性读出权重之前，先针对所有可能感兴趣的任务范围优化储备池的一些（超）参数，而不是仅针对单个任务进行优化，储备池计算的性能是否会显著提高呢？
1. 引言
液体计算模型的引入，旨在理解大脑中的复杂神经回路或皮质柱如何支持大脑需要解决的各种计算和学习任务。研究表明，具有随机权重的脉冲神经元递归网络（RSNNs），包括具有给定层间和神经群体连接概率的皮质柱模型，实际上可以支持大量不同的学习任务，在这些任务中，仅需针对特定任务调整读出神经元的突触权重。
考虑到大脑的学习能力，我们有理由认为这些神经网络的突触权重并非随机选择，而是通过一系列过程塑造而成，这些过程可能旨在提高网络的学习和计算能力。因此，我们提出疑问：是否可以通过优化递归网络内递归连接的权重，来提高储备池在大量学习任务中的性能？学习到学习（Learning-to-Learn，L2L）框架为研究这个问题提供了合适的方法。
L2L框架基于认知科学、神经科学和机器学习领域对元学习的长期研究。该框架假设学习（或优化）在两个相互作用的循环中进行。外循环旨在捕捉更大时间尺度上的适应影响，例如大脑的进化、发育和先前学习。它针对一个通常无限大的学习任务族F优化一组参数Θ。内循环则针对F中的特定任务C，神经网络可以调整那些不属于外循环控制的超参数Θ的参数。
2. 优化储备池以学习
在解决储备池计算任务的典型工作流程中，我们需要解决两个主要问题：一是
订阅专栏 解锁全文
374
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
