10、扁平神经网络与快速学习算法

扁平神经网络与快速学习算法

1. 引言

前馈人工神经网络近年来一直是热门的研究课题，研究主题涵盖从学习算法的理论视角（如网络的学习和泛化特性）到控制、分类、生物医学、制造和商业预测等各种应用领域。反向传播（BP）监督学习算法是为分层网络开发的最流行的学习算法之一，提高BP的学习速度和增强网络的泛化能力一直是神经网络研究的核心。

除了多层网络架构和BP算法，人们还设计了各种简化架构或不同的非线性激活函数。其中，所谓的扁平网络，包括功能链接神经网络和径向基函数网络被提出。这些扁平网络消除了长时间学习过程的缺点，且只需学习一组权重。最重要的是，相关文献报道了它们在函数逼近方面具有令人满意的泛化能力。

这里将讨论扁平网络以及用于训练扁平网络的一步快速学习算法和逐步更新算法。虽然这里仅以功能链接网络为原型，但这些算法也可应用于径向基函数网络。这些算法是基于功能链接网络的线性系统方程公式开发的。由于径向基函数网络的系统方程与功能链接网络形式相似，且两者都具有相似的“扁平”架构，因此更新算法也可应用于径向基函数网络。逐步方法的最大优点是，在网络训练后，如果有新输入，网络的权重连接可以轻松更新，权重可以根据原始权重和新输入轻松更新。如果无法满足期望的误差标准，当向现有网络添加新神经元时，逐步方法也能立即更新权重。通过这种学习算法，扁平网络在学习速度方面极具吸引力。

2. 功能链接网络的线性系统方程

功能链接网络具有特征扁平性。该网络由多个“增强”节点组成，这些增强节点用作网络的额外输入。从输入节点到增强节点的权重是随机生成的，之后固定不变。具体来说，一个增强节点是通过先对输入节点进行线性组合，然后对其应用非线性激活函数 $\xi(\cdot)$ 来构建