进化计算在核学习与机器人领域的应用
1. 进化核学习
1.1 定义与背景
进化核学习是指使用进化算法为核方法设计核函数。在基于核的学习算法中,核函数隐式定义了算法运行的特征空间,它决定了特征空间中的标量积和度量。选择合适的核函数对学习机器的训练精度和泛化性能至关重要,同时也会影响训练期间和之后的运行时间和存储复杂度。
传统的核函数选择方法存在一定局限性。例如,网格搜索计算复杂度高,仅适用于调整少数参数;梯度-based 方法要求核函数类具有可微结构,且不可微或分段常数的评分函数可能会导致问题。而进化核学习不受这些限制,还允许进行多目标优化(MOO)以满足多个核设计标准。
1.2 学习系统结构
典型的进化核学习可以描述为一种进化算法(EA),个体编码核函数。设计用于核学习的 EA 时,需要考虑两个特殊方面:一是如何评估特定核的性能(即适应度),这需要根据具体问题定义模型选择标准;二是指定 EA 要搜索的可能核函数子集,这涉及到如何编码核以及采用哪些变异算子。
1.3 适应度评估:模型选择标准
- 样本数据准确性 :评估模型的最直接方法是考虑其在样本数据上的性能。可以考虑训练数据的经验风险,但它不能衡量泛化能力。为了估计泛化性能,需要评估未用于训练的数据的准确性。简单的方法是将可用数据分为训练集和验证集,更理论上合理且简单的方法是交叉验证(CV)。如果数据充足,建议在每一代重新采样用于适应度评估的数据以防止过拟合。
- 基于泛化性能界限的度量 :统计学习理论提供了学习机器预期泛化误差的估计
超级会员免费看
订阅专栏 解锁全文


被折叠的 条评论
为什么被折叠?



