流形学习（一）LLE 在 MATLAB 中的实现及实例

目录

LLE(Locally linear Embedding)

基本思想

Step1 最近邻确定与最佳权重

step2 全局嵌入学习模型

step3 求解优化问题

算法步骤

MATLAB程序实现

总的MATLAB代码

       流形学习，全称流形学习方法(Manifold Learning)，自2000年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。在理论和应用上，流形学习方法都具有重要的研究意义。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。（百度百科）

       下面我们将介绍三种流形学习及其在瑞士卷上的应用

LLE(Locally linear Embedding)

        LLE 方法是发表在science上的文章， 是流形学习的开山之作，自然被最先介绍。论文地址为

S. Roweis and L. Saul, “Nonlinear dimensionality reduction by locally linear embedding,” Science, vol. 290, pp. 2323–2326, 2000.

基本思想

       给定数据集，通过最近邻等方式构造一个数据图(data graph)。然后在每一个局部区域，高维空间中的样本线性重构关系在低维空间中均得以保持。

Step1 最近邻确定与最佳权重

对于数据集中的任意一个, 按照欧式距离我们确定出离它最近的 k 个元素， 记为 , 我们计算 的最优权重表示

由拉格朗日乘子法，可得  的线性表示解为

其中