27、不平衡学习中的降维技术

不平衡学习中的降维技术

1. 引言

在不平衡学习中，高维数据十分常见，其显著特征是变量数量远超样本数量。经典分类器通常在各类别样本数量不均的数据集上进行训练，而高维性会给类别平衡预测带来额外挑战，这在生物医学领域常用的高维工具——微阵列数据的预测研究中得到了体现。

对于高维数据分类，降维（DR）至关重要，可通过特征选择（FS）或特征提取实现。FS 是指识别用于学习分类模型的特征子集，可在分类器开发前进行，也可融入分类方法；特征提取则是从原始特征的关键信息中创建一组简化的人工属性，以替代原始特征进行学习任务。

降维的重要性体现在两方面：一是当特征数量多于观测值数量时，部分分类模型无法构建；二是去除冗余或与其他特征有明显关联的特征，可提高预测准确性。

在处理不平衡高维数据时，直接使用分类器可能导致分类结果严重偏向多数类，这种偏差程度取决于分类方法、类别差异大小和不平衡程度。使用标准 FS 方法会加剧偏差，属性标准化通常也会增加偏差，除非训练和测试组的类别不平衡程度相同。因此，建议使用数据层面的采样技术构建平衡的训练数据集，以设计准确的模型。

以下是处理高维不平衡数据集的标准建议：
1. 尽可能使各类别的样本收集达到平衡。
2. 使用标准分类器评估类别不平衡的影响。
3. 根据类别不平衡的影响和预设的误分类成本选择合适的分类器。

在介绍降维技术前，先了解一下不平衡分类中两个常用方法——SMOTE 和 KNN 在高维情况下的研究情况。

2. 高维数据对 SMOTE 和 KNN 的影响

2.1 SMOTE 过采样

有研究探讨了高维数据