集成学习
集成学习（Ensemble Learning）是一种机器学习技术，它通过结合多个学习器（也称为基学习器或模型）的预测结果来提高单个学习器的性能。集成学习的目标是构建一个强学习器，它通常比任何单个基学习器都要表现得更好。
基本原理
集成学习的核心思想是：通过组合多个模型，可以减少单个模型的偏差和方差，从而提高整体的预测准确性和鲁棒性。以下是集成学习的几个关键概念：
基学习器：集成学习中的单个模型，它们可以是决策树、神经网络、支持向量机等。
多样性：集成学习中的一个关键要素是确保基学习器之间具有一定的多样性。多样性可以通过不同的训练数据、不同的算法或不同的特征子集来实现。
结合策略：如何将基学习器的预测结果结合起来，以形成最终的预测。常见的结合策略包括投票（对于分类问题）和平均（对于回归问题）。
集成学习方法
集成学习可以分为两大类：序列集成学习和并行集成学习。
序列集成学习：
提升（Boosting）：通过迭代地训练基学习器，并加权它们的预测结果。每个后续的基学习器都试图纠正前一个学习器的错误。典型的提升算法包括AdaBoost、XGBoost和LightGBM。
并行集成学习：
装袋（Bagging）：通过随机采样训练多个基学习器，并独立地训练它们。最终的预测结果是这些学习器的简单投票（分类）或平均（回归）。随机森林是装袋的一个例子。
堆叠（Stacking）：训练多个不同的基学习器，然后使用一个新的模型（称为元模型或次级学习器）来结合这些基学习器的输出。
优点
提高预测性能：集成学习通常能够提供比单个模型更好的预测性能。
减少过拟合：通过结合多个模型，可以减少过拟合的风险。
增强模型的泛化能力：集成学习有助于模型更好地泛化到新的数据集上。
缺点
计算成本高：训练和结合多个模型通常需要更多的计算资源。
模型复杂：集成学习模型通常比单个模型更复杂，更难解释和理解。
集成学习在许多机器学习竞赛和实际应用中取得了显著的成功，特别是在需要高预测准确性的场景下。
