集成学习的悖论：弱学习器的组合可以比强学习器更强

大数定律告诉我们，多个独立的随机变量的平均值比任何单个变量更稳定。集成学习将这一统计原理应用到学习算法：即使每个基学习器都很弱，只要它们的错误模式足够不同，集成后的整体表现可以超越任何单一强学习器。这与 Arrows 的不可能定理（社会选择理论）形成有趣的对照——在投票系统中，简单多数规则不一定满足所有公平性公理，但在机器学习中，多数投票确实有效，因为目标不同（预测准确 vs 公平表达）。