基于条件互信息的集成学习：理论、算法与多领域应用探究.docxVIP

基于条件互信息的集成学习：理论、算法与多领域应用探究

一、引言

1.1研究背景与动机

在机器学习领域，集成学习已成为提升模型性能的关键技术，处于机器学习的四大研究方向之首。其核心思想是将多个个体学习器进行组合，以期望获得比单个学习器更好的整体性能，正如“三个臭皮匠，顶个诸葛亮”所描述的，通过群体的智慧来提升决策的准确性。这种方法能有效提高机器学习的准确性和鲁棒性，在众多领域得到了广泛应用，如在金融风控领域，通过集成多个个体学习器，能更精准地进行信用评估和欺诈检测，减少误判和漏判情况；在医疗诊断中，集成学习将多个医学专家的意见结合起来，提高了疾病诊断和药物预测的准确性与可靠性。

随着机器学习的不断发展，集成学习的经典算法族Bagging和Boosting被众多学者深入研究，在理论和应用方面都取得了显著成果。然而，随着研究的深入，这两种经典算法也逐渐暴露出一些局限性，例如模型复杂度较高、计算资源需求大以及在某些复杂数据分布下性能提升有限等问题。这促使研究者们从其他角度探索性能更优的集成算法，以满足不断增长的实际应用需求。

选择性集成作为一种特殊的集成学习范式，通过优化选择个体学习器中部分差异性大、泛化能力强的学习器进行集成，有效避免了集成所有个体学习器可能带来的冗余问题，在一定程度上提升了集成模型的性能。但是，在选择性集成过程中，如何更科学地衡量个体学习器之间的关系，进