机器学习集成学理论与算法.pdfVIP

table{border-collapse:collapse;}table,th,td{border:1pxsolid#000;}

9.1与集成

$$H(\boldsymbol{x})=\operatorname{sign}\left(\sum_{i=1}^{T}h_{i}(\boldsymbol

{x})\right)$$

$$P(H(\boldsymbol{x})\neqf(\boldsymbol{x}))=\sum_{k=0}^{\lfloorT/2\rfloor}

\binom{T}{k}(1-\epsilon)^{k}\epsilon^{T-k}$$

集成错误率

$$\leqslant\exp\left(-\frac{1}{2}T(1-2\epsilon)^{2}\right).$$

此时，集成器错误率随着基分类器的个数的增加呈指数下降，但前提是基分类器之间相互

独立，在实际情形中显然是不可能的，假设训练有A和B两个分类器，对于某个测试样

本，显然满足：P（A=1|B=1）P（A=1），因为A和B为了解决相同的问题而训练，因