基于随机森林文本分类模型研究.pptVIP

基于随机森林的文本分类模型研究 张华伟 王明文 江西师范大学计算机信息工程学院 * 提纲 研究背景 相关工作 随机森林模型 实验 进一步工作 研究背景 泛化能力：设计分类器的中心目标是能够对新样本做出正确的分类，即“泛化能力”。 目前，大多数分类器尽可能地降低同一算法在特定训练样本集上的经验风险 ----经验风险最小化 。 当前做的较好的方法： 统计学习理论：vc维-----svm 。 随机森林：误差上界 Decision Trees 基本思想：Divide-and-Conquer 基本算法（贪心算法） 自上而下分而治之的方法 开始时，所有的数据都在根节点 所有记录用所选属性递归的进行分割 属性的选择是基于一个启发式规则或者一个统计的度量 (如, information gain) 集成机器学习 集成机器学习起源于Hebb 对于神经细胞工作方式的假设：信息加工是由神经集合体共同完成的. 1990 年，Schapire 证明了一个关键定理：一个学习方法可以提升为强可学习的充要条件是其为弱可学习 由此，派生了弱分类器的概念，即，比随机猜想稍好的分类器。它告诉我们：多个弱分类器可以集成为一个强分类器。 集成机器学习 几乎所有成功的决策树集成都用了随机模型 应用随机的主要目的是离散化模型 各模型结果的集成比单个模型的预测精度要好 随机森林和其理论背景 给定K个分类器 和随机向量x、y，定义边缘函数（mg）如下： 其中，I(?)是示性函数。该边缘函数刻画了对向量X正确分类y的平均得票数超过其它任何类平均得票数的程度。可以看出，边际越大分类的置信度就越高。 于是，分类器的泛化误差定义如下： 将上面的结论推广到随机森林 。 边缘函数如下： 随着树的数目增加， 趋向于 分类器 的强度 假设 ，根据切比雪夫不等式，（1）,（2）可以得到： 根据引文[6]可知： 于（4）、（5）我们可以得到以下结论：随机森林的泛化误差上界 集成学习的文本分类过程 集成学习的文本分类算法 试验设计及初步结果 文档集：Reuters-21578，共135类，保留训练集和测试集都有正例的90个类。 文档类别分布不均匀，最多时一篇文档属于14个类。 类别矩阵构造： 特征提取： 统计。 权重：LTC权重。 性能指标：宏平均F1和微平均F1 各模型在Reuters-21578上前10类性能比较 进一步工作 进一步完善实验,并将在中文数据上 采用群组决策特征根法，研究集成分类器的权重。 * * 新文本 预处理 训练文本 预处理 特征项 抽取 训练文本 再处理 构造集成分类器 训练过程 分类过程 分类结果同集成分类器权重组合成最终结果 计算集成分类器权重 Reuters-21578上特征维数下的微平均和宏平均指标