基于跳跃频繁模式的中文文本分类.pdfVIP

2008年第7期 福 建 电 脑 111 基于跳跃频繁模式的中文文本分类 陈晓辉 f福建星网锐捷网络有限公司网j#--~ 福建福州 350001) 【摘 要】：基于频繁模式的文本关联分类方法与基于跳跃显露模式的文本分类方法各具优点与不足。本文集成这两种 A-法．提出基于频繁跳跃模式和非频繁跳跃模式的分类方法。实验结果表明，该方法的分类精度高于关联分类方法而召曰率 和分类速度优于基于跳跃显露模式的分类方法。有效弥补了两种分类方法的不足。 【关键词】：文本分类；跳跃显露模式；频繁模式 1、引言 两个频繁子集：频繁跳跃模式集 (F／P)和频繁非跳跃模式集 基于关联规则的文本分类方法近年来受到人们的广泛关 (F~／P)。跳跃显露模式集皿 也可根据模式是否频繁划分成两 注。并已提出几个有效的关联分类算法，如文献【1】的CBA，文献 个子集：频繁跳跃模式集(F，I)和非频繁跳跃模式集(NFJP)。 f2]的CMAR．文献f31的ARC，这些方法的一个共同特点是利用频 2．2 JEP分类器和FP分类器 繁模式来描述样本间属性的关联关系。 JEP分类器：是基于跳跃显露模式的分类器。其构造过程和 1999年，Dong，G．等人首次在文献f51中提出跳跃显露模式 分类过程如下： (Jump emerging patterJEP)的概念。与支持度大于某最小阀值的 (1)训练阶段：分别挖掘产生训练集 D中每一类别的样本 频繁模式不同的是，跳跃显露模式是在某类样本集中出现，而在 子集口l^口 …，口l-的YEP集J 。。J …J互 其它样本集中没有出现的属性或属性集。利用JEP构造的分类 其中皿 是G类训练样本的JEP集。 器虽然精度比基于f1P构造的关联分类器高但其召回率与分类 (2)分类阶段：待分类样本d与所有YEP集J ．。J ，一J雹 速度均不及基于FP的关联分类器。基于频繁模式的关联分类之 中的YEP进行匹配，得到与d匹配的YEP集 以， ．， 所以分类精度不如基于跳跃模式的关联分类的一个主要原因是 (MJPa为空表示d不与类的任一JEP匹配)： 不同的频繁模式其分类能力各不相同．从而导致分类能力弱的 = (尸lP∈d^P∈J匮PD’ 频繁模式对分类能力强的频繁模式的干扰：为此我们将频繁模 式分为两级，并定义这两级模式为频繁跳跃模式(F／P)和非频繁 计算 (Cj)=∑Support(P) -jD墨 跳跃模式(FN／P)，进而提出基于频繁跳跃模式(FJI)和非频繁跳 根据 de{cjIscoR~(cj) ))’ 跃模式(FNJP)的分类算法FJI一FNJP。 2、基本术语 将d分类至与d匹配的JEP集支持度之和最高的类。 2 1频繁跳跃模式 FP分类器：基于频繁模式的FP分类器即是通常所说的关联分 假设训练集D有n个特征词 ^ … 和k个类别 … 。 类器。FP分类器的构造与分类过程与JI分类器类似，不同之处 D中的每个样本均被转换成特征向量的形式，如 … 。 在于： 这些样本根据其所属类别的不同被划分成k个子集 ，其中D (1)在训练阶段，FP分类器发现频繁模式子集 … D‘由所有 类样本组成。 ， ， ．．， ％ 若将每一特征词看