基于序列的文本自动分类算法A-CiteSeerX.PDF

1000-9825/2002/13(04)0783-07 ©2002 Journal of Software 软 件 学 报 Vol.13, No.4 基于序列的文本自动分类算法 解冲锋, 李 星 (清华大学 电子工程系,北京 100084) E-mail: xcf@; xing@ 摘要: 提出了一种基于序列的文本自动分类算法.该算法利用了文本中两个层次的语义相关性: 句子(子模式)之 间的相关性和句子内代表特定含义的关键词(概念节点)之间的相关性,这样就实现了对关键词的动态加权.对于 不含有关键词的子模式,采用Markov 模型来对其信号幅度进行估计,从而生成一个待分类文本的特征序列.在中 文文本分类实验中,可以达到83%的BEP 值.此外,该算法在实际系统中容易实现. 关 键 词: 序列;概念节点; 自动分类;相关度 中图法分类号: TP 18 文献标识码: A 文本自动分类就是对大量的用自然语言写成的文本按照一定的主题类别自动进行分类.文本分类是信息 处理的一个重要分支,在信息发现领域中有着重要的用途,特别是在网络技术飞速发展的时代,对网络上的海量 [1] 网页文本进行过滤和分类可使用户快速发现真正有用的文本.文本分类算法很多, 典型的有基于实例 、 [2] [3] [4] Sleeping expert 、基于推理网络 以及基于规则组 等算法.这些算法一般需通过大量的训练才能获得较好的 效果,如在基于实例的分类算法中,为了获得主题类别和文本之间的相关度,需要用大量的样本来获得关键词的 权值,这样的算法在实际系统中实现代价较大.本文提出了一种基于序列的文本自动分类算法(简称序列算法), 这个算法利用了文本内两个层次的语义相关性:句子之间的相关性和句子内代表特定含义的关键词之间的相 关性,从而实现了对关键词的动态加权.在对汉语文本进行分类的实验中,它可以达到较好的分类正确率,而且 与其他分类算法相比,本算法在实际系统中容易实现. 1 定 义 在本算法中,称一个待分类的文本为未知文本.设有M 个未知文本,其中第i 个未知文本为T .在T 中包含N i i 个子模式,第j 个子模式 s 可以是 T 中任意完整的题目、标题或句子,其中序号j 表示子模式在 T 中的位置.在 j i i 子模式 s 中定义概念节点p ,它是子模式内关键词ws 当前代表的含义,即Mean ings(ws |s )=p .其次,C 表示第 l j k k k j k l [4] 个主题类别,本地字典 D 是含有主题类别 C 的各种关键词的字典 ,其中的每个关键词 w 代表了它在本类 C l l n l 内的含义,即D ={w |Category(Meanings(w ))=C }.本地字典是判断 T 与 C 相关度的原始知识,