基于语言模型的中文文本分类系统.pdfVIP

NCMMSC’2009 ，8 月14－16 日，新疆乌鲁木齐 基于语言模型的中文文本分类系统* 杜鲁燕，苗振江 (北京交通大学 信息科学研究所 北京 100044) 文 摘：文本分类技术是近年来自然语言处理研究领域的一个热点，向量空间模型(VSM)是文本分类的经典模型，该 模型在应用时假设词与词之间是相互独立的，忽略了任何词序上的相互关系，但是在几乎所有的应用中，词的相对顺 序是非常有意义的，针对该特点研究了统计语言模型(LM)并将该模型应用到文本分类上，高阶的语言模型在一定程 度上包含了词序信息，根据该方法设计并实现了Bigram 模型文本分类器，实验结果表明，在分类准确率和稳定性上， 该方法优于传统的向量空间模型。 关键词：文本分类；语言模型；向量空间模型；统计平滑 中图分类号： TP391 近年来，随着社会信息化程度的快速提高，因 小决定。本文在同一训练和测试集上对 Bigram 模 特网日益普及，以文本格式存储的海量信息出现在 型分类器和传统分类模型( 向量空间模型) 的分类器 Internet、数字化图书馆及公司的网站上，面对如此 进行了参数训练和分类测试。实验结果表明：在分 庞大而且急剧膨胀的信息海洋，如何有效地组织和 类准确率及稳定性上，Bigram 模型分类器要好于向 管理这些信息，并快速、准确、全面地从中找到用 量空间模型分类器。 户所需要的信息是当前信息科学和技术领域面临 1 问题描述 的一大挑战。基于人工智能的文本分类技术能够根 据文本的内容自动对文本进行分类，这一技术的应 1.1 系统任务 用非常广泛，例如新闻网站需要对大量的新闻进行 简单的说，文本分类的任务就是在给定的分类 自动分类，数字图书馆需要对大批量的未标注分类 系统中根据文本的内容自动关联相关的类别。从数 的文本信息进行初步标注等等。近年来，文本分类 学的角度出发，这是一个映射的过程。假定有一个 技术已经逐渐与信息检索，信息过滤等信息处理技 文档类别集合C 和一个待分类的文本集合T，存在 术相结合，有效地提高了信息服务的质量。因此， 着一个映射F ，对于T 中的每一个文档d 有F(d) ∈ 文本自动分类技术已作为一项具有较大实用价值 C 。而这个映射规则是系统根据已经掌握的每个类 的关键技术，得到了广泛的关注并取得了很大的进 别的信息建立的判别公式和判别规则，在遇到新的 展。 文本时，根据已经掌握的类别的判别信息确定文本 向量空间模型(VSM)是文本分类的经典模型， 的类别。 该模型在应用时假设词与词之间是相互独立的，忽 1.2 评测指标 略了任何词序上的相互关系，但是，在几乎所有的 评价指标是在测试过程中所使用的一些用来 应用中，词的相互顺序是非常有意义的，一个词的 评价分类器分类准确度的量化指标，通常采用文本 含义往往由它临近的词来解释。统计语言模型首先 分类中普遍使用的性能评估指标，有查准率 （Precision ）、查全率（Recall ）和 值以及宏平均 在自然语言处理研究领域，如在语音识别、词性标 F1 注、拼写校正、机器翻译等的应用都取得了令人瞩 [1] （Macro ）和微平均（Micro ） 。 目的成绩，高阶的