面向分布式文本知识管理的中文分词和文本分类研究.pdf

Research on Chinese Word Segmentation and Text Classification in Distributed Text Knowledge Management A Thesis Submitted to Chongqing University in Partial Fulfillment of the Requirement for the Degree of Doctor of Engineering By Li Zhiguo Supervisor by Prof.Wu Zhongfu Major: Computer Science College of Computer Science and Engineering of Chongqing University, Chongqing, China Oct. 2008 中文摘要 摘 要 我们正处于一个知识经济的时代，知识正继传统的土地、自然资源、资本和 劳动力之后成为推动社会进步与发展的重要力量。知识经济时代在客观上要求有 与之相适应的管理模式和理论及有效的技术手段。基于这个背景，本论文着重研 究和探讨了文本知识管理中基础性的中文分词技术以及文本分类技术，并提出分 布式知识管理系统的架构等。具体有以下几个方面： （1）提出了一种自适应分词算法。中文分词的难点在于处理歧义和识别未登 录词，传统字典的匹配算法很大程度上是依靠字典的代表性而无法有效地识别新 词，特别是对于各种行业领域的知识管理。本论文基于―2-gram‖统计模型而实现一 种能很好适应语料信息的分词算法，且时间和精度都能满足文本知识管理系统的 应用需要。利用―分而治之‖ 的思想来处理句长和词长的情况，用局部概率与全局概 率相结合来识别生词和消歧，取得了很好的效果，从而使本论文提出的算法能够 自动适应行业领域的知识管理。 （2 ）提出了一种新的基于降维近似支持向量机的分类算法PSVM 。近似支持 向量机与标准支持向量机的主要区别在于它们所对应的优化问题的约束条件不 同。即支持向量机是将问题归结为线性不等式约束二次规划问题，而近似支持向 量机是将问题归结成仅含线性等式约束的二次规划问题。从理论上证明了该算法 的时间复杂度和空间复杂度比传统的SVM 算法均有降低，在此基础上提出了新的 学习算法。实验表明，提出的新算法与主要的分类算法相比有较好的性能。尽管 较之标准SVM 算法的精度有所下降，但训练的时间比标准SVM 算法要快，可以 满足文本知识管理系统对训练时间敏感和需要处理大量文本的苛刻环境要求，从 而具备较大的实用价值。 （3 ）提出了一种基于本体的层次文本分类算法。通常讨论的分类问题是单层 分类，而层次分类是指多层类别关系下的分类问题。实际应用的文本知识管理系 统通常是面向特定的行业和领域，并且具备一定的模糊性而存在多种分类的特性。 用户对于知识的关联性及多概念粒度的分类有较高需求，这就需要采用更好的多 层信息组织方式。针对文本知识管理系统中常见的多层类别关系下的分类问题， 提出了一种基于本体的层次文本分类算法，该方法利用知识管理系统的知识本体 和受控关键词表，并基于概念之间的相似度来实现文本的精确分类、查询和检索。 而且，该方法同样也适用于单层分类。 （4 ）提出了一种分布式文本知识管理系统模型。为了适应现有分散性组织的 发展模式，使有效的分布式文本知识管理成为知识管理的发展趋势之一。本论文 I 重庆大学博士学位论文 提出的分布式文本知识管理系统模型是将Super-P2P 技术应用于文本知识管理，以 解决集中式文本知识管理所遇到的问题，并对模型提供的知识服务进行了研究和 论述。 在以上工作的基础上，在上