基于语义分析的文本挖掘研究-计算机应用技术专业论文.docxVIP

浙江工业大学硕士学位论文基于语义分析的文本挖掘研究 浙江工业大学硕士学位论文 基于语义分析的文本挖掘研究 摘 要 随着信息技术的不断发展，以电子形式存储的文本开始泛滥，很多人们需要的信息往 往被大量的垃圾信息所淹没，如何自动地从这些文本中挖掘出有用的信息将成为一个重要 的课题。中文作为使用最多的语言之一，其文本挖掘就非常重要。文本分类作为文本挖掘 中的一个重要分支，其步骤为：训练样本的选取、文本表示、特征提取、构造分类器、验 证分类器性能。传统的文本挖掘方法是一种基于统计的方法，它以词频作为分类结果的主 要影响因素，而不考虑词序、词义等更多的语义信息，在加权阶段采用了无指导的特征加 权方法，没有充分利用已带类标签的训练数据。 相对于基于统计的文本挖掘方法，基于语义分析的方法能考虑更多的文本信息，从而 大大提高文本挖掘的性能。语义分析主要集中在特征提取这个处理步骤中，采用词典这种 基于外部语义知识的方法对文本挖掘有着很大的帮助。为此提出了一种基于语义分析的特 征提取方法以及针对加权步骤提出了一种改进的有指导的加权方法： 1．基于《同义词语林》的文本特征提取： 基于《同义词语林》的文本特征提取是一种基于语义分析的文本处理方法。中文的语 料库相对较少且杂乱，能够拿来研究使用的也只有《同义词词林》，并且在此基础上也没 有一个系统的文本分类方法。针对以上问题，提出一个完整的基于语义的文本处理方法， 该方法利用了《同义词语林》编码的特性，对文本分别作了多义词消歧、同义词替换和搭 配词组合的处理。 2．改进的有指导的特征加权方法： 传统无指导的加权方法并没有充分利用分类数据的特性，无法反映词在各个类别之间 的比例关系。本文通过分析一种有指导的文本特征加权方法，虽然该方法克服了传统加权方 法的缺点，却没有考虑词在整体本档之间的关系。针对以上问题，提出一种改进的基于指 导的文本特征加权方法，实现了词在总体文档及各类别文档之间的综合考虑。 对上述两种方法分别进行实验，结果表明，基于《同义词语林》的文本特征选择方法 有效地降低了文本特征向量的维度，且两种方法都有效地提高了文本分类的精度。 关键词：文本分类，语义分析，特征提取，有指导方法，特征加权 浙江工业大学硕士学位论文Research 浙江工业大学硕士学位论文 Research of Text Mining Based on Semantic Analysis ABSTRACT As the information technology develops continually,the text stored in the form of the electron spread everywhere，most information the people needed is often overwhelmed by a lot of spam．It would be all important issue to automatically mining the texts to get useful information．As one of the most used language，the importance of text mining goes without saying．功e general process for text classification is divided into several steps in text mining：the training data selection，text representation,feature extraction,text classifier generation and classifier performance validation．Traditional text mining based on statistics results the word frequency as the main factor for text classification,regardless of the word order,word meaning and more semantic information。刀Ie term weighting method also belong to unsupervised learning methods，it doesn’t make full use of the training data which has the class label． Compared to the text mining based on statistical method，the metho