中文文本挖掘的流程与工具分析.docxVIP

中文文本挖掘的流程与工具分析 　　摘要：文本挖掘技术在各行业的应用价值高、范围广，中文文本跟西方语言相比本身具有很大的特点，因此本文的研究内容是针对于中文文本展开的。首先对文本挖掘的基本含义和状况做了简要概述，对于中文文本挖掘的概念和流程做了详细介绍，对于其中所包含的重点步骤做了详细分析，包括特征提取以及算法等。介绍了r中文本挖掘相关的包，以及chqs文本多分类系统。希望可以加强对于中文文本数据处理与使用的研究。 　　关键词：中文文本挖掘流程工具 　　中图分类号：g254文献标识码：a文章编号：1674-098x（2019）07（a）-0142-02 　　隨着互联网越来越普及，各式各样的文本层出不穷，这种文本的数据处理跟以前相比增加了不小的难度，但是这种文本数据反映的是人的行为以及思想，这正是它的价值所在。在实际生活当中，文本数据库中所存在的大部分信息都是以文本形式来存储的，而且该数据库中包含了各种数据文档，有的是书籍，有的是文章，有的是网页等等。文本信息随着互联网的发展在飞速增长，因此文本挖掘在信息领域有着重要的研究意义。 　　文本挖掘的前景非常明了，国内的多数学者以及专家对此都做了很多研究，首先我们开始介绍它的相关概念以及文本挖掘所要遵循的流程。 　　1文本挖掘概念 　　文本挖掘具体指的就是从大量文本数据信息当中提取到用户感兴趣的或者对用户有一定帮助作用的信息的一个过程。业内对于文本挖掘的基本定义为：文本挖掘指的是从海量的文本数据库当中提取人们无法预知但是能够理解的且最终能够为自己可用的信息的一个过程，利用这些所提取到的信息，可以为自己将来的行动做一定的参考。 　　文本挖掘起源于数据挖掘，因此文本挖掘的定义跟数据挖掘的定义几乎大同小异。但是在本质上跟传统的数据挖掘相比又有着自身独特之处，文档本身属于一种非结构化的数据，这种文本的形式非常随机且机器很难理解它的准确定义;而数据挖掘的对象主要面对的是结构化的数据，这种数据的形式是确定的，因此相对于文本挖掘来说，并不能够全拿照搬，某些方法对于文本挖掘是适用的，有些技术并不适用。 　　总之来说，对于以文本形式所存储的数据信息必须提取其特征，从所提取的特征当中分析得出我们所需要的信息，根据这些信息搭建相应的模型。 　　2中文文本挖掘流程 　　中文文本挖掘跟西方语言文本相比也有这天壤之别，因此文本挖掘的步骤也不一样，中文文本挖掘包括以下几个过程： 　　（1）数据来源：文本挖掘就是从数据来源开始，文本数据的来源包含多种，比如说网页、邮件、图书以及文章和文献等等，这些不同的形式都包含了丰富的文本信息。 　　（2）文本预处理：首先得需要提取信息的文本进行整理，整理好之后进行相关解析操作，解析过程中把握好分词这个关键点。通过这个关键点以及所应用的语音分析算法或者工具可以对相应的文本结构进行处理。 　　（3）文本挖掘：在完成上述操作之后，可以利用数据分析以及积极学习的各种算法提取我们所需要的信息。 　　（4）模式评估与展现：这是文本挖掘的最后一个过程，利用之前已经定好的参考标准对获取信息的方式进行评价。如果评价结果达到标准，就可以将该模式呈现给用户。 　　文本挖掘过程中有两个比较重要的步骤就是特征提取和挖掘分析，本文主要研究的过程是对文本进行如何分类，下面对这两个重要的步骤进行相应分析。 　　2.1特征提取及降维 　　tf-idf在文本挖掘过程当中使用比较广泛，它的主要目的是评估一份文件当中哪些词比较重要。其中tf指的是该词出现的次数，idf是逆向文件频率。 　　这个统计方法的定义比较容易理解，如果某个词在文本当中出现的次数很多，那么这个词往往就是关键词，但是如果在文件集当中出现的频率增加，那么它的重要性相反会降低。对于某一个特定词语来说，如果在某一个具体文件当中频繁出现，但是其他文档当中却很少包含这个词语，那么对于不同文本来说就很容易区分，这样选择出来的特征就能够更直观的体现出某一类文本。此外，tf-idf方法计算的是词出现的频率，因为不同的文本有长有短，如果按照词的数量来计算的话，某些比较长的文本当中包含该词语的次数肯定比短的文本多。 　　按照tf-idf的方法有多种不同的数学公式来计算，应用最为广泛的公式如下： 　　这种方法本身没有那么复杂，而且定义相对简单，因此在文本挖掘过程中应用非常普遍。但同时它也存在一些缺点，因为对于不同的文档，不同的位置所出现的词语的重要性是各不一样的，这种方法并没有考虑到这点。 　　2.2常用分类算法 　　（1）vapnik根据统计学理论提出了一种新的解读学习算法，叫做svm，在分