原创力文档第7章文本数据处理
在做文本挖掘的时候，首先要做的预处理就是分词。
中文分词也称为切分，是将中文文本分割成若干个独立、有意义的基本单位的过程。中文分词对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。
文本分词是将字符串划分为有意义的单词的过程，如词语、句子或主题等。
现有的中文分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。按照是否与词性标注过程相结合，又可以分为单纯分词方法和分
文档评论（0）