中文分词算法 之 基于词典的逆向最大匹配算法.pdfVIP

中文分词算法 之 基于词典的逆向最大匹配算法 杨尚川 在之前的博文中介绍了基于词典的正向最大匹配算法，用了不到50 行代码就实现了， 然后分析了词典查找算法的时空复杂性，最后使用前缀树来实现词典查找算法，并做了 3 次优化。 下面我们看看基于词典的逆向最大匹配算法的实现，实验表明，对于汉语来说，逆向最 大匹配算法比(正向)最大匹配算法更有效，如下代码所示： public static ListString segReverse(String text){ StackString result = new Stack(); while(text.length()0){ int len=MAX_LENGTH; if(text.length()len){ len=text.length(); } //取指定的最大长度的文本去词典里面匹配 String tryWord = text.substring(text.length() - len); while(!DIC.contains(tryWord)){ //如果长度为一且在词典中未找到匹配，则按长度为一切分 if(tryWord.length()==1){ break; } //如果匹配不到，则长度减一继续匹配 tryWord=tryWord.substring(1); } result.push(tryWord); //从待分词文本中去除已经分词的文本 text=text.substring(0, text.length()-tryWord.length()); } int len=result.size(); ListString list = new ArrayList(len); for(int i=0;ilen;i++){ list.add(result.pop()); } return list; } 算法跟正向相差不大，重点是使用Stack 来存储分词结果，具体差异如下图所示： 1 中文分词算法 之 基于词典的逆向最大匹配算法 杨尚川 - 下面看看正向和逆向的分词效果，使用如下代码： public static void main(String[] args){ ListString sentences = new ArrayList(); 2 中文分词算法 之 基于词典的逆向最大匹配算法 杨尚川 sentences.add(杨尚川是APDPlat 应用级产品开发平台的作者); sentences.add(研究生命的起源); sentences.add(长春市长春节致辞); sentences.add(他从马上下来); sentences.add(乒乓球拍卖完了); sentences.add(咬死猎人的狗); sentences.add(大学生活象白纸); sentences.add(他有各种才能); sentences.add(有意见分歧); for(String sentence : sentences){ System.out.println(正向最大匹配: +seg(sentence)); System.out.println(逆向最大匹配: +segReverse(sentence)); } } 运行结果如下： 开始初始化词典 完成初