中文分词算法 之 基于词典的正向最大匹配算法.pdfVIP

中文分词算法 之 基于词典的正向最大匹配算法 杨尚川 基于词典的正向最大匹配算法，算法会根据词典文件自动调整最大长度，分词的好坏完 全取决于词典。 算法流程图如下： Java 实现代码如下： /** * 基于词典的正向最大匹配算法 * @author 杨尚川 */ public class WordSeg { private static final ListString DIC = new ArrayList(); private static final int MAX_LENGTH; 1 中文分词算法 之 基于词典的正向最大匹配算法 杨尚川 static{ try { System.out.println(开始初始化词典); int max=1; int count=0; ListString lines = Files.readAllLines(Paths.get(D:/dic.txt), Charset.forName(utf-8)); for(String line : lines){ DIC.add(line); count++; if(line.length()max){ max=line.length(); } } MAX_LENGTH = max; System.out.println(完成初始化词典，词数目：+count); System.out.println(最大分词长度：+MAX_LENGTH); } catch (IOException ex) { System.err.println(词典装载失败:+ex.getMessage()); } } public static void main(String[] args){ String text = 杨尚川是APDPlat 应用级产品开发平台的作者; System.out.println(seg(text)); } public static ListString seg(String text){ ListString result = new ArrayList(); while(text.length()0){ int len=MAX_LENGTH; if(text.length()len){ len=text.length(); } //取指定的最大长度的文本去词典里面匹配 String tryWord = text.substring(0, 0+len); while(!DIC.contains(tryWord)){ //如果长度为一且在词典中未找到匹配，则按长度为一切分 if(tryWord.length()==1){ break; } 2 中文分词算法 之 基于词典的正向最大匹配算法 杨尚川 //如果匹配不到，则长度减一继续匹配 tryWord=tryWord.substring(0, tryWord.length()-1); } result.add(tryWord); //从待分词文本中去除已经分词的文本 text=text.substring(tryWord.length()); } return