11个Java开源中文分词器使用方法和分词效果对比.docxVIP

1、学会使用11大Java开源中文分词器2、对比分析11大Java开源中文分词器的分词效果本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：/** * 获取文本的所有分词结果, 对比不同分词器结果 * @author杨尚川 */publicinterfaceWordSegmenter{/** * 获取文本的所有分词结果 * @param text 文本 * @return所有的分词结果，去除重复 */defaultpublic SetString seg(String text) {return segMore(text).values().stream().collect(Collectors.toSet()); }/** * 获取文本的所有分词结果 * @param text 文本 * @return所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果 */public MapString, String segMore(String text);}从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。下面我们利用这11大分词器来实现这个接口：1、word分词器@Overridepublic MapString, String segMore(String text) {MapString, String map = new HashMap();for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){ map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm)); }return map;}private staticString seg(String text, SegmentationAlgorithm segmentationAlgorithm) { StringBuilder result = new StringBuilder();for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){ result.append(word.getText()).append( ); }return result.toString();}2、Ansj分词器@OverridepublicMapString, String segMore(String text) {MapString, String map = new HashMap();StringBuilder result = new StringBuilder();for(Term term : BaseAnalysis.parse(text)){ result.append(term.getName()).append( ); }map.put(BaseAnalysis, result.toString()); result.setLength(0);for(Term term : ToAnalysis.parse(text)){ result.append(term.getName()).append( ); }map.put(ToAnalysis, result.toString()); result.setLength(0);for(Term term : NlpAnalysis.parse(text)){ result.append(term.getName()).append( ); }map.put(NlpAnalysis, result.toString()); result.setLength(0);for(Term term :