ikanalyzer中文分词计算句子相似度it瘾.docxVIP

IKAnalyzer IKAnalyzer 中文分词，计算句子相似度 IT 瘾 IKAnalyzer 中文分词，计算句子相似度 、简介 二、准备 项目结构： IKAnalyzer2012FF_u1.jar 下载 lucene-core-4.6.1.jar 下载ext.dic lucene-core-4.6.1.jar 下载 ext.dic stopword.dic IKAnalyzer.cfg.xml 三、分词 IKAnalyzer.cfg.xml 三、分词 分词由于比较简单， 就直 接粘贴代码了 public static Vectorlt;Stringgt; participle( String str ) { Vectorlt;Stringgt; str1 = new Vectorlt;Stringgt;() ;// 对输入进行分词 try { StringReader reader = new StringReader( str ); IKSegmenter ik = new IKSegmenter(reader,true);// 当为 true 时，分词器进行最大词长切分 Lexeme lexeme = null ; while( ( lexeme = ik.next() ) != null ) { str1.add( lexeme.getLexemeText() ); if( str1.size() == 0 ) { return null ; //分词后 System.out.println( str 分词后: + str1 ); } catch ( IOException e1 ) { System.out.println(); return str1; 四、计算相似度计算句子相似度，①常用方法有基于 四、计算相似度 计算句子相似度，①常用方法有基于 语义和词序相似度计算方法，②基于关系向量模型 基于语义和词序的句子相似度计算方法简介 义1:给定一个句子 Ti，经过汉语分词系统分词后，得到的 所有词 W1 构成的向量称为句子 Ti 的向量表示， 表示为 Ti = {w1,w2, wn} 。 例子 1 : T1 :这个中文分词可不可以， 用着方不方便。 分词后： 分词后： T1=［ 这个, 中文分词 , 可不可以 , 用着, 方, 不, 方 在该算法中，基于 在该算法中，基于 T分别计算Ti和Tj的语义 便］。向量表示T1={这个,中文分词,可不可以,用着，方,不, 方便} 方便} T2 :这个中文分词比较方便，用着 方便还可以。分词后：T2=［ 方便还可以。分词后：T2=［这个, 中文分词 , 比较方便 , 用着, 方便,还可以 ］。向量表示T2=｛这个,中文分词 , 比较方便 , 方便, 还可以 ］。向量表示 T2=｛这个, 中文分词 , 比较方便 , 用着, 方便 , 还可以 } 定义 2：给定一个句子 Ti 的向量 表示， Ti 中词的个数称为 Ti 的向量长度，表示为 Len(Ti). 例子 2：对于句子 T1 和 T2 的向量长度表示为： Len(T1)=7 ， Len(T1)=7 ， Len(T1)=6 。 定义 3 ：给定两个句子 Ti、 Tj的向量表示，将Ti、Tj中的所有词 Wi进行合并，并且对于重复初想的词只保留一个，由此得到两个向量之和，称为Ti、Tj 的并集，表示 T=T1 U T2={ 这个 Tj的向量表示，将Ti、Tj中的所有词 Wi进行合并，并且对 于重复初想的词只保留一个，由此得到两个向量之和，称为 Ti、Tj 的并集，表示 T=T1 U T2={ 这个, 中文分词 , 可不可以 , 比较方便，用着 , 方, 不, 方便，还可以 }，很显然，并集长 度 Len(T)lt;=Len(T1)+Len(T2) 定义 4：给定一个句 子 Ti 的向量表示 Ti = {w1,w2, wn} 和一个词 wi ，依次计算 wi 和 Ti 中每一个词的相似度(值为 0到 1 之间)，所以所有 结果中的最大值称为 wi 在 Ti 中的语义分数，表示为 Ci。 定义 5：给定两个句子 Ti、 Tj 的向量表示， Ti 和 Tj 的集合 T={w1、w2,….wn}，对T中的每一个词 Wi，计算 Wi在Ti 中的语义分数 Ci,T 中每个分词的语义分数组成的一个向量 称为 Ti 基于 T 的语义向量，表示为 Si={C1,C2,...,Cn} 。 向量Si、Sj,以计算Si作为说明，过程如下: 1、对于 1、对于T中的每一个词 wi，如果 wi在Ti中 出现， 则在语义向量 Si 中将 wi 的语义分数 Ci 设为 1。 2、如果 2、如果Ti中不包含wi，则计算wi在Ti中 的语义分 数