庖丁解牛算法详细设计.doc

庖丁解牛算法调研文档 -  PAGE 20 - 文件编号： 庖丁解牛算法调研文档 修改说明 文档版本作者/修改者日期更 改更改地址更改内容1.0于文峰2012-1-4开始编写开始编写 目录 TOC \o 1-3 \u  1 引言  PAGEREF _Toc346269731 \h 2 1.1 编写目的  PAGEREF _Toc346269732 \h 2 1.2 程序框架：  PAGEREF _Toc346269733 \h 2 2 Paoding分词算法  PAGEREF _Toc346269734 \h 8 2.1 算法基本思想描述  PAGEREF _Toc346269735 \h 8 2.2 庖丁系统的核心内容  PAGEREF _Toc346269736 \h 8 2.3 算法计算详细步骤  PAGEREF _Toc346269737 \h 9 2.3.1 庖丁分词策略  PAGEREF _Toc346269738 \h 9 2.3.2 max-word-length  PAGEREF _Toc346269739 \h 10 2.3.3 most-words  PAGEREF _Toc346269740 \h 12 2.4 词典  PAGEREF _Toc346269741 \h 15 2.4.1 词典类型  PAGEREF _Toc346269742 \h 15 2.4.2 词典加载流程  PAGEREF _Toc346269743 \h 15 2.4.3 词典文件格式  PAGEREF _Toc346269744 \h 16 2.4.4 读取词典文件  PAGEREF _Toc346269745 \h 16 2.4.5 词典编译  PAGEREF _Toc346269746 \h 17 2.4.6 编译词典时间测试  PAGEREF _Toc346269747 \h 17 2.4.7 词典变更侦测  PAGEREF _Toc346269748 \h 18 3 举例说明  PAGEREF _Toc346269749 \h 18 4 参考资料  PAGEREF _Toc346269750 \h 21  引言 庖丁系统是个完全基于lucene的 HYPERLINK /view/19109.htm \t _blank 中文分词系统，它就是重新建了一个analyzer，叫做PaodingAnalyzer，这个analyer的核心任务就是生成一个可以切词TokenStream。 编写目的 本文档详细阐述了庖丁分词算法的基本思想，该文档可供研究庖丁分词算法设计人员分析阅读。 程序框架 Knife包 beef类实现了charSequence 变量： char[] value:文本字符数组 offset：字符的起始位置，字符开始位置，即charAt(i)返回value[offset+i]字符 count：从offset位置开始的字符数 hash：beef的hash code 函数： beef(char[] value,int offset,int count):初始化字符数组、起始位置、从起始位置开始字符数 set(int offset，intcount)设置offset，count getvalue() getCount() getOffset() charAt(int index):覆盖了chaAt(int)方法，获取指定位置offset+index的字符，返回之前进行了预处理：1）统一大小写格式；2）全角转半角 length(): return count subsequence(int start,int end):return from offset+start with length of end-start hashCode():根据value中字符值迭代计算返回一个int，作为value[]的key CharSet类 判断字符是阿拉伯数字或者CJK或者拉丁字母 toNumber(char):统一数字格式，0，零，０，统一为0 CJKKnife类实现了Knife，DictionariesWare 是处理汉字的刀，定义了 变量： Dictionary vocabulary 主字典 Dictionary noiseWords 不常见的词 Dictiona