隐马尔可夫分词器实验报告.pptVIP

隐马尔可夫分词器实验报告 Felomeng * 演讲大纲 模型参数意义 实现方法 程序演示 一、模型参数意义 本例所取参数意义如下： M：总字数 N：总状态数 A：状态转移概率分布 B：每个字的各状态概率分布 Pi（?）：初始概率分布 N的意义 根据分词标记位置，分为四种状态： 单字成词：前后者有，如：/了/ 词头：前有后无，如：/水利 词中：前后皆无，如：十年九旱 词尾：前无后有，如：水利/ 注：句子开头的字只有两种状态： 单字成词：后面有分词标记，如：仅/ 词头：后面没有有分词标记，如：投资 A的意义 单字成词 词头 词中 词尾 单字成词 可能 可能 —— —— 词头 —— —— 可能 可能 词中 —— —— 可能 可能 词尾 可能 可能 —— —— 实际上只有8种可能：单字成词-单字成词、单字成词-词头、词头-词中、词头-词尾、词中-词中、词中-词尾、词尾-词头、词尾-单字成词 B的意义 每个字的四种状态的概率分布： Pi的含义 句首各状态的概率分布： 实现方法：需求分析 实现方法：类图 实现方法：参数意义 M、N直接使用整型表示； A：用一个类MatrixA表示，其中含有八个属性（即八种可能的转换状态，在训练时统计各转移情况次数）和一个方法（根据A中的统计情况计算A中概率分布，计算后将A中八个属性改为概率分布。 B：用一个字典数据结构存储，便于查找和更新，每个分量用一