HMM原理与中文分词技术详解.pptx

基于HMM的中文分词:

jieba分词原理讲解;今日安排;定义：

隐马尔可夫模型（HiddenMarkovModel，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。

统计模型：

统计模型是一组数学模型，它包含了一组关于样本数据的假设。统计模型通常以相当理想化的形式表示数据生成过程。

马尔可夫过程：

马尔可夫过程（MarkovProcess）是一类随机过程。马尔可夫过程是研究离散事件动态系统状态空间的重要方法，它的数学基础是随机过程理论。

;假设我手里有三个不同的骰子。

第一个骰子6个面（称这个骰子为D6），每个面（1，2，3，4，5，6）出现的概率是1/6。

第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。

第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

我们开始掷骰子：

1.）我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。

2.）然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。

最后得到这么一串可见的数字称之为可见状态链（掷骰子10次）：16