Chp-02-数学基础.pdf

第2章 数学基础 北京市海淀区中关村东路95号 电话：+86-10-8254 4688 邮编：100190 邮件：cqzong@ 2.1 概率论基础 宗成庆： 《自然语言理解》讲义，第 2 章 2/115 2.1 概率论基础 概率(probability) 概率是从随机实验中的事件到实数域的函数，用 以表示事件发生的可能性。如果用P(A) 作为事件A 的 概率， 是实验的样本空间，则概率函数必须满足如 下公理： 公理1：P(A)  0 公理2：P() = 1 公理3：如果对任意的i 和j ( i j ) ，事件Ai 和Aj 不相 交( A A ＝) ，则有：   i j P(A ) P(A ) (1) i i i 0 i 0 宗成庆： 《自然语言理解》讲义，第 2 章 3/115 2.1 概率论基础 最大似然估计 (Maximization likelihood estimation, MLE) 如果一个实验的样本空间是{s , s , …, s }，在相同 1 2 n 情况下重复实验N 次，观察到样本sk (1 k  n) 的次数 为n (s ) ，则s 的相对频率为： N k k nN (sk ) qN (sk ) (2) N n n 由于i 1nN (sk ) N ，因此，i 1qN (sk ) 1 宗成庆： 《自然语言理解》讲义，第 2 章 4/115 2.1 概率论基础 当N 越来越大时，相对频率q (s ) 就越来越接近 N k s 的概率P(s ) 。事实上， k k lim q (s ) P(s ) (3) N k k N  因此，相对频率常被用作概率的估计值。这种概 率值的估计方法称为最大似然估计。