计算语言学统计自然语言处理的概率基础.pptVIP

统计自然语言处理的数学基础 徐志明 哈工大语言技术中心 概率知识 随机试验 相关的概念：样本空间、事件、事件运算 概率 相关的概率类型 联合概率、条件概率 先验概率、后验概率 相关的概率公式 乘法公式、 Bayes公式、全概率公式、事件独立、条件独立 概率分布 随机变量、分布函数、概率函数、概率密度函数 期望、方差、协方差 常见的概率分布 概率估计 随机现象 自然界现象，可分为： 确定性现象： 事物间的联系是确定的，存在着必然的因果关系。在一定条件下，必定会导致某种确定的结果。重复性的实验，结果都一样。 例如：在标准大气压下，水加热到100摄氏度，就必然会沸腾。 不确定现象（随机现象）： 事物间的联系是不确定的。在相同条件下，多次进行同一试验，结果是不确定的。 例如：每期体育彩票的中奖号码。投掷硬币。 随机试验 随机试验 一个可观察结果的过程，其结果可能有多个，事先可以知道全部可能出现的结果，但不能确定哪一个结果会发生。 举例： 生孩子：男孩，女孩？ 掷硬币：正面，背面？ 炒股票：涨，跌，平？ 样本空间 样本空间： ? 一个试验的全部可能出现的结果的集合。 其中：每个结果称为一个样本点。 举例： 生两个孩子：? = {男男,男女,女女} 炒股票：? = {涨,跌,平} 事件 事件 一个试验的一些可能结果的集合，是样本空间的一个子集。 每个样本点，也称为一个基本事件。 举例： 一个家庭生两个孩子。? = {男男,男女,女女} 事件A：至少有一个男孩。A= {男男,男女} 事件B：至少有一个女孩。B= {男女,女女} 事件运算 事件运算： 可以采用集合运算法则 ? = {男男,男女,女女} A= {男男,男女}， B= {男女,女女} 事件运算： 积：两个事件同时发生。交集：A∩B = {男女} 和：至少一个事件发生。并集：A∪B = {男男,男女,女女}； 差：A发生，B不发生。差集：A – B = {男男}； 对立：事件A 的对立事件。补集：ā = ? – A = {女女}。 事件概率 概率：P(A) 是一个函数，用于度量事件A发生的可能性大小。 举例：估计一个词的出现概率P(w)，或一个句子的出现概率P(S)。 概率函数的三个公理 P(A) ≥ 0； P(?) = 1（概率归一化）； P(A∪B) = P(A)+P(B) if A∩B = Φ ； 推论 P(Φ) = 0； A?B ? P(A) P(B) ； P(A∪B) = P(A)+P(B)-P(A∩B )； P(B – A) = P(B) – P(A∩B )； P(ā) = 1 – P(A) 联合概率 两个事件的联合概率 事件A和B同时出现的概率。P (A∩B) ，P(A,B)，P(AB) 举例：计算两个词的搭配概率： P(美丽，鲜花) P(股票，投资) N个事件的联合概率： N个事件同时出现的概率：P(A1,A2,…An) 举例：计算一个句子概率： P(我们，是，中国人) P(中国，有，五千年，历史) 条件概率 条件概率：P(A|B) 在事件B发生的条件下，事件A发生的概率。 P(A|B) = P(A,B)/P(B) 举例 注音概率：P(拼音|单词) P(yue4|乐)， P(le4|乐) 词性标注：P(词性|单词) P(v|培训)， P(n|培训) 词义标注：P(词义|单词) P(了不起|牛)， P(动物|牛) 译文选择： P(译文词|原文词) P(数组|array)， P(阵列| array) 先验概率与后验概率 先验概率(prior probability) 在没有任何附加条件下的概率值。例如： P(A) 后验概率(posterior probability) 在某种先决条件下的概率值。例如：P(A|B) 乘法公式 事件概率的乘法公式 P(A,B) = P(A) × P(B|A) = P(B) × P(A|B) 把联合概率分解为条件概率的乘积。 推广（chain rule ） P(A1,A2…An) = P(A1)×P(A2|A1)×P(A3|A1,A2) …×P(An|A1,A2…,An-1) 举例： 计算句子概率 P(我们，是，中国人)= P(我们) × P(是|我们) × P(中国人|我们,是) 计算词性序列概率 P(det,adj,n) = P(det)×P(adj|det)×P(n|det,adj) Bayes公式 根据乘法公式 P(A,B) = P(A|B)×P(B) = P(B|A)×P(A) 可推导出Bayes公式 P(A|B) = P(A)×P(B|A)/P(B) 交换事件之间的条件依赖的顺序。 应用：英汉机器翻译 给定一个英语句子E，翻译器寻找一个最好的对应的中文句子C。 全概率公式 划分：设试验E的样本空