数学基础.ppt

数学基础 叶莎妮 07-03-30 主要内容 概率论基础 信息论基础 概率论基础 概率 贝叶斯法则 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯估计 期望、方差、协方差、相关系数 几种常用的分布 估计概率密度的方法 概率(probability) 概率是从随机实验中的事件到实数域的函数，用以表示事件发生的可能性。如果用P(A)作为事件A的概率，Ω 是实验的样本空间，则概率函数必须满足如下公理： 公理1：P(A) ≥0 公理2：P(Ω) = 1 公理3：如果对任意的i 和j ( i ≠ j )，事件Ai 和Aj 不相交( Ai∩Aj＝Φ)，则有 条件概率(conditional probability) 如果A 和B 是样本空间Ω 上的两个事件，P(B)>0，那么在给定B 时A 的条件概率P(A|B) 为： 条件概率P(A|B) 给出了在已知事件B 发生的情况下，事件A 发生的概率。 一般地，P(A|B) ≠ P(A). 联合分布和边缘分布 X和Y 的联合概率函数为 则(X,Y)关于X的边缘概率函数为 (X,Y)关于Y 的边缘概率函数为 全概率公式 设Ω 为实验E 的样本空间，B1, B2, … Bn 为Ω 的一组事件，且他们两两互斥，且每次实验中至少发生一个。即： 则称B1, B2, … Bn 为样本空间Ω的一个划分划分。 全概率公式（2） 设A为Ω 的事件，B1, B2, … Bn 为Ω的一个划分，且P(Bi)>0 (i=1, 2, …, n)，则全概率公式为： 贝叶斯法则(Bayes’ theorem) 如果A 为样本空间 Ω 的事件， B1, B2, …,Bn 为Ω 的一个划分，且P(A) > 0，P(Bi) > 0 ( i= 1, 2, …, n ) ，那么 贝叶斯法则(Bayes’ theorem)-续 用文字描述： 后验概率=（似然函数*先验概率）/证据因子 贝叶斯公式给出了‘结果’事件A已发生的条件下，‘原因’事件B的条件概率.对结果事件的任何观测都将增加这是我们对原因事件B的真正分布的知识 贝叶斯决策理论(Bayesian decision theory ) 假设研究的分类问题有c 个类别，各类别的状态用 w i表示，i = 1, 2, …, c；对应于各类别w i出现的先验概率为P (w i)；在特征空间已观察到某一向量 是d 维特征空间上的某一点，且条件概率密度函数) 是已知的。那么，利用贝叶斯公式我们可以得到后验概率 基于最小错误率的贝叶斯决策规则 例：假设某一种特殊的句法结构很少出现，平均大约每100,000个句子中才可能出现一次。我们开发了一个程序来判断某个句子中是否存在这种特殊的句法结构。如果句子中确实含有该特殊句法结构时，程序判断结果为“存在”的概率为0.95。如果句子中实际上不存在该句法结构时，程序错误地判断为“存在”的概率 为0.005。那么，这个程序测得句子含有该特殊 句法结构的结论是正确的概率有多大？ 解：假设G 表示事件“句子确实存在该特殊句法结构”，T 表示事件“程序判断的结论是存在该特殊句法结构”。那么，我们有： 基于最小风险的贝叶斯决策规则 最小风险贝叶斯决策可按下列步骤进行： (1)在已知P(ωi)，P(X|ωi)，i=1,…，c及给出待识别的X的情况下，根据贝叶斯公式计算出后验概率：　 　 j=1,…，x (2)利用计算出的后验概率及决策表，按式(2-14)计算出采取 αi,i=1,…，a的条件风险　 　,i=1,2,…,a 　　 (3)对(2)中得到的a个条件风险值R(αi|X),i=1,…，a进行比较，找出使条件风险最小的决策αk，则αk就是最小风险贝叶斯决策。 期望(expectation) 方差(variance) 协方差与相关系数 协方差：可以衡量随机变量x与y之间的统计独立程度。任意两个随机变量X和Y的协方差,记为Cov(X,Y), 定义为 Cov(X,Y)=E{[ X-E(X)][Y-E(Y) ] =E(XY)-E(X)E(Y) 相关系数 二项式分布(binomial distribution ) 二项式分布(binomial distributio