概率分析和随机算法.pptVIP

概率分析和随机算法 主讲：肖臻 PPT由汪小林准备 北京大学计算机系 算法设计与分析 主要内容 概率与概率分布 随机变量及其期望 指示器随机变量 C.2 概率 样本空间S是一个集合，其元素称为基本事件。 一个事件是样本空间S的子集。事件S称为必然事件。事件?称为零事件。 如果A∩B=?，则称事件A和B互斥。 基本事件s∈S可当作事件{s}，因此基本事件是互斥的 对于抛两个不同硬币的试验，样本空间S={HH,HT,TH,TT}。 得到一个正面一个反面的事件为{HT,TH} 概率公理 在样本空间S上，概率分布Pr{}是从S中事件到实数的映射，并且满足下列概率公理： 对所有事件A，Pr{A} ≥0 Pr{S}=1 对两个互斥事件A和B，Pr{A∪B}=Pr{A} +Pr{B}。（可推广到多个互斥事件） 称Pr{A}为事件A的概率。 概率公理的一些简单推论 Pr{?}=0 如果A ? B，则Pr{A} ≤ Pr{B} 以~A表示S-A，则Pr{~A}=1-Pr{A} 对任意两个事件A和BPr{A∪B} = Pr{A}+Pr{B}-Pr{A∩B} ≤ Pr{A}+Pr{B} 概率分布 离散概率分布：定义在样本空间S上 Pr{A}=∑s∈SPr{s} 均匀概率分布S是有限集合，对任意s∈S，Pr{s}=1/|S| 连续均匀概率分布：定义在区间[a, b]上 Pr{[c, d]}=(d-c)/(a-b) ，其中a≤c ≤d ≤b Pr{[x, x]}=0 Pr{(c, d)}=Pr{[c, d]} 条件概率和独立性 已知两次抛硬币后至少有一个是正面的，则两次抛硬币都是正面的概率是多少？ 条件概率公式 Pr{A|B}=Pr{A∩B}/Pr{B} 两个事件A和B独立当且仅当 Pr{A∩B}= Pr{A}Pr{B} 如果Pr{B} ≠0，则等价于Pr{A|B}=Pr{A} 贝叶斯定理 对两个非零概率的事件A和B满足 Pr{A|B}=Pr{A}Pr{B|A}/Pr{B} =Pr{A}Pr{B|A} / (Pr{A}Pr{B|A}+Pr{~A}Pr{B|~A}) 一个均质的硬币和一个总是正面朝上的非均质硬币，随机取一个抛两次，结果都是正面，请问这个硬币是非均质硬币的概率？ （离散）随机变量 （离散）随机变量X是一个从有限或可数无限样本空间S到实数的函数 随机变量X的概率密度函数f(x) 对于实数x，将事件X=x定义为{s∈S: X(s)=x} f(x)=Pr{X=x}=∑ s∈S: X(s)=x Pr{s} 联合概率密度函数f(x, y) f(x, y)=Pr{X=x且Y=y} 事件X=x和Y=y是独立的当且仅当X和Y独立，即有 Pr{X=x且Y=y}=Pr{X=x}Pr{Y=y} 随机变量的期望 随机变量X的期望值（期望、均值、中数） E[X]= ∑ xx Pr{X=x} 只要上式中的和是有限或绝对收敛的 期望是线性的 E[aX+Y]=aE[X]+E[Y] 随机变量X和Y独立，则 E[XY]=E[X]E[Y] 指示器随机变量 给定一个样本空间S和事件A，则事件A对应的指示器随机变量I{A}定义为： 引理：给定样本空间S和事件A，另XA=I{A}，则E[XA]=Pr{A} 证明：E[XA]=E[I{A}]=1*Pr{A}+0*Pr{~A}=Pr{A} 基于指示器随机变量计算 设指示器随机变量Xi对应于第i次抛硬币正面朝上的事件，令随机变量X表示n次抛硬币中出现正面的总次数，则 X=∑i=1..n Xi 求E[X] 小结 概率与概率分布 随机变量及其期望 用指示器随机变量 每个基本事件可被看成是一次试验的一个可能的输出。 理解概率事件与样本空间之间的关系，理解基本事件的互斥性。 * * * 两次都是正面的概率为：1/3，为什么？条件概率 独立事件的例子（根据独立事件的定义）： 两次抛硬币：事件“第一次抛正面向上”的概率为1/2；事件“两次抛向上的面不同”的概率为1/2；两者同时发生的概率是1/4。 * 利用A∩B=B∩A及条件概率公式，以及概率公理，可推导出贝叶斯公式。 A表示选择了非均质硬币，B表示两次抛正面均向上，则所求为Pr{A|B} Pr{A}=1/2 Pr{B|A}=1 Pr{~A]=1/2 Pr{B|~A}=1/4 Pr{A|B}=Pr{A}Pr{B|A}/(Pr{A}Pr{B|A}+Pr{~A}Pr{B|~A})=(1/2)/((1/2)+(1/2)(1/4))=4/5 C.2-3 任意次序抽三张牌，升序的概率？ 与取的顺序无关，其本质就是看任意三张牌升序的概率是多大，根据三张牌任何一种顺序出现的概率都应该是相同的，可以知道升序的概率为 1/6 * * 基于指示