第一部分：概率基础.pptVIP

第一部分：概率基础 对应教材Chp1-5 可能需要复习本科概率论的相应内容 课堂上讲述会较快，将知识点串起来，建议大家通读教材 时间：“十一”长假之前 主要内容： 概率、随机变量及其分布、常用分布、多元随机向量 随机变量的变换及其分布 独立、条件独立、贝叶斯公式 期望、方差 概率不等式及收敛性 第一章：概率 概率：定量描述不确定性的数学语言 例：P(牙痛是由虫牙引起) = 0.8 20%– 所有其他可能 实际数值可能来源于统计数据、模型、启发规则或猜测 更精确的概率定义： 代数、可测量、测度（参考[CB] Chp1） 概率、样本空间和事件 考虑一个事先不知道输入的试验： 试验的样本空间 是所有可能输出的集合 事件A是样本空间的子集 对每个事件A ，我们定义一个数字P(A) ，称为A 的概率。概率根据下述公理定义： 概率公理 事件A 的概率是一个非负实数 P(A) ≥ 0 合法命题的概率为1 P( ) = 1 两两不相交（互斥）事件A1, A2, … 公理的推论 不可满足命题的概率为0 P (?) = 0 P(A ∩ Ac) = 0 对任意两个事件A 、 B P(A ∪ B) = P (A) + P(B) – P(A ∩ B ) 对事件A的补事件Ac P(Ac) = 1 – P(A) 对任意事件A 0 ≤ P(A) ≤ 1 概率的解释 概率的 “真正意义” 仍是一个非常有争议的论题 没有一种解释被一致接受 概率两种主要的解释： 频率解释 概率 = 一个事件的相对频率 （大量试验情况下） 对应频率推断（点估计、置信区间） 可信度解释 概率 = 观测者对可能性的判断 “贝叶斯概率” 对应贝叶斯推断 概率的频率解释 在相似试验条件下，进行多次重复试验，得到某个特定输入的相对频率 （如掷骰子或抛硬币） 满足概率公理 只有试验才能确定概率 但是 试验次数多少次才足够多? 相似条件? (条件完全相同?) P(正面朝上)? P(你本门课程得90分以上)? P(明天会下雨)? 概率的可信度解释 亦称“贝叶斯概率” 概率表示观测者对可能性的判断 定量表示某人的信念强度 是基于个人的信念和信息 “主观概率” 而不是 “真正的概率” 并没有对世界客观的表述 主观判断完全一致没有矛盾? 不同人之间没有统一的客观基准 满足概率公理 (在保持一致性的情况下) 独立事件 当P (AB) = P(A) P(B)时，称两个事件A与B独立，记为 可推广到有限个事件系列 可通过两种方式确定事件之间的独立性 显式假设：如抛硬币试验中，假设每次抛掷都是独立的 数值推导：满足P (AB) = P(A) P(B) 如在一个公正的掷骰子的试验中， 则 独立总结 条件概率 当P(B)0 时，给定B时A的条件概率为 给定任意B，若P(B)0 ，则 也是一个概率，即满足概率的三个概率公理 当 不相交时， 条件概率 下列等式不一定成立 条件概率 例1.13： 对疾病D的医学测试结果输出为+和-，其概率分别为： 假设某个测试的结果为+，则得病的概率为多少？ 条件概率 例1.13（续）： 假设某个测试的结果为-，则得病的概率为多少？ 独立与条件概率 若A与B独立事件，则 知道B不会改变A的概率 当A与B不独立时 Vs. A与B独立时： 例：条件独立 赌徒的谬误：戴伦伯特系统 参与者赌红色或黑色，每赌失败一次就加大赌数，每赌赢一次就减少赌数。 如果小小的象牙球让他赢了，那么就会有某种原因“记住”它，不太可能让他在下一次再赢；如果小球使他输了，它将感到抱歉，很可能帮助他在下一次赢。 事实上：每一次旋转，轮盘都与以前旋转的结果无关。 条件概率总结 1. 如果 P(B)0，则 2. 对给定的B ，P(.|B) 满足概率公理。通常，对给定的A ，P (A|.) 不满足概率公理。 3. 通常，P(A|B)≠P(B|A)。 4. 当且仅当P(A|B)=P(A) 时， A 与B 独立。 贝叶斯公式 全概率公式：令A1, …, Ak 为 的一个划分，则对任意事件B，有 。 贝叶斯公式：令A1, …, Ak 为 的一个划分且对每个i， i =1,2, …,k 。若 ，则对每个 有 例：邮件分类 例1.19：email可分为三类：A1