概率数理统计Less1.pptVIP

Gaussian（1777-1855） 数学王子，数学成就比肩牛顿、阿基米德 德国著名数学家、物理学家、天文学家、大地测量学家 高斯的成就遍及数学的各个领域，在数论、非欧几何、微分几何、超几何级数、复变函数论以及椭圆函数论等方面均有开创性贡献。他十分注重数学的应用，并且在对天文学、大地测量学和磁学的研究中也偏重于用数学方法进行研究。 最重要贡献：《算术研究》 概率统计与随机过程 宋 晖 – 2012年秋 课程简介 本课程介绍概率统计、随机过程的基本原理，介绍与计算机学科领域相关的数学方法，说明如何应用统计方法建立问题求解的数学模型，并将其转化为已知问题。 要求学生学习使用Matlab工具箱实现相关算法，基于取样数据求解问题。 教学学时：48学时 授课：32学时 实验：8学时 课程考核 程序、实验报告：30% 闭卷考试：70% 主要内容 概率统计基础 常用概率分布 参数估计、假设检验 概率分析模型 回归分析 、判别分析 聚类分析 随机过程 泊松过程 马尔科夫决策过程 课程实践 统计方法应用 选择下载某类数据集 实现所学统计分析方法的程序 调用程序分析数据集的数据 撰写应用分析报告 计算机学科应用 了解研究方向中概率统计、随机分析的应用 选定主题，撰写综述报告 参考教材 应用数理统计，华东理工大学出版社，刘剑平等著 理工科概率统计（第8版），机械工业出版社，Ronald E. Walpole 应用随机过程概率模型导论（第9版），北京邮电大学出版社，（美）罗斯著 Pattern Recognition and Machine Learning, Springer, Christopher M. Bishop 第一章 概率统计基础 1.1 基本原理 1.1.1 概率密度 1.1.2 期望与偏差 1.1.3贝叶斯概率 1.1.4 高斯分布 Example 1-1 we have two boxes, one red and one blue, and in the red box we have 2 apples and 6 oranges, and in the blue box we have 3 apples and 1 orange. 随机变量（Random Variable）：B = { r, b }, F = { a, o} 问题： 1）拿到一个苹果的概率是多少？ 2）已拿到一个橙子，该橙子来自红色盒子的概率是多少？ Suppose : p(B = r) = 4/10 p(B = b) = 6/10 General Example Random Variable： X = { xi,i=1,….,M }, Y = {yj, j=1,…,L} Total number of instances: N trails nij : number of {X= xi, Y= yj} ci: number of {X= xi} rj: number of {Y= yj} 1）联合概率（joint probability）：p(X = xi, Y = yj) = nij /N 3）条件概率（conditional probability ）： 2）边缘概率（marginal probability ）： Sum Rule：Product Rule： Bayes theorem：（贝叶斯原理） 贝叶斯原理是模式识别、机器学习等人工智能方法的基础原理 Model a probability distribution Histogram (直方图) N = 60 Back to Example 1 拿到苹果的概率？ 已拿到一个橙子，该橙子来自红色盒子的概率是多少？ 已知 ： p(B = r) = 4/10 p(B = b) = 6/10 p(F = a) = p(F = a|B = r)p(B = r) + p(F = a|B = b)p(B = b) = 2/3 加法与乘法原理 贝叶斯原理 由观察可得： p(F = a|B = r) = 1/4 p(F = o|B = r) = 3/4 p(F = a|B = b) = 3/4 p(F = o|B = b) = 1/4 =11/20 贝叶斯原理 Choose Box