数据“挖掘”中所需概率论与数理统计知识.pdfVIP

数据挖掘中所需的概率论与数理统计知识 （关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布） 导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文第4 节 （彻底颠覆以前读书时大学课本灌输 给你的观念，一探正态分布之神秘芳踪，知晓其前后发明历史由来），相信，每一个学过概率论与数理统计的朋友都有必要了解数理统计学简史， 因为，只有了解各个定理.公式的发明历史,演进历程.相关联系，才能更好的理解你眼前所见到的知识，才能更好的运用之。 前言 一个月余前，在微博上感慨道，不知日后是否有无机会搞DM，微博上的朋友只看不发的围脖评论道：算法研究领域，那里要的是数学， 你可以深入学习数学，将算法普及当兴趣。想想，甚合我意。自此，便从rickjin 写的“正态分布的前世今生”开始研习数学。 如之前微博上所说，“今年5 月接触DM，循序学习决策树.贝叶斯，SVM.KNN，感数学功底不足，遂补数学，从‘正态分布的前后今生’中感到数学史有 趣，故买本微积分概念发展史读，在叹服前人伟大的创造之余，感微积分概念模糊，复习高等数学上册，完后学概率论与数理统计，感概道：微积分是概数统 计基础，概数统计则是DMML 之必修课。”包括读者相信也已经感觉到，我在写这个Top 10 Algorithms in Data Mining 系列的时候，其中涉及到 诸多的数学概念与基础知识(例如此篇SVM 文章内诸多max.s.t.对偶.KKT 条件.拉格朗日.松弛因子等问题则皆属于数学内一分支：最优化理论与算法范畴 内)，特别是概率论与数理统计部分。更进一步，在写上一篇文章的时候，看到机器学习中那么多距离度量的表示法，发现连最起码的期望， 方差，标准差等基本概念都甚感模糊，于此，便深感数学之重要性。 很快，我便买了一本高等教育出版社出版的概率论与数理统计一书，此书“从0-1 分布、到二项分布、正态分布，概率密度函数，从期望到方差、 标准差、协方差，中心极限定理，样本和抽样，从最大似然估计量到各种置信区间，从方差分析到回归分析，bootstrap 方法，最后到马尔可夫链，以前在学校 没开概率论与数理统计这门课，现在有的学有的看了” 。且人类发明计算机，是为了辅助人类解决现实生活中遇到的问题，然计算机科学毕竟只 发展了数十年，可在数学.统计学中，诸多现实生活问题已经思考了数百年甚至上千年，故，计算机若想更好的服务人类解决问题，须有 效借鉴或参考数学.统计学。世间万事万物，究其本质乃数学，于变化莫测中寻其规律谓之统计学。 话休絮烦。本文结合高等数学上下册、微积分概念发展史，概率论与数理统计、数理统计学简史等书，及rickjin 写的“正态分布的前世今生”系列(此 文亦可看作读书笔记或读后感)与wikipedia 整理而成，对数据挖掘中所需的概率论与数理统计相关知识概念作个总结梳理，方便你我随时查看 复习相关概念，而欲深入学习研究的课后还需参看相关专业书籍.资料。同时，本文篇幅会比较长，简单来说： 1. 第一节、介绍微积分中极限、导数，微分、积分等相关概念； 2. 第二节、介绍随机变量及其分布； 3. 第三节、介绍数学期望.方差.协方差.相关系数.中心极限定理等概念； 4. 第四节、依据数理统计学简史介绍正态分布的前后由来； 5. 第五节、论道正态，介绍正态分布的4 大数学推导。 5 部分起承转合，彼此依托，层层递进。且在本文中，会出现诸多并不友好的大量各种公式，但基本的概念.定理是任何复杂问题的根 基，所以，你我都有必要硬着头皮好好细细阅读。最后，本文若有任何问题或错误，恳请广大读者朋友们不吝批评指正，谢谢。 第一节、微积分的基本概念 开头前言说，微积分是概数统计基础，概数统计则是DMML 之必修课”，是有一定根据的，包括后续数理统计当中，如正态分布的 概率密度函数中用到了相关定积分的知识，包括最小二乘法问题的相关探讨求证都用到了求偏导数的等概念，这些都是跟微积分相关的 知识。故咱们第一节先复习下微积分的相关基本概念。 事实上，古代数学中，单单无穷小、无穷大的概念就讨论了近200 年，而后才由无限发展到极限的概念。 1.1、极限 极限又分为两部分：数列的极限和函数的极限。 1.1.1、数列的极限 定义 如果数列{xn}与常a 有下列关系:对于任意给定的正数e (不论它多么小, 总存在正整数N , 使得对于n N 时的一切xn, 不等 式|xn-a |e 都成立, 则称常数a 是数列{xn}的极限, 或者称数列{