数据挖掘中所需率论与数理统计知识.doc

数据挖掘中所需的概率论与数理统计知识 ??（关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布） 导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文 HYPERLINK /v_july_v/article/details/8308762 \l t28 \t /v_july_v/article/details/_blank 第4节（彻底颠覆以前读书时大学课本灌输给你的观念，一探正态分布之神秘芳踪，知晓其前后发明历史由来），相信，每一个学过概率论与数理统计的朋友都有必要了解数理统计学简史，因为，只有了解各个定理.公式的发明历史,演进历程.相关联系，才能更好的理解你眼前所见到的知识，才能更好的运用之。 前言 ? ??一个月余前，在 HYPERLINK /julyweibo \t /v_july_v/article/details/_blank 微博上感慨道，不知日后是否有无机会搞DM，微博上的朋友只看不发的围脖评论道：算法研究领域，那里要的是数学，你可以深入学习数学，将算法普及当兴趣。想想，甚合我意。自此，便从rickjin写的“正态分布的前世今生”开始研习数学。 ? ? 如之前微博上所说，“今年5月接触DM，循序学习决策树.贝叶斯，SVM.KNN，感数学功底不足，遂补数学，从‘正态分布的前后今生’中感到数学史有趣，故买本微积分概念发展史读，在叹服前人伟大的创造之余，感微积分概念模糊，复习高等数学上册，完后学概率论与数理统计，感概道：微积分是概数统计基础，概数统计则是DMML之必修课。”包括读者相信也已经感觉到，我在写这个 HYPERLINK /v_july_v/article/category/1061301 \t /v_july_v/article/details/_blank Top 10 Algorithms in Data Mining系列的时候，其中涉及到诸多的数学概念与基础知识(例如 HYPERLINK /v_july_v/article/details/7624837 \t /v_july_v/article/details/_blank 此篇SVM文章内诸多max.s.t.对偶.KKT条件.拉格朗日.松弛因子等问题则皆属于数学内一分支：最优化理论与算法范畴内)，特别是概率论与数理统计部分。更进一步，在写 HYPERLINK /v_july_v/article/details/8203674 \t /v_july_v/article/details/_blank 上一篇文章的时候，看到机器学习中那么多距离度量的表示法，发现连最起码的期望，方差，标准差等基本概念都甚感模糊，于此，便深感数学之重要性。 ? ? 很快，我便买了一本高等教育出版社出版的概率论与数理统计一书， HYPERLINK /1580904460/z6yS61FJZ \t /v_july_v/article/details/_blank 此书“从0-1分布、到二项分布、正态分布，概率密度函数，从期望到方差、标准差、协方差，中心极限定理，样本和抽样，从最大似然估计量到各种置信区间，从方差分析到回归分析，bootstrap方法，最后到马尔可夫链，以前在学校没开概率论与数理统计这门课，现在有的学有的看了”。且人类发明计算机，是为了辅助人类解决现实生活中遇到的问题，然计算机科学毕竟只发展了数十年，可在数学.统计学中，诸多现实生活问题已经思考了数百年甚至上千年，故，计算机若想更好的服务人类解决问题，须有效借鉴或参考数学.统计学。世间万事万物，究其本质乃数学，于变化莫测中寻其规律谓之统计学。 ? ? 话休絮烦。本文结合高等数学上下册、微积分概念发展史，概率论与数理统计、数理统计学简史等书，及rickjin写的“正态分布的前世今生”系列(此文亦可看作读书笔记或读后感)与 HYPERLINK /wiki/Wikipedia:%E9%A6%96%E9%A1%B5 \t /v_july_v/article/details/_blank wikipedia整理而成，对数据挖掘中所需的概率论与数理统计相关知识概念作个总结梳理，方便你我随时查看复习相关概念，而欲深入学习研究的课后还需参看相关专业书籍.资料。同时，本文篇幅会比较长，简单来说： 第一节、介绍微积分中极限、导数，微分、积分等相关概念； 第二节、介绍随机变量及其分布； 第三节、介绍数学期望.方差.协方差.相关系数.中心极限定理等概念； 第四节、依据数理统计学简史介绍正态分布的前后由来； 第五节、论道正态，介绍正态分布的4大数学推导。 ? ? 5部分起承转合，彼此依托，层层递进。且在本文中，会出现诸多并不友好的大量各种公式，但基本的概念.定理是任