机器学习简明教程---基于Python语言实现 课件 第2章基础知识.pptx

基础知识《机器学习简明教程》高延增侯跃恩罗志坚机械工业出版社02

本章目标?理解向量、矩阵的概念及其相应的属性?理解事件、概率、随机变量、条件概率、期望宇方差等概念?了解优化的基本概念?掌握Python入门知识?了解机器学习中常用的包

目录/Contents2.12.2线性代数概率与统计2.3优化2.4Python基础

2.1线性代数——向量与范数?????

2.1线性代数——向量与范数?????

2.1线性代数——向量与范数??????

2.1线性代数——向量与范数两个向量的夹角：对于两个非零向量x,y∈Rn之间的夹角定义为????该公式表明两个向量的内积不会大于这两个向量的范数的乘积.

2.1线性代数——向量与范数?????

2.1线性代数——矩阵??????

2.1线性代数——矩阵?????矩阵的转置运算满足以下性质

2.1线性代数——矩阵?????

2.1线性代数——行列式与矩阵的逆?????

2.1线性代数——行列式计算与性质??????

2.1线性代数——逆矩阵??逆矩阵的性质：

目录/Contents2.12.2线性代数概率与统计2.3优化2.4Python基础

2.2概率与统计——事件与概率?

2.2概率与统计——随机变量???则称函数p为随机变量X的概率密度函数。从几何角度理解，Pr(a≤X≤b)表示为以数轴区间[a,b]为底，函数曲线y=p(x)为顶的曲边梯形的面积；直观上，Pr(a≤X≤b)表示连续随机变量X在区间[a,b]中的概率总和，即概率质量之和，而概率密度在该区间上的积分则对应为该区间的概率质量之和.

2.2概率与统计——随机变量????则称X服从正态分布N(μ,σ2)，并称μ和σ2为随机变量的X的期望与方差(期望与方差的概念见2.2.4)。若μ=0,σ=1，则N(0,1)称为标准正态分布。多元正态分布：给定μ∈Rn和Σ∈Rn×n，其中Σ为对称正定矩阵，若n维随机变量X的概率密度函数为则称X服从多元正态分布Nμ,Σ，并称μ和Σ为随机变量X的期望和协方差矩阵。

2.2概率与统计——条件概率与独立??????若离散随机变量X,Y相互独立，则有：

2.2概率与统计——条件概率与独立?????则贝叶斯定理(Bayesiantheorem)表示为：??

2.2概率与统计——期望与方差?????

2.2概率与统计——期望与方差??若X为离散型随机变量，其取值集合为{x1,x2,?,xn}，则离散随机变量X的方差为：若X为连续型随机变量，则其方差为：随机变量X的标准差(standarddeviation)记为σX，定义为：

2.2概率与统计——期望与方差?

2.2概率与统计——期望与方差大数定理：设X1,X2,?,Xn为独立同分布的随机变量序列，对任一1≤i≤n满足EXi=μ且VarXi=σ2≤∞，则对任意的?0大数定理表明，在随机试验中，每次出现的结果不同，但是大量重复试验出现的结果的频率趋近于一个常数，该常数为该随机试验中随机变量的期望。

2.2概率与统计——期望与方差???

2.2概率与统计——最大似然估计与最大后验估计最大似然估计：假设有观测数据集合D={x1,x2,?,xn}是由某个概率分布p(x;θ)产生，其中θ为确定而待估计的概率分布参数，并且满足对任意的1≤i,j≤n，观测数据xi和xj相互独立。则数据集D出现的概率为p(D;θ)=p(x1,x2,?,xn;θ)，由观测数据的独立性可得p(x1,x2,?,xn;θ)=(px1;θ)?p(xn;θ)，定义??

2.2概率与统计——最大似然估计与最大后验估计由于多个概率值进行连乘操作容易引起数值溢出的问题，通常引入负对数似然函数(negativeloglikelihood)??

2.2概率与统计——最大似然估计与最大后验估计?????

1.3机器学习的发展阶段年份主要成果代表人物人工智能起源1936自动机模型理论阿兰?图灵（AlanTuring）1943MP模型沃伦?麦卡洛克（WarrenMcCulloch）、沃特?皮茨（Walter?Pitts）1951符号演算冯?诺依曼（JohnvonNeumann）1950逻辑主义克劳德?香农（Claude?Shannon）1956人工智能约翰?麦卡锡（JohnMcCarthy）、马文?明斯基（MarvinMinsky?)、克劳德?香农（ClaudeShannon）人工智能初期1958LISP约翰?麦卡锡（JohnMcCarthy）1962感知器收敛理论弗兰克?罗森布拉特（FrankRosenblatt）1972通用问题求解（GPS）艾伦?纽厄尔（AllenNewell）、赫伯特?西蒙（Herbert?Simon