常见的机器学习数学知识点..docxVIP

/heyongluoyao8/article/details见的机器学习数据挖掘知识点原文：一只鸟的天空(/heyongluoyao8)常见的机器学习数据挖掘知识点之BasisSSE(Sum of Squared Error, 平方误差和)?SSE=∑i=1n(Xi?Xˉˉˉ)2SAE(Sum of Absolute Error, 绝对误差和)?SAE=∑i=1n|Xi?Xˉˉˉ|SRE(Sum of Relative Error, 相对误差和)?SRE＝∑i=1nXi?XˉˉˉXˉˉˉMSE(Mean Squared Error, 均方误差)?MSE=∑ni=1(Xi?Xˉˉˉ)2nRMSE(Root Mean Squared Error, 均方根误差)，又称SD(Standard Deviation, 标准差)?RMSE=∑ni=1(Xi?Xˉˉˉ)2n?????????????√MAE(Mean Absolute Error, 平均绝对误差)?MAE=∑ni=1|Xi?Xˉˉˉ|nRAE(Root Absolute Error, 平均绝对误差平方根)?RAE=∑ni=1|Xi?Xˉˉˉ|n????????????√MRSE(Mean Relative Square Error, 相对平均误差)?MRSE＝∑ni=1Xi?XˉˉXˉˉnRRSE(Root Relative Squared Error, 相对平方根误差)?RRSE＝∑ni=1Xi?XˉˉXˉˉn???????????Expectation(期望)Variance(方差)???期望是描述一个随机变量的“期望值”，方差反映着随机变量偏离期望的程度，偏离程度越大哦，方差越大，反之则相反。对于离散随机变量X，其期望为：?E(X)=∑i=1∞xip(xi)??其中p(x)为随机变量的X的分布率(概率分布).???其方差为：?D(X)=∑i=1∞[xi?E(X)]2p(xi)??对于连续变量X，其期望为：?E(X)=∫+∞?∞xf(x)dx??其中f(x)为随机变量的X的概率密度分布.???其方差为：?D(X)=∫+∞?∞[x?E(X)]2f(x)dx??对于Y＝g(X)(g是连续函数)，则Y的期望为：???X是离散随机变量：?E(Y)=E(g(x))=∑i=1∞g(xi)p(xi)??X是连续随机变量：?E(Y)=E(g(x))=∫+∞?∞g(xi)f(x)dx??常见分布的期望与方差：分布/数字特征期望方差两点分布qpq二项分布npnpq泊松分布λλ均匀分布a+b2112(b?a)2指数分布1λ1λ2正态分布μσ2?标准差：???标准差为方差的平方根，即：?V(X)=D(X)?????√JP(Joint Probability, 联合概率)?二维离散随机变量X,?Y?联合概率分布(分布率)?P(x,y)=P{X=xi,Y=yi}=pijpij≥0∑ijpij=∑i∑jpij=1联合分布函数?F(x,y)=P{X≤x,Y≤y}=∑x∑yP(x,y)二维连续随机变量X,?Y?联合概率密度?f(x,y)联合分布函数?F(x,y)=∫x?∞∫y?∞f(u,v)dudvf(x,y)≥0∫+∞?∞∫+∞?∞f(x,y)dxdy=F(+∞,+∞)=1MP(Marginal Probability, 边缘概率)?二维离散随机变量?X的边缘分布率?pi.=P{X=xi}=∑j=1∞pij,j=1,2,3,...Y的边缘分布率?p.j=P{Y=yi}=∑i=1∞pij,i=1,2,3,...X的边缘分布函数?FX(x)=F(x,+∞)=P{X≤x}=P{X≤x,Y≤+∞}Y的边缘分布函数?FY(y)=F(+∞,y)=P{Y≤y}=P{X≤+∞,Y≤y}二维连续随机变量?X的边缘分布率?fX(x)=∫+∞?∞f(x,y)dyY的边缘分布率?fY(y)=∫+∞?∞f(x,y)dxX的边缘分布函数?FX(x)=F(x,+∞)=∫x?∞[∫+∞?∞f(u,y)dy]duY的边缘分布函数?FY(y)=F(y,+∞)=∫y?∞[∫+∞?∞f(x,v)dx]dvIndependence(独立性)???若对一切x,?y，都有：?P{X≤x,Y≤y}=P{X≤x}P{Y≤y}??即：?F(x,y)=FX(x)FY(y)则随机变量X, Y是互相独立的.???对于离散随机变量，等价于：?P{X=xi,Y=yj}=P{X=xi}P{Y=yj},i,j=1,2,...??对于连续随机变量，等价于：?f(x,y)=fx(x)fy(y)CP(Conditional Probability, 条件概率)???对于离散随机变量，定义为:?若P{Y=yj}0：?P{X=xi|Y=yj}=P{X=xi,