大数据管理与应用 课件 -第二章 大数据管理与应用的数学基础.pptx

第二章大数据管理与应用的数学基础;线性代数、优化和统计是大数据管理与应用的重要数学基础，大数据管理与应用的核心要素是机器学习，机器学习中的数据表示、运算规则、模型性质、模型优化等均离不开这些数学基础。在本章中你将了解线性代数、优化和统计的基本定义，掌握线性代数、优化和统计中的常用方法，从而为后续深人学习机器学习方法打下基础。

线性代数基础

优化基础

统计基础;01;标量（Scalar）是一个单独的数，它通常使用小写的斜体变量进行表示。

向量（Vector）是一列有序排列的数，它通常使用小写的粗体变量进行表示。

矩阵（Matrix）是一个二维数组，它通常使用大写的粗体变量进行表示。

张量（Tensor）是坐标超过两维的数组。

范数（Norm）在机器学习中有重要的作用，它能够衡量向量或矩阵的大小，并满足非负性、齐次性和三角不等式。;?;矩阵和向量求???

矩阵和向量的导数有以下常用的运算规则：

矩阵的迹运算的导数有以下常用运算规则：

;?;最优化问题

在现实社会中，人们经常遇到这样一类问题：判别在一个问题的众多解决方案中什么样的方案最佳，以及如何找出最佳方案。例如，在资源分配中，如何分配有限资源，使得分配方案既能满足各方面的需求，又能获得好的经济效益；在工程设计中，如何选择设计参数，使得设计方案既能满足设计要求，又能降低成本等。这类问题就是在一定的限制条件下使得所关心的指标达到最优。最优化就是为解决这类问题提供理论基础和求解方法的一门数学学科。

在量化求解实际最优化问题时，首先要把实际问题转化为数学问题，建立数学模型。最优化数学模型主要包括三个要素：决策变量和参数、约束或限制条件、目标函数。

根据数学模型中有无约束函数分类，可分为有约束的最优化问题和无约束的最优化问题。;?;?;?;?;Newton法

最速下降法的本质是用线性函数去近似目标函数，可以考虑对目标函数的高阶逼近得到快速算法，Newton法就是通过用二次模型近似目标函数得到的。具体算法步骤如下：

共轭梯度法

共轭梯度法的基本思想是在共轭方向法和最速下降法之间建立某种联系，以求得到一个既有效又有较好收敛性的算法。

拟Newton法

拟Newton法不需要二阶导数的信息，有时比牛顿法更为有效。拟Newton法是一类使每步迭代计算量少而又保持超线性收敛的牛顿型迭代法，条件类似于牛顿法。

;一般性的约束优化问题：

约束优化问题的最优性条件

约束优化问题的最优性条件是指最优化问题的目标函数与约束函数在最优解处应满足的充分条件、必要条件和充要条件，是最优化理论的重要组成部分，对最优化算法的构造及算法的理论分析都是至关重要的。

Kuhn-Tucker必要条件

二阶充分条件

;罚函数法与乘子法

根据约束的特点，构造某种“惩罚”函数，然后把它加到目标函数中去，将约束问题的求解转化为一系列无约束问题的求解。这种“惩罚”策略将使得一系列无约束问题的极小点或者无限地靠近可行域，或者一直保持在可行域内移动，直至迭代点列收敛到原约束问题的最优解。这类算法主要有三种：外罚函数法、内罚函数法和乘子法。

外罚函数法的惩罚策略是对于在无约束问题的求解过程中企图违反约束的那些迭代点给予很大的目标函数值，迫使这一系列无约束问题的极小点（迭代点）或者无线的向容许集靠近。

;罚函数法与乘子法

为使迭代点总是可行点，使迭代点始终保持在可行域内移动，可以使用这样的“惩罚”策略，即在可行域的边界上竖起一道趋向于无穷大的“围墙”，把迭代点挡在可行域内，直到收敛到约束问题的极小点。不过这种策略只适用于不等式约束问题，并且要求可行域内点集非空，否则每个可行点都是边界点，都加上无穷大的惩罚，惩罚方法也就失去了意义。

;?;罚函数法与乘子法

投影梯度法就是利用投影矩阵来产生可行下降方向的方法。它是从一个基本可行解开始，由约束条件确定出凸约束集边界上梯度的投影，以便求出下次的搜索方向和步长，每次搜索后都要进行检验，直到满足精度要求为止。

;罚函数法与乘子法

简约梯度法的基本思想是利用线性约束条件，将问题的某些变量用一组独立变量表示，来降低问题的维数，利用简约梯度构造下降可行方向进行线性搜索，逐步逼近问题的最优解。;?;?;?;定量数据的图形描述

定量数据整理

对定量数据进行统计分组是数据整理中的主要内容。根据统计研究的目的和客观现象的内在特点，按某个标志（或几个标志）把被研究的总体划分为若干个不同性质的组，称为统计分组。频数分布表反映数据整理的结果信息。将数据按其分组标志进行分组的过程，就是频数分布或频率分布形成的过程。

单变量定量数据的图形描述

将定量数据整理成频数分布形式后，已经可以初步看出数据的一些规律了。

直方图

折线图

茎叶图

箱线图;定量数据的图形描述

多变量定量数据的图形描述

实际上往往只对一个变量进行数据分析是