第一个问题无参数密度估计.docVIP

第一个问题：无参数密度估计 给定任意一组观测数据或数据采样值，估计出样本的分布。 无参数密度估计，它对数据分布规律没有附加任何假设，而是直接从数据样本本身出发研究数据分布特征，对先验知识要求最少，完全依靠训练数据进行估计，而且能处理任意的概率分布。 例如：直方图法，最近邻域法，核密度估计方法。 有参数密度估计：高斯统计模型。 更形象的说明： 已经有N个点，它们的坐标分布如下面所示，如何求出这个区域中，哪个位置的样本分布密度最大，换句话说，如果有第N+1个点，它最大的可能出现在哪个位置。 下面我们就用Mean Shift的原理来解决这类的问题。 第二个问题：核函数的密度估计 给定维空间中的样本集合，则点关于核函数和带宽矩阵的核函数密度估计表示为： 其中 其中表示带宽矩阵。我们用比例单位矩阵来表示，将上面的核密度方程写成下面的典型的表达式： 由于，可将密度估计写成关于核函数的轮廓函数形式： 由上面的式子可以看出，核函数是一种权值函数，其作用是将每个样本点按到中心点距离的远近进行加权，距离中心点近的样本点概率密度估计影响大，赋予大的权值，反之，赋予小的权值。 第三个问题：Mean Shift 向量 们在第二个问题中，已经由核函数来估计出来了一个样本集合的概率密度，现在我们要根据这个概率密度方程，来分析数据集合中密度最大数据的分布位置，我们可以对密度函数求导，分析梯度变化。 令上面的导数，