机器学习中常用的距离公式.pdfVIP

机器学习中常用的距离公式 Spark大数据博客 - 机器学习中常用的距离公式 在计算机人工智能领域，距离(distance)、相似度(similarity)是经常出现的基本概念，它们在自然 语言处理、计算机视觉等子领域有重要的应用，而这些概念又大多源于数学领域的度量(metric)、 测度(measure)等概念。 曼哈顿距离 曼哈顿距离又称计程车几何距离或方格线距离，是由十九世纪的赫尔曼·闵可夫斯基所创词汇 ， 为欧几里得几何度量空间的几何学之用语，用以标明两个点上在标准坐标系上的绝对轴距之总和 。曼哈顿距离的正式意义为L1-距离或城市区块距离，也就是在欧几里得空间的固定直角坐标系上 两点所形成的线段对轴产生的投影的距离总和。例如在平面上，坐标\((x_1, y_1)\)的点\(P_1\)与坐标\((x_2, y_2)\)的点\(P_2\)的曼哈顿距离为： $$d=|x_1 -x_2| + |y_1 -y_2| $$ 等价于下面的汇总式： $$d=\sum_{i=1}^n|x_i-y_i|$$ 欧几里得距离 欧几里得度量（euclidean metric）也称欧氏距离： 在数学中，欧几里得距离或欧几里得度量是 欧几里得空间中两点间“普通”（即直线）距离。在欧几里得空间中，点\(x =(x_1,x_2,...,x_n)\)和 \(y =(y_1,y_2,...,y_n)\)之间的欧氏距离为: $$d(x,y)=\sqrt{(x_1-y_1)^2 + (x_2-y_2)^2 + ... + (x_i-y_i)^2}$$ 等价于下面的汇总式： $$d=\sqrt{\sum_{i=1}^n(x_i-y_i)^2}$$ 切比雪夫距离 数学上，切比雪夫距离（Chebyshev distance）或是\(L_∞\)度量是向量空间中的一种度量，二 个点之间的距离定义为其各座标数值差的最大值。以\(p(x_1,y_1)\)和\(q(x_2,y_2)\)二点为例 ，其切比雪夫距离为 $$D_{Chebyshev}(p,q)=max(|x_2-x_1|,|y_2-y_1|)$$ 一般形式为： $$D_{Chebyshev}(p,q)=\max_{i}(|p_i-q_i|)=\lim_{k \to \infty}(\sum_{i=1}^n|p_i- q_i|^k)^{1/k}$$ 闵可夫斯基距离 闵可夫斯基距离或闵氏距离（Minkowski Distance）： 以俄罗斯数学家闵可夫斯基命名的距离；是欧式距离的推广，闵氏距离不是一种距离，而是一组 距离的定义。其定义如下： 1 / 4 机器学习中常用的距离公式 Spark大数据博客 - $$d=\sqrt[p]{\sum_{i=1}^n|x_i-y_i|^p}$$ 从上面公式可以看出： 当\(p=1\)时，就是曼哈顿距离 当\(p=2\)时，就是欧氏距离 当\(p→∞\)时，就是切比雪夫距离 马氏距离 马氏距离(Mahalanobis distance)： 由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出，表示 数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是 它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两 者是有关联的）并且是尺度无关的(scale-invariant)，即独立于测量尺度，如果协方差矩阵为单位 矩阵，马氏距离就简化为欧式距离，如果协方差矩阵为对角阵，其也可称为正规化的马氏距离。 计算公式如下： 对于一个均值为\(\mu=(\mu_1,\mu_2,\mu_3,...\mu_p)^T\) ,协方差矩阵为\(Σ\) ，其马氏距离为： $$D_M(x)=\sqrt{( x-\mu)^TΣ^{-1}( x- \mu)}$$ 马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为\(Σ\) 的随机变量 \(\vec x\)与\(\vec y\)的差异程度： $$d(\vec x,\vec y)=\sqrt{(\vec x-\vec y)^TΣ^{-1}(\vec x-\vec y)}$$ 汉明距离 在信息论中，两个