数据的距离度量 一、欧式距离，曼哈顿距离，闵氏距离，切比雪夫距离，兰氏距离，马氏距离

前言

本篇记录一下常用的数据距离度量方法，欧式距离，曼哈顿距离，闵氏距离，切比雪夫距离，马氏距离，兰氏距离。

欧式距离

最常用的距离，用于衡量欧式空间中两点间的距离，等同于两个同维向量之差的2-范数，也称为L2距离：
$$d(x,y)=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}=||x-y|{|}_2$$

标准欧式距离

标准欧式距离是在存在大量样本点时，通过数据标准化后再计算欧式距离：
$$d(x,y)=\sqrt{\sum _{i=1}^n(\frac{(x_i-{\mu }_i)-(y_i-{\mu }_i)}{s_i}{)}^2}$$

曼哈顿距离

等同于两个同维向量之差的1-范数，也称为L1距离：
$$d(x,y)=\sum _{i=1}^n|x_i-y_i|=||x-y|{|}_1$$

闵氏距离

等同于两个同维向量之差的p-范数：
$$d(x,y)=\sqrt[{}^p]{\sum _{i=1}^n|x_i-y_i{|}^p}=||x-y|{|}_p$$

切比雪夫距离

等同于两个同维向量之差的无穷范数：
$$d(x,y)=\max (|x_i-y_i|)=||x-y|{|}_{\infty }$$

兰氏距离

$$d(x,y)=\sum _{i=1}^n\frac{|x_i-y_i|}{|x_i|+|y_i|}$$

马氏距离

如果向量之间的某些维度具有相关性，欧式距离并不会考虑这些相关性。比如$x_1,x_3$独立，$x_2=2x_1$，点(2, 4, 1)与(3, 6, 1)更近还是(1.5, 3, 1)更近呢？如果使用欧式距离，必然点(1.5, 3, 1)更近，但考虑到第0, 1维的函数关系，实际上应当把第二维拿掉再计算欧式距离，这时两点距离是相同的。

马氏距离通过协方差矩阵的逆来衡量各维度之间的关系（两维的协方差），并且去除了各维度自身的尺度影响（维度的方差）：
$$d(x,y)=\sqrt{(x-y{)}^T{\Sigma }^{-1}(x-y)}$$