最近在学习机器学习课程中，会遇到一些算法是基于 距离概念 来做分类or回归问题。在数学中，这类函数被称为 范数。

###范数概念

范数是数学中一种基本概念。在三维欧式空间中，我们求两点的距离是基于 毕达哥拉斯定理（勾股定理）。$c^2=a^2+b^2$。在泛函分析中，我们可以把距离概念推广到高维空间，同时距离函数的表达式要满足：非负性、齐次性、三角不等式。在这种观点下，勾股定理就是一种表示距离概念的特例。

  1. 非负性：$||x||\geq0$，当且仅当 $x=0$ 时，$||x||=0$
  2. 齐次性：$\lambda x=|\lambda|\times||x||$
  3. 三角不等：$||x+y||\leq||x||+||y||$

P范数

定义：$L_p=||x||_p=(\displaystyle\sum_{i=1}^n|x_i|^p)^{1/p}$，$1\leq p<\infin$

  • $p=1$ 时是 $L_1$ 范数：哈密顿距离
  • $p=2$ 时是 $L_2$ 范数：欧式距离
  • $p=\infin$ 时是 $L_{\infin}$ 范数：切比雪夫距离
  • $L_p$ 称为闵可夫斯基距离

参考资料