大间隔最近邻居

定义

大间隔最近邻居算法的主要想法就是通过学习一种距离度量使得在一个新的转换空间中，对于一个输入 的个近邻都属于同一类别，而不同类别的样本与保持一定大的距离。如果该想法能够实现则留一（LOO）分类错误率将会最小化。该算法的最主要的任务就是求得满足条件的线性空间转换矩阵。 定义有类别标签的训练数据集为：, 其中类别标签集为：. 我们的目标是学习一种用来估计如下平方距离的线性变换： 
其中是半正定矩阵。欧氏距离是该距离度量的特例（为单位矩阵的形式）。该度量算法也被称作是马氏距离度量（Mahalanobis Metric）。 图1显示了，该算法的学习过程：

目标邻居的定义

对于每一个输入样本，除了要知道其类别标签外，还需要确定其个目标邻居，即个同类别的输入，并且希望通过上式求出的距离最小。当缺乏先验知识的话，属于同类别的目标邻居可以由欧氏距离确定。则属于同类别的个的输入即为目标邻居。

入侵样本的定义

对于任何一个输入样本，其入侵样本是指与其最近邻的个样本中与其不同类的样本。该算法在对训练样本学习过程中应尽可能的使入侵样本的数目达到最小化。