统计学习方法(二):k 近邻法
\(k\) 近邻法
模型
\(k\) 近邻法是一种基本的分类和回归方法。对于分类问题,模型将输入对应于特征空间后输出对应的类别。\(k\) 近邻法假定给定一个训练数据集,其中的实例类别已定。分类时,对于新的实例,根据其 \(k\) 个最近邻的训练实例的类别,通过多数表决等方式进行预测。因此,\(k\) 近邻法不具有显式的学习过程。\(k\) 值的选择、距离度量和分类决策规则是 \(k\) 近邻法的三个基本要素。
\(k=1\) 的特殊情况被称为最近邻算法。