统计学习方法(二):k 近邻法
\(k\) 近邻法
模型
\(k\) 近邻法是一种基本的分类和回归方法。对于分类问题,模型将输入对应于特征空间后输出对应的类别。\(k\) 近邻法假定给定一个训练数据集,其中的实例类别已定。分类时,对于新的实例,根据其 \(k\) 个最近邻的训练实例的类别,通过多数表决等方式进行预测。因此,\(k\) 近邻法不具有显式的学习过程。\(k\) 值的选择、距离度量和分类决策规则是 \(k\) 近邻法的三个基本要素。
\(k=1\) 的特殊情况被称为最近邻算法。
\(k\) 近邻法是一种基本的分类和回归方法。对于分类问题,模型将输入对应于特征空间后输出对应的类别。\(k\) 近邻法假定给定一个训练数据集,其中的实例类别已定。分类时,对于新的实例,根据其 \(k\) 个最近邻的训练实例的类别,通过多数表决等方式进行预测。因此,\(k\) 近邻法不具有显式的学习过程。\(k\) 值的选择、距离度量和分类决策规则是 \(k\) 近邻法的三个基本要素。
\(k=1\) 的特殊情况被称为最近邻算法。
感知机是一种二类分类的线性分类模型,属于判别模型。感知机的数据集要求线性可分。 \[ f(x) = sign(\omega \cdot x + b) \] 其中 \[ sign(x) = \left\{\begin{matrix} 1, x \geq 0\\ -1, x < 0 \end{matrix} \right. \] \(\omega \cdot x + b = 0\) 决定了将数据分为正负两类的超平面。