2017.11.05学习笔记1-k近邻算法原理

目标

1、理解KNN算法的核心思想
2、理解KNN算法的实现
3、掌握KNN算法的应用步骤:数据处理、建模、运算和结果判定

1. kNN分类算法原理

1.1概述

K最近邻(k-Nearest Neighbor,KNN)分类算法是最简单的机器学习算法。
KNN算法的指导思想是“近朱者赤,近墨者黑”,由你的邻居来推断出你的类别。

本质上,KNN算法就是用距离来衡量样本之间的相似度
1.2 算法图示
  • 从训练集中找到和新数据最接近的k条记录,然后根据多数类来决定新数据类别。
  • 算法涉及3个主要因素:
  1. 训练数据集
  2. 距离或相似度的计算衡量
  3. k的大小


    image.png
  • 算法描述
  1. 已知两类“先验”数据,分别是蓝方块和红三角,他们分布在一个二维空间中
  2. 有一个未知类别的数据(绿点),需要判断它是属于“蓝方块”还是“红三角”类
  3. 考察离绿点最近的3个(或k个)数据点的类别,占多数的类别即为绿点判定类别
1.3 算法要点

1.3.1 计算步骤

  • 计算步骤如下:
    1. 算距离:给定测试对象,计算它与训练集中的每个对象的距离
    2. 找邻居:圈定距离最近的k个训练对象,作为测试对象的近邻
    3. 做分类:根据这k个近邻归属的主要类别,来对测试对象分类

1.3.2、相似度的衡量

  • 距离越近应该意味着这两个点属于一个分类的可能性越大。
    但,距离不能代表一切,有些数据的相似度衡量并不适合用距离
  • 相似度衡量方法:包括欧式距离、夹角余弦等。

(简单应用中,一般使用欧氏距离,但对于文本分类来说,使用余弦(cosine)来计算相似度就比欧式(Euclidean)距离更合适)

1.3.3、类别的判定

  • 简单投票法:少数服从多数,近邻中哪个类别的点最多就分为该类。
  • 加权投票法:根据距离的远近,对近邻的投票进行加权,距离越近则权重越大(权重为距离平方的倒数)
1.4 算法不足之处
  1. 样本不平衡容易导致结果错误
  • 如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量类的样本占多数。
  • 改善方法:对此可以采用权值的方法(和该样本距离小的邻居权值大)来改进。
  1. 计算量较大
  • 因为对每一个待分类的文本都要计算它到全体已知样本的距离,才能求得它的K个最近邻点。
  • 改善方法:事先对已知样本点进行剪辑,事先去除对分类作用不大的样本。
    该方法比较适用于样本容量比较大的类域的分类,而那些样本容量较小的类域采用这种算法比较容易产生误分。

代码示例1 (sklearn)

import numpy as np
from sklearn.neighbors import KNeighborsClassifier
x_train = np.array([[100,100,100],[90,98,97],[90,90,100],[100,90,95],[80,90,70],[100,80,100],
                    [95,95,95],[95,97,80],[90,95,90],[95,95,90],[100,100,95]])
y_train = ['清华','北大','北邮','北大','北邮','北大','清华','北邮','北邮','北邮','清华']
x_test = np.array([[97,96,92]])
clf = KNeighborsClassifier(n_neighbors=2,weights='uniform',algorithm='auto')
clf.fit(x_train,y_train)
pred = clf.predict(x_test)
print(pred)

代码示例2 (numpy)

import numpy as np
#from sklearn.neighbors import KNeighborsClassifier
import operator
x_train = np.array([[100,100,100],[90,98,97],[90,90,100],[100,90,95],[80,90,70],[100,80,100],
                    [95,95,95],[95,97,80],[90,95,90],[95,95,90],[100,100,95]])
y_train = ['清华','北大','北邮','北大','北邮','北大','清华','北邮','北邮','北邮','清华']
x_test = np.array([[97,96,92]])
def classify0(x_test, x_train, labels, k):#对每组数据进行分类,inX为用于分类的输入向量
    dataSetSize = x_train.shape[0]
    # 计算欧氏距离
    diffMat = np.tile(x_test, (dataSetSize, 1)) - x_train
    SQdiffMat = diffMat ** 2
    distances = SQdiffMat.sum(axis=1)
    # 对索引值进行排序排序
    sorted_distances = distances.argsort()
    # 以字典形式存储数据,便于索引
    class_count = {}
    for i in range(k):
        voteLabel = labels[sorted_distances[i]]
        class_count[voteLabel] = class_count.get(voteLabel,0) + 1
        # 将classCount字典分解为元祖列表,排序k个距离值
        sortedClassCount = sorted(class_count.items(), key=operator.itemgetter(1),
                                  reverse=True)
        return sortedClassCount[0][0]  # 返回发生频率最高的元素标签
classifier = classify0(x_test,x_train,y_train,k=2)
print(classifier)

两种计算结果所得分类均为-北邮

推荐阅读更多精彩内容