Kmeans算法理解及简单实现

最近在学习机器学习,虽然早就对kmeans有所耳闻,但一直没腾出时间来实现。本着自己实现一遍是最好的理解原则,决定自己手动实现一遍。

Kmeans是一种聚类算法。用于将一份数据,按照相似性进行聚合分类,将相似的信息聚合到一起。
需要指定簇的个数,即需要将信息分成几份。如谷歌的新闻,将相类似的新闻聚集在一起提供给用户搜索,阅读。

基本的逻辑如下:
1.随机初始化k个簇中心。(一般随机取k个样本点)
2.计算每个样本点到每个簇中心的距离,将其归入到最近的簇中。
3.重新计算每个簇的簇中心(一般计算簇中所有样本点的均值),移动簇中心到新的中心。

接下来,按照上述逻辑,来简单实现kmeans算法。

import numpy as np
import matplotlib.pyplot as plt

随机初始化两组数据

首先初始化两组数据,用于测试。两组数据最好能明确分开。方便观察测试。

x1 = np.random.randint(1,100,size=(10,))
x2 = np.random.randint(200,300,size=(10,))
y1 = np.tan(x1)
y2 = np.tan(x2)
plt.scatter(x1,y1,s =20,alpha=1.0,c = 'green')
plt.scatter(x2,y2,s = 20,alpha=1.0,c = 'blue')
初始化的蓝绿两组数据
data1 = np.vstack((x1,y1)).T
data2 = np.vstack((x2,y2)).T
data = np.vstack((data1,data2))

随机选取中心点

def init_k_center(data,k):
    data_size = data.shape[0]
    centoids = np.random.choice(range(data_size),size=k)
    centers = data[centoids] 
    return centers

聚类。将数据按最近中心点进行聚集

def cluster(data,centers):
    data_group = {}
    data_size = data.shape[0]
    for c_idx in range(centers.shape[0]):
        data_group[c_idx] = []
        
    for i in range(0,data_size):
        da = data[i]
        min_dis = np.linalg.norm(da-centers[0])
        min_center_idx = 0
        
        #找出最近的中心点
        for c_idx in range(1,centers.shape[0]):
            dis = np.linalg.norm(da-centers[c_idx])
            if dis < min_dis:
                min_dis = dis
                min_center_idx = c_idx
            data_group[min_center_idx].append(da) 
    return data_group

重新规划中心点

def re_center(data_group):
    centers = []
    for key,value in data_group.items():
        #重新计算中心点
        value = np.array(value)
        #计算所有点的均值
        center = np.mean(value,axis=0)
        centers.append(center)
    return centers
        

辅助函数,画点数据

def draw_center_group(centers,data_group):
    colors = ["green","blue"]
    ci = 0
    for value in data_group.values():
        value = np.array(value)
        plt.scatter(value[:,0],value[:,1],s = 20,alpha=0.5,c = colors[ci]) 
        ci += 1
    for i in range(0,len(centers)):
        center = centers[i]
        plt.scatter(center[0],center[1],s =50,alpha=1.0,c = 'red')
    plt.show()

组合到一起

def kmeans(data,k):
    #初始化k个中心
    init_centers = init_k_center(data,k)
    prev_center = init_centers
    draw_center(init_centers,data)
    data_group = None
    for i in range(100):
        #聚集。将数据根据中心点的距离分别分到k个簇中。
        data_group = cluster(data,prev_center)
        #重新规划中心点
        after_center = re_center(data_group)
        after_center = np.array(after_center)
        
        #计算前后两次中心点的距离
        diff = np.linalg.norm(after_center-prev_center)
        print("After %d steps, diff is :%g"%(i,diff))
        if diff < 0.2:
            break
        prev_center = after_center
    
    new_centers = after_center
    draw_center_group(new_centers,data_group)
            
kmeans(data,2) # 将数据分为两份
红色表示随机初始化的中心点
After 0 steps, diff is :111.548
After 1 steps, diff is :58.2868
After 2 steps, diff is :0
经过kmeans算法调整后的中心点及各自的数据

至此,一个简单的kmeans算法就完成了!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,829评论 1 331
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,603评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,846评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,600评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,780评论 3 272
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,695评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,136评论 2 293
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,862评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,453评论 0 229
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,942评论 2 233
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,347评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,790评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,293评论 3 221
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,839评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,448评论 0 181
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,564评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,623评论 2 249

推荐阅读更多精彩内容

  • 因为最近是在工作的空档期,所以尽量做一些“志愿者”的工作。 想着可能马上又要工作了,正好微分享群下周的主持人还待定...
    小狮子王后阅读 97评论 0 0
  • 同根姐妹慕容恰 多才勤劳臧宝匣 固执弱爱小棉袄 任性偏护皮克夹
    左耳朵冷阅读 253评论 0 0
  • 起因:模块独立性指每个模块只完成系统要求的独立子功能,并且与其他模块的联系最少且接口简单,两个定性的度量标准――耦...
    陳云峰阅读 374评论 0 0