联邦机器学习介绍

本文介绍联邦机器学习,这是机器学习领域正在探索的最新和最着名的方法之一,它侧重于利用分布式系统的力量来训练和增强机器学习模型。

随着IOT的出现和智能手机使用量的增加,具有数据的端点的数量呈指数增长。然而,传统的机器学习方法并不具备处理如此广泛分布的数据和训练模型的能力。

传统的机器学习方法包括用于存储数据和训练模型的中央服务器。然后有两种方法可以使用这种训练模型。

1.构建数据管道以使所有数据通过中央服务器,该服务器托管用于进行预测的训练模型。然后,通过仪表板共享预测结果或用于启动服务。该模型在行业中大量使用,以监控产品,提供建议和其他此类服务。该方法的缺点是由环境中存在的传感器/设备收集的所有输入将被发送回中央服务器,然后处理结果将被发回。这限制了模型根据环境快速学习和适应的能力,并提供实时结果。

2.第二种方法是将训练过的模型运送到直接在环境中相互作用的设备。随着硬件技术的改进,已经有可能具有足够的处理能力来运行这种预测模型。这种方法的好处是预测发生在收集输入的相同环境中并且更快。然而,即使在用于连续学习的该模型中,也要在每个设备处收集训练数据,然后将其发送回重新训练模型的服务器。

联邦机器学习是一种方法,它使我们能够通过在设备本身训练模型来摆脱这种复杂性。然后将这些经过训练的模型发送回中央服务器,在那里聚合它们(基本上调整它们的权重),然后将一个合并的模型发送回设备。它利用分布式计算的概念来维护设备上的每个模型的跟踪,在每个设备上聚合和重新分配模型。这种方法非常有利于在诸如手机,传感器等小型设备上运行低成本机器学习模型。它确实是开发更好和互联世界的门户。

联邦机器学习如何运作?
联邦机器学习大致采用以下简单步骤:

1.将预测模型发送到设备

2.消耗输入并进行预测。观察用户采取的行动并将差异存储为训练数据

3.使用此培训数据来改进预测模型。

4.将这些经过重新训练的模型从多个设备发送到中央服务器

5.从所有不同模型重新分配和聚合权重以创建一个模型

6.将重新训练的模型送回所有设备

这些步骤在循环中重复以实现连续学习的过程。

联邦机器学习的好处
联邦机器学习的一些主要好处是:

数据安全和隐私:由于培训在设备上进行,只有模型被运回,因此摆脱了在黑客攻击的中心位置存储大量高度敏感或个人数据的主要问题之一。

实时预测:由于预测发生在设备本身,这种方法也消除了由于将输入传输回中央服务器然后将结果发送回设备而发生的时间延迟

离线预测:由于模型存在于设备上,即使没有可用的互联网连接,预测仍然有效。只要设备能够获得输入,就可以利用预测模型来完成他们的工作。

最小的基础设施:这种方法需要最少的硬件(我们的移动设备中可用的硬件绰绰有余)来运行机器学习模型,并真正实现机器学习的强大功能。

使用联邦机器学习
这种方法很新,但它的使用虽然有限,但已经出现在一些关键的地方。Google键盘是使用此方法的主要示例之一。该技术非常强大,并且还有许多其他用例,可以利用它们,例如工业矿山,大型农场,沙漠,确保连续的互联网连接是基础设施和成本方面的挑战。

挑战
一些主要挑战是:

1.维护大规模分布式系统

2.始终与所有设备的连接有限

3.偏差或反馈方面的数据不平衡。然而,通过巧妙地选择在给定时刻从其获得反馈的设备,可以将该问题有效地减少

4.开发能够跟上方法所涉及的动态和持续学习的基础设施或模型

5.跨高度分布的数据集运行优化算法

未来的步骤
目前,模型在设备上受到训练,并且使用本地数据进行了改进。下一个明显的步骤是开发一种跨设备训练模型的能力,以便每个模型可以从所有附近的设备中学习。这仍然是未来,但我们只能想象一旦开发这种方法,机器学习可以产生的效率和实用性。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,265评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,274评论 1 288
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,087评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,479评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,782评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,218评论 1 207
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,594评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,316评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,955评论 1 237
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,274评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,803评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,177评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,732评论 3 229
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,953评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,687评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,263评论 2 267
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,189评论 2 258

推荐阅读更多精彩内容