Online Learning

关于online learning的不同说法:

  • Online learning是机器学习中的一种方法。其目的是正确预测数据的类别,并且在每次预测后,该结果用来更新修正预测模型,用于对以后数据进行更好的预测。而不同于batch learning ,batch learning 生成的最好预测仅基于一次确定的数据训练集。
    一般的,一种Online learning算法对于一个序列进行一系列处理可以分为三步:
    第一步,算法获得一个训练实例;
    第二步,算法预测训练实例的类别;
    第三步,算法获得正确类别,并根据预测类别与正确类别更新模型假设。
    Online learning 很好的应用在训练整个数据集在计算上不可行的情况,和一些要求算法动态适应型模式的情况。
    对应的online learning 有两种通用的模型:1.statistical learning 模型和2.adversarial 模型。
  1. statisticallearning 模型:数据样本是独立同分布的随机变量且不随时间变化,算法只是对数据的有限访问,即不是对整个数据集的计算。(如随机梯度下降,感知器)
  2. adversarial模型:我们把问题看作是两个玩家之间的游戏(学习者和数据生成器),在这个模型中对手(数据生成器)能动态的适应该算法输出产生而产生变化,例如在垃圾邮件过滤中,垃圾邮件的产生者能基于过滤器的表现来生成新的垃圾邮件。

推荐阅读更多精彩内容