未经允许，不得转载，谢谢~~~
一 one-shot learning
在了解meta-learning之前先大概了解一下one-shot learning。
与传统的deep learning方法不同，one-hot主要考虑现实中训练好的模型在实际使用时(target dataset)需要面对每个类只有1个标注数据(one shot learning)或者极少数标注数据(few shot learning)的情况。
所以one hot最大的障碍就是缺少足够的训练数据。
现有的one hot学习方法可以被分为：
- direct supervised learning-based approaches;
- transfer learning-based one-hot recognition;
1.1 direct supervised learning-based approaches
- 直接在target数据集上用监督学习的方法对分类器进行训练；
- 最简单的是使用non-parametric model，例如knn（不受到训练样本限制）;
- 但knn得到的distance metric可能不准确，所以我们需要学习得到metric embedding;
- 还有的方法是用对target里面的数据做增强来得到更多的训练数据；
以上的方法都没有用到知识迁移，在遇到新的类的时候还是没有办法应对，即做不到 lifelong learning；
1.2 transfer learning-based one-hot recognition
- 这类方法与zere shot learning的想法类似，假定在不同的类之间存在可以用于辅助的训练数据；
- 他们利用learning to learn(meta-learning)的方法，希望能够将辅助数据集上学到的知识迁移到每个类别只有1个或者几个样例的target数据集上。
- 这些方法的不同之处主要有：
- what knowledge is transferred；
- how the knowledge is represented；
- 具体而言可以在生成模型、特征和与语义属性中以模型的形式提取并共享信息；
- 很多现有的zero-shot学习方法和知识迁移都是通过一个共享的embedding space来实现的；
- embedding space可以通过神经网络、判别分类器、内核嵌入方式获取得到；
二 meta-learning
meta-learning中比较常见的一种训练方式的N-classes-k-shot；
在参考资料中的第4篇文章中介绍了这种训练方式。
关键词：N-way K-shot training,
具体的后续继续更新吧。
参考资料
- S. Thrun. Learning To Learn: Introduction. Kluwer Academic Publishers, 1996.
- Ricardo JVilalta and Youssef. Drissi. A perspective view and survey of meta-learning. Artificial intelligence review, 2002.
- Meta-Learning: A Survey
- Brenden M Lake, Tomer D Ullman, Joshua B Tenenbaum, and Samuel J Gershman. Building machines that learn and think like people. Beh. and Brain Sc., 40, 2017.
