SimSiam, CVPR21, KaimingHe, 自监督学习

Exploring Simple Siamese Representation Learning

1. Motivation

Kaiming He[1]大神的又一力作,证明在自监督学习中可以学习到有意义的表征,但不使用:
(1)负样本对;
(2)大的batch;
(3)momentum encoder。

stop-gradient操作发挥了重要作用。

本文基于Siamese networks[2]提出一个简单的调整SimSiam,Siamese networks最大的问题是容易坍塌(collapsing)到一个固定值上去。

SimCLR[3]采用增加负样本对的形式,让正样本的不同view之间距离更近,让正负样本之间距离更远。

SwAV[4]采用在线聚类的方式。

BYOL[5]只基于正样本对,但采用了momentum encoder。

2. Simple Siamese

Siamese networks可以自然导出归纳偏置(inductive biases):模型不变性(modeling invariance),即同一个概念的两个observations,应该有相同的输出。

simsiam.jpg

Simple siamese的步骤:

对于一个图片x,得到两个增强的view x_1x_2

然后将x_1x_2经过同一个encoder f,得到两个view z_1z_2
将其中一个view,如z_1,用MLP做一次预测,得到h(f(x_1)),记为p_1,最小化p_1z_2之间的负cosine相似度。

D(p_1, z_2)

这里,投影MLP f最后一层不用激活函数;预测MLP h最后一层不用BN。

对称地再做一次预测,得到最终的loss为,

L = \frac{1}{2} D(p_1, z_2) + \frac{1}{2} D(p_2, z_1)

最重要的地方是,对于每一个D,其中的原始view是stop-gradient的。

即,

L = \frac{1}{2}D(p_1, stop\_gradient(z_2)) + \frac{1}{2} D(p_2, stop\_gradient(z_1))

simsiam_code.jpg
simsiam_compare.jpg

3. Experiment

作者通过实验证明了stop-gradient的存在,防止了坍塌问题。作者认为,stop-gradient的引入,可能导致了一个另一个优化问题被潜在地解决了(翻译的有点拗口,应该就是引入了一个新的优化或者约束问题)。

Predictor MLP h也是重要的,不可或缺的。

作者假设SimSiam是EM算法的一种实现。

simsiam_result.jpg

优点:
(1)KaimingHe一贯的风格,简单有效;在自监督学习里,用stop-gradient与预测MLP就可以得到有效的特征表示。

思考:
(1)推荐系统里能不能使用这种想法,最主要的差异是,图片很容易做augmentation,而推荐系统的特征,尤其是ID类特征并不太容易。增强的本质是某种特性的不变性,有论文用近邻来做增强,不失为一个思考方向,但是还是不如图片便捷,需要在样本处理上花费很多功夫。

4. References

[1] Chen, Xinlei, and Kaiming He. "Exploring simple siamese representation learning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

[2] Jane Bromley, Isabelle Guyon, Yann LeCun, Eduard Sa ̈ckinger, and Roopak Shah. Signature verification using a “Siamese” time delay neural network. In NeurIPS, 1994.

[3] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Ge- offrey Hinton. A simple framework for contrastive learning of visual representations. arXiv:2002.05709, 2020.

[4] MathildeCaron,IshanMisra,JulienMairal,PriyaGoyal,Pi- otr Bojanowski, and Armand Joulin. Unsupervised learn- ing of visual features by contrasting cluster assignments. arXiv:2006.09882, 2020.

[5] Jean-Bastien Grill, Florian Strub, Florent Altche ́, Corentin Tallec, Pierre H. Richemond, Elena Buchatskaya, Carl Do- ersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Moham- mad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Re ́mi Munos, and Michal Valko. Bootstrap your own latent: A new approach to self-supervised learning. arXiv:2006.07733v1, 2020.

推荐阅读更多精彩内容