简介
Known-class Aware Self-ensemble for Open Set Domain Adaptation.VisDA挑战赛获胜模型。
关键字
Open Set，Domain Adaptation，Self-ensemble
正文
1. 适用场景
图中第2个，source和target都含有unknow。
image.png
2. 基本思路和解决方案
思路是先分离unknow，再域适应。首先利用最大熵实现unknow的分离，然后在SE中利用分离出来的高置信度的know样本来迭代和域适应。
3. 具体实现
如图（原文Fig2），SE模型，上面是student，下面是teacher，teacher通过高置信度的样本来指导student。
image.png
teacher通过最小化高置信度样本的损失指导stuent，即下面公式中的第二项，第一项的作用就是分类器的损失了，公式：
注意第二项中的样本是target中的，需要高置信度的样本，接下来的问题就是如何判断高置信度样本，也就是有很大可能性属于share类的。
（1）分离损失：原本Student的只产生第一项损失，为了增强分类器区分know和unknow的能力，增加了第二项，值越大越好。这里认为预测向量的损失熵越大，越有可能时unknow，所以最大化第二项熵。
（2）指导损失：其中权重w代表该样本与know的相似度。
（3）目标函数：最后一项是类平衡损失，是目标样本mini-batch的均值和均匀向量的交叉熵。
参考资料
[1] Lian, Qing, et al. "Known-class Aware Self-ensemble for Open Set Domain Adaptation." arXiv preprint arXiv:1905.01068 (2019).
