Zhu R, Li S. Self-supervision based semantic alignment for unsupervised domain adaptation[C]//Proceedings of the 2022 SIAM International Conference on Data Mining (SDM). Society for Industrial and Applied Mathematics, 2022: 1-9.

问题解决

从（源域的样本和原型对齐）以及（目标域样本和源域样本的对齐）两个方面来改善低置信度伪标签带来的错误对齐的问题。

模型浅析

提出模型的缩略图

该模型包含三个组件：

• 将源样本对齐到对应的类原型。这种自对齐的源数据有助于学习具有辨别性的特征表示。
• 设计了语义跨域对齐模块用于将每个目标样本对应到其在源域上的近邻样本。为避免由源域和目标域的错误对应带来的坍塌，本文作者引入了基于分类器的置信得分来为跨域的对应赋予不同的权重。
• 进一步，本文展示了如何将提出的框架和基于对抗学习的UDA方法结合。

提出模型的主要目标在于：利用自监督机制来语义地对齐源域和目标域，学习分类器以最小化目标风险。

1. Semantic Alignment in Source Domain
   在该模块中，首先构造了一个内存块来存储源域样本的特征和类原型。具体来说，源域内存用于存储所有个源域样本的特征，源域类原型内存用于存储个源域类的原型特征。其中，是源域样本的特征向量，是第个源域类原型如下：
   其中，是在源域中分配到类别的样本集合，是特征提取器。
   由编码器的前馈计算来进行初始化，由每个类别对应的样本的平均向量初始化。 中的第个元素的更新依赖于当前batch中分配给第个类的样本：
   表示在batch中分配到第个类的样本集合。动量更新系数，按照经验通常设置为0.9。而特征更新则较为直接，就是当前batch中通过编码器获得的特征表示，即：。
   基于此，源域对齐的损失:
   是样本对应的真实类原型，是用于相似性计算的内积运算，向量为。从形式上来看，如果温度系数就是样本到每个类的概率分配。为降低过拟合的风险，这里将设置为0.05。最终的损失函数，样本对应的原型表示和真实标签之间的交叉熵损失：
2. Cross-Domain Target Alignment
   第二组件是为了对齐目标域和源域类原型，为了避免多对一引发的错误对齐，作者采用了一种将目标域样本先对应到源域中的相似样本，然后间接的借助第一部分的设计实现目标域样本到源域类原型的对齐。
   ：通过最小化目标样本和内存块中源域特征的相似分布的熵来寻找每个目标样本的跨域近邻。给定，其对应的特征表示为，成对的目标样本到源域样本的相似性表示为：
   因此，对应的熵最小化为：
   通过最小化以上损失，无标签的目标样本将会被映射到与目标样本语义相近的源域类别中。
   ：熵最小化的对齐方式虽然会使得源域和目标域实现语义的对齐。但在对齐的过程中，所有的对齐匹配是同等权重的，而错误匹配将会对特征的学习造成误导。因此，作者指出在对齐的过程中考虑类别的一致性的置信度作为权重信息。
   给定以及其对应的特征向量，分类器用来计算样本分配到每个类的概率，其预测的类别标签为。在本文中，作者使用分类权重，其中同时满足，此时可以得到目标样本到每个源域样本的匹配权重。通俗一点来讲，就是该样本有多大的概率被分到对应的类中，那么源域中包含在这个类的样本的权重就被设置为该概率值。因此，前面的熵的损失可以改写为：
3. Integrating with Adversarial UDA
   在UDA领域的应用相当于在原本的UDA框架中加入的损失，针对源域样本的的分类器设计了分类损失：
   以及对抗损失：
   对抗UDA损失即联合优化：
   进一步，为了降低错乱对齐造成的影响，本文还对进行了基于熵的权重化改进，那些具有高置信度的样本将在跨域学习中贡献更多。具体来说，给定源域样本，熵权重定义为如下：
   是样本到类原型之间的相似分布，是样本到每个类别的概率分布。相似的，目标域样本的权重为：
   是样本到源域样本之间的相似分布，是样本到每个类别的概率分布。
   基于该权重，带有权重的重写为如下的形式：
   最终损失：

嗯。。学到了很多使用熵的方式