针对SVM的Poisoning Attack相关的两篇

一、Adversarial Label Flips Attack on Support Vector Machines

Xiao, H., Xiao, H., In: ECAI. (2012)
寻找翻转标签后可以最大化分类误差的数据点,将它们翻转标签后加入训练数据集中,使模型性能降低,完成Label Flips Attack(可以看作是实现Poisoning Attack的一种方式,详见另一篇Poisoning Attack),该篇主要针对SVM算法进行攻击。

在文章中对两种攻击方式有不同的命名:

  1. Exploratory attack:攻击者伪造看似正常实则异常的对抗样本来欺骗逃过分类算法,例如在垃圾邮件中加入不相关的单词以逃过垃圾邮件过滤器
  2. Causative attack(poisoning attack):给训练集加入对抗样本(可以使用标签翻转等方法)使模型本身出现偏差,例如将垃圾邮件标记为合法邮件给模型进行训练,可能使模型将垃圾邮件分类为正常,将合法邮件过滤
    相比较而言causative attack因为会对模型造成长期且持续的影响而备受关注,causative attack可以通过对训练集引入特征噪声或标签噪声来实现,之前的研究大多都假设标签是随机删除的,或者将标签噪声的分布限定在某些类别中,而没有真正从攻击者的攻击策略去考虑。最近提出了针对SVM的启发式标签翻转策略。

文中公式先略

主要问题是两个主要公式是相互冲突的:

  1. 一个公式的好的结果与另一个的坏的结果相关联(防御者希望学习一个具有最小经验损失和好的泛化能力的分类器,而攻击者希望得到一个具有最大损失和差的泛化能力的分类器)。
  2. 单个标签翻转数据都有可能改变分类器,所以仅仅基于当前分类器的贪婪策略是无效的,攻击者需要评估每个标签翻转的数据点的组合,以找到最能恶化分类器性能的组合。
    由于这两点,本文假设攻击者仅在原始数据集上最大化经验损失,防御者仅最大化泛化能力
实验

分别在线性核的SVM和RBF核的SVM上进行了两组实验。首先使用一些二维合成数据来可视化标签翻转下SVM的决策边界。 第二组实验是在十个真实世界的数据集上进行的,在这些数据集中,我们将标签翻转对SVM的影响集中在不同的预算上。

推荐阅读更多精彩内容

  • 一、poisoning attack发生的条件 在安全领域的机器学习应用,其数据通常是non-stationary...
    creamelody阅读 2,069评论 0 0
  • 机器学习是做NLP和计算机视觉这类应用算法的基础,虽然现在深度学习模型大行其道,但是懂一些传统算法的原理和它们之间...
    在河之简阅读 19,096评论 4 65
  • 始乱终弃,出轨男人有钱发达就变坏,这些词的背后隐藏的是一个个走向人生巅峰的故事,今天就来思考一下这个至古到今就存在...
    木木尘阅读 270评论 1 4
  • 我打开窗帘 让浓浓的 暖暖的阳光跑进来 外面下雨了 我的屋子 明亮通透 我有些许的心事 我有些许地伤感 我不知 这...
    孙浒胡阅读 97评论 2 1
  • 大年三十,少不了等了365天的年夜饭。 北方年夜大餐,又少不得压轴的饺子。没有这年三十儿饺子,在北方简直不能叫年。...
    占芳阅读 2,074评论 19 22