(含源码)问答对生成(QAG)| 你竟还在手工梳理问答对!?

来源: AINLPer 微信公众号(每日更新...
编辑: ShuYini
校稿: ShuYini
时间: 2020-06-11

引言

    AI时代,不同的行业都有自己的智能客服,比如银行智能客服、导购智能客服、后期服务支持智能客服等。这些客服机器人基本都是利用高质量、大量业务场景问答对(QA)作为语料进行训练得到的,但是梳理这些问答对将会耗费大量人力成本。能否做到QA问答对的自动生成呢?答案是肯定的。

Paper Information

    TILE: Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
    Author: Dong Bok Lee • Seanie Lee • Woo Tae Jeong • Donghwan Kim • Sung Ju Hwang
    Paper: https://arxiv.org/pdf/2005.13837v3.pdf
    Code: https://github.com/seanie12/Info-HCVAE

更多自然语言处理相关知识,还请关注 AINLPer公众号

论文简述

    提取问答(QA)是自然语言理解中最基本和最重要的任务之一。最先进的QA模型已经在几个基准数据集上实现了人类水平的性能。然而,最近数据驱动模型成功的关键是大规模QA数据集。为了将最先进的QA模型部署到真实的应用程序中,我们需要构建高质量的数据集和大量的QA对来训练它们;然而,这需要大量的人力和时间,这样的代价非常昂贵。解决此问题的另一种方法是依据问题上下文或大量非结构化文本(如Wikipedia)自动生成的QA问答对。为此基于此背景,本文提出了一种层级条件变分自编码器(HCVAE),用于生成以非结构化文本为上下文的QA问答对,同时最大化生成的QA对之间的互信息,以确保它们的一致性

本文看点

    1、提出了一种新的分层变分框架,用于从单个上下文中生成不同的QA对,这是用于QA对生成的第一个概率生成模型。
    2、提出了一种InfoMax正则化器,它通过最大化它们的互信息来有效地增强生成QA对之间的一致性,是保证QA对一致性的一种新方法。
    3、通过完全使用生成的QA对(基于QA的评估或者使用Ground Truth生成的QA对(半监督QA))训练新模型,并在几个基准数据集上评估我们的框架。本文模型在这两项任务上都取得了不错的成绩,这大大优于现有的QAG基线。

为什么要做QAG?

    问题生成(QG)或问答对生成(QAG)是克服数据稀缺的一种方法。最近的一些研究采用半监督学习方法,利用大量的无标签文本(如维基百科)在QG系统的帮助下生成合成的QA对,但是现有的QG系统忽略了一个重要的问题,即从非结构化文本组成的上下文生成QA对,本质上是一对多的问题。而序列到序列模型生成的通用序列没有太多变化,因为它们大多都是用最大似然估计训练的。这对于QAG来说是非常次优的,因为给模型的上下文通常包含更丰富的信息,我们可以利用这些信息生成更多的QA对。

本文QA对生成方法介绍

为了解决上述原有QA对生成的问题,本文提出了一种用于QA对生成的概率深生成模型。具体地说,本文模型是一个层次化条件变分自动编码器(HCVAE),它有两个独立的问题和回答潜空间,其中回答潜空间附加于问题潜空间。在生成过程中,这种层次化的条件VAE首先生成给定上下文的答案,然后通过从两个潜在空间取样,生成给定答案和上下文的问题。这种概率方法允许模型每次都关注上下文的不同部分生成不同的QA对。


QA一致性

     QAG任务的另一个关键挑战是确保问题与其对应的答案之间的一致性,因为它们在语义上应该相互依赖,这样问题就可以根据给定的答案和上下文进行回答。在本文中,我们通过最大化生成的QA对之间的相互信息来解决这个一致性问题。我们验证发现互信息最大化可显著提高了QA对的一致性。将层次化的CVAE和InfoMax正则化器结合起来,提出了一种新的概率生成QAG模型,该模型被称为信息最大化的层次化条件变量自动编码器(Info HCVAE)。我们的信息HCVAE即使在非常短的上下文中也会生成不同且一致的QA对。
     一致性解决方法。我们通过最大化生成的QA对的互信息(MI)来解决这个问题,假设可回答的QA对具有高MI。由于MI的精确计算是比较发杂的,我们使用神经近似。虽然存在许多不同的近似值但我们使用基于Jensen-Shannon散度提出的估计值:

QAG质量评估

     生成QA对之后,但是,我们应该如何定量地测量生成的QA对的质量呢?文本生成的常用评价指标BLEU、ROUGE、METEOR仅能说明生成的QA对与GroundTruth(GT)QA对的相似程度,而与衡量它们的实际质量没有直接关系。因此,我们使用Zhang和Bansal(2019)提出的基于QA的评估(QAE)度量标准,该指标衡量生成的QA对与GTQA对的分布匹配程度。然而,在半监督学习中我们已经有了GT标签,我们需要不同于GTQA(Ground Truth QA)的新的QA对,额外的QA对才是真正有效。因此提出了一种新的度量指标--反向QAE(R-QAE),如果生成的QA是多样的,那么该度量指标会变低

验证数据集。

     我们通过SQuAD v1.1、Natural Questions和TriviaQA数据集验证我们的QAG模型,QAE和R-QAE都使用了基于BERT的QA模型。使用较少的上下文,我们的QAG模型获得到较高QAE,这大大优于最先进的基线模型。

     互信息评估结果
     在SQuAD数据集的半监督QA测试结果。

Attention

更多自然语言处理相关知识,还请关注AINLPer公众号,极品干货即刻送达。