Abstract

本文介绍一种新颖的生成合成问答语料的方法：

• 结合问题生成模型和答案抽取模型
• 对结果进行过滤以确保 roundtrip consistency.

通过在生成的语料上预训练，我们在 SQuAD2 和 NQ 任务上获得显著提升，并在 NQ 任务上创造了新的 SOTA.

本文提出的问题生成模型和答案抽取模型，可以通过在 SQuAD2 和 NQ 数据集上对 BERT 进行 fine-tune 很容易地复现。

Introduction

我们生成合成问答语料的方法如 表1 所示。对于一个给定的 passage C C </