Reading Wikipedia to Answer Open-Domain Questions

本文是一篇很经典的关于开放领域问答的文章，与之前的几篇文章不同，开放式领域的问答系统是基于一种Retriever-Reader的架构，Retriever通过大规模机器阅读理解提取相关度高的文章，再用Reader进行特征提取。

Overview

本文的开放式QA系统有两个部分组成：

1. Document Retriever：作者使用Wikipedia作为资料库，针对不同的问题进行相关文章段落的提取，提取出文章后再构建数据集输入到Reader中进行训练
2. Document Reader：这一模块就是DrQA的模型部分，使用神经网络进行机器阅读理解

下图是一个开放领域问答的基本流程图

DrQA

本文提出的open-domin QA system叫做DrQA，分为两个独立的子系统：Retriever和Reader

Document Retriever

Document Retriever模块是针对每个问题从Wikipedia提取出相关文章，作者采用了TF-IDF相似度匹配，加上bigram的hash，用top 5作为该问题的候选文章。实验数据表明本文的这个retriever比Wikipedia的搜索引擎效果好了不少，尤其是加入了bigram hashing以后。

Document Reader

Reader又分为以下几个子模块：

Paragraph Encoding

• word embedding：$f_{emb}(p_i)$，这里采用的是Glove 300d
• exact match：$f_{excat\_match}(p_i)$，用三个binary feature来表示该单词是否与问题中的某个单词匹配
• token feature：$f_{token}(p_i)$，这个特征包含三个子特征$(POS(p_i),NER(p_i),TF(p_i))$
• question aligned feature：这一部分其实就是P2Q的attention，$f_{align}(p_i)={\sum }_j{\alpha }_{i,j}E(q_j)$，而attention weight的计算方式为： α i , j   =   e x p { α ( E ( p i ) ) ⋅ α ( E ( q j ) ) } ∑ j ′ e x p { α ( E ( p i ) ) ⋅ α ( E ( q j ′ ) ) } \alpha_{i,j}\ =\ \frac{exp\{\alpha(E(p_i)) \cdot \alpha(E(q_j))\}}{\sum_{j'}exp\{\alpha(E(p_i)) \cdot \alpha(E(q_j'))\}} αi,j​ = ∑j′​exp{α(E(pi​))⋅α(E(qj′​))}exp{α(E(pi​))⋅α(E(qj​))}​

Question Encoding

question encoding依然是采用LSTM，得到输出 { q 1 , q 2 , ⋯   , q m } \{q_1,q_2,\cdots,q_m\} {q1​,q2​,⋯,qm​}后，再通过一个self-attention映射到一个vector $q$
$$\begin{gathered} {\beta }_j=\frac{exp(w\cdot q_j)}{{\sum }_{j^{\prime }}exp(w\cdot q_{j^{\prime }})} \\ q=\sum _{j=1}^m{\beta }_j{q}_j \end{gathered}$$

Prediction

$$\begin{gathered} p_{start}(i)=\frac{exp(p_i{W}_{s}q)}{{\sum }_{i^{\prime }}exp(p_{i^{\prime }}{W}_{s}q)} \\ {p}_{end}(i)=\frac{exp(p_i{W}_{e}q)}{{\sum }_{i^{\prime }}exp(p_{i^{\prime }}{W}_{e}q)} \end{gathered}$$

Experiment

DrQA再SQuAD上表现是很优异的，超越了当时的其他模型

消融实验

最后作者使用另外的四个问答数据集来评估整个DrQA开放问答系统

从这个数据可以看出开放领域的问答系统效果的确是都不尽如人意

Further Work

1. 让Reader把Retriever选取出的段落进行聚合再进行训练，而不是一篇一篇的训练
2. 设计出一个end-to-end的开放领域问答系统，DrQA中的Retriever和Reader仍然是两个独立的系统