20220504

​​​​​​GAU-α：尝鲜体验快好省的下一代Attention

FLASH：可能是近来最有意思的高效Transformer设计

对attention的一个革新。标准的transformer是attention层和FFN层交替，FLASH这篇提出来利用GAU代替attention+FFN，命名为FLASH-Quad，然后采用分块混合注意力，提出了线性复杂度的FLASH.

20220505

GPLinker：基于GlobalPointer的事件联合抽取

事件联合抽取模型，第一次接触事件抽取，有点类似于NER。未接触过实际任务，理解不深，其中完全子图搜索应用新颖。

明日阅读：

GPLinker：基于GlobalPointer的实体关系联合抽取

Efficient GlobalPointer：少点参数，多点效果