Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting

摘要

在优化器角度，全任务提升BERT fine-tune的效果

做法

提出 模拟预训练，可以fine-tune时 无数据预训练
提出 目标Shifting，可以在 模拟预训练 同时训练fine-tune目标

大概思想

loss使之和 fine-tune之前 的模型参数有关

其中θ是fine-tune时模型，θ*是fine-tune之前的模型

实验结果