Memory Networks
Memory network(MemNN)是Facebook AI在2015年提出来的。
主要目的是:利用记忆组件保存场景信息,以实现长期记忆的功能。
作者提到对于很多神经网络模型,如RNN、LSTM及其变种GRU虽然使用了一定的记忆机制,但是这些记忆都太小了。所以本文引入了一种可读写的外部记忆模块。
记忆网络的主要架构如下图所示,包括了记忆m和4个组件I、G、O、R。
其中I、G、O有点像LSTM的三个门。
- I(Input):用于将输入转化为网络里内在的向量。
- G(Generalization):更新记忆。
- O(Output):从记忆里结合输入,把合适的记忆抽取出来,返回一个向量。每次获得一个向量,代表了一次推理过程。
- R(Response):将该向量转化回所需的格式,比如文字或者answer。
以下是统一的公式:
注意其中I、G、O、R是四个组件,如果这四个组件的内部都是神经网络的话,那这个架构就叫做记忆神经网络。
2022/3/8注:个人感觉Memory Network主要是引入了一个可读写的外部存储模块 Memory Slot帮助记忆。