attention机制 深入理解

阅读 56

2022-07-27


attention机制 深入理解_权值


首先也是最重要的,上图左右,只是画法不同,左边是RNN encoder-decoder画法,右边是machine reading相关论文 以及 transformer和fairseq论文里的图的画法对于最上图的左图,有下图,a是加的权值,h是encoder的states

attention机制 深入理解_权值_02

(个人理解soft attention和hard attention,是权值a的计算方式不同)

同理可理解最上图的右图


精彩评论(0)

0 0 举报