keras cnn注意力机制_自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源

论文：https://arxiv.org/abs/1911.03584

GitHub：https://github.com/epfml/attention-cnn

可视化网站：https://epfml.github.io/attention-cnn/

 博客：http://jbcordonnier.com/posts/attention-cnn/

这种算法的优点：

ICLR 2020获评“6-6-6”

这篇论文已经被ICLR 2020接收，评审们给出了3个6分。

一位评审在review中写道：

另一位评审表示，二次相对编码的推到是一个很好的理论构造。不过，由于作者仅在CIFAR上进行了实验，其贡献还不足以建立新的相对注意力机制。

网友指出这种算法的缺点

自注意力需要耗费大量计算和内存，实际上无法在最小图像之外的任何东西上实现。

参考链接：

keras cnn注意力机制_自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源_weixin_39848998的博客-CSDN博客

Self-Attention自注意力机制_bingo_liu的博客-CSDN博客