- Boris Knyazev（University of Guelph Vector Institute），Graham W. Taylor（University of Guelph Vector Institute, Canada CIFAR AI Chair），Mohamed R. Amer∗（Robust.AI）
- 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada
- 论文地址
本文介绍的论文是《Understanding Attention and Generalization in Graph Neural Networks》。
🍁 一、背景 |
注意力在深度学习中的实际重要性已经确立，有许多支持它的论点，包括可解释性。在图神经网络（GNN）中，注意力可以定义在边或节点上。在这项工作中，我们将重点放在后者上，因为尽管在某些任务中同样重要，但它没有得到彻底的研究。为了开始我们的描述，我们首先建立注意力和集中方法之间的联系。在卷积神经网络（CNNs）中，池化方法通常基于将规则网格（如音频中的一维时间网格）均匀地划分为局部区域，并从该区域中获取单个值（平均值、加权平均值、最大值、随机值等），而CNNs中的注意力通常是一个单独的机制，该机制对C维输入X进行加权。
在GNN中，池化方法通常遵循与cnn相同的模式，但池化区域通常是基于聚类找到的，因为没有网格可以在数据集中的所有示例(图)中以相同的方式均匀划分为区域。
最近，top-k池化被提出，与其他方法不同:它只传播输入的一部分，而不是对“相似”节点进行聚类，并且这部分不是从输入中均匀采样。
🍁 二、模型方法 |
作者研究了GNN的两个变体：图卷积网络（GCN）和图同构网络（GIN）。
GIN的主要思想之一是用SUM聚合器替换节点上的MEAN聚合器，例如GCN中的一个，并在聚合相邻节点特征之后添加更多完全连接的层。与之前的模型相比，生成的模型可以区分更广泛的图形结构。
在一些实验中，发现GCN和GIN的性能都很差，因此，注意力子网络也很难学习。通过将GIN与ChebyNet结合，作者提出了一个更强的模型ChebyGIN。
ChebyNet是GCN的多尺度扩展，因此对于第一尺度，K=1，节点特征本身就是节点特征，对于K=2，在一跳邻居上对特征进行平均，对于K＝3，在两跳邻居上，以此类推。为了在ChebyGIN中实现SUM聚合器。
🍁 三、实验结果 |
该文介绍了颜色计数任务（COLORS）和三角形计数任务（TRIANGLES），其中生成了合成训练和测试图。作者还使用MNIST图像和三个分子和社会数据集进行了实验。
不同测试子集的三项任务结果
影响COLORS（a-e）和TRIANGLES（f）注意力和分类准确性的因素
🍁 四、总结 |
该篇文章证明，学习的注意力在图形神经网络中可以非常强大，但前提是它接近最优。
由于初始化的敏感性，这很难实现，特别是在无监督的环境中，我们无法获得基本事实的关注。因此，将高维输入的注意力模型的初始化确定为一个重要的开放问题。