文章目录

• The Principle of Diversity: Training Stronger Vision Transformers Calls for Reducing All Levels of Redundancy （CVPR2022）
• Give Me Your Attention: Dot-Product Attention Considered Harmful for Adversarial Patch Robustness（CVPR2022）
• CHAOS IS A LADDER: A NEW THEORETICAL UNDERSTANDING OF CONTRASTIVE LEARNING VIA AUGMENTATION OVERL （ICLR2022）

The Principle of Diversity: Training Stronger Vision Transformers Calls for Reducing All Levels of Redundancy （CVPR2022）

本文探索了Vision Transformers的Redundancy in patch embedding, Redundancy in attentions, Redundancy in model weights，并提出了相应的方法改进。





画图的diversity和叙事的方式值得我学习。

Give Me Your Attention: Dot-Product Attention Considered Harmful for Adversarial Patch Robustness（CVPR2022）

Dot-Product Attention对Adversarial Patch Robustness有害（由于对transformer还没系统学会，而且因为算力原因目前暂时不感兴趣）不过这篇文章先码着

CHAOS IS A LADDER: A NEW THEORETICAL UNDERSTANDING OF CONTRASTIVE LEARNING VIA AUGMENTATION OVERL （ICLR2022）

对比学习旨在通过数据增强构造正样本，然后用对比损失拉近样本与正样本之间的关系而疏远与负样本的关系。下图我认为展示了对比学习的精髓所在：

本文构造了一个增强图，如下图所示，我的理解是在输入空间对样本进行数据增强的效果可以理解为将原始输入的邻域纳入了其原始的输入空间，因此才有了增强的overlapping。

接着文章提出了一个指标ACR：

其效果：

结论是适度增强比较好。
一些其他的实验：

不同对比学习方法和参数k的选择的实验