An Attention Free Transformer

[175****1239]

An Attention Free Transformer

Abstract

引入了无注意变压器(AFT)，这是transformer的一种有效变体，它消除了点积自我关注的需要。在AFT层中，key和value首先与一组学习的位置偏差组合，其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸，使其与大输入和模型大小兼容。本文还介绍了AFT-LOCAL和AFT-COV这两种模型变体，它们在保持全局连通性的同时利用了局部性和空间权重分担的思想。在两个自回归建模任务(CIFAR10和Enwik8)以及一个图像识别任务(ImageNet-1K分类)上进行了广泛的实验。

Methodology

给定输入x，首相将其进行线性变换为：

然后执行以下操作：

换言之，对于每个目标位置t，AFT执行值的加权平均，其结果与按元素相乘的查询相结合。具体地说，加权简单地由keys和一组学习的成对位置偏差组成。这提供了一个直接的优势，即不需要计算和存储昂贵的关注矩阵，同时像MHA那样维护query和value之间的全局交互。
为了进一步了解AFT与MHA的关系，我们可以将公式2重写为：

启示

• 这篇论文的核心仍然是解决transformer的self-attention的2次方的复杂度问题，这种复杂度与输入序列呈线性的注意力非常有必要，可以参照这一篇论文