An Attention Free Transformer
-
An Attention Free Transformer
Abstract
引入了无注意变压器(AFT),这是transformer的一种有效变体,它消除了点积自我关注的需要。在AFT层中,key和value首先与一组学习的位置偏差组合,其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸,使其与大输入和模型大小兼容。本文还介绍了AFT-LOCAL和AFT-COV这两种模型变体,它们在保持全局连通性的同时利用了局部性和空间权重分担的思想。在两个自回归建模任务(CIFAR10和Enwik8)以及一个图像识别任务(ImageNet-1K分类)上进行了广泛的实验。
Methodology
给定输入x,首相将其进行线性变换为:
然后执行以下操作:
换言之,对于每个目标位置t,AFT执行值的加权平均,其结果与按元素相乘的查询相结合。具体地说,加权简单地由keys和一组学习的成对位置偏差组成。这提供了一个直接的优势,即不需要计算和存储昂贵的关注矩阵,同时像MHA那样维护query和value之间的全局交互。
为了进一步了解AFT与MHA的关系,我们可以将公式2重写为:
启示
- 这篇论文的核心仍然是解决transformer的self-attention的2次方的复杂度问题,这种复杂度与输入序列呈线性的注意力非常有必要,可以参照这一篇论文