Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    An Attention Free Transformer

    语音识别与语义处理领域
    1
    1
    49
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 175****1239
      175****1239 last edited by

      在这里插入图片描述

      An Attention Free Transformer

      Abstract

      引入了无注意变压器(AFT),这是transformer的一种有效变体,它消除了点积自我关注的需要。在AFT层中,key和value首先与一组学习的位置偏差组合,其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸,使其与大输入和模型大小兼容。本文还介绍了AFT-LOCAL和AFT-COV这两种模型变体,它们在保持全局连通性的同时利用了局部性和空间权重分担的思想。在两个自回归建模任务(CIFAR10和Enwik8)以及一个图像识别任务(ImageNet-1K分类)上进行了广泛的实验。

      Methodology

      给定输入x,首相将其进行线性变换为:
      在这里插入图片描述
      然后执行以下操作:
      在这里插入图片描述
      换言之,对于每个目标位置t,AFT执行值的加权平均,其结果与按元素相乘的查询相结合。具体地说,加权简单地由keys和一组学习的成对位置偏差组成。这提供了一个直接的优势,即不需要计算和存储昂贵的关注矩阵,同时像MHA那样维护query和value之间的全局交互。
      为了进一步了解AFT与MHA的关系,我们可以将公式2重写为:
      在这里插入图片描述

      启示

      • 这篇论文的核心仍然是解决transformer的self-attention的2次方的复杂度问题,这种复杂度与输入序列呈线性的注意力非常有必要,可以参照这一篇论文
      1 Reply Last reply Reply Quote 1
      • First post
        Last post