Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Salute!BART详解

    语音识别与语义处理领域
    1
    1
    63
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 155****7220
      155****7220 last edited by

      一切都得从Transformer说起。Transformer左半边为Encoder,右半边为Decoder。我们将Encoder输入的句子称为source,Decoder输入的句子称为target

      Encoder负责将source进行self-attention并获得句子中每个词的representation,最经典的Encoder架构就是BERT,通过Masked Language Model来学习词之间的关系,另外还有XLNet, RoBERTa, ALBERT, DistilBERT等等。但是单独Encoder结构不适用于生成任务

      Decoder如下图所示,输入与输出之间差一个位置,主要是模拟在Inference时,不能让模型看到未来的词,这种方式称为AutoRegressive,常见的基于Decoder的模型通常是用来做序列生成的,例如GPT, CTRL等等。但是单独Decoder结构仅基于左侧上下文预测单词,无法学习双向交互

      而两者合在一起后,就能当成一种Seq2Seq模型,进行翻译任务。下图是BART的主要结构,看上去似乎和Transformer没什么不同,主要区别在于source和target

      训练阶段,Encoder端使用双向模型编码被破坏的文本,然后Decoder采用自回归的方式计算出原始输入;测试阶段或者是微调阶段,Encoder和Decoder的输入都是未被破坏的文本

      BART vs Transformer

      BART使用标准的Transformer模型,不过做了一些改变:

      1. 同GPT一样,将ReLU激活函数改为GeLU,并且参数初始化服从正态分布N(0,0.02)N(0, 0.02)N(0,0.02)
      2. BART base模型的Encoder和Decoder各有6层,large模型增加到了12层
      3. BART解码器的各层对编码器最终隐藏层额外执行cross-attention
      4. BERT在词预测之前使用了额外的Feed Forward Layer,而BART没有

      Pre-training BART

      BART作者尝试了不同的方式来破坏输入:

      • Token Masking:Following BERT (Devlin et al., 2019), random tokens are sampled and replaced with [MASK] elements.
      • Sentence Permutation:A document is divided into sentences based on full stops, and these sentences are shuffled in a random order.
      • Document Rotation:A token is chosen uniformly at random, and the document is rotated so that it begins with that token. This task trains the model to identify the start of the document.
      • Token Deletion:Random tokens are deleted from the input. In contrast to token masking, the model must decide which positions are missing inputs.
      • Text Infilling:A number of text spans are sampled, with span lengths drawn from a Poisson distribution (λ=3\lambda=3λ=3). Each span is replaced with a single [MASK] token. 0-length spans correspond to the insertion of [MASK] tokens. Text infilling teaches the model to predict how many tokens are missing from a span.

      Fine-tuning BART

      Sequence Classification Tasks

      序列分类任务中,编码器和解码器的输入相同,解码器token的最终隐藏状态被输入到多类别线性分类器中。BART在解码器最后额外添加了一个token,如下图所示,该token位置的输出可以被认为是该句子的representation

      Sequence Generation Tasks

      由于BART具备自回归解码器,因此它可以针对序列生成任务进行直接微调,如问答或者文本摘要

      Machine Translation

      作者采用新的随机初始化Encoder替换BART编码器的Embedding层。该模型以端到端的方式进行训练,即训练一个新的编码器将外来词映射到输入。新的编码器可以使用不同于原始 BART 模型的词汇。其中随机初始化Encoder的训练分两步,均需要将来自 BART 模型输出的交叉熵损失进行反向传播。第一步,作者冻结 BART 的大部分参数,仅更新随机初始化的Encoder、BART 位置嵌入和 BART 编码器第一层的自注意力输入投影矩阵。第二步,作者将所有模型参数进行少量迭代训练

      Results

      从上表可以看出,貌似带上Document Rotation或Sentence Shuffling效果都不是太好,可以这么理解,假如模型在训练的时候看到的句子顺序都是乱的,它可能就认为这个世界的句子顺序都是乱的,当你做测试的时候,输入的句子是正序的,可能模型就不知所措了。实际上Text Infilling可以看作是Token Masking+Token Deletion,所以Text Infilling效果这么好也可以理解

      Reference

      • FB-BART新的预训练模型
      • 【NLP】Facebook提出的预训练模型BART
      1 Reply Last reply Reply Quote 2
      • First post
        Last post