Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Child Tuning: 反向传播版的Dropout【EMNLP 2021】

    语音识别与语义处理领域
    2
    2
    297
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 155****7220
      155****7220 last edited by Alice_恒源云

      这篇文章主要是对EMNLP2021上的论文Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning进行讲解。论文标题有些抽象,但是用作者的话来说,这篇论文的思想可以归结为两个词:Child Tuning

      虽然这篇文章主要针对NLP任务以及NLP相关的模型,但实际上我看完之后觉得这是一个通用的方法,CV领域也可以使用。具体来说,目前预训练模型的参数非常大,在下游任务中,我们只能用有限的训练集对模型进行微调,有一种螳臂当车的感觉,因此作者提出了一种新的微调方法——Child Tuning。如果用一句话概述其思想那就是:在反向传播过程中,我们不用更新所有的参数,只更新某些参数即可,而这些被更新的参数所对应的网络结构,我们叫做Child Network(子网络)

      如上图所示,上面一行是正常的反向传播过程,其中
      f8e6b730-ad08-4bca-8d52-7a38538a5798-image.png

      下标0不是指某一个参数,而是指第0个迭代过程,η\etaη是学习率。对于下面一行来说,Δw0\Delta \mathbf{w}_0Δw0​有一部分被MASK掉了,导致这里面的梯度为0

      1702f15f-49d8-4752-b9e0-2cee44a32355-image.png

      其中,MMM矩阵内的元素非0即1,⊙\odot⊙是矩阵内的元素做对应位置相乘。我们可以用两步来概括Child Tuning的过程:

      1. 在预训练模型中发现并确认Child Network,并生成对应Weights的0-1 MASK
      2. 反向传播计算完梯度后,仅对Child Network中的参数进行更新

      所以现在的问题是如何确认Child Network?

      How to find Child Network?

      实际上我们并不需要真的找到Child Network,只要确定矩阵MMM即可。论文提供了两种算法用于生成矩阵MMM,分别是任务无关算法Child_Tuning_F (F for Task-Free)以及与具体任务相关的算法Child_Tuning_D (D for Task-Drivern)

      Child_Tuning_F

      任务无关算法的意思是与你具体所做的具体任务没有关系,都可以使用这个算法,是一种通用的方法。具体来说,此时MMM是根据伯努利分布生成的

      bc75df8a-3c31-4ef7-b194-d5c075c023c4-image.png

      其中pF∈[0,1]p_F\in [0,1]pF​∈[0,1]是一个超参数,他控制着Child Network的大小,如果pF=1p_F=1pF​=1,则Child Network就是原网络,此时Child Tuning就是Fine Tuning;如果pF=0p_F=0pF​=0,则没有任何参数会被更新。下面是我写的一个简单模拟的代码帮助大家理解

      import torch
      from torch.distributions.bernoulli import Bernoulli
      
      gradient = torch.randn((3, 4)) # 这里用一个随机生成的矩阵来代表梯度
      p_F = 0.2
      gradient_mask = Bernoulli(gradient.new_full(size=gradien.size(), fill_value=p_F))
      gradient_mask = gradient_mask.sample() / p_F # 除以p_F是为了保证梯度的期望不变
      print(gradient_mask)
      
      gradient *= gradient_mask
      print(gradient)
      

      Bernoulli是一个类,生成的gradient_mask是一个对象,我们需要调用这个对象的sample()方法才能得到一个矩阵。其中比较重要的一点是虽然我们得到了0-1 MASK,但我们需要将这个MASK内所有的1扩大1/pF1/p_F1/pF​倍以维持梯度的期望值

      别的梯度都不在了,活着的梯度要带着其他人的意志坚强的反向传播下去啊!

      Child_Tuning_D

      考虑到存在不同的下游任务,作者提出一种与具体任务相关的算法Child_Tuning_D,它可以检测出对目标任务最重要的子网络(或者参数)。具体来说,作者采用Fisher信息估计法来寻找与特定下游任务高度相关的参数。形式上,模型参数w\mathbf{w}w的Fisher Information Matrix(FIM)定义如下:

      dc1906e8-d94d-463b-b268-0cb414de44a5-image.png

      其中,x,yx,yx,y分别是输入和输出,由此我们可以推出第iii个参数的Fisher信息如下:

      aee96052-2a82-4a76-9324-9dd0d433b946-image.png

      其中,∣D∣|D|∣D∣是所有样本的数量。作者认为,参数对目标任务越重要,其Fisher信息越大,因此Child Tuning是由Fisher信息最高的那些参数组成,此时Child Network的比例为

      3523e684-3a33-4994-af8e-0b3fb97ac61a-image.png

      其中∣Cˉ∣| \bar{\mathcal{C}}| ∣Cˉ∣表示非子网络,当pD=1p_D=1pD​=1时,Child Tuning就退化为了Fine Tuning。实际上Fisher信息的计算是相当耗时的,如果我们每次反向传播后都去计算一次所有参数的Fisher信息,然后找出最大的前几个是很麻烦的,因此作者提出在真正开始训练之前,我们先对所有样本进行一次完整(一个Epoch)的前向传播和反向传播,此时计算出Fisher信息最高的那些参数,以及此时确定的Child Network以后就不再变化了,就以这一次所选定的为准

      下面给出计算Fisher信息的代码

      def calculate_fisher():
          gradient_mask, p_F = {}, 0.2
          train_loader = torch.utils.data.DataLoader(train_dataset, batch_size, shuffle=True)
          N = len(train_dataloader) # N = |D|
          for name, params in model.named_parameters():
              if 'layer' in name:
                  gradient_mask[params] = params.new_zeros(params.size())
          for batch in train_loader:
              outpus = model(**batch)
              loss = outpus['loss'] if isinstance(outpus, dict) else outputs[0]
              loss.backward()
      
              for name, params in model.named_parameters():
                  if 'layer' in name:
                      torch.nn.utils.clip_grad_norm(params, 1)
                      gradient_mask[params] += (params.grad ** 2) / N
              model.zero_grad()
          
          r = None
          for k, v in gradient_mask.items():
              v = v.view(-1).cpu().numpy() # flatten
              if r is None:
                  r = v
              else:
                  r = np.append(r, v)
          
          # polar = np.percentile(a, q) # a中有q%的元素小于polar
          polar = np.percentile(r, (1-p_F)*100)
          for k in gradient_mask:
              gradient_mask[k] = gradient_mask[k] >= polar
          print('Polar => {}'.format(polar))
      
          return gradient_mask
      

      Proof

      如果这篇论文就讲了这些东西,很大概率是中不了EMNLP的,之所以被录用了,我个人觉得和这篇论文里大量的证明有关,作者证明了使用Child Tuning可以帮助模型逃离局部极小值点,接下来我尝试着把论文中的证明部分说清楚

      首先我们假设g(i)\mathbf{g}^{(i)}g(i)是给定样本x(i)\mathbf{x}^{(i)}x(i)时参数w\mathbf{w}w的梯度,并且它服从正态分布g(i)∼N(∂L∂w,σg2Ik)\mathbf{g}^{(i)}\sim N(\frac{\partial \mathcal{L}}{\partial \mathbf{w}}, \sigma^2_\mathbf{g}\mathbf{I}_k)g(i)∼N(∂w∂L​,σg2​Ik​),定义g=∑i=1∣B∣g(i)∣B∣\mathbf{g}=\sum\limits_{i=1}^{|\mathcal{B}|}\frac{\mathbf{g}^{(i)}}{|\mathcal{B}|}g=i=1∑∣B∣​∣B∣g(i)​,则有

      cea2e396-d244-4585-b8d5-ed05900eafa1-image.png
      对于g\mathbf{g}g,我们有

      e399b57a-ff96-4a59-b9a6-4c7216484ea9-image.png

      设g^=gp⊙M\hat{\mathbf{g}} = \frac{\mathbf{g}}{p}\odot Mg^​=pg​⊙M,其中ppp是pDp_DpD​或pFp_FpF​(看你用的哪种算法),则

      7a44d8fb-bd0b-45a0-824a-fbbeaed94747-image.png

      上面的公式推导其实并不严格,例如分子的ppp是从哪来的就没法解释,分子的ppp只有可能是E[M]\mathbb{E}[M]E[M]的结果,可是MMM是个矩阵,矩阵的期望怎么就变成一个数了呢?但要强行解释也可以,因为将MMM中所有的1加起来除以MMM内的所有元素似乎也是等于ppp的

      设gi^,gi\hat{g_i}, g_igi​^​,gi​分别是g^,g\hat{\mathbf{g}}, \mathbf{g}g^​,g第iii维度上的值,那么有gi^=gip⊙Mi\hat{g_i} = \frac{g_i}{p}\odot M_igi​^​=pgi​​⊙Mi​

      759744e1-5b10-4aaf-8967-8062e0e06b2f-image.png

      因此

      7b081b17-8456-4707-95ee-5ea5e7669176-image.png

      最终我们就得到

      aa1d5623-f9bd-4e74-86e8-e6c66b139dad-image.png

      特别地,当参数w\mathbf{w}w训练到局部极小值点时,∂L∂w=0\frac{\partial{\mathcal{L}}}{\partial \mathbf{w}}=0∂w∂L​=0,此时E[Δw]=0,Σ[Δw]=η2σg2Ikp∣B∣\mathbb{E}[\Delta \mathbf{w}]=0, \Sigma[\Delta \mathbf{w}] = \frac{\eta^{2} \sigma_{\mathbf{g}}^{2} \mathbf{I}_{k}}{p|\mathcal{B}|}E[Δw]=0,Σ[Δw]=p∣B∣η2σg2​Ik​​,我们注意到Σ[Δw]\Sigma[\Delta \mathbf{w}]Σ[Δw]是关于ppp的一个递减函数,ppp越大,Σ[Δw]\Sigma[\Delta \mathbf{w}]Σ[Δw]越小,极端情况是p=1p=1p=1,此时Child Tuning退化为Fine Tuning,并且Σ[Δw]\Sigma[\Delta \mathbf{w}]Σ[Δw]最小,相当于它的变化量每次都不大,因此就很难跳出局部极小值点;ppp越小,Σ[Δw]\Sigma[\Delta \mathbf{w}]Σ[Δw]越大,相当于它的变化量每次都很大,因此比较容易跳出局部极小值点

      个人总结

      这篇论文刚读的时候觉得很厉害,但实际上了解之后就觉得这其实就是一个反向传播版的Dropout,实际的创新并没有特别大,包括其中提到的Fisher信息也并不是这篇论文提出来的。再就是论文中的实验确实很多,实验结果表明,相比于Fine Tuning大约可以提升1.5~8.6个点不等。最后要说一下这篇论文的公式证明部分,我个人觉得这篇论文的证明其实没有很严谨,例如为什么一个矩阵的期望就变成一个数了。总的来说这个方法可以作为打比赛时候的一个Trick来使用

      183****8515 1 Reply Last reply Reply Quote 3
      • 183****8515
        183****8515 @155****7220 last edited by

        @155-7220 哇哦~大佬!

        1 Reply Last reply Reply Quote 0
        • Referenced by  Alice_恒源云 Alice_恒源云 
        • Referenced by  Alice_恒源云 Alice_恒源云 
        • Referenced by  Alice_恒源云 Alice_恒源云 
        • First post
          Last post