LoMaR：基于局部掩码重建的预训练Transformer模型

189****6672

LoMaR：基于局部掩码重建的预训练Transformer模型

论文标题：Efficient Self-supervised Vision Pretraining with Local Masked Reconstruction

论文地址： https://arxiv.org/pdf/2206.00790.pdf

论文代码： None

摘要

引入主题：计算机视觉的自监督学习取得了巨大的进步，改进了许多下游视觉任务，如图像分类、语义分割和目标检测。其中，MAE和BEiT等生成性自监督视觉学习方法表现出了良好的性能。
现存问题：然而，他们的全局掩码重建机制在计算上要求很高。
解决方法：为了解决这个问题，提出了局部掩码重建（LoMaR），这是一种简单而有效的方法，在一个简单的Transformer编码器上，在7×7的小窗口内执行掩码重建，与整个图像的全局掩码重建相比，取得了效率和精度之间的权衡。
实验结果：大量实验表明，LoMaR在ImageNet-1K分类中达到84.1%的top-1精度，优于MAE 0.5%。在384×384图像上对预训练后的LoMaR进行微调后，可以达到85.4%的top-1精度，超过MAE 0.6%。在MS COCO上，LoMaR在目标检测上比MAE好0.5 AP，在实例分割上比MAE好0.5 AP。LoMaR在预训练高分辨率图像上的计算效率尤其高，例如，在预训练448×448图像上，LoMaR比MAE快3.1倍，分类精度高0.2%。这种局部掩码重建学习机制可以很容易地集成到任何其他生成性自监督学习方法中。

算法

LoMaR整体上是一个Transformer结构，与MAE类似，通过从损坏图像中恢复缺失的patch来预训练大量未标记图像，但LoMaR在几个关键地方与MAE不同，具体如下。

局部与全局掩码重建：

MAE使用来自整张图像的patch来重建每个缺失的patch。然而，如图1所示，通常只有目标patch附近的patches对重建有显著贡献，这表明局部信息足以用于重建。

因此，LoMaR对小区域内的patches进行掩码和重建。实验发现，区域大小为7×7的patch可以在精度和效率之间取得最佳的平衡。另一方面，与卷积网络类似，LoMaR具有平移不变性，因为每次迭代都使用在随机空间位置采样的小窗口。

从复杂性的角度来看，由于用于操作的tokens较少，所以局部掩码和重构比全局掩码和重构MAE在计算效率上更高。假设每个图像可以划分为h×w patches。计算自注意的时间复杂度为 $O(h^2w^2)$ 。复杂度与patches数量呈二次关系，很难用大型硬件进行扩展。然而，对于局部掩码重建，采样n个窗口，其中每个窗口包含m×m个patches；其计算复杂度为 $O(hw+nm^4)$ ，如果将m×m固定为一个恒定的窗口大小，则其时间复杂度为线性的。