Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    MaskFormer:语义分割可以不全是像素级分类

    CV领域
    2
    2
    110
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 189****6672
      189****6672 last edited by

      MaskFormer:语义分割可以不全是像素级分类

      论文:Per-Pixel Classification is Not All You Need for Semantic Segmentation

      论文地址:https://arxiv.org/pdf/2107.06278.pdf

      代码地址: https://bowenc0221.github.io/maskformer

      2022-03-20-16-43-52.png

      摘要

      1. 目前研究多将语义分割算法作为一种像素级的分类算法,而将实例分割作为一种mask分类算法
      2. 论文的重要观点是:mask分类任务能够同时有效解决语义和实例级的分割任务
      3. 基于上述观念,提出了MaskFormer,一种预测二值mask(每个mask用于预测一个类别)的mask分类模型
      4. 实验显示,MaskFormer在ADE20K和COCO分割任务上实现state-of-the-art

      从像素级分类到mask级分类

      1. 首先介绍像素级分类和mask级分类
      2. 随后介绍本文的mask级分类算法
      3. 最后提出了两个不同的前向传播算法

      像素级分类

      大家应该对像素级分类很熟悉了,可以用公式表达为2022-03-20-17-16-16.png,其中ΔK\Delta^{K}ΔK,具体含义就是一张图像上每个像素点的K类别概率分布

      最后使用cross entropy对每个像素进行loss计算

      mask级分类

      2022-03-20-16-45-02.png

      mask级分类将分割任务拆分为两个部分:

      1. 将图像分割成N个区域(N不需要等于类别K),使用二进制2022-03-20-17-16-33.png表示
      2. 这N个区域的每个区域内部是属于同一个类别,所以还需要对其进行类别预测,可以表示为2022-03-20-17-16-49.png,这里的类别概率分布pi∈ΔK+1p_{i} \in \Delta^{K+1}pi​∈ΔK+1包含无对象no object 类别

      由于N不需要等于类别K,这就意味着会存在多个区域属于同一个类别,这时mask级分类可以适用于语义分割和实例级分割任务

      上述就是mask级分类的两个组成部分,但这会引出下一个问题,如何构造标签?

      1. 将一般标签改造成2022-03-20-17-16-59.png ,其中NgtN^{gt}Ngt可以认为是类别个数
      2. 预测生成的区域块数量N一般会大于标签中的区域块NgtN^{gt}Ngt,为了后续能够进行对一对匹配,所以两者数量需要一致,因此添加一系列无对象tokens使两者数量相同

      进一步就是要考虑如何将标签和预测结果中的不同区域进行匹配

      1. 作者发现使用二值匹配算法bipartite matching 比使用固定匹配算法trivial fixed matching 算法要好
      2. 借鉴DETR的匹配思路,联合类别和mask预测对i和j进行匹配:2022-03-20-17-17-10.png

      基于匹配的结果,最终的损失函数为2022-03-20-17-17-18.png

      MaskFormer

      2022-03-20-16-45-46.png

      整个模型分成三个模块(如上图所示):

      1. 像素级模块用于提取像素级特征嵌入
      2. Transformer模块,用于计算N个区域嵌入
      3. 分割模块,基于上述两个嵌入计算预测类别

      像素级模块

      就是一个编码器-解码器结构,输入大小为H×W的图像,输出为2022-03-20-17-18-49.png的特征图

      Transformer模块
      将像素级模块中编码器的输出特征图和N个可学习的位置嵌入作为Transformer解码器的输入, 输出为Q∈RCQ×N\mathcal{Q} \in \mathbb{R}^{C_{\mathcal{Q}} \times N}Q∈RCQ​×N

      分割模块

      1. 对于Transformer模块的输出Q,使用线性分类层和softmax进行类别输出,得到类别概率2022-03-20-17-19-06.png
      2. 使用带有两个隐藏层的MLP将Q转化为2022-03-20-17-19-14.png,并与2022-03-20-17-28-35.png进行点乘和sigmoid操作,得到二值mask预测,2022-03-20-17-19-24.png,其中每个预测值为mi∈[0,1]H×Wm_{i} \in[0,1]^{H \times W}mi​∈[0,1]H×W,一共有N个

      训练过程中,联合使用cross entropy classification loss 和binary mask loss Lmask \mathcal{L}_{\text {mask }}Lmask ​(与DETR一样,联合focal loss和dice loss权重求和)

      前向传播过程

      提出了两种前向传播算法

      1. 针对全景和语义分割,提出了general inference
      2. 专门针对语义分割,提出了semantic inference
        作者并发现,前向传播的策略更大程度上依赖于评价指标而不是任务

      General inference
      上文所述,我们知道2022-03-20-17-19-57.png, 通过公式2022-03-20-17-20-10.png来确定其所属类别,可以通过如下步骤进行理解

      1. 对于N个区域,每个区域有K+1个类别概率,首先确定每个区域中最大概率的类别
      2. 当前像素点同样具有属于每个区域的概率,也就是mim_imi​
      3. 将上述两者相结合就可以获取当前像素点所属的类别和所属的区域

      这样对于语义分割而言,根据所属类别进行分割
      而对于实例分割而言,根据所属类别和所属区域进行区分不同实例

      Semantic inference
      同样对于图像上的一点[h,w][h, w][h,w],其类别计算公式为2022-03-20-17-20-56.png,可以理解为将N作为特征维度

      1. p表示K+1个类别,每个类别有N长度的类别特征
      2. m表示每个像素点同样都有N长度的维度特征
      3. 将m与每个类别的特征进行乘积求和,并比较每个类别的结果,取最大值作为所属类别

      实验

      通过在四个公开数据集上进行了实验对比,证明了MaskFormer无缝统一了语义分割和实例分割,并实现了最优性能
      并通过消融实验,发现语义分割上性能的提升确实来自于从像素级分类到mask级分类的转变

      对比实验

      2022-03-20-16-46-18.png

      语义分割对比实验
      2022-03-20-16-46-33.png

      全景分割对比实验
      2022-03-20-16-46-46.png

      消融实验

      像素级分类和mask级分类比较结果
      使用两个不同的匹配策略之间的比较结果
      2022-03-20-16-47-00.png
      使用不同queries(区域数量N)之间的比较
      2022-03-20-16-47-10.png

      183****8515 1 Reply Last reply Reply Quote 3
      • 183****8515
        183****8515 @189****6672 last edited by

        @189-6672 搬运搬运,给版主小哥哥增加浏览量~

        1 Reply Last reply Reply Quote 1
        • First post
          Last post