基于变形模板的弱监督3D图像分割

189****6672

论文标题：Weakly Supervised Volumetric Image Segmentation with Deformed Templates

论文地址：https://arxiv.org/pdf/2106.03987.pdf

论文代码：无

摘要

背景介绍：有许多方法可以对网络模型进行弱监督训练，以分割2D图像。相比之下，现有的分割体素图像的方法依赖于对3D体素的2D切片子集的全面监控。
提出方法：作者提出了一种体素分割方法，这种方法属于弱监督算法，因为只需要在目标物体表面提供一组稀疏的3D点，而不需要提供详细的2D掩码标签。使用3D点来变形3D模板，使其大致匹配目标对象轮廓。
实验结果：在计算机断层扫描（CT）、核磁共振成像（MRI）和电子显微镜（EM）图像数据集上评估了该方法，并表明它大大减少了所需的工作量。

算法

该论文的模型训练方法涉及到一个注释器annotator，它只为每个图像提供目标对象表面上的一组稀疏的3D点，而不是详细注释每个图像中的几个单独切片。这些点用于使模板变形，如图1所示。注释器提供了一些3D 点（人为点击选择点），使用一个活动表面模型(ASM)来适应模板。结果被栅格化并覆盖在图像上。然后，注释器可以添加更多内容，并根据需要再次变形模板。

注释器就是通过人为选择点来获取分割mask来作为标签，极大的提高了标注效率。

这提供了目标对象边界位置的粗略表示。 Weak-Net使用它来产生精确对象边界的权重。

网络结构和损失

Weak-Net如图2所示，由两个单独的U-Net网络组成。第一个以D×H×W的体素X作为输入。它输出一个尺寸为D×H×W的张量ˆY（最终的分割结果），表示每个体素属于前景的概率。第二个将ˆY作为输入并生成ˆX（重建过程），它与X具有相同的维度。理想情况下，ˆX应该与X相同。

为了训练Weak-Net，最小化两个损失的加权和：

其中，Y是适合目标对象的栅格化模板。Lce是一个标准的交叉熵损失，其最小化可促进模板Y和分割ˆY之间的相似性。

在推理时，只使用第一个U-Net，将其称为我们的核心网络，并通过使用阈值γ对其输出ˆY进行阈值化来获得最终分割。

在训练期间最小化Lce可以确保分割大致正确。但是，由于模板只提供对象的粗略描述，因此这是不够的。因此，也最小化 Lmse，以迫使网络产生准确的边界。

模板变形

公式1的模板Y应近似匹配目标结构。因此，注释器应该提供分布在对象曲面上的点。然后，这些点用于使模板变形。实际上，是从一个简单的球形模板开始，随着点数的增加，得到了越来越精细的模板，如图4所示。

为了以交互方式执行这种变形，作者开发了一个依赖于活动曲面模型（ASM）[28]的GUI。它允许注释器通过单击输入图像体的2D横截面来提供一些点。然后，ASM实时变形模板并将其覆盖在图像数据上，既可以作为2D横截面，也可以作为3D曲面渲染。然后，注释器可以添加更多点，并根据需要进行迭代。

实验

Comparative Results

弱监督和全监督。将Weak-Net、baseliine和全监督进行了比较，并在表1中报告了结果。在所有三个数据集上，Weak-Net的IOU高于baseliine。在全监督下，仅需7%到10%的注释工作即可实现92%到97%的准确度。