IJCAI 2022 | MNET：医学图像分割新模型

189****6672

论文标题：MNet: Rethinking 2D/3D Networks for Anisotropic Medical Image Segmentation

摘要

现存问题：切片扫描的性质导致了三维医学图像的层间不连续性，普通的二维/三维卷积神经网络（CNN）无法平衡地表示稀疏的层间信息和密集的层内信息，导致切片间的特征拟合不足（对于2D CNN）和长远距离切片噪声拟合过度（对于3D CNN）。
提出方法：论文提出了一种新的网状网络（MNet），通过学习来平衡不同方向/轴之间的关系。1） MNet通过将多维卷积深入到基本模块中，实现了大量表示过程的融合，使表示过程的选择更加灵活，从而自适应地平衡稀疏切片间信息和密集切片内信息表示。2） MNet潜在地融合了每个基本模块内的多维特征，同时利用2D（2D视图中容易识别区域的高分割精度）和3D（3D器官轮廓的高平滑度）表示的优势，从而获得目标区域更准确的建模。
实验结果：在四个公共数据集（CT和MR）上进行了全面的实验，结果一致表明所提出的MNet优于其他方法。

如上图a所示，模型中同时包括2D和3D卷积层，每个卷积层后使用Instance normal和LReLU激活，其中因为3D图像计算需要大量显存，导致batchsize大小受限，所以使用没有使用batch normalization。

通过不同模块块之间的连接，就形成上图a所示的MNet模型，整体为编码器-解码器结构。MNet模型中同时包括了上图b中的子模型（均为编码器-解码器结构），这使得MNet能够提取具有表征性的特征。

MNet模型中存在2D和3D特征的融合以及同时输出2D和3D特征。提出了潜在多维度融合机制，如上图c所示。

让 $X_{2d}$ 和 $X_{3d}$ 分别表示来自潜在表征过程LRP1和LRP2的高维度2D特征和3D特征。

$X_{2d}$ 和 $X_{3d}$ 首先分别输入到scale为** $\times 2 \times 2$ **和 $\times 2\times 2$ 的上采样层
随后 $X_{2d}$ 和 $X_{3d}$ 被输入到FMU单元，执行差值-绝对值计算，得到融合特征：

为了进一步融合低维度细节信息，让 $X2deX^e_{2d}$ 和 $X3deX^e_{3d}$ 分别表示通过跳跃连接得到的低维2D和3D特征。

将 $X2deX^e_{2d}$ 和 $X3deX^e_{3d}$ 同样输入到FMU单元，执行差值-绝对值计算，得到融合信息：

最后，对 $F_m$ 和 $FmeF^e_m$ 进行cat特征融合，并使用2D卷积和3D卷积提取 more balanced and accurate features。

需要注意的是，2D卷积的卷积核大小为 $1×3×31\times3\times3$ ，作用的特征图大小依旧是个3D体素，只是在一个维度上的核大小为1。

如图2(b)所示，MNet模型中存在很多不同的潜在表征过程，如2D、2.5D、3D CNNs，这使得表征过程的选择不固定，能够更精确的进行特征表示。

如2.5D CNNS，假设输入体素的z轴与x/y轴的空间ratio比值为1:4，说明切片距离相对较大，那么

首先输入体素经过两个2D卷积（只对x/y轴操作）和下采样操作，会使得空间比值变为1:1，随后各向同性特征被输入到3D子网络。

为了确保不同深度的可训练参数更好的被优化，使用 $1×1×11\times1\times1$ 来构建6个此外的损失计算，如图2(a)所示。不同层的标签可由原始标签下采样得到。

选用了cross-entropy和dice coefficient联合损失函数：

最终损失函数表示为：

数据集：

CT：

MR：