北大MICCAI2021医学图像分割模型LOD-Net:根据边缘方向导数获取高精度分割性能
-
北大MICCAI2021医学图像分割模型LOD-Net:根据边缘方向导数获取高精度分割性能
论文标题:Learnable Oriented-Derivative Network for Polyp Segmentation
论文地址:https://doi.org/10.1007/978-3-030-87193-2_68
代码地址:https://github.com/midsdsy/LOD-Net
摘要
- 背景介绍:胃肠道息肉是导致结肠直肠癌的主要原因。鉴于息肉在大小、颜色、纹理方面的变化以及内镜检查带来的不良光学条件,息肉分割仍然是一个具有挑战性的问题。
- 论文提出了一种可学习的方向导数网络Oriented-Derivative Network (LOD网络)来提高息肉分割边界预测的准确性。具体地说,它首先计算息肉每个像素的八个方向导数。然后,它选择那些具有大方向导数值的像素来构成息肉的候选边界区域。最后通过融合边界区域特征和主干网络计算出的高层语义特征来细化边界预测。
- 实验结果:大量实验和消融研究表明,与最先进的方法相比,提出的LOD网络在可公开获取的数据集(包括CVC ClinicDB、CVC ColonDB、Kvasir、ETIS和Endosece)上取得了显著的优势。例如,对于数据集Kvasir,我们实现了88.5%的mIoU,而PraNet实现了82.9%;对于数据集ETI,我们实现了88.4%的mIoU,而PraNet只实现了72.7%的mIou。
算法
整体算法框架如上图所示,为了对边缘区域进行高精度分割,论文提出了可学习方向导数表征Oriented-Derivative Learning Module来对边界区域像素点进行建模。在获取到实例级的像素方向导数表征之后,采用了阈值策略Adaptive Thresholding Module来搜索可能的边界区域并通过特征融合策略Feature Fusion增强其特征表达。
可学习方向导数表征
边界区域像素的方向导数要比其他区域像素的方向导数大。导数越大,导数的方向越垂直于轮廓。然而,传统方法忽略了梯度方向以外的方向导数,其表示能力较差。
因此,论文将方向限制从梯度方向放宽到任意方向。通过考虑更多方向,可以全面评估边界像素。另外,只需在每个像素处使用8个相邻方向来近似表示它们的方向。
可学习方向导数
为了对神经网络输出的方向导数进行监督学习,首先需要计算出GT方向导数。
具体步骤如下:
- 预设8个初始方向Δ=(Δix,Δiy)∣i=0,1,…,7\Delta={(\Delta_{i}^{x}, \Delta_{i}^{y}) \mid i=0,1, \ldots, 7}Δ=(Δix,Δiy)∣i=0,1,…,7
- 通过神经网络来预测每个像素相对8个初始方向的xy偏置Φ=(Φix,Φiy)∣i=0,1,…,7\Phi={(\Phi_{i}^{x}, \Phi_{i}^{y}) \mid i=0,1, \ldots, 7}Φ=(Φix,Φiy)∣i=0,1,…,7
- 通过对GT图进行插值算法获取偏置位置的像素点像素大小X(x0+Δix+Φix,y0+Δiy+Φiy)X\left(x_{0}+\Delta_{i}^{x}+\Phi_{i}^{x}, y_{0}+\Delta_{i}^{y}+\Phi_{i}^{y}\right)X(x0+Δix+Φix,y0+Δiy+Φiy)
- 偏置点像素值和当前像素点值作差就能获得方向导数LODi(x0,y0)=1D(X(x0,y0)−X(x0+Δix+Φix,y0+Δiy+Φiy))L O D^{i}\left(x_{0}, y_{0}\right)=\frac{1}{D}\left(X\left(x_{0}, y_{0}\right)-X\left(x_{0}+\Delta_{i}^{x}+\Phi_{i}^{x}, y_{0}+\Delta_{i}^{y}+\Phi_{i}^{y}\right)\right)LODi(x0,y0)=D1(X(x0,y0)−X(x0+Δix+Φix,y0+Δiy+Φiy))
随后将神经网络预测的方向导数与GT方向导数进行监督训练,使用以下公式进行损失计算:
其中,Oi,j∗O_{i, j}^{*}Oi,j∗表示GT方向导数,M=h∗wM=h * wM=h∗w
边界区域搜索
如图2所示,使用了阈值策略来选取边界区域,并将方向导数表征和高维度语义进行进行特征融合来获取边界特征
阈值策略
如上图所示,阈值策略具体步骤如下:
- 在每个方向导数图中选取k个最大值作为边界点
- 综合每个方向的最大值点就能得到最终的边界区域mask
特征融合
如图2所示
- 对于边界点,通过融合基于像素的方向导数表征和高级语义特征,获得中间特征。
- 对于非边界点,在高级语义特征和OD激活地图的相反部分之间使用点积。
- 最终的预测是基于边界点和非边界点特征的组合。
实验
Compare with SOTA Methods.
Ablation Study