MICCAI2022| 用于骨表面分割的方向引导图卷积网络
-
论文标题:Orientation-Guided Graph Convolutional Network for Bone Surface Segmentation
论文地址:https://arxiv.org/pdf/2206.08481.pdf
代码地址:暂无
摘要
- 背景介绍: 由于超声图像中的成像伪影和低信噪比,自动骨表面分割网络通常会产生碎片化预测,这可能阻碍超声(US)引导的计算机辅助外科手术的成功。
- 现存问题: 现有的逐像素预测通常无法捕捉骨组织的精确拓扑,因为缺乏监督来加强连接。
- 解决方法: 在这项工作中,作者提出了一种方向引导图卷积网络,以在分割骨骼表面时提高连通性。还提出对骨骼表面的方向进行额外的监督,以进一步加强连接。在1042次股骨、膝盖、脊椎和桡骨远端的活体超声扫描中验证了方法。方法在连通性度量方面比现有技术方法提高了5.01%。
算法
用于骨分割的图卷积
O-GCN的主要构建块是图卷积模块,它通过首先构建来提取特征空间中的图G=(V,ξ,A)来骨段之间的连通性,然后对构造的图G执行图卷积,如下所示:
其中V表示节点,ξ表示边,A是描述每个节点之间相似性的相似性/邻接矩阵,X是输入特征图,W是可学习权重矩阵,σ(·)是非线性激活函数。与标准卷积运算X=σ(XW)不同,图卷积通过相似性矩阵A将节点与卷积过程之间的连通性结合在一起,这有助于以较少的不连续性改进骨分割预测。
特别是,给定大小为c×h×w的X,其中c表示通道的数量,h和w表示X的宽度和高度,可以构造大小为l×l的相似矩阵,其中l=h×w,实验发现,它们引入了大量的计算开销和更长的推理时间,使其不适合医学图像分割。因此,为了解决这个问题,提出了一个可学习的相似性矩阵A(X),其中在学习过程中调整A的参数,最终导致更少的内存需求和更快的推理时间。具体地,计算可学习相似性矩阵A(X)如下:
其中φ(X)∈ Rl×m被建模为1×1卷积层,∧(X)∈ Rm×m是通过全局平均池(GAP)和1×1卷积得到的对角矩阵,T表示矩阵转置运算。
骨方向学习作为辅助任务
现有的骨分割网络仅利用二进制交叉熵(BCE)损失来优化网络参数。然而,由于训练过程中缺乏连通性监督,它无法预测拓扑正确和连接的骨段。受此启发,以及人类通过在特定方向跟踪骨骼来注释骨骼的行为,制定了一个辅助骨骼方向预测任务,以将连通性约束应用于主骨骼分割任务。
为此,采用以下程序从真实骨分割图生成骨方向图,该图将进一步用于计算训练过程中的辅助骨方向损失。
给定真实骨骼分割掩模(见图1-(b)),首先通过对真实骨骼分段图进行骨架化来获得骨骼线串,并使用Ramer-Duglas-Peucker算法对其进行平滑(见图1-(c))。将骨骼线串集合表示为{l1,l2,··,lk,···,ln},将连接给定线串lk的2D点表示为{p1,p2,··pn}。假设表面分割是无方向的,则对点进行排序,使得向量从左到右和从上到下指向,以强制神经网络学习关联表示(见图1-(c))。在两个连续的坐标对(p1,p2),··,(pn−1,pn)计算单位方向向量−→v表示:
接下来,获得方位角或通过将其转换为极域,如下所示:
最后,对于每个点对(pi,pj),沿着lk的垂直方向位于阈值宽度λt内的骨骼像素,我们指定相同的方向值,对于所有其他非骨骼像素,非骨骼方向角onb指定如下:
网络细节
如图2所示,O-GCN遵循UNet骨架架构,但使用GCN代替卷积块。在两种编码器中使用5个GCN块
通过优化以下损耗来更新网络的权重和偏差,
实验
消融实验