MICCAI2022 | 基于边缘点云变换的颅内动脉瘤三维分割算法
-
论文标题： Edge-Oriented Point-Cloud Transformer for 3D Intracranial Aneurysm Segmentation
论文地址： https://link.springer.com/content/pdf/10.1007/978-3-031-16443-9.pdf
代码地址： https://github.com/CityU-AIM-Group/EPT
摘要
- 现存问题：基于点云的三维颅内动脉瘤分割是动脉瘤自动诊断的重要手段。但现有的基于点的三维分割框架在血管和动脉瘤之间的边缘仍然表现不佳，这对夹闭手术过程极为有害。
- 解决方法：作者提出了一个面向边缘的点云transformer网络（EPT-Net）来产生精确的分割预测。该框架由三个范式组成，即, dual stream transformer（DST）、outer-edge context dissimilation（OCD）和inner-edge hard-sample excavation（IHE）。在DST中，提出了一个双流transformer来联合优化语义流和边缘流，后者对边缘施加更多的监督，并帮助语义流产生更清晰的边界。在OCD中，为了细化边缘外的特征，在禁止跨边缘连接的地方构建了边缘分离图，从而异化了属于不同类别的点云上下文。在此基础上，进行图卷积，通过与不同上下文的信息交换来细化令人困惑的特征。在IHE中，为了进一步细化边缘内的特征，在边缘周围建立了三元组（即锚、正和负），并使用对比学习。与以往的点云对比方法不同，只选择边缘附近的点作为hard-negatives,，为区分特征学习提供信息线索。
- 实验结果：在3D颅内动脉瘤数据集IntrA上进行的大量实验表明，与最先进的方法相比，EPT网络具有优越性。
算法
如图1所示，形式上，将点云表示为P∈RN×C，C维特征由三维坐标和其他属性（如法线）组成。
首先在DST中，输入点云P通过双流transformer生成中间语义特征Fint∈RN×D和边缘Ω∈RNe×3，其中Ne是指边缘点的数量。
然后在OCD中，在边缘外部构造边缘分离图G，在此基础上执行图卷积以生成精细特征Fref∈RN×D。
最后，将细化的特征Fref传递给IHE，其中Ω内部和附近的点分别被视为锚和正负极坐标。利用获得的三元组，计算对比损失Lcontra，以鼓励特征空间中的锚被正样本吸引而被负样本排斥。总之，通过联合优化DST中的两个流，并细化OCD和IHE中的歧义语义特征，EPT网络能够产生更好的分割结果。
Dual Stream Transformer (DST)
当前基于点云的分割框架在边缘附近的分割结果往往很差，因为边缘点只占整个分割的一小部分，在训练期间监督较少。为了弥补这个缺陷，作者提出同时进行边缘检测作为一项辅助任务，它可以更加关注边缘点，并帮助语义网络产生更清晰的边界。受此启发，设计了一个双流transformer（DST），如图1（a）所示。DST由分别负责分割和边缘检测的语义流和边缘流组成，每个流都使用级联的transformer块。
Outer-edge Context Dissimilation (OCD)
由于相似上下文产生的模糊特征，边缘周围的点很容易被错误分类，这对手术过程有害。为了识别这些令人困惑的特征，提出了OCD来构造边缘分离图(ES-Graph)。ES图的点是边缘之外的点，以迭代方式选择以包含更多候选对象，提供具有更多支持邻居的模糊特征。禁止跨越边缘的ES Graph连接，从而提供具有不同上下文的不同类别的点。然后执行图卷积来传播信息，在不同的上下文中细化模糊特征，如图1（b）所示。
Inner-Edge Hard-Sample Excavation (IHE)
为了进一步细化边缘内不可区分的特征，使用对比学习技术优化基于三元组（即锚、正和负）的特征空间。与之前的点云对比方法不同，在点云对比中，负样本是同等选择的，特别选择边缘附近的hard负样本，如图1（c）所示。这些hard负样本更接近特征空间中的决策边界，与简单负样本相比，可以为区分性特征学习提供更多信息线索。
Training and Testing
在训练期间，双流transformer和图卷积层的权重通过损失函数进行优化，定义如下：
实验
Comparison with State-of-the-Art Methods
Ablation Study.
