IJCAI 2022 | BGNet:利用边界引导的伪装目标检测模型
-
论文标题:Boundary-Guided Camouflaged Object Detection
论文地址:https://arxiv.org/pdf/2207.00794.pdf
论文代码:https://github.com/thograce/BGNet
摘要
- 引出主题: 伪装目标检测(COD)是一项有价值但具有挑战性的任务,它可以分割与周围环境完美融合的目标。
- 现存问题: 现有的深度学习方法往往难以准确识别具有完整精细的伪装对象。
- 提出算法: 论文提出了一种新的边界引导网络(BGNet)。该方法探索了与对象相关的边缘语义,以指导COD的表示学习,这迫使模型生成具有高亮度对象结构的特征,从而促进精确边界定位的伪装对象检测。
- 在三个具有挑战性的基准数据集上进行的大量实验表明,在四个广泛使用的评估指标下,BGNet显著优于现有的18种最先进的方法。
算法
BGNet的总体架构如图2所示。具体而言,
- 采用了Res2Net-50作为主干网络来提取提取多级特征,即fi(i=1,2,…,5)。
- 然后,应用边缘感知模块(EAM)从包含局部边缘细节(f2)的低级特征和包含对象边界监督下的全局位置信息(f5)的高级特征中挖掘与对象相关的边缘语义。
- 随后,利用多个边缘引导特征模块(EFM)将来自EAM的边缘线索与每个级别的多级主干特征(f2-f5)集成,以引导特征学习,从而增强边界表示。
- 最后,采用多上下文聚合模块(CAM)以自顶向下的方式逐步聚合多级融合特征,并发现伪装对象。
在测试中,选择最后一个CAM的预测作为最终结果。请注意,不采用f1主干特征,因为它太接近输入,具有大量冗余信息和较小的接收范围。
Edge-aware Module
良好的边缘先验可以有利于分段和定位中的目标检测。
虽然低级特征包含丰富的边缘细节,但它们也引入了许多非对象边缘。因此,需要高级语义或位置信息以便于探索伪装对象相关的边缘特征。
在该模块中,结合了低级特征(f2)和高级特征(f5)来建模与对象相关的边缘信息,如图8所示。具体而言,
- 首先使用两个1×1卷积层将f2和f5的通道分别更改为64(f′2)和256(f′5)。
- 然后通过级联运算将特征f′2和上采样f′5进行concatenation。
- 最后,通过两个3×3卷积层和一个1×1卷积层,然后使用sigmoid函数。
EAM是提取特定边缘特征的简单而有效的模块。如图7所示,EAM完美地学习了与对象边界相关的边缘语义。
Edge-guidance Feature Module
边缘引导特征模块(EFM)旨在将边界相关的边缘线索引入表示学习,以增强具有对象结构语义的特征表示。
众所周知,不同的特征通道通常包含不同的语义。因此,为了实现良好的整合并获得强大的表示,引入了一种局部通道注意机制来探索跨通道交互并挖掘通道之间的关键线索。
如图4所示,fi (i∈ {2,3,…,5})和边缘特征fe,首先使用附加的跳过连接和3×3卷积在它们之间执行元素相乘,以获得初始融合特征fie,其可以表示为:
其中D表示下采样,Fconv为3×3卷积。⊗ 是元素级乘法,⊕ 是元素加和。
为了增强特征表示,引入了对扩展关键特征通道的局部关注。具体而言,
- 使用通道全局平均池化(GAP)来聚合卷积特征(fie)。
- 然后,通过一维卷积和sigmoid函数获得相应的通道注意(权重)。与全连接操作不同,全连接操作捕获所有通道之间的依赖关系,但显示出高度复杂性,而论文只探索本地跨通道交互,并以本地方式学习每个注意力,例如,只考虑每个通道的k个邻居。
- 然后,将通道注意力与输入特征fie相乘,并通过1×1卷积层减少通道获得最终输出fia。
Context Aggregation Module
为了集成用于伪装对象预测的多级融合特征,设计了一个上下文聚合模块(CAM),用于挖掘上下文语义以增强对象检测,如图5所示。
CAM考虑了跨尺度交互以增强特征表示。
- 以f4a和f5a为例,首先对f5a进行上采样并将其连接,
- 然后使用1×1卷积层获得初始聚集特征fm。
- 接下来,我们沿通道维度将fm均匀划分为四个特征映射(fm1、fm2、fm3、fm4),然后执行跨尺度交互学习,即通过一系列空洞卷积来整合相邻分支的特征以提取多尺度上下文特征。公式如下:
- 然后,将这四个多尺度特征fmj′与1×1卷积、残差连接和3×3卷积连接起来,可以表示为
Loss Function
模型有两部分损失:伪装对象掩码(Go)和伪装对象边缘(Ge)。
对于掩模监督,采用加权二进制交叉熵损失(LwBCE)和加权IOU损失(LwIOU),这两种方法更关注hard像素,而不是为所有像素分配相等的权重。
对于边缘监督,采用骰子损失(Ldice)来处理正样本和负样本之间的严重不平衡。
实验
Comparison with State-of-the-arts
Ablation Study