1.   引言

合成孔径雷达(Synthetic Aperture Radar, SAR)是一种主动式的微波成像系统，它不受光照、云雾和气候等自然条件影响，具备全天时、全天候对地观测的能力，已成为遥感领域重要的信息获取平台^[1]。近年来，随着遥感成像技术的蓬勃发展和SAR卫星在轨数量的不断增加，SAR系统获取数据的数量和质量得到显著提升，促进了SAR在相关领域的发展和应用^[2]。海量的高分辨率数据为SAR图像精细化理解提供了丰富的数据基础与支撑^[3,4]。

目标检测和识别是SAR图像智能化解译的重要一环。飞机作为SAR图像中的典型目标，数量较多、种类丰富，具有较大的观测价值^[5]。基于SAR图像的飞机检测识别能获取飞机目标的型号、种类、位置、状态等信息，可有效辅助重点区域动态监视、态势分析、紧急救援等应用。因此，利用高分辨率SAR图像对飞机目标进行检测识别具有重要的研究意义^[6]。

近年来，随着深度学习理论和技术的发展，基于卷积神经网络的方法在SAR图像目标检测识别领域取得了较大进展^[7,8]。在SAR飞机检测识别方面，Zhao等人^[9]提出一种多分支空洞卷积特征金字塔方法，通过建立密集连接来减少冗余信息并突出飞机的重要特征。文献[10]设计了一个注意力模块来融合细化低层纹理特征和高层语义特征，进一步提高飞机检测率。在SAR舰船检测识别任务中，文献[11,12]通过直接学习回归框的位置，来减少对预定义框超参数的依赖，并且进一步实现舰船目标的细粒度识别。海上舰船容易与海面形成强反射的二面角，在SAR图像中通常呈现为轮廓完整、连通性强的强散射点集合。相比海上舰船，陆地飞机目标尺寸较小，特征不容易提取，散射点之间较为离散^[13,14]，准确定位和识别的难度较大。

在实际场景中，SAR飞机检测识别是一项具有挑战性的任务。首先，如图1(a)所示，目标容易受到航站楼和停机坪等周围背景的干扰，使得具有相似散射视觉属性的物体被识别为飞机目标，导致出现虚警和漏警的现象^[15]。其次，如图1(b)所示，SAR图像中飞机由一系列离散的不规则散射中心亮斑组成，呈现出散射强弱不一致的情况，目标容易被分割成多个离散的部件^[16]，导致SAR飞机检测结果的不完整。此外，如图1(c)所示，在不同的成像角度下，同一目标会呈现出不同的视觉特征，类内差异大，增加了飞机识别的难度^[17]。

图  1  SAR飞机检测识别中的挑战

Figure  1.  The challenges in SAR aircraft detection and recognition

下载: 全尺寸图片 幻灯片

针对SAR图像中背景干扰严重和飞机散射点离散问题，本文提出了一种散射感知网络(Scattering-Aware Network, SA-Net)用于复杂SAR图像中飞机目标的检测和识别。一方面，通过上下文引导的特征金字塔模块来增强全局信息，抑制复杂场景中的强干扰，增强目标的可辨别特征，提高检测识别的准确率。另一方面，利用散射关键点对目标进行定位，设计散射感知检测模块将关键点的分布特性与神经网络相结合，实现对回归框的细化校正，提高目标定位的准确性。为了验证SA-Net的有效性，本文构建了一个面向大规模复杂场景的SAR飞机数据集，命名为SAR-AIRcraft-1.0。基于该数据集，本文将几种常用的深度神经网络模型和SA-Net进行了一系列检测识别对比实验。实验结果表明，SA-Net方法的mAP_0.5指标达到了77.7%，相比其他方法有较大的提升，证明了散射感知方法的优异性能。SAR-AIRcraft-1.0数据集已公开发布在《雷达学报》官网中(https://radars.ac.cn/web/data/getData?newsColumnId=f896637b-af23-4209-8bcc-9320fceaba19)，为SAR飞机检测、细粒度识别、检测识别一体化等不同任务研究提供了数据基础。

2.   数据集信息

目前公开的SAR检测识别数据集多数以舰船目标为主，如表1所示，其中包含了MSTAR (The Moving and Stationary Target Acquisition and Recognition)^[18], OpenSARShip^[19], SSDD (SAR Ship Detection Dataset)^[20], SAR-Ship-Dataset^[21], AIR-SARShip-1.0^[22], HRSID (High-Resolution SAR Images Dataset)^[23], FUSAR-Ship^[24]。相比之下，SAR飞机目标检测识别数据集较为有限，公开报道的数据集有SADD (SAR Aircraft Detection Dataset)^[25]和MSAR-1.0 (large-scale Multi-class SAR image target detection dataset-1.0)^[26]。SADD是SAR飞机检测数据集，采集自TerraSAR-X卫星，包含2,966张图像切片。MSAR-1.0是大规模多类SAR目标检测数据集，包括飞机、油罐、桥梁和舰船4类目标。这些数据促进了神经网络在SAR飞机目标检测领域的发展。然而，SADD和MSAR-1.0数据集仅包含飞机目标的位置信息，缺少飞机细粒度类别的标注信息，限制了SAR飞机识别领域的进一步发展。

表  1  SAR-AIRcraft-1.0数据集与其他SAR目标检测识别数据集的比较

Table  1.  Comparison between the SAR-AIRcraft-1.0 dataset and other SAR object detection datasets

名称	类别	实例数量	图片数量	大小	发布年份	任务
MSTAR	10	5,950	5,950	128×128	1998	车辆识别
OpenSARShip	17	11,346	11,346	256×256	2017	舰船检测识别
SSDD	1	2,456	1,160	190~668	2017	舰船检测
SAR-Ship-Dataset	1	59,535	43,819	256×256	2019	舰船检测
AIR-SARShip-1.0	1	461	31	3000×3000	2019	舰船检测
HRSID	1	16,951	5,604	800×800	2020	舰船检测和实例分割
FUSAR-Ship	15	16,144	16,144	512×512	2020	舰船检测识别
SADD	1	7,835	2,966	224×224	2022	飞机检测
MSAR-1.0	4	60,396	28,449	256~2048	2022	飞机、油罐、桥梁、舰船检测
SAR-AIRcraft-1.0	7	16,463	4,368	800~1500	2023	飞机检测识别

下载: 导出CSV 

| 显示表格

为了验证SA-Net方法的有效性、同时促进SAR飞机目标检测与识别研究的发展，本文构建了一个面向大规模复杂场景的SAR飞机目标公开数据集，命名为SAR-AIRcraft-1.0。该数据集分辨率为1 m，包含4,368张飞机切片，涉及7种细粒度飞机类型，具有场景复杂、类别丰富、目标密集、噪声干扰、任务多样、多尺度性的特点，已公开发布在《雷达学报》官网中(数据集下载链接，供更多学者免费下载使用，开展进一步的研究。

2.1   基础信息

SAR-AIRcraft-1.0数据集中所有图像采集自高分三号卫星，极化方式为单极化，空间分辨率为1 m，成像模式为聚束式。综合考虑机场规模和停放飞机的数量，数据集主要选用上海虹桥机场、北京首都机场、台湾桃园机场3个民用机场的影像数据，包含800×800, 1000×1000, 1200×1200和1500×1500共4种不同尺寸，共有4,368张图片和16,463个飞机目标实例。飞机的具体类别包含了A220, A320/321, A330, ARJ21, Boeing737, Boeing787, other，各个类别的实例以及数量如图2和图3所示，其中other表示不属于其余6个类别的飞机实例。此外，该数据集具有以下特点：

图  2  不同类别SAR飞机和光学飞机样本示例

Figure  2.  SAR and optical aircrafts of different categories

下载: 全尺寸图片 幻灯片

图  3  各个类别的实例数量

Figure  3.  The quantity of each type of instances

下载: 全尺寸图片 幻灯片

(1) 场景复杂：数据集包含多个民用机场不同时相的图像，这些图像覆盖面积大，背景中包含了航站楼、车辆、建筑物等设施，增加了数据集场景的复杂性。

(2) 类别丰富：不同于一般的SAR飞机数据集，SAR-AIRcraft-1.0数据集包含了飞机目标的细粒度类别信息。此外，不同类别之间相似的散射表征增加了飞机识别的难度。

(3) 目标密集：一张切片图像中包含多个飞机目标，如图1(a)，多个飞机目标停靠在航站楼附近，分布较为密集，目标之间存在互相干扰，影响检测识别的准确率。

(4) 噪声干扰：由于SAR的成像特性，图像中存在着一些相干斑噪声的干扰，给飞机目标准确检测和识别带来一定的挑战。

(5) 任务多样：该数据集不仅支持检测任务，同时包含了类别信息，通过对数据集中飞机目标进行裁剪，得到多类别的目标切片，进而可以实现飞机的细粒度识别。此外，位置和类别信息的存在，使其可以应用在检测识别一体化任务中。

(6) 多尺度性：该数据集中飞机目标切片的尺寸分布跨度广。如图4所示，有一部分目标尺寸在50×50以下，也有一部分飞机目标尺寸在100×100以上，整体呈现出目标多尺度的特点。

图  4  飞机目标的尺寸分布

Figure  4.  The size distribution of aircraft targets

下载: 全尺寸图片 幻灯片

2.2   标注信息

在实例的标注方面，SAR-AIRcraft-1.0数据集中所有实例目标均使用水平矩形框进行标注，与Pascal VOC格式保持一致。图5(a)展示了带标注的目标示例，其中橘色矩形表示标注框，每个矩形左上角名称表示该目标的类别。每张图像都有对应的XML文件，如图5(b)所示，其中每个XML文件包括图像尺寸大小和实例的详细信息，如类别和标注框的坐标等。“size”表示切片的长度和宽度，“name”表示飞机类别，“bndbox”表示每个矩形标注框的坐标信息。以图像的左上角为原点，“xmin”和“xmax”分别表示X坐标的最小和最大位置，“ymin”和“ymax”分别表示Y坐标的最小和最大位置。

图  5  数据集标注示意图

Figure  5.  The annotated results in the dataset

下载: 全尺寸图片 幻灯片

在实际训练过程中，将SAR-AIRcraft-1.0数据集中的图像按照7∶1∶2比例分为训练集、验证集和测试集。数据集包含不同机场的多时相图像，覆盖面积大、背景复杂。此外，由于SAR的成像机理，同一场景不同成像角度获得的图像也有明显的差异，这增加了场景的复杂性。因此，该数据集在检测识别方面具有较大的挑战性。

3.   结合散射感知的SAR目标检测识别方法

3.1   模型框架和网络结构

针对背景中存在强散射干扰的问题，本文提出了结合散射感知的SAR图像飞机目标检测识别一体化的方法。总体框架如图6所示，提出的方法基于无锚框(anchor-free)算法的结构，主要由上下文引导的特征金字塔网络(Context-Guided Feature Pyramid Network, CG-FPN)和散射感知检测头(Scattering-Aware detection Head, SA-Head)两个部分组成。

图  6  提出方法的整体结构

Figure  6.  The overall structure of the proposed method

下载: 全尺寸图片 幻灯片

在特征提取网络中，考虑到背景干扰对目标特征的影响，本文提出了改进的特征金字塔模块用于增强全局信息并减少虚警。通过自适应调整感受野大小，CG-FPN能够有效结合周围信息并增强目标的显著性。

在定位阶段，SA-Head结合了散射感知检测模块中两阶段级联回归，以确保预测的回归框更加准确。首先，在得到目标的散射关键点之后，利用它们的位置来获得目标粗略回归框。之后利用散射引导的自适应检测头模块，将粗略回归框进一步精细定位，得到位置更准确的检测框。

3.2   上下文引导的特征金字塔网络

上下文引导的特征金字塔模块整体结构如图7所示。假设输入图像为${\boldsymbol{I}} \in {R^{W \times H \times 3}}$，其中W和H表示输入图像的宽度和高度。通过对输入图像进行下采样，得到不同层的特征${{\boldsymbol{P}}_{{l}}}$，该特征的大小为$\left( {W/{s_l}} \right) \times \left( {H/{s_l}} \right) \times C$，其中${s_l} = {2^l}$表示第$l\left( {l = 3,4,5} \right)$层特征的下采样率，C设为256。为了获取最深层的特征，将特征$\left\{ {{{\boldsymbol{P}}_3}{{,}}{{\boldsymbol{P}}_4}{{,}}{{\boldsymbol{P}}_5}{{,}}{{\boldsymbol{P}}_6}} \right\}$压缩调整(resize)到${{\boldsymbol{P}}_7}$的大小，并通过通道合并(concat)连接起来。

图  7  上下文引导的特征金字塔网络结构

Figure  7.  The framework of context-guided feature pyramid network

下载: 全尺寸图片 幻灯片

此外，CG-FPN在融合之后的深层特征上采用不同比率(rate=3, 6, 12, 18, 24)空洞卷积^[11]，并通过每一层特征的密集连接来聚合多尺度语义信息。如图7所示，每个空洞卷积的输出都被添加到复制的输入特征中，与前一层特征整合后输入到下一层的空洞卷积层。最后，原始特征经过上采样后与空洞卷积的输出特征进行融合，保持原始特征有助于帮助网络记忆之前的功能，进而得到包含了浅层细节和深层语义信息的特征图。

除了不同层特征之间的融合，CG-FPN希望引入不同通道特征的交互融合。借鉴SENet通道注意力思想^[27]，首先使用全局平均池化^[28]来压缩空间维度以获得全局信息；之后将每个特征通道的权重经过自适应调整，用以反映不同通道之间的相关性；最后将不同的权重系数与对应原始特征进行相乘，得到修正的特征。

为了获得更多的语义和全局信息，CG-FPN将注意力特征图A与特征${{\boldsymbol{P}}_7}$连接起来。在此基础上，将低分辨率特征与上一层对应的特征融合，生成信息丰富的特征。最后，通过一个3×3卷积层输出最终的特征图${{\boldsymbol{T}}_l} \in {R^{\left( {W/{s_l}} \right) \times \left( {H/{s_l}} \right) \times 256}}$，该过程计算如下：

3.3   散射感知检测模块

3.3.1   粗略定位

本文提出了一种散射感知检测头模块，它结合散射点的分布关系来解决离散性问题。该模块包含定位分支和分类分支，如图8所示，这两个分支的卷积层是没有共享的。将特征提取网络的$l\left( l = 3,4,5,6,7 \right)$层输出特征${{\boldsymbol{T}}^l}$$\in {R^{\left( {W/{s_l}} \right) \times \left( {H/{s_l}} \right) \times 256}}$作为两个分支的输入特征。

图  8  散射感知检测头的结构

Figure  8.  The structure of scattering-aware detection head

下载: 全尺寸图片 幻灯片

在定位分支中，${{\boldsymbol{T}}^l}$首先经过3个3×3的卷积层来获得同样尺寸大小的中间特征${\boldsymbol{T}}_{{\text{mid}}}^l$。然后该特征通过一个256维3×3卷积层和一个18维1×1卷积层来生成偏移域${{\rm{OF}}_1} \in {R^{\left( {W/{s_l}} \right) \times \left( {H/{s_l}} \right) \times 18}}$。

受DenseBox^[29]的启发，使用中心点的偏移量来得到第1次预测的散射关键点${S^1}$，其位置为

其中，$\left\{ {\Delta p_i^1} \right\}_{i = 1}^n$指的是相对于中心点${p_{{\text{center}}}}$的预测偏移量，考虑了特征的感受野大小，n设置为9。并且$p_i^1 = \left( {x_i^1,y_i^1} \right)$表示第i个点的坐标。偏移域的通道数18对应9个散射关键点相对中心点在x和y方向上的偏移，其中偏移的方向与坐标可通过$\left\{ {\Delta p_i^1} \right\}_{i = 1}^n$进行确定。在得到预测的散射关键点后，利用这些点的坐标得到水平和垂直方向的最小外接矩${{\boldsymbol{B}}^1}$，即粗略的初始回归框，进而确定目标的位置。

为了反映飞机散射点之间的位置关系，采用监督学习的方式对飞机目标散射关键点的空间位置分布进行回归更新。散射关键点的真值坐标获取如下^[17]：首先利用Harris角点检测器^[30]提取散射强度高的点来反映结构轮廓。之后使用K-Means算法^[31]将提取的点分成9个簇，并得到9个聚类关键点相对于飞机切片中心点的位置偏移。这个过程可以去除冗余点进而得到规则的结构。其中，本文的飞机切片是根据如图5所示的真值框(橙色框)进行裁切，对应的XML中包含了真值框的坐标。因此，飞机切片的坐标信息可以通过XML得到，聚类关键点的坐标信息可通过XML和位置偏移得到。本文将最终得到的9个聚类中心作为散射关键点的真值坐标。这些点体现了飞机的散射强度和结构特征分布，可以为目标的判别提供有效信息。

3.3.2   精细定位

在检测过程中，本文首先获取目标的关键点坐标，得到其粗略位置。然而，由于散射机制的影响，目标中散射密度较低的组件容易被粗略回归框遗漏，导致检测框不够准确。因此，SA-Head通过精细定位来进一步得到更精确的回归框。

在精细定位中，首先利用第1组偏移量$\left\{ {\Delta p_i^1} \right\}_{i = 1}^n$和一个可形变卷积^[32]将特征${{\boldsymbol{T}}_{{\text{mid}}}}$重构为新特征${{\boldsymbol{\tilde T}}_{{\text{mid}}}} \in {R^{\left( {W/{s_l}} \right) \times \left( {H/{s_l}} \right) \times 256}}$：

其中，$\omega$是从网络中学习到的一系列加权参数，${\Omega _{3 \times {\text{3}}}}$表示3×3的卷积运算。由于计算的偏移量可能包含一些小数，该模块借鉴双线性插值来产生连续特性：${{\boldsymbol{T}}_{{\text{mid}}}}\left( {\tilde p} \right){\text{ = }}\displaystyle\sum\nolimits_a {\delta \left( {a,\tilde p} \right)} \cdot {{\boldsymbol{T}}_{{\text{mid}}}}\left( a \right)$。其中，$a = \left( {{x_a},{y_a}} \right)$表示积分采样点，$\delta \left( {a,\tilde p} \right)$是点a和位置$\tilde p = \left( {{x_{\tilde p}},{y_{\tilde p}}} \right)$之间的双线性插值权重。

在获得散射重构特征${{\boldsymbol{\tilde T}}_{{\text{mid}}}}$之后，该特征经过一个输出通道18维的1×1卷积层来产生新的偏移域${{\rm{OF}}_2}$，进而获得第2组预测散射关键点${S^2}$：

其中，$\left\{ {\Delta p_i^2} \right\}_{i = 1}^n$是第2组散射关键点相对于第1组关键点的预测偏移量。利用点的坐标可以进一步得到更加精确的框位置：${\boldsymbol{B}}_{}^2 = \left( {x_{\min }^2,\;y_{\min }^2,\;x_{\max }^2,\;y_{\max }^2} \right)$。此外，两组偏移量具有相同的尺度，因此所提出的方法不会受到回归框尺度参数问题的影响。

在分类分支中，特征${{\boldsymbol{T}}^l}$首先通过3个3×3卷积层以提取原始特征的高层类别语义信息，和定位分支类似，接下来经过一个偏移量为${{\rm{OF}}_1}$的可变形卷积层和一个1×1卷积层对目标的类别表征信息进行优化与修正，使得更加关注SAR飞机目标的重要散射部分，提高飞机的显著性，从而增强分类分支的识别能力。总体而言，散射感知的检测头模块结合了anchor-free框架的特点，利用关键点解码得到目标框。

3.4   损失函数

总的训练损失函数可以分为4部分：

其中，${L_{{{\rm{loc}}} 1}}$和${L_{{\rm{loc2}}}}$分别是第1个和第2个预测框与目标框真值的损失。${L_{{\rm{loc}}}}$计算如下：

其中，N是目标的数量，${S_i}$和${\hat S_i}$分别代表预测框和真值，${\text{smoot}}{{\text{h}}_{L1}}$为光滑之后的$L1$损失函数。

假设目标Q散射关键点的真值坐标为${\hat S_Q} = \left\{ {{{\hat p}_{iQ}}} \right\}_{i = 1}^n$，散射关键点预测坐标为${S_Q} = \left\{ {{p_{jQ}}} \right\}_{j = 1}^m$，之后利用Chamfer loss^[33]计算散射关键点预测坐标和真值坐标之间的损失：

其中，n代表目标Q的真值关键点，m代表目标Q的预测关键点。在损失函数不断收敛后，模型将得到很好的训练精度。

${L_{{\rm{cls}}}}$为分类损失，采用Focal Loss^[34]函数，通过调整正负样本的权重，以缓解样本不平衡。

其中，${\mu _t} = 0.25$和$\gamma = 2$为式(10)的参数，${\left( {1 - {c_t}} \right)^\gamma }$为调节因子，${c_t}$为对应的分类得分。

4.   实验结果分析

在第4节中，首先在SAR飞机检测、细粒度识别、检测识别一体化等不同任务中，将提出方法与先进方法进行比较，验证SA-Net有效性，同时为提供数据集的指标基准。之后，对提出的方法进行消融实验对比，并详细地分析了实验效果，对未来工作进行展望。

4.1   检测任务

4.1.1   实验细节

本文选取在ImageNet数据集上预训练的ResNet-50^[35]来初始化模型。单次训练的样本个数设置为8，采用随机梯度下降算法训练模型。初始学习率被设置为0.001，在训练40轮次后下降到0.0001以加快模型的收敛速度。所有实验均在16 GB NVIDIA Tesla P100 GPU环境下进行。为了进行公平的比较，本文在后续检测实验中保持相同的设置。

4.1.2   目标检测评价指标

为了定量评价算法的性能，本文指标包含准确率P和召回率R，其计算式如式(11)和式(12)所示：

其中，${{{N}}_{{\text{TP}}}}$表示正确检测到的目标数量，${{{N}}_{{\text{FP}}}}$表示检测结果为真，但是真实标签为负例的虚警。${{{N}}_{{\text{FN}}}}$表示检测结果为假，但是真实标签为正例的漏警。本文采用${\text{F1}}$值来更完善评估算法的性能，其公式定义如下：

此外，本文采用了准确率召回率曲线(Precision-Recall Curve, PRC)和平均准确率(Average Precision, AP)。通过按照置信度的降序对预测进行排序，在不同的步骤计算准确率召回率对，可以绘制PRC。AP反映了PRC的形状，可以综合评价算法的性能。AP指在一组召回率S={0, 0.01, 0.02, ···, 1.00}下，最大准确率的平均值，具体计算如式(14)所示：

其中，$\tilde P\left( R \right) = \max _{R':R' \ge R} P\left( {R'} \right)$，并且$P\left( {R'} \right)$是召回率$R'$对应的准确率。在计算了每个类别的AP之后，平均精度(mean Average Precision, mAP)是所有类别AP的平均值。通常，AP按照交并比阈值0.5计算，即AP_0.5。

4.1.3   实验对比

目标检测是SAR影像领域的一项基本任务，本文利用SAR-AIRcraft-1.0数据集对几种通用的基准检测方法进行了训练和测试，包括Faster R-CNN (Faster Region Convolutional Neural Networks)^[36]、Cascade R-CNN^[37]双阶段卷积神经网络。近年来，一些无锚框单阶段检测方法的设计能够大大降低网络对锚框的参数敏感性，因此本文对比了Reppoints^[38]经典无锚框方法和一种SAR目标检测方法SKG-Net^[1]。数据利用方面，将所有飞机目标作为正样本，背景作为负样本，将所有的飞机目标视为一类。表2展示了不同检测器下飞机目标的准确率、召回率、F1值、AP_0.5和AP_0.75指标，从中可以看出，SA-Net在不同阈值下的精度均取得了最高值，体现了方法的有效性。

表  2  不同方法的检测结果(%)

Table  2.  The detection results of different methods (%)

检测方法	P	R	F1	AP0.5	AP0.75
Faster R-CNN	77.6	78.1	77.8	71.6	53.6
Cascade R-CNN	89.0	79.5	84.0	77.8	59.1
Reppoints	62.7	88.7	81.2	80.3	52.9
SKG-Net	57.6	88.8	69.9	79.8	51.0
SA-Net	87.5	82.2	84.8	80.4	61.4

下载: 导出CSV 

| 显示表格

在上述检测方法中，考虑到SAR飞机目标的稀疏性，大多数锚框都是冗余的，无锚框检测算法在AP_0.5上取得了较优异的效果，Reppoints与SKG-Net分别达到了80.3%和79.8%。其原因可能在于无锚框方法减少了矩形框内背景杂波的干扰，使得目标语义信息变得更加明确。然而，Reppoints与SKG-Net检测器结果中的假阳性样本(虚警)数量相对有锚框方法变得更多，导致检测准确率下降。在双阶段检测方法中，具有级联结构的Cascade R-CNN相对于Faster R-CNN进一步提升了平均精度以及各项指标。图9展示了本文方法和先进方法对比的测试结果可视化，从图中可以看出，Faster R-CNN、Reppoints和Cascade R-CNN均存在虚警(黄色)和漏警(蓝色框)的情形，而SA-Net有效地减少了漏警和虚警的情况，验证了本文方法较好的检测性能。

图  9  可视化结果展示

Figure  9.  The visualization results

下载: 全尺寸图片 幻灯片

4.2   细粒度识别任务

4.2.1   数据描述

本文按照SAR-AIRcraft-1.0数据集中的标注框对实例目标进行了裁剪，得到一系列的实例样本，对应的具体数量如表3所示。并选择7类不同的飞机标签，包括A330, A320/321, A220, ARJ21, Boeing737, Boeing787和other，来进行细粒度识别实验。

表  3  不同类别实例目标的数量

Table  3.  The number of instance targets of different categories

类别	训练集样本数量	测试集样本数量	总计
A330	278	31	309
A320/321	1719	52	1771
A220	3270	460	3730
ARJ21	825	362	1187
Boeing737	2007	550	2557
Boeing787	2191	454	2645
other	3223	1041	4264
总计	13513	2950	16463

下载: 导出CSV 

| 显示表格

4.2.2   细粒度识别评价指标

为了量化细粒度识别任务的性能，本文使用识别准确率作为评估指标。其对应的计算公式如式(15)所示：

其中，${N_{{C_i}}}$和${N_{{\text{all}}}}$分别代表${C_i}$类别识别正确的样本数量和样本总数。

4.2.3   实验对比

本文采用ResNet-50, ResNet-101, ResNeXt-50, ResNeXt-101^[39]和Swin Transformer^[40]在SAR-AIRcraft-1.0数据集上开展了相关实验。本文选取了训练集中50%的数据用于模型训练，对应的细粒度识别结果展示在表4中，从中可以看出ResNet-101的效果优于ResNet-50。ResNeXt系列模型在top-1的识别准确率上均达到了很好的性能。Swin Transformer不仅在top-3上性能最高，而且在大部分类别上达到了最好的识别能力，具有优异的特征学习能力。

表  4  细粒度识别结果(%)

Table  4.  Fine-grained recognition results (%)

方法	Acc (top-1/top-3)	A330	A320/321	A220	ARJ21	Boeing737	Boeing787	other
ResNet-50	75.59/89.19	74.19	90.38	78.04	73.76	61.64	78.63	80.50
ResNet-101	78.58/90.37	93.55	98.08	76.96	73.76	71.82	74.67	84.82
ResNeXt-50	80.61/89.46	83.87	94.23	78.91	74.86	73.27	83.04	85.40
ResNeXt-101	82.20/91.83	87.10	100	80.87	79.83	71.09	83.92	87.70
Swin Transformer	81.29/92.51	77.42	100	80.87	74.59	73.82	86.12	84.82

下载: 导出CSV 

| 显示表格

为了进一步定量评估模型性能和显示识别结果的更多细节，本文绘制了算法模型的混淆矩阵，以显示不同网络结构的性能。如图10所示，对角线上的概率为每个类别正确预测的识别准确率。其中A330, ARJ21和Boeing737的飞机目标识别难度较大，其对应的识别准确率相对较低。此外，Boeing737和Boeing787的图像较为相似，识别结果中出现了混淆的情况，一定程度上体现了SAR-AIRcraft-1.0数据集的挑战性。

图  10  混淆矩阵示意图

Figure  10.  The confusion matrices for the methods

下载: 全尺寸图片 幻灯片

4.3   检测识别一体化任务

为了验证不同深度学习算法的性能，本文选取4种不同方法进行检测识别一体化的对比实验，即Faster R-CNN, Cascade R-CNN, Reppoints和SKG-Net，这些方法涵盖了anchor-based和anchor-free方法。

在实验过程中，将不同类别的飞机各自视作一类。为了保持数据的原始特征，本文没有使用任何数据增强，各个算法的检测性能展示在表5中。在Faster R-CNN方法中，各个类别的mAP_0.5为76.1%，mAP_0.75为62.2%。这在一定程度上表明，SAR-AIRcraft-1.0数据集具有一定的检测难度。首先，不同类别的SAR飞机目标具有相似的结构和大小，目标类别难以区分。另外，由于SAR图像的散射特性和成像条件差异，同一类别目标可能会产生不同的成像结果，进一步增加了识别的难度。

表  5  基于深度学习算法的检测结果(IoU=0.5)

Table  5.  The performance of the algorithms based on deep learning (IoU=0.5)

类别	Faster R-CNN	Cascade R-CNN	Reppoints	SKG-Net	SA-Net
A330	85.0	87.4	89.8	79.3	88.6
A320/321	97.2	97.5	97.9	78.2	94.3
A220	78.5	74.0	71.4	66.4	80.3
ARJ21	74.0	78.0	73.0	65.0	78.6
Boeing737	55.1	54.5	55.7	65.1	59.7
Boeing787	72.9	68.3	51.8	69.6	70.8
other	70.1	69.1	68.4	71.4	71.3
平均值(mAP)	76.1	75.7	72.6	70.7	77.7

下载: 导出CSV 

| 显示表格

此外，本文还选择分割交并比(Intersection over Union, IoU)阈值为0.75的更严格指标AP_0.75来评价模型，如表6所示。由于融合了全局上下文特征和散射信息，本文提出的SA-Net在mAP_0.75上达到了62.8%。此外，每个类别的检测精度都有一定的差异。例如，与其他类别相比，A320/321在不同算法中的AP_0.5和AP_0.75性能最好。这主要是因为A320/321的尺寸特殊，机身长度有40多米，很容易区分。对于某些类型的目标，如ARJ21和A220，由于体积较小，获取的细节特征不够充分，导致检测精度较低。

表  6  基于深度学习算法的检测结果(IoU=0.75)

Table  6.  The performance of the algorithms based on deep learning (IoU=0.75)

类别	Faster R-CNN	Cascade R-CNN	Reppoints	SKG-Net	SA-Net
A330	85.0	87.4	66.4	66.4	88.6
A320/321	87.7	73.9	84.9	49.6	86.6
A220	58.7	49.1	49.4	29.8	55.0
ARJ21	55.2	59.0	50.9	37.7	59.7
Boeing737	42.8	39.1	36.6	48.7	41.8
Boeing787	60.5	57.6	41.8	51.6	60.4
other	45.4	46.1	43.1	41.1	47.7
平均值(mAP)	62.2	58.9	53.3	46.4	62.8

下载: 导出CSV 

| 显示表格

为了直观地比较各种方法，本文绘制了不同阈值下各种方法的F1曲线，如图11所示。从图中可以看出，相比其他先进方法，SA-Net的F1分数在不同置信度下均取得最高值。这表明提出的方法鲁棒性较好，在检测率和召回率之间达到一个很好的平衡。

图  11  不同先进方法的F1曲线

Figure  11.  F1 curves of different advanced methods

下载: 全尺寸图片 幻灯片

4.4   SA-Net的消融实验

本文将结合了可形变卷积的FCOS^[41]作为基本网络(Baseline)。并结合不同模块在SAR-AIRcraft-1.0数据集上进行消融实验，实验结果如表7所示。从中发现，提出的不同模块对检测效果带来不同程度的提升。与Baseline相比，CG-FPN模块在AP_0.5指标上提升了0.8%。SA-Net网络的AP_0.5和AP_0.75比Baseline分别高出0.8%和0.7%，目标可以实现更精准的定位。

表  7  所提方法中各个模块的影响(%)

Table  7.  Influence of each component in the proposed method (%)

方法	P	R	F1	AP0.5	AP0.75
Baseline	88.1	81.2	84.5	79.6	60.7
Baseline+SA-Head	88.2	82.1	85.0	80.3	60.8
Baseline+CG-FPN	88.6	81.9	85.1	80.4	60.4
SA-Net	87.5	82.2	84.8	80.4	61.4

下载: 导出CSV 

| 显示表格

为了直观地对不同模块进行比较，图12和图13展示了对应的F1曲线和PR曲线。从图12可以看出，SA-Net在AP_0.5和AP_0.75上取得了最优的结果，且在F1曲线的高置信度区间上达到了最好的性能。本文通过引入SA-Head来对检测框进行更精准的定位，从图13可以看出，相比Baseline(蓝色曲线)，添加SA-Head模块的PR曲线(橙色曲线)在AP_0.5和AP_0.75上均得到了有效提升，表明散射感知检测模块能够提高网络的检测性能。此外，本文通过引入CG-FPN来增强全局特征以抑制背景中的散射干扰。图14展示了一些检测结果和可视化效果，其中绿色矩形框和黄色圆圈分别表示检测到的目标和虚警。如图14(a)所示，受背景中相似建筑物的影响，Baseline中产生了一些虚警。针对这个问题，CG-FPN通过对通道层赋予不同权重来增强特征的上下文连接。为了进行直观的比较，将分类分支的最后一层特征图进行可视化。从图14(c)和图14(d)可以看出，添加该模块之后，飞机目标获取到更多的注意力，实验结果证明CG-FPN能够有效地增强目标的显著性，减少复杂背景下的虚警情况。

图  12  不同模块的F1曲线

Figure  12.  F1 curves of different improvements in the proposed method

下载: 全尺寸图片 幻灯片

图  13  不同模块的PR曲线

Figure  13.  PR curves of different improvements in the proposed method

下载: 全尺寸图片 幻灯片

图  14  检测结果和可视化

Figure  14.  Detection results and visualization

下载: 全尺寸图片 幻灯片

4.5   实验分析

本文利用不同的检测算法在SAR-AIRcraft-1.0数据集上进行了一系列实验，实验结果证明提出的SA-Net方法具有优越的性能。部分检测结果如图15所示，其中绿色矩形框、黄色圆圈、蓝色圆圈、红色圆圈分别表示检测结果、虚警、漏警、识别错误的目标。SA-Net方法中大部分目标都能被准确检测出来，但是结果中仍然存在一些虚警和漏警的目标。虚警情况主要是由于复杂背景下航站楼附近出现了与飞机相似的散射表征。此外，由于散射条件的变化，飞机一些部件的散射较弱，影响了目标特征的语义完整性，造成了漏警的问题。

图  15  SA-Net的检测结果

Figure  15.  Detection results of SA-Net

下载: 全尺寸图片 幻灯片

除了这些问题之外，图15还存在一些错误识别的实例，这些实例用红色圆圈显示标出。由于目标尺寸较小和语义特征的缺乏，一些飞机被错误地识别为其他类别。一些先验信息的缺乏，例如飞机长度，导致不同类别之间的正确区分更加困难，总体而言，在SAR-AIRcraft-1.0数据集上进行检测识别是一项具有挑战性的任务。当前算法的检测识别性能还存在一些不理想的情况，性能有待进一步提升。在后续工作中，可以将SAR成像机制和散射特征引入深度卷积神经网络中，进一步提高算法对SAR-AIRcraft-1.0数据集的检测识别性能。

5.   结语

本文提出了一种结合散射感知的SAR飞机检测识别方法，通过上下文引导的特征金字塔模块来增强全局信息，抑制复杂场景中的强干扰，实现特征的有效融合，减少虚警漏警的情况。另外，文中利用散射关键点对目标检测框进行细化校正，有利于提高定位的准确性。为了验证方法有效性，本文公开了一个高分辨率的SAR-AIRcraft-1.0数据集。该数据集包含了不同类别的飞机目标，具有场景复杂、类别丰富、目标密集、噪声干扰、任务多样、多尺度性的特点，可以为模型训练提供丰富的数据，有利于SAR飞机检测识别方面的研究。本文将提出的方法和其他深度学习算法在构建的数据集上进行实验，结果表明所提出方法的有效性。在后续工作中，可以将散射特征信息引入深度卷积神经网络中，进一步提高检测识别性能。

附录

SAR-AIRcraft-1.0：高分辨率SAR飞机检测识别数据集依托《雷达学报》官方网站发布，数据及使用说明已上传至学报网站“SAR-AIRcraft-1.0：高分辨率SAR飞机检测识别数据集”页面(附图1)，网址：https://radars.ac.cn/web/data/getData?newsColumnId=f896637b-af23-4209-8bcc-9320fceaba19。

1  SAR-AIRcraft-1.0：高分辨率SAR飞机检测识别数据集发布网页

1.  Release webpage of SAR-AIRcraft-1.0: High-resolution SAR aircraft detection and recognition dataset

下载: 全尺寸图片 幻灯片