SAR Data Fusion Imaging Method Oriented to Target Feature Extraction

1.   引言

视频合成孔径雷达(Video Synthetic Aperture Radar, Video SAR)作为一种高帧率雷达成像系统，可对场景连续观测^[1-3]。视频SAR具备较强的动目标实时探测潜力，近年来在国内外引起广泛关注。

传统SAR地面动目标显示(Ground Moving Target Indication, SAR-GMTI)主要围绕目标后向散射能量展开。经典的单通道方法有频域滤波^[4]和时频分析方法^[5,6]等。多通道方法如偏置相位中心天线^[7]和沿航向干涉^[8]则通过更有效的杂波抑制进而实现动目标能量的提取。上述方法通常对信杂噪比(Signal to Clutter and Noise Ratio, SCNR)、目标散焦程度和通道一致性有较高要求。视频SAR系统的高载频使得相同分辨率要求下所需合成孔径时间更短，因此动目标易留下能反映其真实位置的阴影^[9]，并且不依赖目标本身的雷达散射截面积(Radar Cross Section, RCS)，为视频SAR动目标检测跟踪提供了另一重要途径。近年来许多单位针对动态阴影的检测跟踪算法展开研究。文献[10-12]通过经典图像处理方法，实现对运动目标阴影的有效检测。文献系统分析了视频SAR中阴影形成机制和检测性能，并分别利用经典图像处理方法和深度神经网络方法实现了动目标阴影的检测与预测。文献[13]提出了适用于视频SAR的检测前跟踪(Track-Before-Detect, TBD)阴影检测与跟踪方法。文献[14]利用背景感知的相关滤波器(Background-Aware Correlation Filter, BACF)实现对运动目标阴影的快速跟踪。文献[15-17]基于深度卷积神经网络实现了对视频SAR中动目标阴影检测。然而，基于阴影的动目标检测仍存在诸多问题需要解决。动目标阴影是典型的弱小目标，受系统噪声及复杂背景环境影响，在检测中易产生虚警和漏警。此外，阴影还受目标自身的影响，高速目标的阴影边界模糊，不利于观测，自身或其他目标散焦的能量亦对阴影产生干扰，从而导致漏警。因此，无论是基于目标能量或其阴影信息，均难以实现目标的稳健检测。

本文基于双域联合的视频SAR动目标检测思想，使用基于双域快速区域卷积神经网络(Dual Faster Region-based Convolutional Neural Network, Dual Faster R-CNN)^[18]的跨域联合检测方法以实现低虚警率检测。通过将高分辨SAR图像和低分辨距离多普勒(Range-Doppler, RD)谱作为输入，采用一种方位坐标变换方法共享两个独立区域建议网络(Region Proposal Network, RPN)提供的双域区域建议，以驱动网络在同一距离附近同时检测动目标的阴影与能量。另一方面，本文使用一种基于跨域航迹关联(Joint Track Association, JTA)检测方案来实现可靠的动目标检测。通过对目标阴影和能量的检测、帧间关联和域间匹配，逐步实现虚警抑制。充分结合目标阴影与能量的空时信息，完成对漏警目标的重建，并给出多种典型情形下机动目标的检测方案。最后，通过太赫兹视频SAR实测数据，验证了算法有效性。

2.   数据获取

视频SAR系统一般设计工作在高载频，运动目标回波的多普勒调制对目标速度极敏感，极小的径向速度也会使目标能量发生很大的位置偏移，并在SAR图像中留下能够反映真实位置及状态信息的阴影。因此，利用图像中目标阴影，和RD谱中位置偏移的目标能量在原理上可实现对运动目标的检测。

图1给出了美国Sandia实验室公布的视频SAR结果，其中红、白点线表示在SAR图像(RD谱)中阴影(多普勒能量)的潜在位置。可以看出，慢速目标阴影较为明显，其能量位置偏移较小；而快速目标的阴影边界模糊，其能量位置偏移较大。

图  1  美国Sandia实验室公布的视频SAR结果

Figure  1.  SAR video released by Sandia laboratory

下载: 全尺寸图片 幻灯片

本文通过如图2所示方法来获取视频SAR图像序列及对应RD谱。沿慢时间将原始数据划分为连续子孔径，SAR图像序列由各子孔回波经预滤波和成像处理而来，RD谱则通过在子孔径中心附近的K个连续脉冲(虚线框范围所示)经快速傅里叶变换(Fast Fourier Transform, FFT)获得。为更有效地积累动目标能量，通常要求K个脉冲时间内目标不发生过大的距离走动，本文采用0.5 m作为可接受走动量对K进行选取。

图  2  SAR图像及距离多普勒谱示意图

Figure  2.  Illustrations of SAR image and RD spectrum

下载: 全尺寸图片 幻灯片

3.   基于深度神经网络的联合检测算法

本节使用端到端双域快速区域卷积神经网络框架以提升视频SAR中的阴影检测性能。通过联合利用动目标在SAR图像和RD谱中的特征，实现单帧的低虚警检测。

3.1   深度网络联合检测原理

对于图1(a)所示的慢速运动目标，阴影与背景的对比度更强，阴影边界清晰。在这种情况下，由RPN提供的区域建议A将以较高的置信度检测SAR图像中的阴影。假设在RD谱中，其多普勒能量受限于红点线范围内，则可以将区域建议A转换至RD谱中的受限区域，以搜索动目标的多普勒能量。一旦检测到对应能量，则宣称一个可靠的检测。另外，对于图1(b)所示的快速目标，主杂波谱外的多普勒能量便于检测，然而由于模糊的阴影边界，在SAR图像中检测阴影是比较困难的。区域建议B能够准确地检测目标能量，因此阴影位置也受限于红点线。在这种情况下，通过驱使网络在受限区域内寻找阴影，联合检测方法可以检测到模糊的阴影。相比于传统仅基于图像的阴影检测，联合检测可以提升对快速目标的检测性能。此外，假设在SAR图像中，区域建议C是一个虚假建议。尽管它容易被分类为阴影，但是在RD谱的对应位置无法检测到其多普勒能量，因此该虚警可被抑制。

3.2   双域快速区域卷积神经网络方法

本文用于联合检测的双域快速区域卷积神经网络(Dual Faster R-CNN)结构如图3所示。在预处理中，所有目标被标记为3类：阴影(视频SAR图像中可见的阴影目标)、遮挡阴影(视频SAR图像中被遮挡的阴影目标)以及目标多普勒(距离多普勒谱中目标的多普勒能量)。网络的输入为串联的图像$\varOmega = \left\{ {\alpha ,\beta } \right\}$，尺寸为$H \times I$，其中$\alpha$是尺寸为$H \times {I_1}$的高分辨视频SAR图像，$\beta$是尺寸为$H \times {I_2}$的低分辨距离多普勒谱，$I{\text{ = }}{I_1} + {I_2}$。图像$\varOmega$输入网络后，被拆分为两部分，$\alpha$被输入至网络的图像域部分而$\beta$则被输入至多普勒域部分。两个独立的特征提取网络被用于对$\alpha$和$\beta$分别进行特征提取，并得到SAR图像的特征图和多普勒特征图。

图  3  基于快速区域卷积神经网络的双域联合检测流程图

Figure  3.  Flow chart of joint detection algorithm based on Dual Faster R-CNN

下载: 全尺寸图片 幻灯片

得到各自的特征图后，利用文献[19]提出的RPN产生区域建议。构建两个独立的区域建议网络：图像域RPN和多普勒域RPN。以图像域RPN为例，首先基于提取得到的SAR特征图产生数个矩形候选区(anchors)，随后通过卷积层对每个anchor进行前/背景二分类以及预测边界框的平移、缩放等回归参数。图像域RPN以及多普勒域RPN各自的损失函数可以表示为^[19]

其中，${L}_{\text{rpn\_cls}}(\cdot)$是二分类交叉熵损失函数(背景/前景)，${p_{Ii}}$是图像域中第i个anchor预测为目标的概率，$p_{Ii}^*$是它的真实标签(1为目标，0为背景)。${L}_{\text{rpn\_reg}}(\cdot)$是回归损失函数。${t_{Ii}}$是预测框的4个平移与缩放参数，$t_{Ii}^*$是标签框的对应参数。$\gamma$是多任务损失函数的平衡参数。${N_{{\text{rpn\_cls}}}}$和${N_{{\text{rpn\_reg}}}}$分别是RPN训练过程中设置的批尺寸和所有anchor位置的数量。式(1)中参数的计算方式由文献[19]给出。(多普勒域参数与图像域参数含义相同。)随后，图像域RPN和多普勒域RPN分别提供$\varepsilon$个精确的区域建议以训练后续的检测网络。图像域RPN提供的第i个区域建议${\gamma _i}$和多普勒域RPN提供的第j个区域建议${\eta _j}$可以表示为

其中，$\left( {x_{Ii}^1,y_{Ii}^1} \right)$和$\left( {x_{Ii}^2,y_{Ii}^2} \right)$代表SAR图像中第i个区域建议的左上和右下角坐标。因此SAR图像及其RD谱中所有区域建议分别为

一个方位坐标变换方法被用于共享SAR图像和RD谱中的区域建议，以获得成对区域建议，它们具有相同的距离坐标和不同的方位坐标，其主要包含3步。

步骤1　计算${\gamma _i}$与${\varLambda _D}$中所有区域建议的距离坐标差。假设第m个区域建议${\eta _m}$具有最小的距离坐标差，即

步骤2　通过保持距离坐标不变并且使用${\eta _m}$的方位坐标，SAR图像中的区域建议${\gamma _i}$可以被转换至RD谱中，其可以表示为

步骤3　使用式(4)和式(5)将${\varLambda _I}$中的所有区域建议转换至RD谱中，同理将${\varLambda _D}$中的所有区域建议转换至SAR图像中，可以得到成对的区域建议，表示为

其中，${\gamma _1}$和$\gamma '_1$是一对具有相同距离坐标、不同方位坐标的成对区域建议。

最后，使用两个感兴趣区域(Region of Interest, RoI)池化层得到每对区域建议对应的图像域特征和多普勒域特征。这些特征分别经过两个全连接层进行目标类别预测以及检测框的回归，损失函数可以表示为

其中，${L}_{\text{img\_cls}}(\cdot)$和${L}_{\text{dop\_cls}}(\cdot)$分别是图像域中的3分类(背景/阴影/遮挡阴影)和多普勒域中的两分类(背景/目标多普勒)交叉熵损失函数。因此，双域快速区域卷积神经网络(Dual Faster R-CNN)的总损失函数可以表示为

在测试阶段，首先获得在图像域以及距离多普勒域中的成对检测框。假设${p_{In}}$和${p_{Dn}}$是一对具有相同距离坐标、不同方位坐标的成对检测框，其中$n = 1,2,\cdots,2\varepsilon$。当且仅当它们对目标的分类得分满足以下3个条件之一时，视为正确检测，否则作为无效检测。

其中，函数$S(\cdot)$表示该检测框对目标的分类得分。${V_1}$, ${V_2}$和${V_3}$均为置信度门限，并且${V_2} > {V_1} > {V_3}$。条件1作为强约束条件，要求对图像域和多普勒域中的目标分类得分均高于门限${V_1}$，其有效地抑制了在单域检测中容易产生的虚警。但是这种强约束以牺牲漏警为代价换取更少的虚警。为避免漏警的恶化，补充条件2和条件3的弱约束，其中${V_2}$是极高的置信度门限，可取大于等于0.95。若一对检测框在某个域中对目标具有极高的分类得分，即使在另一个域中得分低于${V_1}$，也将其视为一组正确检测，但是也应高于门限${V_3}$。条件2有利于对慢速目标的检测，此时阴影清晰但多普勒能量可能受到杂波的干扰。条件3有利于对快速目标的检测，此时位于杂波谱外的多普勒能量便于检测，然而阴影对比度下降或者受到SAR图像中其他弱散射区域的干扰。最后，对经过式(9)筛选后剩余的成对检测框，分别在进行图像域及多普勒域的非极大值抑制后，得到最终的检测结果。式(9)所示的每个约束条件均为双门限检测，因此Dual Faster R-CNN联合利用目标在SAR图像和RD谱中的特征，具有稳健的动目标检测能力。

4.   跨域航迹联合(JTA)动目标检测算法

通过目标阴影与能量的匹配，可有效提升检测的虚警抑制能力。在实际中，因系统参数、环境因素和运动状态的影响，动目标的阴影和能量易受到遮挡和涂抹^[9]。在常规方法中，图像处理将引入大量的虚警和漏警，为此，我们结合帧间关联与域间匹配处理，在此前工作^[20]的基础上提出改进的跨域航迹关联的动目标检测方法。

本方法的处理流程如图4所示，首先分别在SAR图像和RD谱内对阴影和能量进行预检测。其次利用逻辑关联法^[21,22]对预检测结果进行帧间关联并形成候选航迹。然后利用距离约束对阴影和能量的候选航迹进行匹配处理。一方面，对于成功匹配的航迹对予以确认，另一方面单域内关联性较强的航迹亦可作为对目标的确认。结合帧间数据关联及域间航迹匹配，预检测中的虚警可被有效抑制，对于因遮挡或涂抹导致的漏警，本方法通过联合处理进行重建和预测。通过充分利用目标阴影与能量的空时信息，极大地改善了虚警和漏警，进而实现稳健的视频SAR动目标检测。

图  4  跨域航迹联合的动目标检测算法流程图

Figure  4.  Flow chart of joint detection algorithm based on JTA

下载: 全尺寸图片 幻灯片

与此前工作^[20]相比，一方面，本文采用背景抑制的图像域检测以减少虚警的干扰，同时在待搜索区域进行直接恒虚警(Constant False Alarm Rate, CFAR)检测对慢速阴影实现检测。另一方面，利用能量进行漏警重建时，本文直接通过目标能量的距离位置和阴影运动方向估计值进行重建，避免像原始方案中那样对待搜索区域进行逐像素的搜索。所提方法旨在为实测数据提供更可靠和实用的检测方案。

4.1   预检测与帧间关联处理

针对阴影，采用文献[9]中基于背景差分方法进行预检测。通过该方法可有效提取场景中的动态阴影，但考虑到SAR图像相干斑噪声的影响及图像处理中的参数依赖性，检测结果通常会引入额外的虚警，这部分虚警将由后续的帧间数据关联和域间匹配处理进行抑制。

针对能量，考虑到视频SAR工作于较高频段，且脉冲重复频率通常较天线覆盖多普勒带宽留有较大余量，微小的目标运动就会使目标能量偏移出主瓣杂波，因此在RD谱中进行直接的带外CFAR检测。在这里采用具有抗干扰特性的有序统计量(Order Statistics, OS)-CFAR检测器^[23]以缓解杂波边缘对检测的影响。之后通过图像腐蚀、膨胀和连通域处理筛选出与目标能量尺寸相匹配的连通域，并将其几何中心作为预检测结果。

完成阴影和能量的预检测后，为抑制虚警，我们采用基于M/N逻辑的关联算法^[21,22]对目标阴影和能量的预检测结果进行帧间关联，以筛选出可能的动目标航迹。具体地，给定逻辑值$\Gamma$=M/N，若在连续N帧中存在M帧或以上的量测符合给定状态参数约束，则认为这些点迹来自真实运动目标，并形成候选航迹。帧间关联处理可有效抑制由虚假目标产生的虚警。本文通过区域搜索的方式对图像域中阴影和RD域中的能量进行帧间关联^[24,25]。

假设截至第k 帧的航迹集合表示为

其中，${M_k}$和${N_k}$分别表示第k 帧中阴影和能量的航迹数量，${\boldsymbol{z}}_{{\text{Sh}}}^m\left( k \right)$和${\boldsymbol{z}}_{{\text{En}}}^n\left( k \right)$分别表示第k帧时第m条阴影航迹的位置和第n条能量航迹的位置。

下一帧的阴影期望位置由其当前位置${\boldsymbol{z}}_{{\text{Sh}}}^m\left( k \right)$及速度估计$\hat {\boldsymbol{v}}_{{\text{Sh}}}^m\left( k \right)$决定，表示为

其中，${\text{fps}}$为成像帧率，速度估计$\hat {\boldsymbol{v}}_{{\text{Sh}}}^m\left( k \right)$通常可结合卡尔曼滤波计算得到。完成期望位置计算后，在下一帧的扇形搜索区域对阴影进行搜索，搜索区域可表示为

其中，${{\boldsymbol{v}}_{{\text{Sh}}}}(k + 1)$表示由${(x,r)^{\rm{T}}}$与${\boldsymbol{z}}_{{\text{Sh}}}^m(k)$差分计算得到的阴影速度值。${\alpha _v}$表示速度范围因子，$\Delta {\theta _{{\text{Sh}}}}$表示最大搜索角度，这两个参数通常需由试验方式确定。确定期望位置和搜索区域后，利用最邻近搜索(Nearest Neighbor Search, NNS)准则进行数据关联，即下一帧的航迹更新由搜索区域中距期望位置最近的预检测结果确定，若搜索失败则暂时由$\hat {\boldsymbol{z}}_{{\text{Sh}}}^m(k + 1)$重建，即

对于RD谱中的目标能量，通过简单的1阶差分来进行位置估计和搜索，则位置估计可表示为

其中，$\hat {\boldsymbol{d}}_{{\text{En}}}^n(k)$表示1阶差分量。下一帧的搜索区域可表示为

其中，${\alpha _d}$表示RD谱中的搜索范围因子，$\Delta {\theta _{{\text{En}}}}$表示最大搜索角度。与阴影类似，下一帧通过在预检测结果中搜索确认，若搜索失败则由$\hat {\boldsymbol{z}}_{{\text{En}}}^n(k + 1)$重建，即

通过上述对动目标阴影和能量的帧间关联，在连续的N帧中统计航迹中来自预检测的点迹数量M，对于满足M/N条件的航迹予以保留，否则认为该航迹来自错误关联。

然而受图像质量影响，实际中很难找到一个恰当的逻辑值$\Gamma$对真假航迹做出准确划分。较低的逻辑值会引入过多虚假航迹，较高的逻辑值则使某些真实目标航迹丢失。为解决上述问题，我们首先以较低逻辑值${\Gamma _{\text{w}}} = {{\text{M}}_{\text{w}}}{\text{/N}}$建立阴影和能量的弱关联航迹，弱关联处理可以一定程度抑制预检测中的虚警，并尽可能发现潜在的目标航迹。之后通过阴影与能量的航迹匹配和联合处理实现对弱关联中虚假航迹进一步排除。此外，考虑到某些目标因其阴影或能量的意外丢失而无法匹配，但其在单域内却有着极高的帧间关联性，我们又通过一个较高的逻辑值${\Gamma _{\text{s}}} = {{\text{M}}_{\text{s}}}{\text{/N}}$对目标阴影或能量进行单独的确认。强关联航迹具有较高的可信度和极低的错误率，可作为最终检测输出的补充。结合域间匹配的弱关联航迹和单域内强关联航迹，运动目标可以时刻以一种最有效的方式被检测。在抑制虚警的同时，通过域间联合处理还可实现更加有效的漏警重建。下一节将针对域间航迹匹配和漏警重建进行说明。

4.2   域间航迹匹配及重建策略

利用航迹的距离值进行匹配，给定帧间弱关联的阴影航迹${\boldsymbol{T}}_{{\text{Sh-w}}}^p$和能量航迹${\boldsymbol{T}}_{{\text{En-w}}}^q$，它们在第l帧的斜距分别为$r_{{\text{Sh}}}^p\left( l \right)$和$r_{{\text{En}}}^q\left( l \right)$。若它们的斜距满足如下约束则进行匹配并认为属于同一目标：

其中，${\xi _r}$表示距离约束阈值，$\Delta r$表示由于目标高程投影产生的固有距离偏差，可由擦地角进行估算。由于式(17)对两个航迹中连续点迹的距离进行同时约束，匹配是相当精确的，因此虚假航迹能够被有效地抑制。于是匹配后的联合航迹集可表示为

匹配处理利用阴影与能量对运动目标进行双重确认，对于因失配产生的漏警可由未匹配的强联合航迹${{\boldsymbol{T}}_{{\text{Sh-un-s}}}}$和${{\boldsymbol{T}}_{{\text{En-un-s}}}}$加以补充，这些航迹以较严格的帧间联合条件对运动目标进行确认。于是，对动目标的检测可由匹配的弱关联航迹和未匹配的强关联航迹描述，即

联合航迹关联处理充分利用目标阴影和能量的时空信息，以低虚警、低漏警的方式对运动目标进行检测。航迹中的部分漏警可通过一步预测重建，但一步预测只适用于稀疏、短时的漏警，当一段航迹中发生连续的漏警时，重建准确性将无法得到保证，这种恶化对于机动目标尤为明显。针对此类漏警，根据具体情况给出分析和重建策略。

情况1　阴影被干扰情况

当目标运动速度过快、路面散射较弱或阴影被强杂波的旁瓣、自身或其他目标能量遮挡导致难以形成明显阴影时，基于目标阴影的检测面临失效。此时通过能量所在的距离单元对阴影进行辅助重建。利用阴影丢失时刻的速度估计值，并结合目标能量所在距离单元，给出阴影的重建位置。阴影重建距离可表示为能量距离与固有偏差之和：

相应地，方位位置可根据当前的重建距离位置和阴影运动方向角来确定：

其中，$\theta \left( l \right)$为当前时刻的阴影速度估计矢量$\hat {\boldsymbol{v}}_{{\text{Sh}}}^m\left( l \right)$与方位向的夹角。利用式(20)和式(21)代替式(13)中的一步预测将有效提高阴影位置重建精度。

情况2　能量被干扰情况

一方面，对应于极慢速目标的情况，其多普勒能量易淹没在主杂波中。另一方面，对应于目标机动性较强的情况，其能量发生严重散焦导致无法检测。此时主要通过阴影对目标实现单独检测。但考虑到目标已通过匹配的方式获得确认，接下来将不再以域间匹配或强关联为确认条件，而是直接以弱关联条件进行检测确认，这大大缓解了阴影漏警的情况。另外考虑到慢速目标的情况，此时基于背景差分的预检测方法容易将阴影视作背景从而造成漏警，为此对式(12)给出的扇形搜索区域进行直接的阴影CFAR检测，并将检测结果合并进预检测结果中，再利用弱关联条件进行后续的关联和确认。此时慢速目标亦能完成有效的检测。

通过上述两种典型情况的处理，所提算法可有效应对多种运动状态目标的检测和重建。

5.   实测数据处理结果与分析

本文分别使用上述两种方法来处理机载视频SAR实测数据。雷达系统工作于G波段，信号带宽为1 GHz，成像场景尺寸约为150 m×150 m，成像帧率优于2 fps。本文采用RD成像算法获取SAR图像序列并获取对应的RD谱。为保证最大径向速度为30 m/s的动目标不发生0.5 m的距离走动，选取RD谱的积累脉冲数K= 500。共采用64帧图像进行验证，场景中包含数个不同尺寸、不同运动状态的目标，它们的阴影与能量所在帧统计在表1中。SAR图像中固定目标阴影的遮挡以及场景边缘极低的信噪比导致动目标阴影在某些帧中不可见，因此动目标阴影所在帧略少于其能量所在帧。

表  1  运动目标阴影及其能量所在帧

Table  1.  Frame number of target shadow and energy

动目标	阴影所在帧	能量所在帧
T1	[1, 14]	[1, 14]
T2	[1, 64]	[1, 64]
T3	[1, 24]	[1, 38]
T4	[9, 28]	[8, 42]
T5	[26, 64]	[20, 64]

下载: 导出CSV 

| 显示表格

为说明双域联合检测算法优势，首先利用经典Faster R-CNN^[19]进行对比实验，该方法仅利用阴影进行动目标检测。利用该太赫兹视频SAR获取的额外SAR图像经过平移翻转等数据扩充后，共得到28877张训练数据。所提Dual Faster R-CNN和经典Faster R-CNN用作训练的SAR图像相同，而Dual Faster R-CNN的训练数据中增加对应的RD谱作为辅助。

图5给出检测结果对比。SAR图像的横轴为方位向，纵轴为距离向。RD谱的横轴表示多普勒向，纵轴为距离向。每行第1列为经典Faster R-CNN的检测结果，第2列为提出的Dual Faster R-CNN检测结果。图5(a)—图5(d)分别为第9, 15, 19和60帧的检测结果。正确检测用青色矩形框标记，虚警用红色矩形框标记，黄色箭头指示漏警位置。在图5(a)和图5(d)中，Dual Faster R-CNN均给出了正确的检测，不包含虚警与漏警。而在图5(a)中，经典Faster R-CNN产生一个虚警。特别地，在图5(d)中，目标T2的多普勒能量已经落入RD谱的主杂波区。此时，本文使用的Dual Faster R-CNN基于深度神经网络的特征提取能力仍然可以准确地检测到该能量。在图5(b)和图5(c)中，目标T2和T4的阴影被SAR图像中的弱散射区域遮挡或刚好离开该弱散射区域，由于周围低灰度的干扰，经典Faster R-CNN无法对其进行有效检测，产生较多漏警。此外，在图5(c)的检测中，经典Faster R-CNN在目标T2附近产生一个虚警。相反，本文所提的Dual Faster R-CNN利用目标在SAR图像和RD谱中的双域特征，使用成对区域建议进行联合检测，一方面可以显著降低检测的虚警，如图5(a)和图5(c)所示，Dual Faster R-CNN抑制对应虚警。另一方面，成对的区域建议也使网络具备更强的弱目标检测能力，从而减缓漏警的发生。在图5(b)中，目标T2的阴影在SAR图像中难以检测，但是它的多普勒能量位于杂波谱外，在RD域中能量很容易检测。在这种情况下，成对的区域建议驱使网络在SAR图像的对应位置搜索阴影，从而贡献正确的检测。同样地，在图5(c)中，目标T4的阴影也被Dual Faster R-CNN正确检测到，而目标T2的阴影仍未被检测到。图5所示的检测结果表明Dual Faster R-CNN具有较强的虚警抑制能力。

图  5  经典Faster R-CNN与Dual Faster R-CNN检测结果对比

Figure  5.  Comparison results of classical Faster R-CNN and Dual Faster R-CNN

下载: 全尺寸图片 幻灯片

我们利用图像域帧间关联与本文所提JTA检测算法进行对比分析，如图6所示。在图像域帧间关联处理中，限制目标阴影的运动速度和角速度分别为1～30 m/s和0～45°/s，以逻辑值$\Gamma$=5/7进行帧间关联。在所提JTA算法中，利用逻辑值${\Gamma _{\text{s}}}$= 6/7和${\Gamma _{\text{w}}}$= 3/7对目标阴影和能量预检测结果进行帧间的强关联和弱关联处理，并对建立的弱关联航迹进行域间的匹配。最后根据运动目标的运动情况进行相应的漏警重建。每行第1列为图像域帧间关联的检测结果，第2列为所提JTA算法的检测结果。图6(a)—图6(d))分别为第9, 14, 30和60帧的检测结果。正确检测用青色矩形框标记，虚警用红色矩形框标记，黄色箭头指示漏警位置，漏警重建由白色矩形框和箭头标记。在图6(a)中，两种方法均能对目标T1和T2进行有效检测。目标T3在图像域帧间关联方法中因较严格的关联条件使得无法被及时确认，而在JTA中通过弱关联和域间匹配的方式使得被有效检测。目标T4刚进入场景，因帧间关联算法的固有延迟导致两种方法均难以及时确认。在图6(b)中，目标T2进入场景中的弱反射区域导致阴影消失，此时JTA算法通过能量完成对阴影的漏警重建(对应4.2节情况1)。在图6(c)中目标T2在路口处慢速转弯，此时目标能量几乎被淹没在杂波中(对应4.2节情况2)，此时目标阴影在图像域帧间关联方法中因被视作背景而无法被检测，而在JTA中我们对搜索区域进行额外的CFAR检测并进行后续的关联，从而可实现对慢速目标T2的检测。此外，由于杂噪比较低的原因，目标T3和T4的阴影已彻底不可见并持续较长时间，此时JTA算法可继续利用它们的能量在RD域作为检测。图6(d)中，目标T2逐渐提速，目标T5即将离开观测场景，此时两种方法均能完成对它们的检测，但由于此时图像质量的恶化，JTA算法展现出更强的虚警抑制能力。

图  6  图像域帧间关联与JTA算法检测结果对比

Figure  6.  Comparison results of data association in image domain and JTA algorithm

下载: 全尺寸图片 幻灯片

表2给出了上述几种方法图像域中的阴影检测性能统计，其中总待检数为161。可以看出，仅依靠阴影的两种基本方法(图像域帧间关联和Faster R-CNN)产生较多的虚警和漏警。图像域帧间关联中的虚警主要源于图像噪声影响，漏警则主要来源于慢速目标T2。深度学习类方法基于全连接层对图像中某些特定区域进行分类与边界框回归，本质上是一种基于特征的检测，其对SAR图像中的干扰，例如相干斑噪声、其他弱散射区域等，具有一定的鲁棒性，不需要其余后处理即可直接实现较为可靠的检测，特别是对于慢速目标。相比于经典Faster R-CNN，本文所提的Dual Faster R-CNN利用动目标双域特征进行联合检测，具有更强的虚警抑制能力。此外，采用成对区域建议的联合检测在某一域特征明显时可以驱使网络在另一域的对应位置搜索目标，使得网络具备弱目标检测能力，从而减缓漏警的发生。然而，式(19)中的强约束条件增大了漏警风险。从全部测试数据的检测结果综合分析，Dual Faster R-CNN基本可以在不牺牲漏警的情况下显著地抑制虚警。基于传统方法的JTA算法较图像域帧间关联方法提升较大，它通过同时引入帧间和域间的联合处理，逐步抑制由图像噪声引起的虚警，同时利用阴影与能量的空时信息完成漏警重建。

表  2  动目标检测性能统计结果

Table  2.  Statistical results of moving target detection in SAR imagery

方法	虚警	漏警
图像域帧间关联	75	63
Faster R-CNN	7	16
Dual Faster R-CNN	0	17
联合域航迹关联(JTA)	1	15

下载: 导出CSV 

| 显示表格

下面对处理耗时进行对比分析。表3给出了4种检测方法的单帧平均处理时间。SAR图像尺寸为1000×1000，RD谱的图像尺寸为500×1000。所采用的计算平台的CPU型号为Intel Xeon(R) E5-2620，内存为64 GB。深度学习方法的统计耗时为测试时间，Dual Faster R-CNN具有更复杂的网络结构和更多的参数量，因此具有单域Faster R-CNN近两倍的耗时。航迹关联方法的统计耗时包含了除配准外的所有处理，它们的主要耗时来自CFAR预检测处理，图像域与RD域的单帧预检测耗时分别为1.52 s和0.62 s。此外频域算法需要额外的配准处理，每帧的配准耗时为2.90 s，若采用时域成像算法则可节省此部分时间。综合来看，两类处理方法有着相近的耗时。相比于单域处理，双域联合处理的性能提升以更多的处理耗时为代价。虽然两种方法的CPU处理耗时高于0.25 s单帧成像时间，但通过后续算法优化加速技术有望实现实时处理要求。

表  3  处理耗时对比结果

Table  3.  Comparison of processing times

方法	单帧平均耗时(s)
图像域帧间关联	1.58
Faster R-CNN	1.55
Dual Faster R-CNN	2.89
联合域航迹关联(JTA)	2.21

下载: 导出CSV 

| 显示表格

应当指出，由于实测数据的有限性，不能尽数包含实际目标各种可能的运动状态，如目标运动速度过快导致阴影衰弱、目标机动性过大导致能量较大程度散焦并涂抹阴影等。在有限数据上，双域联合处理的优势较单域方法的性能提升无法全面体现。但可以肯定的是，单独基于阴影的方法在这些情况中将失效。双域联合方法可以很好地利用阴影与能量的特征与空时信息，在上述情况中仍可有效实现稳健的目标检测。

6.   结论

本文围绕视频SAR动目标的稳健检测需求展开研究，分别使用了两种基于域间联合技术的动目标检测算法对机载视频SAR实测数据进行了处理和分析。结果表明，联合域技术可充分利用目标阴影与能量的空时信息，能显著改善检测过程中的虚警和漏警，有效应对多种情形下的机动目标检测。视频SAR成像与动目标检测跟踪算法的实时实现值得深入研究。

致谢 感谢中国电子科技集团公司第十四研究所提供雷达数据。感谢吴福伟博士的有益讨论。