基于改进GOFRO的多角度SAR图像车辆目标检测方法

刘琪; 禹卫东; 洪文

doi:10.12000/JR23042

基于改进GOFRO的多角度SAR图像车辆目标检测方法

DOI: 10.12000/JR23042

刘琪^{1, 2},
禹卫东^{1, 2, ,},
洪文^{1, 2}

1.
中国科学院空天信息创新研究院北京 100094
2.
中国科学院大学电子电气与通信工程学院北京 101408

基金项目: 国家自然科学基金(61860206013)

详细信息

作者简介:
刘　琪，博士生，主要研究方向为目标检测、图像融合等

禹卫东，博士，研究员，主要研究方向为SAR系统设计和研制、高分辨率SAR新体制、SAR成像处理和数据压缩等

洪　文，博士，研究员，主要研究方向为多维度信号处理与信息提取、微波成像新概念新体制新方法等

通讯作者:
禹卫东 yuwd@aircas.ac.cn

责任主编：殷君君 Corresponding Editor: YIN Junjun
中图分类号: TN957.51
计量
- 文章访问数: 1072
- HTML全文浏览量: 377
- PDF下载量: 240
- 被引次数: 0
出版历程
- 收稿日期: 2023-04-10
- 修回日期: 2023-05-14
- 网络出版日期: 2023-06-20
- 刊出日期: 2023-10-28

Vehicle Detection in Multi-aspect SAR Images Based on Improved GOFRO

LIU Qi^{1, 2},
YU Weidong^{1, 2
, ,},
HONG Wen^{1, 2}

1.
Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China
2.
University of Chinese Academy of Sciences, School of Electronic, Electrical and Communication Engineering, Beijing 101408, China

Funds: The National Natural Science Foundation of China (61860206013)

More Information

Corresponding author: YU Weidong, yuwd@aircas.ac.cn

摘要

摘要: 针对城市场景中车辆目标分布状态随机，在检测过程中容易受到环境因素干扰等问题，提出一种将多角度合成孔径雷达(SAR)图像用于静止车辆目标提取的检测算法。在特征提取阶段，设计了一种适用于多角度图像上车辆目标的多尺度旋转不变的Gabor滤波器奇分量比例算子(MR-GOFRO)特征提取方法，对原有的GOFRO特征进行了滤波形式、特征尺度、特征方向、特征层次等4个方面的扩展，使其能够适应车辆目标在方向、尺度、形态等方面可能发生的变化。在图像融合阶段，设计了加权的非负矩阵分解(W-NMF)方法，根据特征质量调整来源于不同图像的特征权重，减少由于不同角度间相互干扰造成融合特征质量下降的现象。将该文所提出方法在不同的机载多角度图像数据集上进行验证，实验结果表明，该文提出的特征提取方法与同类方法相比，检测精度平均提升了3.69%；该文提出的特征融合方法与同类方法相比，检测精度提升了4.67%。
- 多角度SAR /
- 车辆目标检测 /
- 特征提取 /
- 特征选择 /
- 图像融合
Abstract: Vehicle targets in urban scenes have the characteristics of random distribution and can be easily disturbed by environmental factors during the detection process. Given the above issues, this paper proposes a detection method that utilizes multi-aspect Synthetic Aperture Radar (SAR) images for stationary vehicle target extraction. In the feature extraction stage, a novel feature extraction method called Multiscale Rotational Gabor Odd Filter-based Ratio Operator (MR-GOFRO) is designed for vehicle targets in multi-aspect SAR images, where the original GOFRO features are improved from four aspects—filter form, feature scale, feature direction and feature level. The improvement allows MR-GOFRO to adapt to possible variations in the target direction, scale, morphology, etc. In the image fusion stage, a Weighted-Non-negative Matrix Factorization (W-NMF) method is developed to adjust the feature weights from various images according to the feature quality. This method can reduce the quality degradation of the fusion features due to mutual interference between different aspects. The proposed method is verified on various airborne multi-aspect image datasets. The experimental results revealed that the feature extraction and feature fusion methods proposed in this paper enhance the detection accuracy by an average of 3.69% and 4.67%, respectively, compared with similar methods.
- Multi-aspect SAR /
- Vehicle target detection /
- Feature extraction /
- Feature selection /
- Image fusion

HTML全文

1. 引言

车辆检测是遥感图像中地理空间对象检测的一个重要分支。城市地区的车辆检测在智能交通系统(Intelligent Transportation Systems, ITS)建设、城市基础设施规划、城市地区经济发展状况评估、自然环境监测与保护等多个领域都拥有较高的实际应用价值^[1,2]。随着合成孔径雷达(Synthetic Aperture Radar, SAR)成像技术的发展，SAR图像已经可以对所摄制场景提供1 m及以下的分辨率精度，这使得利用SAR图像检测车辆等有限尺寸的地物目标成为可能^[3]。

然而，要想从高分辨率SAR图像中获得可靠的车辆检测结果，仍然面临一些亟待解决的实际问题^[4]。例如，在SAR系统固有的成像几何构型和车辆目标所具有散射特性的共同作用下，高分辨率SAR图像中的车辆目标通常是不完整的；此外，由于SAR系统的方位敏感性，车辆目标本身在SAR图像中会出现各种类型的形变现象，包括方向、尺度和局部散射特性等方面的变化，这些变化通常会导致一般目标检测算法在实际应用中检测性能有所下降；且城市区域的车辆目标附近通常会存在着多种类型的背景干扰因素，其中不乏其他具有强散射特性的人造目标等。以上问题的存在对于目标检测算法的鲁棒性和辨识能力提出了新的要求。

SAR图像的车辆目标检测大致可以分为静止目标检测和动目标检测两种类型^[5,6]，本文主要针对静止车辆目标检测的情况进行集中分析。现有的静止车辆目标检测方法可分为以下3种类别：基于模板匹配的方法^[7,8]、基于特征提取的方法^[9,10]和基于深度学习的方法^[11,12]。第1种方法利用已有图像样本构造并储存目标的固有模板，通过将待测样本与模板库中的图像样本进行比较得到目标与模板之间相似度的测量结果，并由此判定目标的所属类别。例如，文献[13]使用数学形态学(Mathematical Morphology, MM)来描述机载SAR图像中的车辆模板，通过待检测图像样本与模板的相似度比较获取场景中的车辆目标检测结果。该方法的缺点在于其检测精度过于依赖模板库中现有模板的丰富程度，对于复杂环境的适应性较弱。第2种方法首先对图像样本的有效特征进行提取和筛选，然后将所得样本特征输入预设分类器，获取目标的分类结果。例如，文献[14]设计了一种结合角度空间信息和径向空间信息的特征提取方法，以适应遥感图像中目标相对复杂的旋转行为。该类方法在实际应用中具有检测率高、因果关系明确、场景适应灵活等特点，在长时间的研究与尝试中发展出了多种精确而实用的算法策略。第3种方法通过引入神经网络解决遥感图像中的车辆目标检测问题。例如，文献[15]基于YOLOv5网络设计了SAR图像大范围观测条件下的目标检测网络。一般来说，神经网络方法的实现必须建立在拥有足够数量已标记样本的数据集的基础之上，以避免在训练阶段发生过拟合现象，而现阶段小样本问题依然是多角度图像应用中所必须面对的情况。基于以上分析，本文选择采用基于特征提取的方法对城市场景中的静止车辆目标进行检测，以在图像样本相对有限的条件下，在复杂的背景环境中获取可靠的目标检测结果。

多角度成像作为一种新的SAR观测模式，能提供所观测场景的方位角度信息，有效解决单幅SAR图像中因观测过程中方位角度受限所引起的地物目标信息量不足的问题，但在应用过程中也会受到SAR图像对方位角度敏感性的影响。本文在充分分析多角度图像序列特性的基础上，提出了一种基于多角度SAR图像的静止车辆目标检测方法。该方法的优点主要体现在稳定的特征提取方式和有效的图像融合方式两个方面。一方面，车辆目标变化类型的多样性和周围环境的复杂度增加了SAR图像中车辆检测的难度，因此在特征提取阶段所获取的目标特征必须具有更高的表达性能和更高的鲁棒性；另一方面，多角度图像融合可以将不同方位角度下获取的同一场景的信息进行整合。有效的融合方法可以产生比任意单一角度图像所包含内容更丰富的结果。然而，不恰当的图像融合方法不仅不能充分发挥不同图像的优势，而且会引起背景成分相互干扰和冗余信息积累导致的计算量增加等问题。

本文首先根据车辆目标的结构特点和在SAR图像上的表现形式，从4个方面对现有的Gabor滤波器奇分量比例算子(Gabor Odd Filter based Ratio Operator, GOFRO)特征进行了改进，设计了一种适用于SAR图像中车辆目标检测的特征提取方法；然后，结合多角度图像的特点，基于非负矩阵分解(Non-negative Matrix Factorization, NMF)^[16]方法提出了一种多角度图像特征融合方法，在特征选择的基础上对不同角度图像所提供的特征信息进行有效融合。

本文所提出方法框架中主要包括特征提取、特征融合和目标分类3个阶段。首先，在特征提取阶段，分别从每个单一角度图像中使用多尺度旋转不变的Gabor滤波器奇分量比例算子(Multiscale Rotational- Gabor Odd Filter based Ratio Operator, MR-GOFRO) 提取图像样本的初始特征；然后，在特征融合阶段，对初始特征使用加权的非负矩阵分解(Weighted-Non-negative Matrix Factorization, W-NMF)方法进行进一步处理，以降低特征维数，增强特征表示能力，同时完成对来源于不同角度图像的信息整合；最后，在目标分类阶段，采用无监督分类方法获取车辆目标的检测结果。在不同数据集上的实验结果均验证了所提出方法的有效性。

2. 多角度图像与车辆目标检测的适配性分析

城市区域的静止车辆目标具有独特的散射特性和在场景中随机分布的特点，且车辆目标周围的背景环境中通常存在着各种成分的干扰因素。图1展示了包含车辆目标的同一场景在不同方位角度下的SAR图像。从图1中可以看出单一角度SAR图像在车辆检测任务中的局限性。图1(a)中的车辆目标发生了目标闪烁现象，导致场景右侧的孤立目标在图上几乎完全不可见。图1(b)红色框线内的建筑目标发生了散焦现象，导致图像整体信噪比降低，并对周围的车辆目标造成了影响。图1(c)在红色框线位置处出现了虚假目标。图1(d)中再次发生了背景成分的散焦现象。

图 1 多角度SAR图像中的车辆目标举例

Figure 1. Vehicle targets in multi-aspect SAR images

下载: 全尺寸图片幻灯片

以上都是SAR实际图像中常见的质量问题，有些是由于目标的方位角度敏感性导致的，有些是由于数据获取过程中的偶然因素导致的，有些是因为成像算法在批量图像处理的过程中出现参数不能完全自适应的情况所导致的。这些情况都对单幅图像中车辆目标检测的准确性造成不利影响。特别是在包含人造目标的场景中，目标散射特性并不均匀，会发生大量的偶次散射，导致上述这些情况出现的可能性更大^[17]。而车辆目标的体积较小，其本身的特征更容易被这些现象导致的结果所淹没。

由图1可知，在该场景中随着方位角度的增大，车辆在图中的表现形式逐渐散点化，这也是目标的方位角度敏感性造成的。目标的后向散射系数会随方位角度偏移发生变化，相应的在不同角度的表现形式也具有各自的特点。

可见，结合获取自不同角度图像的信息，可以加强场景中的目标特征，消减不利因素造成的影响，从而提高目标检测方法的准确率，在此基础上，本文提出了基于改进GOFRO的多角度SAR图像车辆目标检测方法。本文算法设计的目的主要体现在以下两个方面：一方面在利用多角度图像的过程中，尽可能准确地提取保留并利用车辆目标的有效特征；另一方面，尽量避免各子图像上的不利因素相互叠加影响。因此，本文算法一方面针对车辆目标检测设计了一种新的特征提取方法；另一方面在各子图像的特征融合过程中，根据目标与背景区域的区别对所提取的特征进行了筛选。通过对这两方面因素的综合考虑，能够找到目标和背景成分的有效区分方法。

3. 多角度图像车辆目标检测方法

在利用多角度图像进行车辆目标检测之前，本文先使用图2所示流程对图像进行预处理，并使用文献[18]中所提出方法完成图像配准。

图 2 多角度图像预处理流程图

Figure 2. Multi-aspect image preprocessing procedure

下载: 全尺寸图片幻灯片

本文所提出的车辆检测方法主要包括3个阶段: 特征提取、特征融合和目标分类。在第1阶段，根据SAR图像中车辆目标的特点设计了MR-GOFRO特征提取方法，在目标方向和尺度可变的情况下尽可能提高特征的鲁棒性，并从多个特征层次对车辆目标进行全面的描述；在第2阶段，提出W-NMF方法对特征进行筛选和融合。W-NMF方法首先对来源于单一角度图像的特征进行筛选，然后在不同角度间特征组合时进行权重调整。最后根据所提取到的特征使用无监督分类方法对图像进行二分类，确定目标在场景中的具体位置。算法的流程图如图3所示。

图 3 多角度图像车辆目标检测流程图

Figure 3. Vehicle detection in multi-aspect image

下载: 全尺寸图片幻灯片

3.1 特征提取

3.1.1 GOFRO 特征提取方法基本原理

GOFRO最初是为解决SAR图像中的边缘检测问题而提出的。其基本原理是通过在均值比例(Ratio of Averages, ROA)边缘检测方法中引入Gabor滤波器的奇函数成分(Gabor Odd Filter, GOF)来计算SAR图像中梯度特征的大小和方向。由于SAR图像经常会受到斑点噪声的影响，在SAR图像中使用比例方法代替差分方法来定义梯度，可以获得鲁棒性更高的梯度特征计算结果。其中，ROA方法通过计算中心像素邻域的均值比来获取图像的梯度特征，比普通的梯度计算方法更能适应图像不同区域的明暗变化。由于具有对人类视觉系统的模仿功能，Gabor滤波器在图像处理相关的各个领域都得到了广泛应用^[19,20]。Gabor滤波器拥有自由调节滤波尺度和方向的功能，可以同时考虑目标的全局与局部特征。通过结合具体的应用情景对Gabor滤波器的频率和带宽进行适当设计，可以对目标在不同频段不同层次的特征进行分离。GOFRO在一定程度上综合了以上两种方法的优势，与同类方法相比，GOFRO在SAR图像梯度特征提取方面具有更好的性能。

方向角度为 $\phi$ 时GOF的表达式为

${\boldsymbol{G}}_{\rm{O}\rm{F}}(x,y)= {\exp} \left[-\frac{{x}^{2}+{y}^{2}}{2{\varepsilon }^{2}}\right] {\sin} \left[\omega \right(x {\cos} \phi +y\rm{s}\rm{i}\rm{n}\phi \left)\right]$

(1)

其中， $\omega$ 代表滤波器中正弦函数的频率， $\varepsilon$ 则控制高斯包络的尺度。

作用于中心像素周围邻域的 GOF 处理窗口定义为

$\; {\boldsymbol{G}}_{{\rm{O}\rm{F}}_{1}}^{\varepsilon \omega }(x,y)={\boldsymbol{G}}_{\rm{O}\rm{F}}(x,y),x {\cos}\phi +y{\sin}\phi \ge 0$

(2)

$\; {\boldsymbol{G}}_{{\rm{O}\rm{F}}_{2}}^{\varepsilon \omega }\left(x,y\right)={-\boldsymbol{G}}_{\rm{O}\rm{F}}\left(x,y\right),x{\cos}\phi +y{\sin}\phi < 0$

(3)

处理窗口内部的局部平均值计算为

${\mu }_{1}=\sum _{({x}',{y}')}\boldsymbol{I}({x}',{y}'){\boldsymbol{G}}_{{\rm{O}\rm{F}}_{1}}^{\varepsilon \omega }(x-{x}',y-{y}')$

(4)

${\mu }_{2}=\sum _{({x}',{y}')}\boldsymbol{I}({x}',{y}'){\boldsymbol{G}}_{{\rm{O}\rm{F}}_{2}}^{\varepsilon \omega }(x-{x}',y-{y}')$

(5)

其中，I代表SAR图像的像素幅度值。 ${\mu }_{1}$ 和 ${\mu }_{2}$ 的比率称为 $\phi$ 方向的GOFRO。当 ${\phi }_{1}=0$ 时，处理窗口的朝向为水平方向，相应的局部平均值被定义为 ${\mu }_{11}$ 和 ${\mu }_{12}$ 。当 ${\phi }_{2}=\pi /2$ 时，处理窗口的朝向竖直方向，相应的局部平均值被定义为 ${\mu }_{21}$ 和 ${\mu }_{22}$ 。

水平和竖直方向梯度的计算方法分别为

${g}_{{\rm{h}}}=\log\left(\frac{\rm{m}\rm{i}\rm{n}({\mu }_{21},{\mu }_{22})}{\rm{m}\rm{a}\rm{x}({\mu }_{21},{\mu }_{22})}\right)$

(6)

${g}_{{\rm{v}}}=\log\left(\frac{\rm{m}\rm{i}\rm{n}({\mu }_{11},{\mu }_{12})}{\rm{m}\rm{a}\rm{x}({\mu }_{11},{\mu }_{12})}\right)$

(7)

梯度大小和方向计算方法为

${G}_{m}=\sqrt{{g}_{h}^{2}+{g}_{v}^{2}}\quad$

(8)

${G}_{\theta }={\rm{arctan}}\left(\frac{{g}_{v}}{{g}_{h}}\right)$

(9)

用GOFRO梯度特征提取方法遍历整幅图像，可以获取两幅梯度相关的特征图，分别是梯度幅度图(Gradient Strength Map, GSM)和梯度方向图(Gradient Direction Map, GDM)。GOFRO方法获取的梯度特征在一定程度上集成了ROA算子和Gabor滤波器的优点，在SAR图像信噪比降低的情况下也能保持良好的表现。

3.1.2 MR-GOFRO 特征提取方法

梯度特征是反映车辆目标与背景成分差异的一种重要特征类别。由于车辆目标在SAR图像中通常会呈现强散射点聚集的表现形式，相应的，在目标区域以像素点为中心计算所得的梯度大小与方向会呈现出更为频繁和剧烈的变化现象。与之相比，城市场景内的背景区域虽然没有固定的明暗标准，在某些区域的散射强度与目标区域难以形成明显的区分，但梯度变化的活跃度总体来说会弱于目标区域。根据背景和目标区域在梯度特征方面的差异性，结合GOFRO方法的多频滤波和区域平均思想对SAR图像特点良好的适应情况，我们决定在特征提取阶段将GOFRO方法应用于车辆特征的获取。

然而，随着GOFRO方法的应用场合发生了不同于其原始设计目的的演变，该方法在实际操作过程中也出现了以下几个方面的问题：首先，GOFRO完全继承了GOF的高斯包络，没有根据具体的应用情况做出进一步改进。其次，在利用GOFRO获取梯度特征的过程中，GOF的尺度和方向始终是固定的。这导致在所得到的梯度特征中没有充分发挥出GOF本身的潜力，也不适合车辆目标尺度和朝向随机分布的情况。最后，由于GOFRO的设计目的是提取图像的边缘信息，所以其结果中只保留了梯度信息，而丢弃了由GOF获得的原始纹理信息。然而，在目标检测过程中，纹理信息通常也能够发挥重要作用。例如，如果单独以梯度特征为依据，不能完全排除斑点噪声对梯度计算结果造成的影响。而在特征提取过程中辅助添加纹理特征，可以进一步从不同角度扩大目标区域与背景区域在特征上的差别。

因此，为了根据车辆目标的特点加强所提取特征的代表性和鲁棒性，进而在车辆检测任务中获取更好的性能表现，本文从滤波器包络、方向、尺度和特征类别扩展4个方面对GOFRO梯度提取方法进行了改进，以下4个步骤对改进后生成的MR-GOFRO梯度提取方法进行了详细描述。

(1) 滤波器包络替换

GOF的高斯包络具有一定的平滑作用，而车辆目标本身由一组强散射点构成，内部包含更多的结构细节。将高斯包络替换成拉普拉斯高斯算子(Laplacian of Gaussian, LoG)，对滤波器采集的高频信息能起到更好的保护作用，进而从背景中突显出车辆目标的特征。更换包络后的GOF表示为

$\begin{split} {\boldsymbol{G}}_{\rm{O}\rm{F}}\left(x,y\right)=& -\frac{1}{\pi {\varepsilon }^{4}}\left[1-\frac{{x}^{2}+{y}^{2}}{2{\varepsilon }^{2}}\right]\\ & \times {\exp} \left[-\frac{{x}^{2}+{y}^{2}}{2{\varepsilon }^{2}}\right] {\sin}\left[\omega \right(x{\cos}\phi +y{\sin}\phi \left) \right] \end{split}$

(10)

图4展示了相同参数情况下，LoG和高斯滤波器分别作用于同一幅SAR图像时，在保留高频信息方面所呈现出的不同效果。可以看到使用高斯滤波器时，滤波器的模糊作用减弱了原图中目标和背景的差别；而使用LoG时，车辆目标的特征得到了更多的强调。

图 4 LoG和高斯滤波器在SAR图像上的滤波效果对比

Figure 4. Comparison of the filtering effects of LoG and Gaussian filter on SAR image

下载: 全尺寸图片幻灯片

(2) 尺度缩放

MR-GOFRO通过赋予GOFRO可调的尺度范围来提取图像样本的多尺度梯度特征，同时规定滤波器处理窗口的覆盖范围随滤波器尺度值的缩放而做出相应的尺寸调整，以更好地适应场景中车辆目标的尺度变化特性。在具体的实验过程中，Gabor滤波器的尺度是根据目标的平均面积来确定的，并且规定滤波器处理窗口的覆盖范围与滤波器的尺度呈正比例关系。MR-GOFRO尺度缩放功能的表达式为

$\frac{{W}_{i-1}}{{W}_{i}}=\frac{{W}_{i}}{{W}_{i+1}},i={1,2},\cdots,s$

(11)

$\frac{{W}_{i}}{{\omega }_{i}}=k$

(12)

其中，s是GOF可选的尺度范围总数，W是滤波器处理窗口覆盖范围的尺寸大小，k是控制滤波器覆盖范围的常数因子，表示其与滤波器尺度之间始终保持着固定的比例关系。

(3) 方向调节

GOF原本可以取方向参数 $\phi$ 为 $\left[\rm{0,2}\pi \right]$ 之间的任意数值，因此从原理上说GOFRO也具有改变梯度特征提取方向的能力。但在梯度计算时，GOFRO却只取了水平 $(\phi =0)$ 和竖直 $(\phi =\pi /2)$ 两个方向，没有对GOF的多方向特性进行充分利用。为适应车辆目标在场景中朝向任意的特点，我们对梯度计算时GOFRO的方向选择范围进行了扩展，将 $\boldsymbol{\varPhi }=\left[\phi_1 \;\phi_2\right]$ 的取值从单独的1组 $[0\;\pi /2]$ 扩展到4组 $\left[0\;\pi /2\right], \left[\pi /6\;2\pi /3\right]$ , $[\pi /4\;3\pi /4]$ , $[\pi /3\;5\pi /6]$ ，每组方向各自产生相应的梯度大小和方向特征。与GOFRO相比，MR-GOFRO所获得的特征对于车辆目标朝向的变化具有更强的鲁棒性。另外，我们规定滤波器窗口的覆盖范围跟随滤波器的方向一同旋转，以使梯度的计算结果更加精确。滤波器方向旋转的数学表达式为

${\boldsymbol{G}}_{\rm{O}\rm{F}}' = {\boldsymbol{G}}_{\rm{O}\rm{F}}\left[\begin{array}{cc}\rm{c}\rm{o}\rm{s}\phi & -\rm{s}\rm{i}\rm{n}\phi \\ \rm{s}\rm{i}\rm{n}\phi & \rm{c}\rm{o}\rm{s}\phi \end{array}\right]$

(13)

(4) 纹理信息保留

GOFRO在以上计算梯度的过程中产生了多方向多尺度的图像纹理信息，可以作为区别目标与背景的重要依据。为了提高MR-GOFRO所提取特征的利用率，我们将纹理特征和梯度特征串联在一起，作为MR-GOFRO输出的特征向量。因为两种特征的取值范围并不一致，所以串联之前需要进行一步归一化操作。纹理特征的表达式为

${m}_{1}=\boldsymbol{I}({x}',{y}'){\boldsymbol{G}}_{{\rm{O}\rm{F}}_{1}}^{\varepsilon \omega }(x-{x}',y-{y}')$

(14)

${m}_{2}=\boldsymbol{I}({x}',{y}'){\boldsymbol{G}}_{{\rm{O}\rm{F}}_{2}}^{\varepsilon \omega }(x-{x}',y-{y}')$

(15)

图5对比了GOFRO与MR-GOFRO的不同之处。图5(a)对应于GOFRO的基本情况，图5(b)选择了MR-GOFRO中的两组方向对进行了原理展示。本文中其余两组方向对与图5(b)中所描述的原理完全相同，只在方向参数的选择上有所变化。

图 5 GOFRO和MR-GOFRO方法的原理示意图

Figure 5. Schematic diagram of GOFRO and MR-GOFRO

下载: 全尺寸图片幻灯片

MR-GOFRO方法在GOFRO方法的基础上进行了以上4个方面的改进，最终所提取出的特征向量中包含了梯度和纹理两种类型的特征。对于本文所选择的参数而言，MR-GOFRO的梯度部分特征包含了5种尺度、4组方向条件下的梯度大小 ${G}_{{\rm{m}}}$ 和方向 ${G}_{{\text{θ}} }$ ，则来源于梯度部分的特征维度 ${D}_{{\rm{g}}}=5\times 4\times 2=40$ ；MR-GOFRO的纹理部分特征产生于梯度特征提取过程的中间环节，在文中根据滤波器方向的不同分别用 ${m}_{1}$ 和 ${m}_{2}$ 表示。同理，在5种尺度、4组方向的调节下，来源于纹理部分的特征维度 ${D}_{{\rm{t}}}= 5\times 4\times 2=40$ 。

综上，MR-GOFRO在每幅单一角度图像上所提取的特征维度 $D={D}_{{\rm{g}}}+{D}_{{\rm{t}}}=80$ 。与GOFRO方法相比，MR-GOFRO特征维度提升的幅度较大，且所得的特征向量中可能存在部分冗余信息。在多角度特征融合过程中，若将来源于不同角度图像的MR-GOFRO特征直接进行串联，则所得融合特征向量的维数将增加至 ${D}_{{P}_{n}}=80\times P_n$ ，其中 ${P}_{n}$ 为多角度图像序列中的图像总数。故后续部分在多角度图像融合过程中，需要采用有效的方法对所提取特征进行降维，以保留特征向量中的有效信息，舍弃其包含的冗余信息，减轻所提出方法的计算负担。同时，在本文所使用方法的特征降维过程中，来源于不同角度的特征向量也会相互影响，因此特征降维的过程也是特征向量融合的过程。3.3节对MR-GOFRO方法的改进效果进行了进一步的分析。

3.2 特征融合

为充分利用多角度图像所包含的信息，需要对从不同方位角度图像中所提取的特征进行适当的融合。为此，我们先对单一角度图像上提取的特征进行筛选与融合，再在特征阶段采用相似度加权的方法进行角度间的特征融合，以在特征级别完成图像信息的有效结合。

多角度图像的特征融合操作具有实现不同图像之间信息互补的能力，但也很可能会导致特征维度的增加。NMF的工作原理为从图像样本中提取出非负的局部特征，并进一步将整体的图像样本近似表示为所提取非负局部特征的加性组合。在单一角度图像的特征选择阶段，NMF特征选择方法可以保留特征向量的重要成分，同时减少所获取特征中包含的冗余信息。根据文献[21]，NMF在包含车辆目标的SAR图像样本特征筛选过程中具有良好的应用效果。

在使用NMF方法进行特征筛选时，从特征矩阵的构成来看，如果NMF方法独立地作用于单一角度图像不同样本所对应的特征向量构成的矩阵，则其处理结果只能起到特征维度控制的效果。但本文选择将同一样本来源于不同角度的特征向量逐列排列成特征矩阵，因此在使用NMF方法处理的过程中，来源于不同角度的向量可以相互影响，从而在特征筛选的过程中完成不同角度特征向量的第1次融合。

在NMF方法的基础上，本文在分析多角度图像特性的基础上，针对多角度图像的特征融合问题提出了W-NMF方法。W-NMF方法根据不同角度特征向量之间的相似性，调整其在融合后特征向量中所占权重，以达到更好的多角度图像特征融合效果。

车辆目标虽然在不同图像上对应着不同的表现形式，但因为其面积较小，构成目标的散射点分布集中，且目标本身具有固定的结构，总体来说在不同图像间的特征向量会保有一定的相似度，与之相比，背景区域的散射特性的变化方式是相对随机的，其特征向量在不同角度图像中的相似度较低。因此，根据相似性调整融合向量中各角度特征向量的权重，能够降低受到散焦现象或者虚假目标干扰的图像样本在融合向量中造成的影响，提高表现完整的图像样本相互之间的增强作用。同时，背景区域来自不同图像的特征向量在融合后会发生比较均匀的混叠，不会有某些成分在融合向量中得到刻意的强调。

在特征向量相似度的衡量标准方面，我们使用某一特征向量与其他角度特征向量的欧氏距离之和代表它与总体特征空间的相似度。根据与相似度越高的特征质量越高的基本原则，将相似度的倒数归一化后作为该特征的权重。完成加权步骤之后，将不同角度图像加权后的特征进行串联，构成多角度融合后新的特征向量。这样在组合特征中，相对稳定的特征向量会得到加强，特征空间中的特殊样本则会被削弱。特征向量权重的计算方式为

$\qquad\qquad {D}_{i}=\sum _{j=1}^{{P}_{n}}{d}_{ij},i\in [1,{P}_{n}]$

(16)

$\qquad\qquad {w}_{i}=\frac{1}{{D}_{i}}$

(17)

${\boldsymbol{F}}_{{P}_{n}}=[{w}_{1}{\boldsymbol{f}}_{1},{w}_{2}{\boldsymbol{f}}_{2},\cdots,{w}_{{P}_{n}}{\boldsymbol{f}}_{{P}_{n}}]$

(18)

其中， ${\boldsymbol{f}}_{i}$ 是第i个角度图像NMF降维后的特征向量， ${d}_{ij}$ 是 ${\boldsymbol{f}}_{i}$ 与 ${\boldsymbol{f}}_{j}$ 之间的欧氏距离， ${\boldsymbol{F}}_{{P}_{n}}$ 是 ${P}_{n}$ 个角度融合的特征向量。

在特征融合过程中，不同角度特征的加权可以看作根据图像质量自适应地选择图像的过程。W-NMF方法在加权后再对多角度的特征向量进行融合，如果单幅图像质量不佳，如目标在图像中表达模糊、残缺或受到其他影响，则来源于该幅图像的特征与来源于其他角度的特征相似度会偏低，加权后其特征对融合特征向量的影响会弱于其他图像。

3.3 目标分类

无监督分类可以解决数据集中正样本数量不足的问题，适合应用于小样本条件下的目标检测任务。高斯混合模型(Gaussian Mixture Model, GMM)通过寻找多维高斯模型概率分布的混合表示，从而拟合出任意形状的数据分布，在无监督分类方法中可以得到比较可靠的分类精度。

GMM方法的基本思想为：用多个高斯分布函数的组合来近似代表任意形状的概率分布。GMM模型的概率密度函数由多个单一的高斯密度分布函数通过线性加和组成，其中每个高斯密度分布函数都是GMM模型中的一种组成成分。作为一种无监督分类方法，GMM方法将待聚类的样本看成按照某种统计规律分布的采样点，根据采样点的分布情况利用迭代方法估计高斯分布的参数，进而对样本所属类别做出判断。GMM的概率密度函数为

$\begin{split} {p}_{M}\left(x\right)& =\sum\limits_{k=1}^{K}p\left(k\right)p\left(x|k\right) \\ & =\sum\limits_{k=1}^{{K}}{\alpha }_{k}p\left(x|{\boldsymbol{\mu }}_{k},{\boldsymbol{C}}_{k}\right) \end{split}$

(19)

其中，K为参与构成GMM模型的高斯分布函数数目， ${\alpha }_{k}$ 为第k个高斯函数的先验分布， $p\left(x|k\right)$ 为第k个高斯函数的概率密度函数，其均值向量为 ${\boldsymbol{\mu }}_{k}$ ，协方差矩阵为 ${\boldsymbol{C}}_{k}$ 。

GMM方法的具体流程描述如下：

(1) 设置参与构成GMM模型的高斯分布函数数量K，并对每种组成成分的参数进行随机初始化。

(2) 计算每个样本属于每个高斯模型的概率。样本越靠近某一高斯分布的中心，其对应的后验概率越大，样本属于该类别的可能性越高。

(3) 依据概率最大化原则对相关参数进行更新。

(4) 重复迭代(2)和(3)直到收敛至设定阈值。

GMM方法是一种软聚类方法，该方法通过选择最大后验概率完成聚类，各样本的后验概率表示其归属于各类的可能性。GMM方法的自由度较高，在不同类别间可能存在相关关系时，可以取得较好的聚类效果。

本文将车辆目标检测问题视为图像样本的二分类问题，使用固定大小和步长的滑动窗口遍历整个场景，截取窗口范围内的图像像素作为分类样本。将以上方法提取的多角度融合特征输入GMM分类器，用于对车辆与背景区域进行区分，从而获得场景中车辆目标位置的检测结果。

4. 实验结果

4.1 数据集介绍

为验证所提出方法的有效性，我们在不同的时间和地点进行了两次飞行实验，以获取城市区域复杂背景下的多角度图像数据。两次飞行实验的数据获取模式均为单一平台近直线飞行模式。单一平台近直线飞行模式的几何关系如图6所示。图7为摄制于阳江飞行实验现场的光学图片。其中，第1次飞行实验是于2017年在广东省阳江市进行的，表1列举了实验过程中所用到的具体参数，表2列举了所获取不同方位角度图像间的角度间隔和角度变化范围。第2次飞行实验是于2019年在浙江省舟山市进行的，表3列举了实验过程中所用到的具体参数，表4列举了所获取不同方位角度图像间的角度间隔和角度变化范围。

图 6 直线模型下多角度图像的成像几何

Figure 6. The imaging geometry of multi-aspect images under near-linear flight model

下载: 全尺寸图片幻灯片

图 7 阳江飞行实验现场图像

Figure 7. Images from the Yangjiang flight experiment

下载: 全尺寸图片幻灯片

表 1 阳江飞行实验参数

Table 1. Yangjiang flight experiment parameters

实验参数	参数值
中心频率	9.6 GHz
带宽	3600 MHz
脉宽	15 μs
采样频率	4400 MHz
脉冲重复频率	3000 Hz
中心角度	65.5°
平台速度	83.04 m/s
平台高度	3605.44 m
场景中心纬度	21.88°
场景中心经度	111.97°
图像分辨率	1 m

下载: 导出CSV

| 显示表格

表 2 阳江飞行实验多角度图像方位角度参数

Table 2. Aspect parameters in Yangjiang flight experiment

序列号	方位角度 (°)	角度间隔 (°)	角度范围 (°)
角度1	40.8	0	0
角度2	32.6	8.2	8.2
角度3	22.6	10.0	18.2
角度4	11.0	11.6	29.8
角度5	0	11.0	40.8
角度6	–1.7	1.7	42.5
角度7	–14.1	12.4	54.9
角度8	–25.4	11.3	66.2
角度9	–34.9	9.5	75.7
角度10	–42.3	7.4	83.1

下载: 导出CSV

| 显示表格

表 3 舟山飞行实验参数

Table 3. Zhoushan flight experiment parameters

实验参数	参数值
中心频率	9.6 GHz
带宽	1200 MHz
脉宽	20 μs
采样频率	1400 MHz
脉冲重复频率	3000 Hz
中心角度	55.0°
平台高度	7000 m
平台速度	137.34 m/s
场景中心经度	29.97°
场景中心纬度	122.29°
图像分辨率	0.7 m

下载: 导出CSV

| 显示表格

表 4 舟山飞行实验多角度图像方位角度参数

Table 4. Aspect parameters of the multi-aspect images in Zhoushan flight experiment

序列号	方位角度(°)	角度间隔(°)	角度范围(°)
角度1	40.4	0	0
角度2	30.2	10.2	10.2
角度3	20.5	9.7	19.9
角度4	10.8	9.7	29.6
角度5	0.4	10.4	40.0
角度6	–10.0	10.4	50.4
角度7	–19.8	9.8	60.2
角度8	–28.9	9.1	69.3
角度9	–39.2	10.3	79.6

下载: 导出CSV

| 显示表格

4.2 车辆检测实验结果

图8展示了所选取的待检测场景在城区中的具体分布位置。图9以场景5为例展示了不同方位角度下的SAR图像。

图 8 待检测场景在城区中的具体分布位置展示

Figure 8. Locations of the detected scenes in urban area

下载: 全尺寸图片幻灯片

图 9 场景5在不同方位角度下的SAR图像

Figure 9. Vehicle targets in multi-aspect SAR images in scene 5

下载: 全尺寸图片幻灯片

由于SAR图像可读性相对较差，我们结合光学图像的内容参考，在配准后每个角度的图像上分别逐像素进行人工标注，对标注结果进行叠加产生了各个场景的真值图。通过在多幅图像上多次进行判断，可以尽量降低目视解译误判的风险。图10展示了场景2由不同角度图像的标注值产生真值图的过程。根据经验值，将检测窗口面积设计为实际目标平均面积的1.7倍(见表5)。当窗口中有超过60%的像素被标注为真值时，将相应的窗口判断为正样本。图11展示了各个场景经由上述方法所得到的真值图。图12给出了各个检测场景的光学图像作为参考。因为拍摄时间的不同，SAR图像与光学图像所包含的地物目标之间可能存在一些差异。

图 10 真值图的生成过程示意图(以场景2为例)

Figure 10. The truth map generating process (Taking scene 2as an example)

下载: 全尺寸图片幻灯片

表 5 实验中检测算法所选取的参数

Table 5. Detection experiment parameters

实验参数	参数值
MR-GOFRO尺度	12/15/19/24/30
MR-GOFRO方向	$\left[0,\pi /2\right]$
	$\left[\pi /\mathrm{6,2}\pi /3\right]$
	$[\pi /\mathrm{4,3}\pi /4]$
	$[\pi /\mathrm{3,5}\pi /6]$
NMF输出特征维数	12
车辆目标平均尺寸	13×26
检测窗口半径	12
车辆目标与检测窗口面积比	0.6
检测窗口步长	12
检测窗口采样点距离	6
检测窗口采样点数量	5

下载: 导出CSV

| 显示表格

图 11 不同场景的真值图标注结果

Figure 11. Truth maps of different scenes

下载: 全尺寸图片幻灯片

图 12 不同场景相应的光学图像参考

Figure 12. Reference optical images of different scenes

下载: 全尺寸图片幻灯片

表5列举了本文所提出方法在检测过程中所使用的参数。其中检测窗口半径与步长相同，故相邻窗口间有一半的面积重合。为兼顾算法效率和准确性，在每个窗口内围绕中心像素提取均匀分布的4个点的特征向量，与中心像素的特征串联形成该窗口的特征向量输入分类器。假设中心像素的坐标为 $(x,y)$ ，则其余4个点的坐标分布表示为 $(x-r/2,y), (x+r/2,y),(x,y-r/2),(x,y+r/2)$ ，其中，r代表检测窗口的半径大小。

图13展示了上述场景使用所提出算法得到的车辆目标检测结果。其中绿色框线范围内的样本为分类器正确判断为正样本的目标位置，蓝色框线范围内的样本为分类器错误判断为正样本的目标位置。场景1中算法将车辆目标与周围明亮的建筑区域做出了区分；场景2中在单幅图像中表示不完整、与背景区域亮度相近的车辆目标被成功检出(见红色框线)，且检测结果基本未受到建筑目标散焦的影响。从场景2的车辆目标检测结果可以看出，图1中单一角度SAR图像在车辆检测任务中所面对的问题基本得到了有效解决；出现在场景3中的车辆目标在检测结果中基本没有遗漏；场景4中红色框线内与背景区域中树木亮度和面积极为相似的孤立车辆目标被成功定位；场景5中分布密集的车辆目标被检出，且与周边环境中的植被做出了区分。随着平台位置和方位角度的转移，在实际数据获取过程中波束中心的位置很难严格地保持稳定不变，因此针对某一个具体场景，可能会发生部分角度缺失的情况。在这种情况下算法可以正常运行。

图 13 各场景中的检测结果

Figure 13. Detection results in different scenes

下载: 全尺寸图片幻灯片

表6展示了上述5个场景的检测结果相对应的衡量指标值及其均值。本文使用精确率、准确率、漏警率和虚警率4个衡量指标对算法给出的检测结果进行分析。由于在本次实验过程中，车辆目标位置的检测是基于滑动检测窗口进行的，相应的，所用指标的计算也是以检测窗口所包含的图像样本为基本单位的。上述指标的计算公式为

表 6 阳江飞行实验数据集中不同场景车辆目标检测结果的衡量指标

Table 6. Indexes of vehicle detection results in different scenes in Yangjiang flight experiment dataset

序列号	精确率(%)	准确率(%)	漏警率(%)	虚警率(%)
场景1	85.40	93.49	6.97	6.32
场景2	72.49	94.11	11.39	5.07
场景3	71.36	97.57	8.00	2.11
场景4	72.50	96.48	5.07	1.76
场景5	82.79	89.63	10.13	7.88
平均值	76.90	94.25	8.31	4.63

下载: 导出CSV

| 显示表格

${\rm{Precision}}=\frac{{\rm{TP}}}{{\rm{TP}}+{\rm{FP}}}$

(20)

${\rm{Accuracy}}=\frac{{\rm{TP+TN}}}{{\rm{TP}}+{\rm{FP+TN+FN}}}$

(21)

${\rm{MissRate}}=\frac{{\rm{FN}}}{{\rm{TP+FN}}}$

(22)

${\rm{FalseAlarm}}=\frac{{\rm{FP}}}{{\rm{FP+TN}}}$

(23)

其中，TP表示真阳性检测目标的数量，TN表示真阴性检测目标数量，FP表示假阳性检测目标数量，FN表示假阴性检测目标的数量。以本次实验为例，TP表示分类器输出标签判断为正样本的检测窗口中，真值为正样本的样本数量；TN表示分类器输出标签判断为负样本的检测窗口中，真值为负样本的样本数量；FP表示分类器输出标签判断为正样本的检测窗口中，真值为负样本的样本数量；FN表示分类器输出标签判断为负样本的检测窗口中，真值为正样本的样本数量。

为验证所提出方法的鲁棒性，本文使用舟山飞行实验的数据集进行了第2次车辆目标检测实验。图14展示了不同场景中的车辆目标检测结果。表7列出了所选取场景中检测结果的衡量指标。

图 14 舟山飞行实验数据集中不同场景的车辆目标检测结果

Figure 14. Vehicle detection results in different scenes in Zhoushan flight experiment dataset

下载: 全尺寸图片幻灯片

表 7 舟山飞行实验数据集中不同场景车辆目标检测结果的衡量指标

Table 7. Indexes of vehicle detection results in different scenes in Zhoushan flight experiment dataset

序列号	精确率(%)	准确率(%)	漏警率(%)	虚警率(%)
场景6	88.28	95.64	19.83	3.43
场景7	86.62	94.99	14.85	4.35
平均值	87.45	95.32	17.34	3.89

下载: 导出CSV

| 显示表格

4.3 MR-GOFRO不同步骤的改进效果

为具体分析MR-GOFRO方法的改进步骤对SAR图像上车辆目标的检测结果所造成的影响，本节将采取控制变量的方法，逐一观察MR-GOFRO方法的尺度分析、方向调节和纹理信息保留步骤在检测结果中的体现。

舟山飞行实验数据集中的场景7摄于舟山市普陀长途客运中心，其中所包含的车辆目标能够集中体现城市场景中静止车辆多尺度、多朝向的分布特点；阳江飞行实验数据集中的场景1中同时包含数量较多的车辆目标与所占面积较大的建筑背景成分，能够用于验证纹理信息在区分车辆目标与停车场以及周围的人工建筑物方面的作用。因此，本节内容以上述两个场景为例，对MR-GOFRO各步骤改进前后的检测结果进行逐项对比。

4.3.1 尺度缩放对检测结果的影响

为在实际SAR图像上验证MR-GOFRO方法增加尺度缩放功能对车辆目标检测精度的提升作用，我们对MR-GOFRO方法的尺度参数进行控制，只保留居中的单一尺度参数值，使其不再包含目标的多尺度特征。具体地，我们将MR-GOFRO尺度参数的选择从 $12/15/19/24/30$ 修改为单一数值 $19$ ，方法的其余参数和操作步骤保持不变。图15展示了尺度缩放功能增加前后，同一场景中车辆目标的检测结果。图15中红色框线内的目标在MR-GOFRO方法的检测结果中被正确输出为正样本，但在单一尺度条件下发生了漏检现象。

图 15 MR-GOFRO尺度缩放功能增加前后，同一场景中车辆目标的检测结果

Figure 15. The vehicle detection results in the same scene before and after the addition of MR-GOFRO scaling step

下载: 全尺寸图片幻灯片

4.3.2 方向调节对检测结果的影响

为验证MR-GOFRO方法增加方向调节功能对车辆目标检测精度的提升作用，我们对MR-GOFRO方法的方向参数进行控制，只保留GOFRO方法所使用的方向对 $\left[0,\pi /2\right]$ ，减弱方法对于目标方向变化所具有的鲁棒性。除方向参数之外，MR-GOFRO方法的其余参数和操作步骤保持不变。图16展示了方向调节功能增加前后，同一场景中车辆目标的检测结果。图16中红色框线内的目标在MR-GOFRO方法的检测结果中被正确输出为正样本，但在只采用一组方向参数时发生了漏检现象。

图 16 MR-GOFRO方向调节功能增加前后，同一场景中车辆目标的检测结果

Figure 16. The vehicle detection results in the same scene before and after the addition of MR-GOFRO direction adjustment step

下载: 全尺寸图片幻灯片

4.3.3 纹理特征保留对检测结果的影响

建筑和车辆在SAR图像上后向散射系数相近，且同样具有稳定的结构，二者比较明显的区别体现在目标的局部纹理特征方面。建筑在图像上高亮的部分体现为均匀的平面，车辆则体现为一簇集中分布的强散射点。纹理特征是体现物体表面的具有缓慢变换或周期性变化的表面组织结构排列属性。由该定义可知，当建筑作为背景成分存在时，与车辆目标的区别可以在纹理特征中得到体现。

为验证MR-GOFRO方法保留纹理特征对车辆目标与建筑背景成分的区分作用，我们选取了同时包含有车辆目标和周边建筑的实际观测场景，对MR-GOFRO方法保留纹理特征前后的检测效果进行了对比。图17展示了纹理信息保留前后，该场景中车辆目标的检测结果。可以看到在场景中分布有大面积的建筑物时，如果所提取的特征向量不包含纹理特征，检测结果中将包含较多的虚警目标。

图 17 MR-GOFRO纹理信息保留前后，同一场景中车辆目标的检测结果

Figure 17. The vehicle detection results in the same scene before and after retaining MR-GOFRO texture information

下载: 全尺寸图片幻灯片

本节的对比实验证明了MR-GOFRO的各改进步骤对SAR图像上车辆目标检测的意义。表8展示了上述3组对比实验的检测结果衡量指标。分析本节中图表可知，在前两组对比实验中，一些与场景中大多数目标尺度或朝向不一致的孤立目标容易被漏检，导致检测方法的精确度下降。最后一组对比实验则证明了保留纹理信息对区别车辆目标和场景中作为背景杂波出现的其他人造目标，尤其是建筑目标具有重要作用。

表 8 MR-GOFRO改进前后的检测结果衡量指标

Table 8. Indexes of detection results before and after the MR-GOFRO improvements

检测方法	精确率 (%)	准确率 (%)	漏警率 (%)	虚警率 (%)
GOFRO(场景1)	85.40	93.49	6.97	6.32
GOFRO(场景7)	86.62	94.99	14.85	4.53
尺度缩放	59.21	83.76	20.68	5.31
方向调节	61.08	84.13	30.42	4.29
纹理信息	66.19	83.91	5.86	20.44

下载: 导出CSV

| 显示表格

4.4 不同检测方法的实验结果对比

在本节中，我们将本文所提出的方法与一些现有的特征提取、选择和分类方法的组合进行了比较，特别是与本文方法的组成部分具有一定相似性的其他目标检测方法。其中，GOFRO和NMF方法是本文所提出方法建立的基础，为验证本文方法的改进效果，需要将本文方法的检测结果与改进前的方法进行对比。GOFRO和NMF方法的工作原理在本文原理部分已作介绍，实验部分不再详述。HOG是梯度特征提取的经典方法，通过对图像中所划分邻域的梯度信息进行统计来获取图像样本的特征向量^[22]。K-means是经典的无监督分类方法，通过对样本之间相似度的度量来划分样本类别^[23]，二者均在目标检测领域得到了广泛应用。故本文选择将所提出方法与其进行对比，以验证所提出方法的应用价值。Fourier-HOG方法是最近提出的具有旋转不变特性的梯度特征提取方法，在基于光学图像的车辆目标检测领域取得了良好的应用效果^[24]。Fourier-HOG方法使用平滑的连续函数来拟合连续坐标中的统计特征，能够保证所提取特征的旋转不变性。

图18显示了在相同场景中使用上述不同方法获得的检测结果。表9比较了不同检测方法所获取检测结果之间的衡量指标，其中每种方法的衡量指标都是通过对不同场景的检测结果进行平均所得到的。表9中方法的排列顺序与图18完全相同。通过观察图表中的内容可以看出，与同类检测方法相比，本文所提出方法的应用可以有效提高对场景中车辆目标的检测性能。

图 18 场景2中使用不同检测方法所获取的实验结果

Figure 18. Detection results obtained by different methods in scene 2

下载: 全尺寸图片幻灯片

表 9 不同方法检测结果的衡量指标

Table 9. Indexes of the detection results obtained by different methods

检测方法	精确率 (%)	准确率 (%)	漏警率 (%)	虚警率 (%)
方法1	66.96	89.00	28.50	8.31
方法2	71.37	93.06	18.52	5.13
方法3	60.89	89.89	21.18	8.29
方法4	72.92	84.59	13.95	5.64
方法5	68.28	90.01	9.15	10.11
本文方法	79.91	94.56	10.89	4.42

下载: 导出CSV

| 显示表格

为了保证不同检测方法之间比较结果的有效性，所有结果都是在使用多角度图像的条件下获得的。关于图像数量对检测结果的影响将在下节内容中进行进一步的讨论。

4.5 图像数量变化对检测结果的影响

我们以场景5为例观察图像数量变化对实验结果造成的影响。图19展示了不同角度数量条件下场景5的车辆目标检测结果，表10展示了不同图像数量检测结果的精度比较。本次实验所选取6幅图像所对应的方位角度如图7所示，分别为–25.4°, –14.1°, –1.7°, 11.0°, 22.6°, 40.8°。从检测结果中可以看出，多角度序列中图像数量的增加伴随着检测效果的改善。当然这种改善作用是处在一定限度内的，图像数量超过一定阈值后，目标散射信息已经被完全涵盖在图像序列中。此时再增加图像数量只能引起计算负担的加重，并不能引起检测效果的明显提升。

图 19 不同图像数量条件下的检测结果

Figure 19. Detection results under different image quantity conditions

下载: 全尺寸图片幻灯片

表 10 不同图像数量条件下的检测结果衡量指标

Table 10. Indexes of detection results under different image quantity conditions

图像数量	精确率 (%)	准确率 (%)	漏警率 (%)	虚警率 (%)	处理时间(s)
1	80.90	82.56	43.17	5.98	9.08
2	75.83	84.02	30.56	9.63	62.28
4	80.20	89.72	11.67	10.56	100.81
6	82.79	89.63	10.13	7.88	146.98

下载: 导出CSV

| 显示表格

本文中实验设备CPU类型为i7-9750H，运行内存为8 GB，编写环境为Matlab2018，每个场景单幅图像大小约为200 KB。从表10中的处理时间可以看出，本文对多角度图像的应用基本能够保证算法的实时性，但方位角度数量的增加必然会引起处理时间的延长，在使用多角度图像的情况下，平均每增加一幅图像大约会使处理时间延长20 s左右。在目标检测工作中，利用多角度图像的目的是获取更丰富的目标方位角度信息。在能够保证检测精度的情况下，应尽量控制图像的方位角度间隔，避免方位角度数量的过多累积。

5. 结语

SAR图像中的车辆目标检测可服务于ITS建设、城市规划和应急响应等多个应用领域。多角度图像的利用将大大提高车辆目标在图像中得到清晰完整呈现的可能性，且不同图像上信息的融合可以使车辆目标的散射特性得到增强，从而进一步加强目标和背景区域之间的区分度。因此，使用多角度图像进行车辆目标检测可以使检测结果的性能得到明显提升。

为提高多角度SAR图像中车辆检测的鲁棒性和准确性，我们提出了一种新的目标检测方法来获取对图像中目标区域稳定全面的特征描述。该方法主要包括3个阶段：特征提取、特征融合和目标分类。在第1阶段，我们针对车辆目标提出一种新的特征提取方法，能够加强对目标尺度和朝向变化的鲁棒性。同时，它对目标的梯度信息进行了加强，对纹理信息进行了留存。在第2阶段，我们选择不直接在融合图像上检测目标，而是先将单一角度图像上提取的特征经过归一化和精校筛选，再在特征阶段采用距离加权的方法进行角度间的融合。这种做法能够保留目标有效信息，最大限度摒除无关信息。在第3阶段，我们通过实验对比选取了合适的无监督分类器用于特征分类，避免了小样本条件下有监督分类过拟合的问题。经过实验验证，本文提出的检测方法可以有效地区分车辆目标和背景区域，减少城市区域复杂背景下的误判情况的发生。

本文所提出方法在实际应用中还存在一定的漏检现象，这可能是由于方法在分类阶段受到了无监督分类器性能的限制。本文选择无监督分类器主要是为了解决数据集中正样本数量不足的问题，以在小样本条件下达到较好的检测效果。随着多角度SAR观测模式的发展和普及，未来在拥有更多观测数据的条件下，本文所提出方法可以通过对分类阶段进行改进来降低漏检率，提高目标检测精度。另外，在本文所提出方法中，方向和尺度参数的细化理论上会带来检测性能的提升，但同时也会在特征提取阶段增加计算负担，降低算法的实时性。因此，本文实验中尺度和方向参数的选取是在检测效果和检测效率之间权衡的结果。如果能在未来的研究中，用连续化的方法取代离散化的参数选择方式，那么上述问题将会找到更好的解决办法。

图 1 多角度SAR图像中的车辆目标举例

Figure 1. Vehicle targets in multi-aspect SAR images

下载: 全尺寸图片幻灯片

图 2 多角度图像预处理流程图

Figure 2. Multi-aspect image preprocessing procedure

下载: 全尺寸图片幻灯片

图 3 多角度图像车辆目标检测流程图

Figure 3. Vehicle detection in multi-aspect image

下载: 全尺寸图片幻灯片

图 4 LoG和高斯滤波器在SAR图像上的滤波效果对比

Figure 4. Comparison of the filtering effects of LoG and Gaussian filter on SAR image

下载: 全尺寸图片幻灯片

图 5 GOFRO和MR-GOFRO方法的原理示意图

Figure 5. Schematic diagram of GOFRO and MR-GOFRO

下载: 全尺寸图片幻灯片

图 6 直线模型下多角度图像的成像几何

Figure 6. The imaging geometry of multi-aspect images under near-linear flight model

下载: 全尺寸图片幻灯片

图 7 阳江飞行实验现场图像

Figure 7. Images from the Yangjiang flight experiment

下载: 全尺寸图片幻灯片

图 8 待检测场景在城区中的具体分布位置展示

Figure 8. Locations of the detected scenes in urban area

下载: 全尺寸图片幻灯片

图 9 场景5在不同方位角度下的SAR图像

Figure 9. Vehicle targets in multi-aspect SAR images in scene 5

下载: 全尺寸图片幻灯片

图 10 真值图的生成过程示意图(以场景2为例)

Figure 10. The truth map generating process (Taking scene 2as an example)

下载: 全尺寸图片幻灯片

图 11 不同场景的真值图标注结果

Figure 11. Truth maps of different scenes

下载: 全尺寸图片幻灯片

图 12 不同场景相应的光学图像参考

Figure 12. Reference optical images of different scenes

下载: 全尺寸图片幻灯片

图 13 各场景中的检测结果

Figure 13. Detection results in different scenes

下载: 全尺寸图片幻灯片

图 14 舟山飞行实验数据集中不同场景的车辆目标检测结果

Figure 14. Vehicle detection results in different scenes in Zhoushan flight experiment dataset

下载: 全尺寸图片幻灯片

图 15 MR-GOFRO尺度缩放功能增加前后，同一场景中车辆目标的检测结果

Figure 15. The vehicle detection results in the same scene before and after the addition of MR-GOFRO scaling step

下载: 全尺寸图片幻灯片

图 16 MR-GOFRO方向调节功能增加前后，同一场景中车辆目标的检测结果

Figure 16. The vehicle detection results in the same scene before and after the addition of MR-GOFRO direction adjustment step

下载: 全尺寸图片幻灯片

图 17 MR-GOFRO纹理信息保留前后，同一场景中车辆目标的检测结果

Figure 17. The vehicle detection results in the same scene before and after retaining MR-GOFRO texture information

下载: 全尺寸图片幻灯片

图 18 场景2中使用不同检测方法所获取的实验结果

Figure 18. Detection results obtained by different methods in scene 2

下载: 全尺寸图片幻灯片

图 19 不同图像数量条件下的检测结果

Figure 19. Detection results under different image quantity conditions

下载: 全尺寸图片幻灯片

表 1 阳江飞行实验参数

Table 1. Yangjiang flight experiment parameters

实验参数	参数值
中心频率	9.6 GHz
带宽	3600 MHz
脉宽	15 μs
采样频率	4400 MHz
脉冲重复频率	3000 Hz
中心角度	65.5°
平台速度	83.04 m/s
平台高度	3605.44 m
场景中心纬度	21.88°
场景中心经度	111.97°
图像分辨率	1 m

下载: 导出CSV

表 2 阳江飞行实验多角度图像方位角度参数

Table 2. Aspect parameters in Yangjiang flight experiment

序列号	方位角度 (°)	角度间隔 (°)	角度范围 (°)
角度1	40.8	0	0
角度2	32.6	8.2	8.2
角度3	22.6	10.0	18.2
角度4	11.0	11.6	29.8
角度5	0	11.0	40.8
角度6	–1.7	1.7	42.5
角度7	–14.1	12.4	54.9
角度8	–25.4	11.3	66.2
角度9	–34.9	9.5	75.7
角度10	–42.3	7.4	83.1

下载: 导出CSV

表 3 舟山飞行实验参数

Table 3. Zhoushan flight experiment parameters

实验参数	参数值
中心频率	9.6 GHz
带宽	1200 MHz
脉宽	20 μs
采样频率	1400 MHz
脉冲重复频率	3000 Hz
中心角度	55.0°
平台高度	7000 m
平台速度	137.34 m/s
场景中心经度	29.97°
场景中心纬度	122.29°
图像分辨率	0.7 m

下载: 导出CSV

表 4 舟山飞行实验多角度图像方位角度参数

Table 4. Aspect parameters of the multi-aspect images in Zhoushan flight experiment

序列号	方位角度(°)	角度间隔(°)	角度范围(°)
角度1	40.4	0	0
角度2	30.2	10.2	10.2
角度3	20.5	9.7	19.9
角度4	10.8	9.7	29.6
角度5	0.4	10.4	40.0
角度6	–10.0	10.4	50.4
角度7	–19.8	9.8	60.2
角度8	–28.9	9.1	69.3
角度9	–39.2	10.3	79.6

下载: 导出CSV

表 5 实验中检测算法所选取的参数

Table 5. Detection experiment parameters

实验参数	参数值
MR-GOFRO尺度	12/15/19/24/30
MR-GOFRO方向	$\left[0,\pi /2\right]$
	$\left[\pi /\mathrm{6,2}\pi /3\right]$
	$[\pi /\mathrm{4,3}\pi /4]$
	$[\pi /\mathrm{3,5}\pi /6]$
NMF输出特征维数	12
车辆目标平均尺寸	13×26
检测窗口半径	12
车辆目标与检测窗口面积比	0.6
检测窗口步长	12
检测窗口采样点距离	6
检测窗口采样点数量	5

下载: 导出CSV

表 6 阳江飞行实验数据集中不同场景车辆目标检测结果的衡量指标

Table 6. Indexes of vehicle detection results in different scenes in Yangjiang flight experiment dataset

序列号	精确率(%)	准确率(%)	漏警率(%)	虚警率(%)
场景1	85.40	93.49	6.97	6.32
场景2	72.49	94.11	11.39	5.07
场景3	71.36	97.57	8.00	2.11
场景4	72.50	96.48	5.07	1.76
场景5	82.79	89.63	10.13	7.88
平均值	76.90	94.25	8.31	4.63

下载: 导出CSV

表 7 舟山飞行实验数据集中不同场景车辆目标检测结果的衡量指标

Table 7. Indexes of vehicle detection results in different scenes in Zhoushan flight experiment dataset

序列号	精确率(%)	准确率(%)	漏警率(%)	虚警率(%)
场景6	88.28	95.64	19.83	3.43
场景7	86.62	94.99	14.85	4.35
平均值	87.45	95.32	17.34	3.89

下载: 导出CSV

表 8 MR-GOFRO改进前后的检测结果衡量指标

Table 8. Indexes of detection results before and after the MR-GOFRO improvements

检测方法	精确率 (%)	准确率 (%)	漏警率 (%)	虚警率 (%)
GOFRO(场景1)	85.40	93.49	6.97	6.32
GOFRO(场景7)	86.62	94.99	14.85	4.53
尺度缩放	59.21	83.76	20.68	5.31
方向调节	61.08	84.13	30.42	4.29
纹理信息	66.19	83.91	5.86	20.44

下载: 导出CSV

表 9 不同方法检测结果的衡量指标

Table 9. Indexes of the detection results obtained by different methods

检测方法	精确率 (%)	准确率 (%)	漏警率 (%)	虚警率 (%)
方法1	66.96	89.00	28.50	8.31
方法2	71.37	93.06	18.52	5.13
方法3	60.89	89.89	21.18	8.29
方法4	72.92	84.59	13.95	5.64
方法5	68.28	90.01	9.15	10.11
本文方法	79.91	94.56	10.89	4.42

下载: 导出CSV

表 10 不同图像数量条件下的检测结果衡量指标

Table 10. Indexes of detection results under different image quantity conditions

图像数量	精确率 (%)	准确率 (%)	漏警率 (%)	虚警率 (%)	处理时间(s)
1	80.90	82.56	43.17	5.98	9.08
2	75.83	84.02	30.56	9.63	62.28
4	80.20	89.72	11.67	10.56	100.81
6	82.79	89.63	10.13	7.88	146.98

下载: 导出CSV

参考文献(24)

[1]	LEITLOFF J, HINZ S, and STILLA U. Vehicle detection in very high resolution satellite images of city areas[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(7): 2795–2806. doi: 10.1109/TGRS.2010.2043109
[2]	PALUBINSKAS G and RUNGE H. Change detection for traffic monitoring in TerraSAR-X imagery[C]. 2008 IEEE International Geoscience and Remote Sensing Symposium, Boston, USA, 2008: I-169–I-172,
[3]	MITTERMAYER J, WOLLSTADT S, PRATS-IRAOLA P, et al. The TerraSAR-X staring spotlight mode concept[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(6): 3695–3706. doi: 10.1109/TGRS.2013.2274821
[4]	ZOU Bin, QIN Jiang, and ZHANG Lamei. Vehicle detection based on semantic-context enhancement for high-resolution SAR images in complex background[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 4503905. doi: 10.1109/LGRS.2021.3139605
[5]	MAKSYMIUK O, SCHMITT M, BRENNER A R, et al. First investigations on detection of stationary vehicles in airborne decimeter resolution SAR data by supervised learning[C]. 2012 IEEE International Geoscience and Remote Sensing Symposium, Munich, Germany, 2012: 3584–3587.
[6]	BAUMGARTNER S V and KRIEGER G. Real-time road traffic monitoring using a fast a priori knowledge based SAR-GMTI algorithm[C]. 2010 IEEE International Geoscience and Remote Sensing Symposium, Honolulu, USA, 2010: 1843–1846.
[7]	NOVAK L M, OWIRKA G J, and BROWER W S. Performance of 10- and 20-target MSE classifiers[J]. IEEE Transactions on Aerospace and Electronic Systems, 2000, 36(4): 1279–1289. doi: 10.1109/7.892675
[8]	EL-DARYMLI K, GILL E W, MCGUIRE P, et al. Automatic target recognition in synthetic aperture radar imagery: A state-of-the-art review[J]. IEEE Access, 2016, 4: 6014–6058. doi: 10.1109/ACCESS.2016.2611492
[9]	CHENG Gong and HAN Junwei. A survey on object detection in optical remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 117: 11–28. doi: 10.1016/j.isprsjprs.2016.03.014
[10]	WANG Zhixu, XIN Zhihui, HUANG Xiaoqiao, et al. Overview of SAR Image Feature Extraction and Target Recognition[M]. JAIN L C, KOUNTCHEV R, and SHI Junsheng. 3D Imaging Technologies—Multi-dimensional Signal Processing and Deep Learning. Singapore: Springer, 2021: 69–75.
[11]	LI Lu, DU Yuang, and DU Lan. Vehicle target detection network in SAR images based on rectangle-invariant rotatable convolution[J]. Remote Sensing, 2022, 14(13): 3086. doi: 10.3390/rs14133086
[12]	YANG Xinpeng, ZHANG Qiang, ZHAO Shixiang, et al. Focal-pyramid-based vehicle segmentation in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 4028705. doi: 10.1109/LGRS.2022.3224904
[13]	BRENNER A R, ESSEN H, and STILLA U. Representation of stationary vehicles in ultra-high resolution SAR and turntable ISAR images[C]. The 9th European Conference on Synthetic Aperture Radar, Nuremberg, Germany, 2012: 147–150.
[14]	WANG Guoli, WANG Xinchao, FAN Bin, et al. Feature extraction by rotation-invariant matrix representation for object detection in aerial image[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(6): 851–855. doi: 10.1109/LGRS.2017.2683495
[15]	SUN Yi, WANG Wenna, ZHANG Qianyu, et al. Improved YOLOv5 with transformer for large scene military vehicle detection on SAR image[C]. The 2022 7th International Conference on Image, Vision and Computing, Xi’an, China, 2022: 87–93.
[16]	龙泓琳, 皮亦鸣, 曹宗杰. 基于非负矩阵分解的SAR图像目标识别[J]. 电子学报, 2010, 38(6): 1425–1429. LONG Honglin, PI Yiming, and CAO Zongjie. Non-negative matrix factorization for target recognition[J]. Acta Electronica Sinica, 2010, 38(6): 1425–1429.
[17]	ZHANG Haichao, NASRABADI N M, ZHANG Yanning, et al. Multi-view automatic target recognition using joint sparse representation[J]. IEEE Transactions on Aerospace and Electronic Systems, 2012, 48(3): 2481–2497. doi: 10.1109/TAES.2012.6237604
[18]	MA Wenping, WEN Zelian, WU Yue, et al. Remote sensing image registration with modified SIFT and enhanced feature matching[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(1): 3–7. doi: 10.1109/LGRS.2016.2600858
[19]	XIANG Yuming, WANG Feng, WAN Ling, et al. An advanced multiscale edge detector based on Gabor filters for SAR imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(9): 1522–1526. doi: 10.1109/LGRS.2017.2720684
[20]	PAUL S and PATI U C. A Gabor odd filter-based ratio operator for SAR image matching[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(3): 397–401. doi: 10.1109/LGRS.2018.2872979
[21]	张之光, 雷宏. 基于SAR图像样本的本征维数检测人造目标[J]. 电子测量技术, 2016, 39(9): 34–39. doi: 10.3969/j.issn.1002-7300.2016.09.009 ZHANG Zhiguang and LEI Hong. Man-made targets detection based on intrinsic dimension of SAR image samples[J]. Electronic Measurement Technology, 2016, 39(9): 34–39. doi: 10.3969/j.issn.1002-7300.2016.09.009
[22]	ZHANG Tianwen, ZHANG Xiaoling, KE Xiao, et al. HOG-ShipCLSNet: A novel deep learning network with HOG feature fusion for SAR ship classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5210322. doi: 10.1109/TGRS.2021.3082759
[23]	OLUKANMI P O and TWALA B. K-means-sharp: Modified centroid update for outlier-robust k-means clustering[C]. 2017 Pattern Recognition Association of South Africa and Robotics and Mechatronics, Bloemfontein, South Africa, 2017: 14–19,
[24]	WU Xin, HONG Danfeng, TIAN Jiaojiao, et al. ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 57(7): 5146–5158. doi: 10.1109/TGRS.2019.2897139