SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集

王智睿 康玉卓 曾璇 汪越雷 张汀 孙显

张云雷, 汤俊, 王力. 基于假设检验理论的雷达近邻目标距离统计分辨限[J]. 雷达学报, 2019, 8(1): 17–24. doi: 10.12000/JR18085
引用本文: 王智睿, 康玉卓, 曾璇, 等. SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集[J]. 雷达学报, 2023, 12(4): 906–922. doi: 10.12000/JR23043
ZHANG Yunlei, TANG Jun, and WANG Li. Hypothesis-testing-based range statistical resolution limit of radar[J]. Journal of Radars, 2019, 8(1): 17–24. doi: 10.12000/JR18085
Citation: WANG Zhirui, KANG Yuzhuo, ZENG Xuan, et al. SAR-AIRcraft-1.0: High-resolution SAR aircraft detection and recognition dataset[J]. Journal of Radars, 2023, 12(4): 906–922. doi: 10.12000/JR23043

SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集

DOI: 10.12000/JR23043
基金项目: 国家自然科学基金(62076241, 62171436)
详细信息
    作者简介:

    王智睿,博士,副研究员,主要研究方向为SAR图像智能解译、多源协同感知

    康玉卓,博士生,主要研究方向为SAR图像智能解译

    曾 璇,博士生,主要研究方向为SAR图像智能解译、极化SAR地物要素分类等

    汪越雷,博士生,计算机视觉和模式识别、遥感图像解译

    张 汀,博士生,主要研究方向为计算机视觉和模式识别、遥感图像解译

    孙 显,博士,研究员,博士生导师,主要研究方向为计算机视觉与遥感图像理解

    通讯作者:

    孙显 sunxian@aircas.ac.cn

  • 责任主编:徐丰 Corresponding Editor: XU Feng
  • 中图分类号: TP753

SAR-AIRcraft-1.0: High-resolution SAR Aircraft Detection and Recognition Dataset(in English)

Funds: The National Natural Science Foundation of China (62076241, 62171436)
More Information
  • 摘要: 针对合成孔径雷达(SAR)图像中飞机散射点离散以及背景强干扰造成虚警的问题,该文提出了一种结合散射感知的SAR飞机检测识别方法。一方面,通过上下文引导的特征金字塔模块来增强全局信息,减弱复杂场景中强干扰的影响,提高检测识别的准确率。另一方面,利用散射关键点对目标进行定位,设计散射感知检测模块实现对回归框的细化校正,增强目标的定位精度。为了验证方法有效性、同时促进SAR飞机检测识别领域的研究发展,该文制作并公开了一个高分辨率SAR-AIRcraft-1.0数据集。该数据集图像来自高分三号卫星,包含4,368张图片和16,463个飞机目标实例,涵盖A220, A320/321, A330, ARJ21, Boeing737, Boeing787和other共7个类别。该文将提出的方法和常见深度学习算法在构建的数据集上进行实验,实验结果证明了散射感知方法的优异性能,并且形成了该数据集在SAR飞机检测、细粒度识别、检测识别一体化等不同任务中性能指标的基准。

     

  • 分辨问题是雷达系统的基本问题之一。传统方法是利用波形模糊函数来定义分辨限[1],即考察特定波形在和理想目标回波(含距离时延和多普勒调制)匹配滤波后响应函数波峰的3 dB或4 dB宽度,由此来确定该雷达波形对应的距离分辨率和多普勒分辨率,一般工程实践中将这个宽度对应的分辨率限称为瑞利限,并认为实际中当两个目标的时延间隔或者多普勒差异在瑞利限以内时,将无法分辨。两线性调频(LFM)信号在时间上相距瑞利限内间隔时匹配滤波结果会产生相加混叠效果。如图1所示,两目标距离为0.5/B时(B为信号带宽),匹配滤波只能得到1个峰值,而当两目标的距离达到1.5/B时出现2个峰值。因此,目前在雷达的工程实践中,一般采用模糊函数分析方法,距离上相近目标可分辨的瑞利限定义为δrayleigh=1/B

    图  1  两线性调频信号相关的单次蒙特卡洛仿真
    Figure  1.  Monte Carlo simulation of the correlation result of two LFM signals

    采用传统模糊函数分析方法可以得到某种雷达波形所对应的确定性分辨率指标,但是需要进一步探究以下问题:第一,传统的模糊函数分辨限分析方法基本出发点是采用匹配滤波来处理回波信号,匹配滤波在白噪声和点目标前提下使得输出信噪比最大,对检测来说最优,并不适用于多个目标的分辨问题;第二,模糊函数分析方法并不能反映出噪声、目标起伏等随机因素、以及近距多目标波形相互干扰等因素的影响;第三,模糊函数分析方法只能对两个相同信噪比的目标给出分辨率的结论,但不适用于实际中经常存在的不同信噪比的多个目标的分辨。

    在一些相关的领域如波达方向角(DOA)、功率谱、空间谱估计中,已经开展了大量高分辨理论和算法的研究,并实现了对瑞利限的突破[24]。因此,有必要对传统雷达模糊函数分析方法所确定的雷达波形分辨率分析方法做进一步的探讨和研究。

    为便于分析,本文采取如下研究思路:

    (1) 对雷达分辨问题场景简化:一是先仅考虑距离分辨问题,即忽略多普勒分辨问题。如果1维距离分辨问题可以得到解决,则推广到2维的场景即是一个相对比较自然的过程。二是先考虑两个目标的分辨问题,因为一旦两个目标的问题解决,多目标分辨问题可以自然外推;

    (2) 对雷达分辨问题模型简化:对于接收机收到的两个和噪声相混叠的雷达目标回波,存在两种不同的分辨问题定义:(a)分辨模型1—通过处理,判定存在两个目标,但不需要同时估计出两个目标的位置,因为一旦有了两个目标存在的先验信息,有很多超分辨算法用于实现位置的估计。(b)分辨模型2—通过处理,判定存在两个目标,同时两个目标位置的估计值也满足准确性要求,如误差小于某个阈值。可以发现,分辨模型2比分辨模型1的要求更高,因为其将目标数估计和目标参数估计问题同时进行了考虑,分析也更为复杂。所以,为简化问题,本文暂时只考虑分辨模型1;

    (3) 对待分辨信号形式进行前推:在工程实践中,经常首先实现对回波信号的匹配滤波以最大化输出信噪比。最大化输出信噪比对于目标检测在理论上已经证明是最优的,但是输出高信噪比对于近邻目标的分辨是否一定是最有利,这个问题还是存疑的。因为在高信噪比条件下,两个目标匹配滤波的响应函数之间的相互影响也会更加严重,甚至有可能会导致分辨性能下降。因此,本文直接对原始回波数据进行处理,以去除匹配滤波可能带来的影响;

    (4) 把分辨问题看成是一个统计问题:由于噪声、目标起伏等随机因素的存在,雷达中目标分辨问题实际是一个随机问题,存在正确分辨概率和错误分辨概率。而传统的模糊函数分析法没有考虑到随机性,只能给出一个确定性的分辨率指标,这对指导实际的雷达系统性能测试和标定等存在一定的问题。本文明确提出统计分辨率的概念,并给出正确分辨概率和错误分辨概率的表达式,这对于工程实践将具有指导意义。

    本文将分辨看作是一个统计问题,研究目标是统计分辨限(Statistical Resolution Limit, SRL)。当前,和统计分辨率相关的研究工作主要有两个方向:

    一是直接从目标参数估计的准确性出发,对统计分辨率进行研究[58]。如文献[5]针对多个不同频率信号的分辨问题,直接基于目标参数估计的统计下界克拉美罗界(Cramer-Rao Bound, CRB)来定义,并将系统的分辨率表示为pmink (CRB(θk)),其中参数p为恒定系数,θk为待分辨参数。文献[6]考虑到两信号之间的耦合,将上述定义扩展到待分辨参数间隔的统计下限,为pCRB(θ1θ2)。文献[7]则从多维统计分辨角度更深入地描述了该问题。文献[8]讨论了近场条件下基于CRB定义的统计分辨限。总体来看,基于CRB定义的SRL反映了对参数估计的准确程度,具有一定物理意义,但该类方法需假定目标个数已知,同时在参数p的选择上存在一定的主观性,并不能直接应用于实际雷达目标的距离分辨问题中来。

    二是采用假设检验理论来研究分辨问题。如文献[9]研究了白噪声中两频率相近正弦信号的频率统计分辨问题,并与MUSIC方法超分辨性能进行了比较。文献[10]推导了高斯白噪声条件下3维空间中两近邻目标的方位SRL,并采用广义似然比(GLRT)统计量获得了渐进分辨性能,推导了分辨限与CRB的关系。EL KORSO等人[11]针对被动阵列应用场景,系统地研究了存在点源干扰条件下两空间近邻目标的方位统计分辨限。文献[12]基于信息论准则,讨论了两方位近邻目标的统计分辨性能。文献[13]则将相关研究从GLRT检测扩展到Rao检测。文献[14]针对TR-MIMO雷达讨论了方位统计分辨问题。SHAHAM等人[15,16]则假定匹配滤波后响应函数sinc2(x),研究光学领域成像的距离统计分辨性能。上述研究工作主要集中在方位和频率维度的统计分辨性能,围绕雷达距离统计分辨率研究目前还处于起步阶段。

    本文针对分辨模型1,采用假设检验理论研究雷达近邻目标的分辨问题:在某一段距离范围内,假定已经确定有目标存在,需要判定是一个还是两个目标。

    本文采用如下定义:(1)分辨概率—指能够正确判定存在两个目标的概率;(2)虚判概率—实际只有一个目标,但判定为两个目标的概率。通过研究回答以下问题:一是给定雷达波形、两目标距离间隔和虚判概率,如何计算理论上能够达到的最大分辨概率。二是给定雷达波形、虚判概率和分辨概率,如何计算理论上能够达到的最小两目标分辨极限。

    本文中,()T()H分别表示向量或矩阵的转置和共轭转置,()表示取共轭操作。s代表不超过s的最大整数。IL表示维度为L×L的单位阵。RC分别是实数和复数的集合,Re()Im()分别为复数的实部和虚部。本文组织如下:第2节介绍问题的模型,第3节开展统计分辨性能的讨论和分析,第4节给出仿真结果,第5节进行总结。

    在考虑分辨问题时,和文献[916]相类似,本文研究前提是判断出有目标存在。例如可通过匹配滤波处理,得到目标回波的匹配滤波输出响应,形成有效目标存在性的判决,并粗略判断出目标回波的中心位置。下面将基于目标存在和中心位置已知的信息,来判断是一个目标还是两个目标。

    假定雷达发射的基带复信号为s(t),两目标回波幅度分别为α1α2,注意α1α2为复数。两目标回波到达时间分别为t1t2,即雷达基带回波信号可表示为x(t)=α1s(tt1)+α2s(tt2),信号s(t)带宽为B,时宽为τ,假定两回波间隔为t1t2=δt小于瑞利分辨单元,即δt<1/B,且两回波的中心t0=(t1+t2)/2已知。n(t)为零均值、方差为σ2的复加性高斯白噪声。上述分辨问题可以建模为二元假设检验问题,表示为

    x(t)={(α1+α2)s(tt0)+n(t),  H0α1s(tt1)+α2s(tt2)+n(t), H1
    (1)

    其中,H0假设代表只有一个目标,H1假设代表存在两个目标。假设检验的目标就是要判断两信号的时延差δt=t2t1是否为0。对近邻目标,假定δt足够小,令t=tt0,α=α1α2,α+=α1+α2,将H1表达式在t处进行泰勒展开保留2阶项,可得

    α1s(t+δt2)+α2s(tδt2)α+s(t)+δt2αds(t)dt|t=t+δt28α+d2s(t)dt2|t=t
    (2)

    其中,ds(t)dt|t=t为信号s(t)t 处的1阶导数,d2s(t)dt2|t=t s(t) t 处的2阶导数。

    对信号及1阶、2阶导数的波形进行等间隔采样,采样频率fs大于信号带宽,则采样点数为L=τ×fs。采样结果为s=[s(1)s(2)···s(L)]T, ˙s=[˙s(1)˙s(2)···˙s(L)]T¨s=[¨s(1)¨s(2)···¨s(L)]T,以n为高斯白噪声,n=[n(1)n(2)···n(L)]T,则式(2)对应的离散模型为

    {x=α+s+n,  H0xα+s+δt2α˙s+δt28α+¨s+n,  H1
    (3)

    其中,H0假设(δt=0)表示只存在一个目标,H1假设(δt=/ 0)表示存在两个目标。由于回波幅度未知,该模型为复合假设检验模型,存在未知参数α,α+δt

    设向量s构成的子空间对应的正交投影矩阵为Ps=ILs(sHs)1sH,对投影矩阵作特征分解,取L–1个不为0的特征值所对应的特征向量构成矩阵UCL×(L1),则有:Ps=UUH,UHU=IL1。令y=UHxw=UHn,易知UHs=0,则式(3)可转化为如下标准检测模型:

    {y=w, H0y=UH˙sαδt2+UH¨sα+δt28+w, H1
    (4)

    定义

    H[UH˙s  UH¨s]C(L1)×2θ[αδt/2  α+δt2/8]TR2×1

    则上述模型可以进一步写为

    {y=w, H0y=Hθ+w, H1
    (5)

    由于UHU=IL1,噪声n为高斯白噪声,即E(nnH)=σ2IL。因此:E(wwH)vs=E(UHnnHU)=UHE(nnH)U=σ2IL1,即w仍然为高斯白噪声。

    当幅度参数α1,α2确定未知时,最优检测器为广义似然比(Generalized Likelihood Ratio Test, GLRT)检测器,需先求得未知幅度参数的最大似然估计(Maximum Likelihood Estimator, MLE),再进行似然比检测。

    从式(4)可以看出该模型是复信号的线性假设检验模型,则根据统计信号处理相关知识[17],GLRT对应的统计量为

    T(y)=ˆθH(HHH)ˆθσ2/2
    (6)

    其中,ˆθ=(HHH)1HHy为假设H1θ的MLE[18]。将ˆθ代入式(6),则可得到检测统计量为

    T(y)=yHH(HHH)1HHyσ2/2=yHPHyσ2/2γ
    (7)

    其中,γ为检测门限,由给定的虚判概率确定。

    一般来说,采样点数L2,则从式(5)可得rank{H}=2。记PH =H(HHH)1HH,则有rank{PH}=2,记P=rank{PH}=2,进一步推导得到统计量的分布为[17]

    T(y)=2yHPHyσ2{χ22P,H0χ22P(λ),H1
    (8)

    其中,χ22Pχ22P(λ)分别为自由度2P的中心和非中心卡方分布,其中非中心参数λ[17]

    λ=2σ2θH(HHH)θ=2σ2[δt2α δt28α+][˙sHPs˙s˙sHPs¨s¨sHPs˙s¨sHPs¨s][δt2αδt28α+]=2σ2(δt24|α|2(˙sHPs˙s)+δt464|α+|2(¨sHPs¨s)+δt38Re{α α+(˙sHPs¨s)})
    (9)

    定义信噪比为ρk=|αk|2/σ2,k=1,2。目标回波幅度相关系数记作c=(α1α2)/|α1||α2|=cR+jcI,则式(9)可以进一步写为

    λ=δt22(ρ1+ρ22cRρ1ρ2)(˙sHPs˙s)+δt34((ρ1ρ2)Re(˙sHPs¨s)2cIρ1ρ2Im(˙sHPs¨s))+δt432(ρ1+ρ2+2cRρ1ρ2)(¨sHPs¨s)
    (10)

    设H0和H1假设下统计量的概率密度函数(PDF)分别为fχ22P(t)fχ22P(λ)(t),则根据右尾函数的定义[17],分辨概率和虚判概率可表示为

    Pf=Qχ22P(γ)=γfχ22P(t)dtPd=Qχ22P(λ)(γ)=γfχ22P(λ)(t)dt

    其中,Qχ22P(γ)Qχ22P(λ)()分别为中心和非中心卡方分布的右尾概率函数。则给定虚判概率Pf,可求得门限γ和分辨概率Pd

    γ=Q1χ22P(Pf)  
    (11)
    Pd=Qχ22P(λ)(γ)
    (12)

    其中,Q1χ22P()Qχ22P()的逆函数。

    根据上述结果,我们可以实现对雷达应用中两种典型分辨性能进行分析:

    (1) 给定虚判概率Pf,波形s,两个目标信噪比ρ1,ρ2和回波幅度的相关系数c,以及预设分辨下限δt,计算出对应的正确分辨概率Pd。步骤如下:

    (a) 根据Pf,由式(11)计算判断门限γ

    (b) 根据s, ρ1,ρ2, cδt,由式(10)计算非中心参数λ

    (c) 根据λγ,由式(12)计算分辨概率Pd

    (2) 给定虚判概率Pf、分辨概率Pd,波形s,两目标信噪比ρ1,ρ2和回波幅度相关系数c,计算能够实现的分辨下限δt。步骤如下:

    (a) 根据Pf,由式(11)计算判断门限γ

    (b) 根据γPd,由式(12)逆函数计算非中心参数λ

    (c) 根据λ, s, ρ1,ρ2, c,由式(10)逆函数计算分辨下限δt

    在第(2)种应用中,第(c)步实际要求解式(10)表示的关于分辨限的一个一元四次方程,由于一元四次方程的解存在解析表达[19]故可直接求解,这里我们取其4个根中绝对值最小的实数解作为δt

    本节仿真采用的波形为线性调频(LFM)信号,s(t)=rect(t/τ)ejπKt2,τ/2tτ/2, K=B/τ,带宽和时宽分别为B=106 Hzτ=10 μs,采用10倍带宽采样,两信号距离间隔小于瑞利限,信噪比定义为SNRk=|αk|2/σ2,k=1,2,两信号的幅度的相关系数c=(α1α2)/|α1||α2|,从定义可以看出,相关系数的模恒为1。虚判概率默认设为Pf=0.001

    仿真1 对比假设检验方法与匹配滤波的分辨效果如图2所示。参数为:两幅度相位差为90度(即:cR=0)信号,间隔分别为0.2, 0.3和0.5倍瑞利限。图2中关于假设检验方法的仿真,保持一个信号的信噪比保持不变(0 dB),另一个信号的信噪比从–10 dB到10 dB变化。其中分辨概率的数值解是通过对每种信噪比进行1000次蒙特卡洛仿真,根据式(7)计算统计量超过门限γ次数,除以总次数得到。图3中的匹配滤波采用两信号的信噪比均为0 dB,图中给出的是单次蒙特卡洛随机仿真的结果。

    图  2  假设检验和匹配滤波方法的分辨性能对比
    Figure  2.  Comparisons of the hypothesis test and matched filter
    图  3  匹配滤波方法的分辨性能
    Figure  3.  Performance of matched filter

    图2(实线为理论分辨概率,符号为数值分辨率)可看出不同分辨间隔下,假设检验方法理论值和数值解基本一致,说明我们的理论结果是正确的。且只要信噪比足够大,该方法能够分辨瑞利限内的两近邻目标。而从图3可以看出(虚线表示两目标的真实位置),匹配滤波不能分辨瑞利限内的两近邻目标。

    仿真2 从式(10)可看出,非中心参数λ与两信号幅度的相关系数有关。根据非中心卡方分布的知识[17],在给定虚判概率下,λ与分辨概率呈现正相关关系,λ越大则分辨性能越好。故可以推知分辨概率与相关系数有关。仿真设置两信噪比为0 dB等功率信号,距离间隔为δt/δrayleight=0.4,变化相关系数c,相位从ππ,绘制分辨概率如图4所示。

    图  4  分辨概率与相关系数的关系
    Figure  4.  Relationship of the resolution rate and the correlation coefficient

    图4(a)可以得出,分辨概率随两信号幅度相关系数c的相位呈对称分布,当该相位差较大时分辨性能较好;但当相位差较小时分辨性能较差,当相位差为0时,分辨概率也接近于0,表明系统此时几乎没有分辨能力。从图4(b)图4(c)可以看出,分辨性能随着实部和虚部的增加呈现单调减少/增加的关系。

    仿真3 前已提及,分辨性能有2种评价方法,一是给定虚判概率、分辨限和波形参数,确定分辨概率的大小。二是给定虚判概率、分辨概率和波形参数,确定可达到的分辨下限。上面的仿真结果给出了第1种情况的结果。这里将考察第2种情况。假定两幅度不相关信号(c=0),设定分辨概率为0.9,虚判概率为Pf=0.001,绘制分辨限随两个目标信噪比变化的情况如图5所示。

    图  5  Pd=0.9时SRL与信噪比的关系
    Figure  5.  Relationship of SRL and SNR with Pd=0.9

    图5(a)可以看出,和分辨概率相一致,统计分辨限随信噪比增加而降低,即分辨性能随信噪比增加而提高。从图5(b)可以看出,对于幅度不相关,信噪比为0 dB的两等功率信号,设定0.9, 0.8和0.5的分辨概率,则最高可达0.28, 0.26和0.21倍瑞利限。

    仿真4 仍假定两个幅度相位差为90度的0 dB等功率信号,针对仿真2设置的条件,绘制分辨限与分辨概率和虚判概率的关系,如图6所示。

    图  6  SNR1=SNR2=0 dB时SRL和分辨概率及虚判概率的关系
    Figure  6.  Relationship of SRL and the resolution rate & the false-alarm rate with SNR1=SNR2=0 dB

    图6(a)可以看出,当虚判概率一定、要求的分辨概率越小时,或者分辨概率一定、要求的虚判概率越大时,统计分辨极限越小,故分辨性能越好。从图6(b)图6(c)可以看出,当设定虚判概率为0.001和分辨概率为0.5时,利用假设检验的分析方法,分辨限最高可达0.3倍瑞利限。

    本文采用假设检验理论研究两邻近目标的统计分辨限,通过深入剖析利用假设检验进行临近目标分辨的意义,给出假设检验理论下分辨概率和虚判概率的定义。通过泰勒展开近似和正交投影,将非线性分辨模型转化为线性检测模型,进而推导得到了分辨限的解析表达式,基于此讨论了影响统计分辨限的各种因素。

    本文利用线性调频信号进行了仿真,从结果可以看出,利用统计分辨限的分析方法可以实现对瑞利限的突破。在给定分辨概率和虚判概率下,两临近目标的距离统计分辨限不仅与两信号的信噪比有关,还与两信号回波的相关系数有关。分辨概率随信噪比增加而提高,统计分辨下限随信噪比增加而降低。还可以看出,相关系数的相位对分辨性能产生了影响。这些结论对于基于模糊函数的传统距离分辨性能分析方法均是有益补充,对于解决雷达实际应用中强弱信号同时存在情况下的分辨难题具有参考意义。本文结果表明传统意义上的低分辨雷达实际具有可达到高分辨性能的很大潜力。

    本文仅仿真了线性调频信号的情况,为简化分析,假定两目标回波的中心时刻已知。下面的工作将针对其他类型信号的分辨性能作进一步讨论,并扩展到两目标距离中心值未知的情形以及多目标的情况。

  • 图  1  SAR飞机检测识别中的挑战

    Figure  1.  The challenges in SAR aircraft detection and recognition

    图  2  不同类别SAR飞机和光学飞机样本示例

    Figure  2.  SAR and optical aircrafts of different categories

    图  3  各个类别的实例数量

    Figure  3.  The quantity of each type of instances

    图  4  飞机目标的尺寸分布

    Figure  4.  The size distribution of aircraft targets

    图  5  数据集标注示意图

    Figure  5.  The annotated results in the dataset

    图  6  提出方法的整体结构

    Figure  6.  The overall structure of the proposed method

    图  7  上下文引导的特征金字塔网络结构

    Figure  7.  The framework of context-guided feature pyramid network

    图  8  散射感知检测头的结构

    Figure  8.  The structure of scattering-aware detection head

    图  9  可视化结果展示

    Figure  9.  The visualization results

    图  10  混淆矩阵示意图

    Figure  10.  The confusion matrices for the methods

    图  11  不同先进方法的F1曲线

    Figure  11.  F1 curves of different advanced methods

    图  12  不同模块的F1曲线

    Figure  12.  F1 curves of different improvements in the proposed method

    图  13  不同模块的PR曲线

    Figure  13.  PR curves of different improvements in the proposed method

    图  14  检测结果和可视化

    Figure  14.  Detection results and visualization

    图  15  SA-Net的检测结果

    Figure  15.  Detection results of SA-Net

    1  SAR-AIRcraft-1.0:高分辨率SAR飞机检测识别数据集发布网页

    1.  Release webpage of SAR-AIRcraft-1.0: High-resolution SAR aircraft detection and recognition dataset

    图  1  The challenges in SAR aircraft detection and recognition

    图  2  SAR and optical aircrafts of different categories

    图  3  The quantity of each type of instances

    图  4  The size distribution of aircraft targets

    图  5  The annotated results in the dataset

    图  6  The overall structure of the proposed method

    图  7  The framework of context-guided feature pyramid network

    图  8  The structure of scattering-aware detection head

    图  9  The visualization results

    图  10  The confusion matrices for the methods

    图  11  F1 curves of different advanced methods

    图  12  F1 curves of different improvements in the proposed method

    图  13  PR curves of different improvements in the proposed method

    图  14  Detection results and visualization

    图  15  Detection results of SA-Net

    1  Release webpage of SAR-AIRcraft-1.0: High-resolution SAR aircraft detection and recognition dataset

    表  1  SAR-AIRcraft-1.0数据集与其他SAR目标检测识别数据集的比较

    Table  1.   Comparison between the SAR-AIRcraft-1.0 dataset and other SAR object detection datasets

    名称类别实例数量图片数量大小发布年份任务
    MSTAR105,9505,950128×1281998车辆识别
    OpenSARShip1711,34611,346256×2562017舰船检测识别
    SSDD12,4561,160190~6682017舰船检测
    SAR-Ship-Dataset159,53543,819256×2562019舰船检测
    AIR-SARShip-1.01461313000×30002019舰船检测
    HRSID116,9515,604800×8002020舰船检测和实例分割
    FUSAR-Ship1516,14416,144512×5122020舰船检测识别
    SADD17,8352,966224×2242022飞机检测
    MSAR-1.0460,39628,449256~20482022飞机、油罐、桥梁、舰船检测
    SAR-AIRcraft-1.0716,4634,368800~15002023飞机检测识别
    下载: 导出CSV

    表  2  不同方法的检测结果(%)

    Table  2.   The detection results of different methods (%)

    检测方法PRF1AP0.5AP0.75
    Faster R-CNN77.678.177.871.653.6
    Cascade R-CNN89.079.584.077.859.1
    Reppoints62.788.781.280.352.9
    SKG-Net57.688.869.979.851.0
    SA-Net87.582.284.880.461.4
    下载: 导出CSV

    表  3  不同类别实例目标的数量

    Table  3.   The number of instance targets of different categories

    类别训练集样本数量测试集样本数量总计
    A33027831309
    A320/3211719521771
    A22032704603730
    ARJ218253621187
    Boeing73720075502557
    Boeing78721914542645
    other322310414264
    总计13513295016463
    下载: 导出CSV

    表  4  细粒度识别结果(%)

    Table  4.   Fine-grained recognition results (%)

    方法 Acc (top-1/top-3)A330A320/321A220ARJ21Boeing737Boeing787other
    ResNet-5075.59/89.1974.1990.3878.0473.7661.6478.6380.50
    ResNet-10178.58/90.3793.5598.0876.9673.7671.8274.6784.82
    ResNeXt-5080.61/89.4683.8794.2378.9174.8673.2783.0485.40
    ResNeXt-10182.20/91.8387.1010080.8779.8371.0983.9287.70
    Swin Transformer81.29/92.5177.4210080.8774.5973.8286.1284.82
    下载: 导出CSV

    表  5  基于深度学习算法的检测结果(IoU=0.5)

    Table  5.   The performance of the algorithms based on deep learning (IoU=0.5)

    类别Faster
    R-CNN
    Cascade
    R-CNN
    ReppointsSKG-NetSA-Net
    A33085.087.489.879.388.6
    A320/32197.297.597.978.294.3
    A22078.574.071.466.480.3
    ARJ2174.078.073.065.078.6
    Boeing73755.154.555.765.159.7
    Boeing78772.968.351.869.670.8
    other70.169.168.471.471.3
    平均值(mAP)76.175.772.670.777.7
    下载: 导出CSV

    表  6  基于深度学习算法的检测结果(IoU=0.75)

    Table  6.   The performance of the algorithms based on deep learning (IoU=0.75)

    类别Faster
    R-CNN
    Cascade
    R-CNN
    ReppointsSKG-NetSA-Net
    A33085.087.466.466.488.6
    A320/32187.773.984.949.686.6
    A22058.749.149.429.855.0
    ARJ2155.259.050.937.759.7
    Boeing73742.839.136.648.741.8
    Boeing78760.557.641.851.660.4
    other45.446.143.141.147.7
    平均值(mAP)62.258.953.346.462.8
    下载: 导出CSV

    表  7  所提方法中各个模块的影响(%)

    Table  7.   Influence of each component in the proposed method (%)

    方法 PRF1AP0.5AP0.75
    Baseline88.181.284.579.660.7
    Baseline+SA-Head88.282.185.080.360.8
    Baseline+CG-FPN88.681.985.180.460.4
    SA-Net87.582.284.880.461.4
    下载: 导出CSV

    表  1  Comparison between the SAR-AIRcraft-1.0 dataset and other SAR object detection datasets

    Dataset Category Instance Image Size Release year Task
    MSTAR 10 5,950 5,950 128×128 1998 Vehicle identification
    OpenSARShip 17 11,346 11,346 256×256 2017 Ship detection and recognition
    SSDD 1 2,456 1,160 190~668 2017 Ship detection
    SAR-Ship-Dataset 1 59,535 43,819 256×256 2019 Ship detection
    AIR-SARShip-1.0 1 461 31 3000× 3000 2019 Ship detection
    HRSID 1 16,951 5,604 800×800 2020 Ship detection and segmentation
    FUSAR-Ship 15 16,144 16,144 512×512 2020 Ship detection and recognition
    SADD 1 7,835 2,966 224×224 2022 Aircraft detection
    MSAR-1.0 4 60,396 28,449 256~2048 2022 Aircraft, oil tanks, bridges, and ships detection
    SAR-AIRcraft-1.0 7 16,463 4,368 800~ 1500 2023 Aircraft detection and identification
    下载: 导出CSV

    表  2  Detection results of different methods (%)

    Detection methods P R F1 AP 0.5 AP 0.75
    Faster R-CNN 77.6 78.1 77.8 71.6 53.6
    Cascade R-CNN 89.0 79.5 84.0 77.8 59.1
    RepPoints 62.7 88.7 81.2 80.3 52.9
    SKG-Net 57.6 88.8 69.9 79.8 51.0
    SA-Net 87.5 82.2 84.8 80.4 61.4
    下载: 导出CSV

    表  3  The number of instance targets of different categories

    Category Training set number Test set number Total
    A330 278 31 309
    A320/321 1719 52 1771
    A220 3270 460 3730
    ARJ21 825 362 1187
    Boeing737 2007 550 2557
    Boeing787 2191 454 2645
    other 3223 1041 4264
    Total 13513 2950 16463
    下载: 导出CSV

    表  4  Fine-grained recognition results (%)

    Methods Acc (top-1/top-3) A330 A320/321 A220 ARJ21 Boeing737 Boeing787 Other
    ResNet-50 75.59/89.19 74.19 90.38 78.04 73.76 61.64 78.63 80.50
    ResNet-101 78.58/90.37 93.55 98.08 76.96 73.76 71.82 74.67 84.82
    ResNeXt-50 80.61/89.46 83.87 94.23 78.91 74.86 73.27 83.04 85.40
    ResNeXt-101 82.20/91.83 87.10 100 80.87 79.83 71.09 83.92 87.70
    Swin Trarsformer 81.29/ 92.51 77.42 100 80.87 74.59 73.82 86.12 84.82
    下载: 导出CSV

    表  5  The performance of the algorithms based on deep learning (IoU=0.5)

    Category Faster
    R-CNN
    Cascade
    R-CNN
    Reppoints SKG-Net SA-Net
    A330 85.0 87.4 89.8 79.3 88.6
    A320/321 97.2 97.5 97.9 78.2 94.3
    A220 78.5 74.0 71.4 66.4 80.3
    ARJ21 74.0 78.0 73.0 65.0 78.6
    Boeing737 55.1 54.5 55.7 65.1 59.7
    Boeing787 72.9 68.3 51.8 69.6 70.8
    other 70.1 69.1 68.4 71.4 71.3
    mAP 76.1 75.7 72.6 70.7 77.7
    下载: 导出CSV

    表  6  The performance of the algorithms based on deep learning (IoU=0.75)

    Category Faster
    R-CNN
    Cascade
    R-CNN
    Reppoints SKG-Net SA-Net
    A330 85.0 87.4 66.4 66.4 88.6
    A320/321 87.7 73.9 84.9 49.6 86.6
    A220 58.7 49.1 49.4 29.8 55.0
    ARJ21 55.2 59.0 50.9 37.7 59.7
    Boeing737 42.8 39.1 36.6 48.7 41.8
    Boeing787 60.5 57.6 41.8 51.6 60.4
    other 45.4 46.1 43.1 41.1 47.7
    mAP 62.2 58.9 53.3 46.4 62.8
    下载: 导出CSV

    表  7  Influence of each component in the proposed method (%)

    Methods P R F1 AP 0.5 AP 0.75
    Baseline 88.1 81.2 84.5 79.6 60.7
    Baseline+SA-Head 88.2 82.1 85.0 80.3 60.8
    Baseline+CG-FPN 88.6 81.9 85.1 80.4 60.4
    SA-Net 87.5 82.2 84.8 80.4 61.4
    下载: 导出CSV
  • [1] FU Kun, FU Jiamei, WANG Zhirui, et al. Scattering-keypoint-guided network for oriented ship detection in high-resolution and large-scale SAR images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 11162–11178. doi: 10.1109/JSTARS.2021.3109469.
    [2] GUO Qian, WANG Haipeng, and XU Feng. Scattering enhanced attention pyramid network for aircraft detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(9): 7570–7587. doi: 10.1109/TGRS.2020.3027762.
    [3] SHAHZAD M, MAURER M, FRAUNDORFER F, et al. Buildings detection in VHR SAR images using fully convolution neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 1100–1116. doi: 10.1109/TGRS.2018.2864716.
    [4] ZHANG Zhimian, WANG Haipeng, XU Feng, et al. Complex-valued convolutional neural network and its application in polarimetric SAR image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(12): 7177–7188. doi: 10.1109/TGRS.2017.2743222.
    [5] FU Kun, DOU Fangzheng, LI Hengchao, et al. Aircraft recognition in SAR images based on scattering structure feature and template matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11): 4206–4217. doi: 10.1109/JSTARS.2018.2872018.
    [6] DU Lan, DAI Hui, WANG Yan, et al. Target discrimination based on weakly supervised learning for high-resolution SAR images in complex scenes[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(1): 461–472. doi: 10.1109/TGRS.2019.2937175.
    [7] CUI Zongyong, LI Qi, CAO Zongjie, et al. Dense attention pyramid networks for multi-scale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 11: 8983–8997. doi: 10.1109/TGRS.2019.2923988.
    [8] ZHANG Jinsong, XING Mengdao, and XIE Yiyuan. FEC: A feature fusion framework for SAR target recognition based on electromagnetic scattering features and deep CNN features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3): 2174–2187. doi: 10.1109/TGRS.2020.3003264.
    [9] ZHAO Yan, ZHAO Lingjun, LI Chuyin, et al. Pyramid attention dilated network for aircraft detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(4): 662–666. doi: 10.1109/LGRS.2020.2981255.
    [10] ZHAO Yan, ZHAO Lingjun, LIU Zhong, et al. Attentional feature refinement and alignment network for aircraft detection in SAR imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5220616. doi: 10.1109/TGRS.2021.3139994.
    [11] FU Jiamei, SUN Xian, WANG Zhirui, et al. An anchor-free method based on feature balancing and refinement network for multiscale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(2): 1331–1344. doi: 10.1109/TGRS.2020.3005151.
    [12] SUN Yuanrui, WANG Zhirui, SUN Xian, et al. SPAN: Strong scattering point aware network for ship detection and classification in large-scale SAR imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 1188–1204. doi: 10.1109/JSTARS.2022.3142025.
    [13] 郭倩, 王海鹏, 徐丰. SAR图像飞机目标检测识别进展[J]. 雷达学报, 2020, 9(3): 497–513. doi: 10.12000/JR20020.

    GUO Qian, WANG Haipeng, and XU Feng. Research progress on aircraft detection and recognition in SAR imagery[J]. Journal of Radars, 2020, 9(3): 497–513. doi: 10.12000/JR20020.
    [14] 吕艺璇, 王智睿, 王佩瑾, 等. 基于散射信息和元学习的SAR图像飞机目标识别[J]. 雷达学报, 2022, 11(4): 652–665. doi: 10.12000/JR22044.

    LYU Yixuan, WANG Zhirui, WANG Peijin, et al. Scattering information and meta-learning based SAR images interpretation for aircraft target recognition[J]. Journal of Radars, 2022, 11(4): 652–665. doi: 10.12000/JR22044.
    [15] KANG Yuzhuo, WANG Zhirui, FU Jiamei, et al. SFR-Net: Scattering feature relation network for aircraft detection in complex SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5218317. doi: 10.1109/TGRS.2021.3130899.
    [16] CHEN Jiehong, ZHANG Bo, and WANG Chao. Backscattering feature analysis and recognition of civilian aircraft in TerraSAR-X images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 796–800. doi: 10.1109/LGRS.2014.2362845.
    [17] SUN Xian, LV Yixuan, WANG Zhirui, et al. SCAN: Scattering characteristics analysis network for few-shot aircraft classification in high-resolution SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5226517. doi: 10.1109/TGRS.2022.3166174.
    [18] KEYDEL E R, LEE S W, and MOORE J T. MSTAR extended operating conditions: A tutorial[C]. The SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III, Orlando, USA, 1996: 228–242.
    [19] HUANG Lanqing, LIU Bin, LI Boying, et al. OpenSARShip: A dataset dedicated to Sentinel-1 ship interpretation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(1): 195–208. doi: 10.1109/JSTARS.2017.2755672.
    [20] LI Jianwei, QU Changwen, and SHAO Jiaqi. Ship detection in SAR images based on an improved faster R-CNN[C]. 2017 SAR in Big Data Era: Models, Methods and Applications (BIGSARDATA), Beijing, China, 2017: 1–6.
    [21] WANG Yuanyuan, WANG Chao, ZHANG Hong, et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J]. Remote Sensing, 2019, 11(7): 765. doi: 10.3390/rs11070765.
    [22] 孙显, 王智睿, 孙元睿, 等. AIR-SARShip-1.0: 高分辨率SAR舰船检测数据集[J]. 雷达学报, 2019, 8(6): 852–862. doi: 10.12000/JR19097.

    SUN Xian, WANG Zhirui, SUN Yuanrui, et al. AIR-SARShip-1.0: High-resolution SAR ship detection dataset[J]. Journal of Radars, 2019, 8(6): 852–862. doi: 10.12000/JR19097.
    [23] WEI Shunjun, ZENG Xiangfeng, QU Qizhe, et al. HRSID: A high-resolution SAR images dataset for ship detection and instance segmentation[J]. IEEE Access, 2020, 8: 120234–120254. doi: 10.1109/ACCESS.2020.3005861.
    [24] HOU Xiyue, AO Wei, SONG Qian, et al. FUSAR-Ship: Building a high-resolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J]. Science China Information Sciences, 2020, 63(4): 140303. doi: 10.1007/s11432-019-2772-5.
    [25] ZHANG Peng, XU Hao, TIAN Tian, et al. SEFEPNet: Scale expansion and feature enhancement pyramid network for SAR aircraft detection with small sample dataset[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 3365–3375. doi: 10.1109/JSTARS.2022.3169339.
    [26] 陈杰, 黄志祥, 夏润繁, 等. 大规模多类SAR目标检测数据集-1.0[J/OL]. 雷达学报. https://radars.ac.cn/web/data/getData?dataType=MSAR, 2022.

    CHEN Jie, HUANG Zhixiang, XIA Runfan, et al. Large-scale multi-class SAR image target detection dataset-1.0[J/OL]. Journal of Radars. https://radars.ac.cn/web/data/getData?dataType=MSAR, 2022.
    [27] HU Jie, SHEN Li, and SUN Gang. Squeeze-and-excitation networks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 7132–7141.
    [28] SUN Yuanrui, SUN Xian, WANG Zhirui, et al. Oriented ship detection based on strong scattering points network in large-scale SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 5218018. doi: 10.1109/TGRS.2021.3130117.
    [29] HUANG Lichao, YANG Yi, DENG Yafeng, et al. DenseBox: Unifying landmark localization with end to end object detection[J]. arXiv preprint arXiv: 1509.04874, 2015.
    [30] MIKOLAJCZYK K and SCHMID C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63–86. doi: 10.1023/B:VISI.0000027790.02288.f2.
    [31] OLUKANMI P O, NELWAMONDO F, and MARWALA T. K-means-MIND: An efficient alternative to repetitive k-means runs[C]. 2020 7th International Conference on Soft Computing & Machine Intelligence (ISCMI), Stockholm, Sweden, 2020: 172–176.
    [32] DAI Jifeng, QI Haozhi, XIONG Yuwen, et al. Deformable convolutional networks[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 764–773.
    [33] FAN Haoqiang, SU Hao, and GUIBAS L. A point set generation network for 3d object reconstruction from a single image[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2463–2471.
    [34] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2999–3007.
    [35] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778.
    [36] GIRSHICK R. Fast R-CNN[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440–1448.
    [37] CAI Zhaowei and VASCONCELOS N. Cascade R-CNN: Delving into high quality object detection[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 6154–6162.
    [38] YANG Ze, LIU Shaohui, HU Han, et al. RepPoints: Point set representation for object detection[C]. 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea, 2019: 9656–9665.
    [39] XIE Saining, GIRSHICK R, DOLLÁR P, et al. Aggregated residual transformations for deep neural networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 5987–5995.
    [40] LIU Ze, LIN Yutong, CAO Yue, et al. Swin transformer: Hierarchical vision transformer using shifted windows[C]. 2021 IEEE/CVF International Conference on Computer Vision, Montreal, Canada, 2021: 9992–10002.
    [41] TIAN Zhi, SHEN Chunhua, CHEN Hao, et al. FCOS: Fully convolutional one-stage object detection[C]. 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea, 2019: 9626–9635.
  • 期刊类型引用(10)

    1. 沈学利,王嘉慧,吴正伟. 融合空-频域的动态SAR图像目标检测. 光电工程. 2025(01): 70-88 . 百度学术
    2. 赵志成,蒋攀,王福田,肖云,李成龙,汤进. 基于深度学习的SAR弱小目标检测研究进展. 计算机系统应用. 2024(06): 1-15 . 百度学术
    3. 张武,刘秀清. 基于改进YOLOv5的SAR图像飞机目标细粒度识别. 国外电子测量技术. 2024(06): 143-151 . 百度学术
    4. 龙伟军,郭宇轩,徐艺卓,杜川. 基于二分匹配Transformer的SAR图像检测. 信号处理. 2024(09): 1648-1658 . 百度学术
    5. 赵琰,赵凌君,张思乾,计科峰,匡纲要. 自监督解耦动态分类器的小样本类增量SAR图像目标识别. 电子与信息学报. 2024(10): 3936-3948 . 百度学术
    6. 李斌,崔宗勇,汪浩瀚,周正,田宇,曹宗杰. SAR目标增量识别中基于最大化非重合体积的样例挑选方法. 电子与信息学报. 2024(10): 3918-3927 . 百度学术
    7. 周文骏,黄硕,张宁,宋传龙,赵宇轩,段一帆,徐国庆. 基于MA-DETR的SAR图像飞机目标检测. 光学精密工程. 2024(18): 2814-2822 . 百度学术
    8. 江跃龙,孟思明,陈伟迅,汤畅杰,唐鹤芳. 基于目标检测与图像识别融合的轨道异物检测系统研究. 科技资讯. 2024(20): 71-74 . 百度学术
    9. 韩萍,赵涵,廖大钰,彭彦文,程争. 一种目标区域特征增强的SAR图像飞机目标检测与识别网络. 电子与信息学报. 2024(12): 4459-4470 . 百度学术
    10. 邓鑫,向聪,张俊,王伟. 基于Transformer的SAR图像飞机检测识别. 火控雷达技术. 2024(04): 1-9 . 百度学术

    其他类型引用(4)

  • 加载中
图(32) / 表(14)
计量
  • 文章访问数: 10822
  • HTML全文浏览量: 2235
  • PDF下载量: 1732
  • 被引次数: 14
出版历程
  • 收稿日期:  2023-04-17
  • 修回日期:  2023-06-27
  • 网络出版日期:  2023-07-17
  • 刊出日期:  2023-08-28

目录

/

返回文章
返回