Multistation Cooperative Radar Target Recognition Based on an Angle-guided Transformer Fusion Network
-
摘要: 多站协同雷达目标识别旨在利用多站信息的互补性提升识别性能。传统多站协同目标识别方法未直接考虑站间数据差异问题,且通常采用相对简单的融合策略,难以取得准确、稳健的识别性能。该文针对多站协同雷达高分辨距离像(HRRP)目标识别问题,提出了一种基于角度引导的Transformer融合网络。该网络以Transformer作为特征提取主体结构,提取单站HRRP的局部和全局特征。并在此基础上设计了3个新的辅助模块促进多站特征融合学习,角度引导模块、前级特征交互模块以及深层注意力特征融合模块。首先,角度引导模块使用目标方位角度对站间数据差异进行建模,强化了所提特征与多站视角的对应关系,提升了特征稳健性与一致性。其次,前级特征交互模块和深层注意力特征融合模块相结合的融合策略,实现了对各站特征的多阶段层次化融合。最后,基于实测数据模拟多站场景进行协同识别实验,结果表明所提方法能够有效地提升多站协同时的目标识别性能。
-
关键词:
- 多站协同雷达目标识别 /
- 高分辨距离像(HRRP) /
- 角度引导 /
- 注意力特征融合 /
- Transformer融合网络
Abstract: Multistation cooperative radar target recognition aims to enhance recognition performance by utilizing the complementarity between multistation information. Conventional multistation cooperative target recognition methods do not explicitly consider the issue of interstation data differences and typically adopt relatively simple fusion strategies, which makes it difficult to obtain accurate and robust recognition performance. In this study, we propose an angle-guided transformer fusion network for multistation radar High-Resolution Range Profile (HRRP) target recognition. The extraction of the local and global features of the single-station HRRP is conducted via feature extraction, which employs a transformer as its main structure. Furthermore, three new auxiliary modules are created to facilitate fusion learning: the angle-guided module, the prefeature interaction module, and the deep attention feature fusion module. First, the angle guidance module enhances the robustness and consistency of features via modeling data differences between multiple stations and reinforces individual features associated with the observation perspective. Second, the fusion approach is optimized, and the multilevel hierarchical fusion of multistation features is achieved by combining the prefeature interaction module and the deep attention feature fusion module. Finally, the experiments are conducted on the basis of the simulated multistation scenarios with measured data, and the outcomes demonstrate that our approach can effectively enhance the performance of target recognition in multistation coordination. -
1. 引言
雷达高分辨距离像(High-Resolution Range Profile, HRRP)是基于宽带雷达信号获取的目标散射点子回波在雷达射线方向上投影的向量和,包含了大量与目标尺寸、目标物理结构、散射点分布相关的信息。其中,HRRP的起伏反映了目标散射结构沿雷达视线方向的分布情况,HRRP的峰值反映了散射结构的强弱。此外,相较于二维的合成孔径雷达图像,一维HRRP数据具有获取容易、需要的存储资源少等特点。这使得HRRP在雷达自动目标识别(Radar Automatic Target Recognition, RATR)领域有着广泛的应用。
现阶段,基于HRRP的雷达目标识别技术主要以单雷达获取的回波作为主要数据来源,以深度网络等方法作为主要特征提取模块,配合分类器实现对未知目标的类别判断[1-3]。但是,随着应用场景不断趋于复杂,基于单雷达的HRRP目标识别系统逐渐无法满足复杂场景的性能需求,识别准确性和可靠性难以保证。针对这一问题,多站协同目标识别技术提供一种解决思路。其通过多部雷达在相同时刻对同一目标从不同距离、不同视角进行观测,利用多站数据之间的信息互补特性,能够实现更加准确、稳健的目标识别[4-7]。
多站协同目标识别主要涉及雷达信息融合处理技术,根据融合模块在信息流中所处的位置,可进一步划分为数据融合、特征融合、决策融合。如图1所示,上述3种融合方式分别通过输入数据维度拼接、中间隐层特征拼接、输出识别概率加权的方式实现了多站雷达协同识别。
近些年,复杂场景下的多站协同目标识别方法逐渐成为RATR领域的研究重点[8-12]。文献[13]提出了一种基于特征拼接的双雷达微动特征融合识别方法,该方法将两个不同角度的雷达传感器获得的雷达数据分别进行特征提取,将提取到的双雷达微动特征进行融合,最后利用支持向量机进行分类。文献[14]提出了一种基于多雷达传感器融合行人识别方法,该方法首先对多雷达接收到的回波进行时空对齐和数据关联,实现对行人和骑行者进行自动检测、跟踪和分类。文献[15]研究了多雷达传感器网络中目标决策融合问题,该研究将决策融合问题建模为一个多输入多输出(Multi-Input Multi-Output, MIMO)系统,提出了MIMO融合规则。上述研究结果表明:利用多角度或者多站点的雷达观测的回波信号协同识别,有助于提高目标识别的准确性与稳健性。然而,现阶段的多站协同目标识别方法缺乏对站间数据关联性和差异性的建模,在站间数据差异大时,往往难以取得较好的识别性能。此外,现有方法的融合策略较为简单,多采用数据拼接、特征拼接、加权决策等方法,难以实现多站信息的充分利用,一定程度上限制了现有多站协同目标识别方法的性能提升。
针对上述问题,本文提出了一种基于角度引导Transformer融合网络的多站HRRP协同识别方法。首先,该方法采用Transformer结构作为特征提取器,利用其突出的长距离依赖关系提取能力,提取HRRP数据自身的时序特性和空间结构相关性,获得表征目标结构特性的回波特征。其次,针对多站数据差异大的问题,本文设计了角度引导模块。该模块以目标方位角度作为辅助信息,对多站数据差异进行建模,一方面强化了所提特征与目标方位的关系,提升了模型抵抗扰动的能力,使得提取到的特征更加稳健;另一方面,利用方位角度在多站隐层特征间构建非线性映射,使经角度引导模块修正后的各站特征在隐空间内具有较好的一致性,缓解了由多站数据差异性大引起的融合识别性能不足的问题。然后,针对现有方法融合策略简单、难以实现多站信息充分利用的问题,本文从多阶段特征融合的角度,设计了前级特征交互模块和深层注意力特征融合模块,实现了对各站特征在特征提取各个阶段的层次化融合。最后,基于实测数据设计了多站仿真实验,实验结果表明:本文方法可以有效实现多站HRRP特征融合,获得优于单站以及常规融合方法的识别性能。
2. 多站协同识别模型
2.1 模型概述
本文提出了一种基于角度引导Transformer融合网络的多站HRRP协同识别方法,整体结构如图2所示。模型可分为单支路特征提取部分与多支路特征融合部分。在单支路特征提取部分,首先对每一部雷达获取的HRRP进行数据预处理,将输入HRRP进行模2范数归一、对齐消除幅度敏感性和平移敏感性。其次,将预处理后的单个HRRP样本进行子序列划分、映射并添加位置编码。然后,利用级联的两个Transformer层提取HRRP特征。最后,使用角度引导模块对各支路中与目标方位相对应的特征进行增强。在多支路特征融合部分,首先使用前级特征交互模块对各站HRRP特征进行特征学习阶段的融合。这种早期融合策略使每一支路提早获得其余支路的信息,降低后续融合任务的难度。然后,利用深层注意力特征融合模块的自注意力机制对多站特征进行交互,获取各站特征间的相互依赖关系,然后根据依赖关系的强弱进行自适应的多站特征融合。最后,使用分类层对融合特征进行分类,获得预测的目标类别。
2.2 数据预处理
由于HRRP的方位敏感性、幅度敏感性和平移敏感性会对模型提取稳健的目标特征产生一定影响[16],因此,需对HRRP进行归一和对齐预处理,减弱HRRP敏感性造成的影响。以单支路为例,复HRRP数据用
r=[r1,r2,⋯,rL]T 表示,其中ri 表示第i个距离单元的子回波,L表示距离单元总数。对复HRRP数据取幅值,得到实HRRP数据x=|r|=[x1,x2,⋯,xL]T 。针对幅度敏感性,本文采取模2范数归一对实HRRP数据x 进行处理,得到幅度归一化后的HRRP样本xnorm∈R1×L ,即xnorm=x√L∑l=1x2l (1) 本文使用重心对齐方法克服平移敏感性。对
xnorm 进行循环移位操作,使其重心位于距离窗的中心位置,得到重心对齐后的HRRP样本xalign∈R1×L 。xnorm 的重心G可通过式(2)进行计算:G=L∑l=1l⋅˜xlL∑l=1˜xl (2) 其中,
˜xl 表示xnorm 中第l个距离单元的幅度值。为了使用Transformer模块捕获目标局部子结构的特征,还需要对
xalign 进行切分映射并添加位置编码,如图3所示。xalign 的划分方式需要综合考虑雷达距离分辨率、目标子结构描述粒度以及模型计算复杂度的影响。设P为每个HRRP子序列的长度,N=L/P 为划分的HRRP子序列个数,将xalign 划分为多个子序列后可表示为x′align∈RN×P :x′align=[x1P;x2P;⋯;xiP;⋯;xNP],i=1,2,⋯,N (3) 其中,
xiP∈R1×P 。然后,对划分后的每个子序列xiP 进行输入编码,将xiP 编码为D维的向量。x′align 经过输入编码后得到xemb ,即xemb=[x1PE;x2PE;⋯;xiPE;⋯;xNPE] (4) 其中,
E∈RP×D 表示输入编码器,xiPE∈R1×D 表示子序列编码,xemb∈RN×D 表示编码后的HRRP。本文用一个线性全连接层实现输入编码器,且所有子序列共享一个输入编码器。同时,为了无偏向性地对HRRP的每个子序列上的信息进行聚合,在HRRP子序列前添加一个聚合向量
xcls∈R1×D ,用于在深层注意力特征融合模块中聚合各站HRRP的特征。其次,为了充分利用HRRP子序列的空间位置关系,本文为聚合向量和xemb 中每一个HRRP子序列添加可学习的时序位置编码,即xin=[xcls;x1PE;x2PE;⋯;xNPE]+Epos (5) 其中,
Epos∈R(N+1)×D 表示位置编码矩阵,xin∈R(N+1)×D 表示预处理模块的输出,同时也作为第1个Transformer层的输入。2.3 Transformer模块
HRRP子序列是对目标局部子结构的描述,本文使用Transformer提取目标局部子结构内部以及子结构之间的特征。Transformer是一种具有注意力机制的模型,近年来已经在多个领域展现出了卓越的性能,并在序列建模问题中逐渐取代了现有的CNN, RNN等模型[17,18]。相比之下,CNN结构难以在浅层堆叠时获取全局相关性,RNN结构难以建模长序列的远距离依赖关系。而Transformer结构具有较优的长程依赖关系表征能力,可以利用自注意机制捕捉各个HRRP子序列的局部相关性和全局相关性。Transformer模块由层归一化、多头自注意力层以及前馈层构成,如图4所示。下面详细介绍每一层的功能与作用。
Transformer模块中层归一化的位置会影响训练时的稳定性,pre-norm[19]将层归一化操作放在残差连接操作之前进行,能在网络层数较深时更好地防止模型的梯度爆炸或者梯度消失。因此,在这里采用pre-norm对输入序列
xin 进行层归一化,即ˉz=LN(xin) (6) 其中,
ˉz 表示对xin 进行层归一化得到的输出,LN 表示层归一化。Transformer模块中多头自注意力层用于对各输入序列局部与全局关系的捕捉,提取长距离依赖特征,增强了模型捕获HRRP回波的复杂起伏变化、HRRP子序列间结构相关性的能力。多头注意力层的具体实现如下:首先将
ˉz 分别进行3次线性映射,得到dq 维的查询矩阵Q ,dk 维的键矩阵K 和dv 维的值矩阵V ,通过计算查询矩阵Q 和键矩阵K 的乘积,并除以缩放因子√dk ,然后应用softmax 函数获得注意力权重,依注意力权重对值矩阵V 进行加权即可得到自注意力输出,如式(7):Attention(Q,K,V)=softmax(QKT√dk)V (7) 其中,
Q=ˉzWq ,K=ˉzWk ,V=ˉzWv ,Wq∈RD×dq ,Wk∈RD×dk ,Wv∈RD×dv ,dq=dk=dv 。为进一步获得多头注意力,需要使用多个独立的注意头将上述查询矩阵Q 、键矩阵K 和值矩阵V 分别投影到多个特征子空间,然后对每个子空间按照自注意力机制计算对应的自注意力结果,最后将不同子空间的结果进行拼接即可得到多头注意力机制输出,如式(8):fMSA=Concat(head1,head2,⋯,headh) (8) 其中,
headi=Attention(QWQi,KWKi,VWVi) , h表示注意力头的数目,WQi∈RD×dQ ,WKi∈RD×dK ,WVi∈RD×dV 。Transformer模块中前馈层包含一个多层感知器,能够将输入映射到一个高维隐空间,再从高维隐空间映射回原空间,对输入在隐空间进行了特征提取及筛选。前馈层的输出表示如式(9):
fFFN=MLP(LN(fMSA+ˉz)) (9) 其中,
LN(fMSA+ˉz) 作为前馈层的输入,同样也是多头注意力机制的输出与短路连接的特征相加后经过层归一化后的特征,MLP 表示包含了两层全连接层的多层感知器。整体Transformer模块的最终输出表示如式(10):Transformer(xin)=fFFN+fMSA (10) 其中,
Transformer(⋅) 表示一个Transformer层。2.4 角度引导模块
多站融合是为了充分利用多站在不同视角对目标进行观测的信息多样性,从而提升识别性能。然而,不同的观测视角使得多站接收的数据间差异通常较大,直接融合往往难以取得较好的效果。目标方位角度为目标运动方向与雷达视线的夹角,各站的观测视角对应不同的目标方位角度,故可以使用目标方位角度描述多站数据的差异。因此,本文针对各站数据差异较大这一问题,设计了角度引导模块。一方面,通过对每个雷达站的HRRP特征提取过程引入与之对应的目标方位角度,能强化所提特征与目标方位角度的对应关系,提升了模型抵抗扰动的能力,有利于提取相对稳健的目标特征。另一方面,根据之前的研究[20,21],不同视角下的目标回波之间存在映射关系,利用方位角度编码在多站隐层特征构建非线性映射,提升了各站特征在隐空间的一致性,能够缓解数据差异性引起的融合困难的问题。
角度引导模块的输入由多层Transformer模块的输出特征
f 和目标HRRP对应的方位角度a两部分构成,其结构如图5所示。首先,通过角度编码模块对a进行线性编码,编码模块由两个全连接层构成,输出γ(a) 表示为γ(a)=(aW1+b1)W2+b2 (11) 其中,
W1 ,W2 ,b1 和b2 分别表示两次线性变换的权重和偏置。然后,基于卷积模块的映射函数ℜ 将Transformer层输出特征进行特征映射。映射函数ℜ 包括两个卷积层,一个批归一化层,一个GELU激活层。第1个卷积层将输入特征f 的特征通道数增大到原先的两倍,第2个卷积层的输出通道数与输入特征f 保持一致。特征映射过程表示为ℜ(f)=1D-Conv(GELU(BN(1D-Conv(f)))) (12) 其中,
BN 表示批归一化,1D-Conv(⋅) 表示一维卷积操作,非线性激活GELU 的表达式为GELU(x)=x⋅Φ(x) ,其中Φ(x) 为高斯分布的累积概率分布。最后,将经过映射的特征与角度编码相乘并使用残差连接将其与输入特征f 求和。角度引导层输出特征fout 可表示为fout=f+ℜ(f)⋅γ(a) (13) 2.5 前级特征交互模块
传统特征融合方法是将单站HRRP特征提取模块输出的特征进行融合,这种融合方法仅对深层特征进行了融合,未考虑各输入浅层特征之间的关系。如果在特征提取的较早阶段加入特征交互,则能提前对目标进行多方面描述,降低后续特征融合任务的难度。因此,本文方法从模型多阶段特征融合的角度,设计了前级特征交互模块和深层注意力特征融合模块,实现了对多站特征在特征提取过程中多阶段层次化的融合。前级特征交互模块如图6所示,通过将特征融合的时机前移,使得模型在浅层特征提取时就可以与来自其他雷达的浅层特征进行关联学习。
此处以三站交互为例,介绍前级特征交互模块的具体流程。前级特征交互模块的输入特征为各站角度引导层的输出
f(1)out ,f(2)out ,f(3)out ,其中,上标代表站序号。前级特征交互模块的输出可表示为f(1)intera1=w11f(1)out+w21f(2)out+w31f(3)outf(2)intera1=w12f(1)out+w22f(2)out+w32f(3)outf(3)intera1=w13f(1)out+w23f(2)out+w33f(3)out} (14) 其中,
f(1)intera1 ,f(2)intera1 ,f(3)intera1 分别表示前级特征交互模块输出的3个交互特征,w11 ,w12 ,w13 ,w21 ,w22 ,w23 ,w31 ,w32 ,w33 为各站特征交互时的权重。本文方法在特征提取阶段设计了两个前级特征交互模块,使得各站特征交互更为充分。第1个特征交互的输出经过一层Transformer层后,作为第2个前级特征交互模块的输入。第2个特征交互模块输出分别用f(1)intera2 ,f(2)intera2 ,f(3)intera2 表示。2.6 深层注意力特征融合模块
在多站协同目标场景下,多站特征融合是实现稳健、准确识别的关键。本文设计的多阶段特征融合除了对多站特征进行加权的前级特征交互外,还设计了深层注意力特征融合模块,模块具体结构如图7所示。该模块主要利用站间多视角特征的互补性,通过自注意力机制对站间特征的相关性建模,根据获取的站间特征的相互依赖关系强弱,实现模型深层阶段的自适应特征融合,获得更加准确的识别结果。
深层注意力特征融合模块的输入为第2个前级特征交互模块输出的交互特征
f(1)intera2∈R(N+1)×D ,f(2)intera2∈R(N+1)×D ,f(3)intera2∈R(N+1)×D 。首先,经特征提取获得的多站特征处于各自的特征空间,在注意力特征融合前需要将各站特征经过一个共享的深层映射层映射到同一高维特征空间,即fin1 = Linear(LN(f(1)intera2[cls]))fin2 = Linear(LN(f(2)intera2[cls]))fin3 = Linear(LN(f(3)intera2[cls]))} (15) 其中,
f(1)intera2[cls]∈R1×D ,f(2)intera2[cls]∈R1×D ,f(3)intera2[cls]∈R1×D 分别表示上述输入交互特征的cls 聚合头对应位置的特征,该特征聚合了输入HRRP上每个子序列上的信息;Linear(⋅) 表示线性层。然后,利用Transformer层的自注意力机制对多站特征
fin1∈R1×B ,fin2∈R1×B ,fin3∈R1×B 间的相关性进行建模,B为深层映射后高维特征空间的维度。由于多站特征融合的输出应与输入次序无关,所以此处没有对多站特征添加位置编码,使得特征融合所用的Transformer具有置换不变性。接着利用平均池化对交互后的特征进行处理,获得最终的融合特征。深层注意力特征融合层的输出out 可表示为out=Avgpooling(Transformernp([fin1,fin2,fin3]) (16) 其中,
[fin1,fin2,fin3]∈R3×B 表示将多站拼接后作为输入,Transformernp(⋅) 表示置换不变Transformer层,Avgpooling(⋅) 表示平均池化操作。最后,使用分类头对融合特征out进行目标类别的预测,得到识别结果。考虑到多站协同场景下的融合识别,提出模型应具备对站间输入顺序变化不敏感的特性,即模型应需要具备置换不变性。传统的序列神经网络,如RNN对输入序列的顺序比较敏感,难以实现输入数据无序性的相关性建模。然而,本文所用的置换不变Transformer则可以很好地符合这一特性。置换不变Transformer与用于特征提取的Transformer层的对比如图8所示。特征提取阶段利用Transformer进行HRRP特征提取时,对HRRP子序列引入了额外的位置编码,这些位置编码记录了HRRP子序列间的相互位置关系,使得Transformer能够建模这种时序相关性,实现局部与全局的特征提取,如图8(a)所示。然而,置换不变Transformer通过舍弃位置编码操作,实现无序数据间的相关性建模,使得多站融合输出结果与输入的各站HRRP特征顺序无关,如图8(b)所示。
3. 实验及结果分析
3.1 目标数据与实验设置
实验中所用实测数据来自单部雷达采集的某一航线的5型目标回波,雷达参数如表1所示。数据采集过程中,目标的径向距离变化范围为40~100 km,方位角变化范围为2°~50°。然后,将测量到的数据依目标距离、方位角的变化划分为3段,分别用每段数据作为各雷达站的观测数据。其中,各站观测数据中目标的距离变化范围约为20 km,方位角变化范围约为16°。本文通过以上方式模拟三站场景进行协同识别实验。
表 1 雷达参数Table 1. Parameters of radar参数 数值 信号带宽 400 MHz 距离分辨率 0.375 m 实验中所观测的目标共包含5型民航客机,各类目标的物理参数如表2所示。图9展示了模拟三站场景对应的HRRP,图中每一行分别代表不同型号的飞机,每一列分别代表不同的雷达站点。可以看出同一目标在不同视角下观测到的HRRP之间存在明显差异,因此在多站协同条件下可以获得更多与目标相关的信息。
表 2 目标物理参数Table 2. Parameters of targets飞机型号 机身长度(m) 翼展宽度(m) 机高(m) A320 37.57 34.10 11.76 A321 44.51 34.09 11.76 A330-2 58.80 60.30 17.40 A330-3 63.60 60.30 16.85 A350 66.80 64.75 17.05 实验中,对每类目标分别采集不同架次的多批次数据,并按采集批次划分训练集和测试集。每个站点的训练集包含13349个样本,测试集包含12314个样本,每个HRRP样本维度为256维,各型目标的训练与测试样本数如表3所示。
表 3 数据集样本分布Table 3. Dataset samples distribution飞机型号 训练样本数 测试样本数 A320 2636 2594 A321 2482 2398 A330-2 2556 2569 A330-3 2785 2572 A350 2890 2181 实验中的所有方法均在单张RTX 3090显卡上使用Pytorch实现,训练损失函数采用交叉熵损失,优化器采用AdamW[22],初始学习率设置为1E–3,训练轮次设置为200,训练批量大小设置为64,子序列长度P为32,输入编码维度D设置为128,前级特征交互模块中主支路权重
w11 ,w22 ,w33 均设置为0.6,其余支路权重设置为0.2,实验中的相关参数配置如表4所示。表 4 实验参数配置Table 4. Experimental parameters configuration实验配置 参数 训练轮次 200 批量大小 64 初始学习率 1E–3 优化器 AdamW 丢弃率 0.1 HRRP子序列的个数N 8 子序列编码维度D 128 Transformer模块数 3 注意力头数 4 角度编码全连接层输出维度 (128, 1152) 特征交互主支路权重 0.6 特征交互其余支路权重 0.2 深层注意力融合模块数 1 损失函数 Cross Entropy Loss 3.2 实验结果及分析
为了评估所提方法在多站协同识别场景下的有效性,本文选取了多种方法进行了识别性能对比。对比方法包括基于卷积神经网络(Convolutional Neural Networks, CNN)模型的单站识别方法、基于CNN的数据融合方法[23]、基于CNN的特征融合方法[24]、基于CNN的决策融合方法[25]、基于Transformer的单站识别方法、基于Transformer的特征融合方法。其中,CNN单站识别方法由3层卷积层和两层全连接层构成,3层卷积层的通道数分别为8, 16, 32,卷积核大小均为1×5,步长为1,全连接层神经元数目分别是512和5。基于CNN模型的多站协同识别方法在单站CNN模型的基础上分别构建以数据拼接为输入的数据融合识别方法、以特征拼接的特征融合识别方法和以单站预测概率加权的决策融合识别方法。基于Transformer模型的单站识别方法使用3层Transformer层提取特征,两层全连接层用于最终识别。基于Transformer模型的特征融合方法将每个站的第3层Transformer层的输出特征进行拼接,作为本文基线方法。所有方法均在同一设备、相同超参数设置下完成。表5为所提方法与其他方法的识别结果对比。
表 5 实验结果Table 5. Experimental results方法 融合策略 识别率(%) 参数量(M) 计算量(GFLOPs) CNN单站 雷达1 81.56 4.19 0.30 雷达2 87.27 4.19 0.30 雷达3 90.71 4.19 0.30 CNN多站 数据融合 86.35 4.19 0.30 特征融合 90.08 12.59 1.76 决策融合 90.96 12.59 1.76 Transformer单站 雷达1 87.12 0.89 0.46 雷达2 88.03 0.89 0.46 雷达3 93.21 0.89 0.46 Transformer多站 特征融合 93.60 2.51 1.38 本文方法 方位角度引导+前级
特征交互+深层注意
力特征融合96.90 3.39 1.60 从表5可以看出,本文方法能够提取高质量的表征目标特性的特征,并通过前级特征交互和深层注意力特征融合模块有效利用各站观测数据的互补性,从而在所有方法中获得了最优的识别性能,识别率达到96.90%。在单站识别方法中,基于CNN模型的单站识别方法的最优识别率为90.71%,基于Transformer的单站识别方法的最优识别率为93.21%。本文方法相较二者分别提升了6.19%和3.69%。对比各单站识别方法,由于Transformer模型能够在关注HRRP局部结构信息的同时关注HRRP的全局结构信息,具有优于CNN模型的特征表达能力,所以基于Transformer的单站方法的识别率全面优于对应的基于CNN的单站方法的识别率。在多站协同识别方法中,基于CNN模型的多站协同识别方法在使用决策融合时取得最优90.96%的识别率,基于Transformer模型的特征融合方法的识别率为93.60%,本文方法相较二者分别提升了5.94%和3.30%。通过对比多站协同识别结果和单站识别结果,可以看出多站协同识别方法可以从额外的数据中获得更多的关于目标的信息,有效提升识别性能。本文方法进一步通过使用多阶段融合策略改善了传统融合方法融合能力不足的问题,获得了显著的识别性能提升。
表5还给出了各方法的参数量及计算量的对比。本文方法的参数量低于基于CNN模型的多站融合方法,计算量与其相当,而识别性能却有着明显提升,进一步表明了本文方法的优越性。
图10为本文方法对应的测试混淆矩阵。可以看出,本文方法对A320, A321的识别性能最好,识别率分别为99.77%和99.79%。对于A350,识别率为97.96%。对于A330-2,识别率为95.68%。A330-3的识别性能最差,识别率为91.64%。进一步观察类间误判情况,A330-2, A330-3和A350之间存在部分误判,从表2可以看出:这3类目标的各项物理参数均比较接近。因此,这部分误判主要是由目标的物理特性相近造成的。
为进一步分析本文方法所提特征的可分性,使用t-SNE对归一对齐后的测试集HRRP数据和经本文方法处理所提取得到的特征进行二维可视化[26,27],如图11所示。图中不同颜色、不同符号分别代表不同类型的目标。可以看出,本文方法所提取到的隐层特征在二维可视化图中呈现出类内分布紧致,类间边界清晰的特点,各类可分性较模型处理前有着明显提升。
在基于角度引导Transformer融合网络预处理过程中,需要确定划分的HRRP子序列的个数N。N越大,划分的HRRP子序列越多,对目标局部结构的关注粒度更精细,但输入序列数增多同时增加了模型学习的难度和计算量。相反,N越小,划分的HRRP子序列越少,模型计算时所需的计算量也较少,但对目标HRRP局部结构的关注粒度更粗,影响模型的表征能力。在实际应用中可根据实验数据选择合适的N。为分析模型对N的依赖程度,设计从2到128不等的HRRP子序列个数作为输入,测试其对识别率和计算量的影响。图12给出了识别率以及计算量随着N变化的曲线图。当N过大或过小时,都会引起识别性能的显著下降。当
N=8 时,模型取得最优的识别性能,并具有相对较小的计算量。为了评估所提方法中各个模块对识别性能的贡献,本文将上述Transformer特征融合方法作为基线方法,通过对基线方法中逐步添加各个模块进行消融实验。消融实验结果如表6所示。基线方法的识别率为93.60%。当在基线方法中添加角度引导模块时,识别性能提升0.90%,表明所提出的角度引导模块能有效地将目标的角度先验融入到特征提取过程中,引导模型提取与目标方位角匹配的特征。当只添加前级特征交互模块时,识别性能下降0.40%,这是因为仅进行前级特征交互而未进行深层特征融合时,模型较难学习到多输入之间的互补信息。当只添加深层注意力特征融合模块时,识别性能提升0.10%,说明注意力机制能改善特征融合的性能。当同时添加角度引导和前级特征交互模块时,识别性能提升0.17%,由于缺乏深度特征融合,识别性能提升有限。当同时添加前级特征交互和深层注意力特征融合模块时,识别性能提升0.87%,表明通过前级特征交互提前将其他雷达回波的信息与自身回波的信息进行关联学习对协同识别有益。当同时添加角度引导和深层注意力特征融合模块时,识别性能提升2.08%,表明角度引导与深层注意力特征融合组合效果较好。最后,完整的基于角度引导Transformer融合网络的平均识别率为96.90%,识别性能较基线提升3.30%,说明所提出的3个模块之间可以有效协作,获得最大的识别性能提升。
表 6 消融实验结果Table 6. Results of ablation experiment方法 角度引导 前级特征
交互深层注意力
特征融合识别率(%) Transformer
多站特征融合– – – 93.60 √ – – 94.50(+0.90) – √ – 93.20(–0.40) – – √ 93.70(+0.10) √ √ – 93.77(+0.17) – √ √ 94.47(+0.87) √ – √ 95.68(+2.08) 本文方法 √ √ √ 96.90(+3.30) 4. 结语
针对多站HRRP协同目标识别问题,本文提出了一种基于角度引导Transformer融合网络的多站HRRP协同识别方法。首先,各站的HRRP回波经预处理消除幅度敏感性和平移敏感性。然后,使用Transformer模块提取单站回波特征,并利用角度引导模块对单站特征进行增强。接着,通过前级特征交互模块和深层注意力特征融合模块对多站特征进行多阶段层次化融合。最后经分类头输出多站协同目标识别结果。在实测数据上的仿真实验结果表明,本文方法可以有效地对多站HRRP回波特征进行融合,通过角度引导模块、前级特征交互模块和深层注意力特征融合模块的有机结合,可以获得优于单雷达以及常规融合方法的识别性能。最后需要说明的是,本文仅在雷达信号融合处理层面对多站协同目标识别进行了简要分析,在实际应用中,多站协同目标识别系统还面临多雷达布站设置、参数配置、回波配准等问题。此外,当部分回波因干扰等出现缺损时,如何进行雷达信号融合处理也是未来需要关注的问题。
-
表 1 雷达参数
Table 1. Parameters of radar
参数 数值 信号带宽 400 MHz 距离分辨率 0.375 m 表 2 目标物理参数
Table 2. Parameters of targets
飞机型号 机身长度(m) 翼展宽度(m) 机高(m) A320 37.57 34.10 11.76 A321 44.51 34.09 11.76 A330-2 58.80 60.30 17.40 A330-3 63.60 60.30 16.85 A350 66.80 64.75 17.05 表 3 数据集样本分布
Table 3. Dataset samples distribution
飞机型号 训练样本数 测试样本数 A320 2636 2594 A321 2482 2398 A330-2 2556 2569 A330-3 2785 2572 A350 2890 2181 表 4 实验参数配置
Table 4. Experimental parameters configuration
实验配置 参数 训练轮次 200 批量大小 64 初始学习率 1E–3 优化器 AdamW 丢弃率 0.1 HRRP子序列的个数N 8 子序列编码维度D 128 Transformer模块数 3 注意力头数 4 角度编码全连接层输出维度 (128, 1152) 特征交互主支路权重 0.6 特征交互其余支路权重 0.2 深层注意力融合模块数 1 损失函数 Cross Entropy Loss 表 5 实验结果
Table 5. Experimental results
方法 融合策略 识别率(%) 参数量(M) 计算量(GFLOPs) CNN单站 雷达1 81.56 4.19 0.30 雷达2 87.27 4.19 0.30 雷达3 90.71 4.19 0.30 CNN多站 数据融合 86.35 4.19 0.30 特征融合 90.08 12.59 1.76 决策融合 90.96 12.59 1.76 Transformer单站 雷达1 87.12 0.89 0.46 雷达2 88.03 0.89 0.46 雷达3 93.21 0.89 0.46 Transformer多站 特征融合 93.60 2.51 1.38 本文方法 方位角度引导+前级
特征交互+深层注意
力特征融合96.90 3.39 1.60 表 6 消融实验结果
Table 6. Results of ablation experiment
方法 角度引导 前级特征
交互深层注意力
特征融合识别率(%) Transformer
多站特征融合– – – 93.60 √ – – 94.50(+0.90) – √ – 93.20(–0.40) – – √ 93.70(+0.10) √ √ – 93.77(+0.17) – √ √ 94.47(+0.87) √ – √ 95.68(+2.08) 本文方法 √ √ √ 96.90(+3.30) -
[1] DING Beicheng and CHEN Penghui. HRRP feature extraction and recognition method of radar ground target using convolutional neural network[C]. 2019 International Conference on Electromagnetics in Advanced Applications (ICEAA), Granada, Spain, 2019: 658–661. [2] WAN Jinwei, CHEN Bo, YUAN Yijun, et al. Radar HRRP recognition using attentional CNN with multi-resolution spectrograms[C]. 2019 International Radar Conference (RADAR), Toulon, France, 2019: 1–4. [3] WANG Penghui, DU Lan, PAN Mian, et al. Radar HRRP target recognition based on linear dynamic model[C]. 2011 IEEE CIE International Conference on Radar, Chengdu, China, 2011: 662–665. [4] YANG Xiuzhu, ZHANG Xinyue, DING Yi, et al. Indoor activity and vital sign monitoring for moving people with multiple radar data fusion[J]. Remote Sensing, 2021, 13(18): 3791. doi: 10.3390/rs13183791 [5] YANG Jiachen, ZHANG Zhou, MAO Wei, et al. IoT-based critical infrastructure enabled radar information fusion[J]. Computers & Electrical Engineering, 2022, 98: 107723. doi: 10.1016/j.compeleceng.2022.107723 [6] WU Hao, DAI Dahai, JI Penghui, et al. High-resolution range profile recognition method of vehicle targets based on accelerated T-SNE with multi-polarization fusion[C]. 2021 IEEE 6th International Conference on Signal and Image Processing (ICSIP), Nanjing, China, 2021: 72–76. [7] LIU Chang, ANTYPENKO R, SUSHKO I, et al. Marine distributed radar signal identification and classification based on deep learning[J]. Traitement du Signal, 2021, 38(5): 1541–1548. doi: 10.18280/ts.380531 [8] HUANG Yuchen, LI Wei, DOU Zhiyang, et al. Activity recognition based on millimeter-wave radar by fusing point cloud and range-Doppler information[J]. Signals, 2022, 3(2): 266–283. doi: 10.3390/signals3020017 [9] AGUILETA A A, BRENA R F, MAYORA O, et al. Multi-sensor fusion for activity recognition—A survey[J]. Sensors, 2019, 19(17): 3808. doi: 10.3390/s19173808 [10] 周宁宁, 朱士涛, 年毅恒, 等. 一种基于多模态OAM波束的目标特征智能识别方法[J]. 雷达学报, 2021, 10(5): 760–772. doi: 10.12000/JR21056ZHOU Ningning, ZHU Shitao, NIAN Yiheng, et al. An intelligent target feature recognition method based on multi-mode OAM beams[J]. Journal of Radars, 2021, 10(5): 760–772. doi: 10.12000/JR21056 [11] 邓冬虎, 张群, 罗迎, 等. 双基地ISAR系统中分辨率分析及微多普勒效应研究(英文)[J]. 雷达学报, 2013, 2(2): 152–167. doi: 10.3724/SP.J.1300.2013.13039DENG Donghu, ZHANG Qun, LUO Ying, et al. Resolution and micro-Doppler effect in Bi-ISAR system (in English)[J]. Journal of Radars, 2013, 2(2): 152–167. doi: 10.3724/SP.J.1300.2013.13039 [12] 冯存前, 李靖卿, 贺思三, 等. 组网雷达中弹道目标微动特征提取与识别综述[J]. 雷达学报, 2015, 4(6): 609–620. doi: 10.12000/JR15084FENG Cunqian, LI Jingqing, HE Sisan, et al. Micro-Doppler feature extraction and recognition based on netted radar for ballistic targets[J]. Journal of Radars, 2015, 4(6): 609–620. doi: 10.12000/JR15084 [13] 章鹏飞, 李刚, 霍超颖, 等. 基于双雷达微动特征融合的无人机分类识别[J]. 雷达学报, 2018, 7(5): 557–564. doi: 10.12000/JR18061ZHANG Pengfei, LI Gang, HUO Chaoying, et al. Classification of drones based on micro-Doppler radar signatures using dual radar sensors[J]. Journal of Radars, 2018, 7(5): 557–564. doi: 10.12000/JR18061 [14] RYKUNOV M, DE GREEF E, KHALID H U R, et al. Multi-radar fusion for failure-tolerant vulnerable road users classification[C]. 2021 18th European Radar Conference (EuRAD), London, United Kingdom, 2022: 337–340. [15] SHU Haining and LIANG Qilian. Data fusion in a multi-target radar sensor network[C]. 2007 IEEE Radio and Wireless Symposium, Long Beach, USA, 2007: 129–132. [16] DU Lan, WANG Penghui, LIU Hongwei, et al. Bayesian spatiotemporal multitask learning for radar HRRP target recognition[J]. IEEE Transactions on Signal Processing, 2011, 59(7): 3182–3196. doi: 10.1109/TSP.2011.2141664 [17] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, USA, 2019: 4171–4186. [18] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: Transformers for image recognition at scale[C]. 9th International Conference on Learning Representations, Austria, 2021. [19] WANG Qiang, LI Bei, XIAO Tong, et al. Learning deep transformer models for machine translation[C]. 57th Annual Meeting of the Association for Computational Linguistics, Florence, Italy, 2019: 1810–1822. [20] CAO Kaidi, RONG Yu, LI Cheng, et al. Pose-robust face recognition via deep residual equivariant mapping[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 5187–5196. [21] SUN Yuanshuang, WANG Yinghua, LIU Hongwei, et al. SAR target recognition with limited training data based on angular rotation generative network[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(11): 1928–1932. doi: 10.1109/LGRS.2019.2958379 [22] LOSHCHILOV I and HUTTER F. Decoupled weight decay regularization[C]. 7th International Conference on Learning Representations, New Orleans, USA, 2019. [23] YUAN Lele. A time-frequency feature fusion algorithm based on neural network for HRRP[J]. Progress in Electromagnetics Research M, 2017, 55: 63–71. doi: 10.2528/PIERM16123002 [24] QUAN Daying, TANG Zeyu, WANG Xiaofeng, et al. LPI radar signal recognition based on dual-Channel CNN and feature fusion[J]. Symmetry, 2022, 14(3): 570. doi: 10.3390/sym14030570 [25] ZHU Lijun. Selection of multi-level deep features via spearman rank correlation for synthetic aperture radar target recognition using decision fusion[J]. IEEE Access, 2020, 8: 133914–133927. doi: 10.1109/ACCESS.2020.3010969 [26] CHEN Wenchao, CHEN Bo, PENG Xiaojun, et al. Tensor RNN with Bayesian nonparametric mixture for radar HRRP modeling and target recognition[J]. IEEE Transactions on Signal Processing, 2021, 69: 1995–2009. doi: 10.1109/TSP.2021.3065847 [27] GUO Dandan, CHEN Bo, CHEN Wenchao, et al. Variational temporal deep generative model for radar HRRP target recognition[J]. IEEE Transactions on Signal Processing, 2020, 68: 5795–5809. doi: 10.1109/TSP.2020.3027470 期刊类型引用(7)
1. 宋永坤,晏天兴,张可,刘显,戴永鹏,金添. 基于点云时空特征的超宽带雷达轻量化人体行为识别方法. 雷达学报(中英文). 2025(01): 1-15 . 百度学术
2. 王秉路,靳杨,张磊,郑乐,周天飞. 基于多传感器融合的协同感知方法. 雷达学报. 2024(01): 87-96 . 本站查看
3. 陈小龙,何肖阳,邓振华,关键,杜晓林,薛伟,苏宁远,王金豪. 雷达微弱目标智能化处理技术与应用. 雷达学报. 2024(03): 501-524 . 本站查看
4. 翟相龙,王旋,王雁冰,王峰. 基于两阶段注意力层Transformer的弹道目标多站融合识别. 现代雷达. 2024(07): 37-44 . 百度学术
5. 但波,宋伟健,薛永华,卢中原. 基于Transformer的舰船高分辨距离像目标识别. 舰船电子工程. 2024(07): 25-28 . 百度学术
6. 郭文杰,吴振华,曹宜策,张强,张磊,杨利霞. 多域浅层特征引导下雷达有源干扰多模态对比识别方法. 雷达学报. 2024(05): 1004-1018 . 本站查看
7. 赵春雷,姚嘉嵘,李京效,戚张行,魏汇赞. 地基雷达空中目标识别方法研究综述. 空天预警研究学报. 2023(05): 313-320+334 . 百度学术
其他类型引用(2)
-