Processing math: 100%

基于仿真样本迁移学习的穿墙雷达高分辨成像方法

陈一凡 刘剑刚 贾勇 郭世盛 崔国龙

周超, 刘泉华, 胡程. 间歇采样转发式干扰的时频域辨识与抑制[J]. 雷达学报, 2019, 8(1): 100–106. doi: 10.12000/JR18080
引用本文: 陈一凡, 刘剑刚, 贾勇, 等. 基于仿真样本迁移学习的穿墙雷达高分辨成像方法[J]. 雷达学报(中英文), 2024, 13(4): 807–821. doi: 10.12000/JR24049
ZHOU Chao, LIU Quanhua, and HU Cheng. Time-frequency analysis techniques for recognition and suppression of interrupted sampling repeater jamming[J]. Journal of Radars, 2019, 8(1): 100–106. doi: 10.12000/JR18080
Citation: CHEN Yifan, LIU Jiangang, JIA Yong, et al. High-resolution imaging method for through-the-wall radar based on transfer learning with simulation samples[J]. Journal of Radars, 2024, 13(4): 807–821. doi: 10.12000/JR24049

基于仿真样本迁移学习的穿墙雷达高分辨成像方法

DOI: 10.12000/JR24049
基金项目: 四川省科技厅计划项目(2022YFS0531),国家自然科学基金(62001091), 衢州市政府资助项目(2022D008, 2022D005)
详细信息
    作者简介:

    陈一凡,硕士生,主要研究方向为穿墙雷达探测、智能信号处理

    刘剑刚,博士,主要研究方向为穿墙雷达探测、毫米波雷达感知

    贾 勇,博士,硕士生导师,主要研究方向为城市环境遮蔽目标探测、毫米波雷达感知

    郭世盛,博士,硕士生导师,主要研究方向为城市环境遮蔽目标探测、毫米波雷达感知

    崔国龙,博士,博士生导师,主要研究方向为认知雷达系统与信号处理、MIMO雷达、城市环境遮蔽目标探测技术与系统、阵列信号处理、认知电磁对抗技术、多功能一体化技术

    通讯作者:

    刘剑刚 jgliu@csj.uestc.edu.cn

    贾勇 jiayong2014@cdut.edu.cn

  • 责任主编:叶盛波 Corresponding Editor: YE Shengbo
  • 中图分类号: TN958

High-resolution Imaging Method for Through-the-wall Radar Based on Transfer Learning with Simulation Samples

Funds: The Sichuan Science and Technology Program (2022YFS0531), The National Natural Science Foundation of China (62001091), The Municipal Government of Quzhou (2022D008, 2022D005)
More Information
  • 摘要: 针对带标注实测样本受限情况下的遮蔽多目标高分辨成像问题,提出一种基于迁移学习的穿墙雷达成像方法。首先,搭建生成对抗子网络实现带标签仿真数据到实测数据的迁移,解决带标签数据制作困难的问题;然后,联合使用注意力机制、自适应残差块及多尺度判别器提高图像迁移质量,引入结构一致性损失函数减小图像间的感知差异;最后,利用带标签数据训练穿墙雷达目标成像子网络,实现穿墙雷达多目标高分辨成像。实验结果表明,所提方法能有效缩小仿真图像和实测图像域间差异,实现穿墙雷达带标签伪实测图像生成,系统性解决了穿墙雷达遮蔽目标成像面临的旁/栅瓣鬼影干扰、目标图像散焦、多目标互扰等问题,在单、双和三目标场景下成像准确率分别达到98.24%, 90.97%和55.17%,相比于传统CycleGAN方法,所提方法成像准确率分别提升了2.29%, 40.28%和15.51%。

     

  • 极化合成孔径雷达(Polarimetric Synthetic Aperture Radar, PolSAR)具有全天时和几乎全天候的工作能力,通过收发极化状态正交的电磁波以获取目标的全极化散射信息[1]。地物分类是农作物生长监控、农村与城市用地普查、环境监测等应用领域的共性基础问题,也是极化SAR图像理解与解译的重要应用方向。高精度的地物分类结果能够为上述应用领域提供可靠的信息支撑。

    通常,提高极化SAR地物分类精度主要有两种途径[2]。第1种途径专注于极化特征的挖掘与优选,通过精细化的极化散射机理建模与解译,从全极化信息中提取出对不同地物类别具有更强区分度的特征。常用的极化散射机理解译方法有基于特征值分解的方法和基于模型分解的方法。基于这些极化目标分解方法所得到的极化特征参数经常被用于极化SAR地物分类,例如Cloude-Pottier分解所得的极化熵/极化平均角/极化反熵(H/ α/A)参数[3],Freeman-Durden分解[4]、Yamaguchi分解[5]和近年来提出的精细化极化目标分解[6]所得的各散射机理的散射能量参数(如奇次散射、偶次散射、体散射、螺旋散射等)[7]。第2种途径则从分类器入手,使用性能更好的分类器,以对现有的极化特征进行充分利用。常用的分类器包括C均值分类器、Wishart分类器、支持向量机(Support Vector Machine, SVM)分类器、随机森林分类器、神经网络分类器以及近来年在诸多领域取得成功应用的以卷积神经网络为代表的深度学习分类方法等[811]。当然,对特征和分类器同时进行优化和优选也是提高极化SAR地物分类精度的有效途径。

    在传统基于特征的极化SAR地物分类中,具有旋转不变特性的极化特征参数得到了广泛应用。例如,基于H/ α/A和总散射能量SPAN的极化SAR地物分类就是一种常用的分类方法。然而,目标的极化响应与目标和SAR的相对几何关系密切相关。同一目标在不同方位取向下,其后向散射可以是显著不同的。同时,不同目标在某些特定方位取向下,其后向散射又是十分相似的。例如,具有不同方位取向的建筑物与森林等植被就是极化SAR图像解译的难点。这是诸多传统极化目标分解方法存在散射机理解译模糊的重要原因之一,同时也限制了基于旋转不变极化特征参数的传统分类方法所得精度的进一步提升。为避免这种解译模糊,一种思路是构建更精细化的目标散射模型和精细化的极化目标分解方法。而另一种思路则是挖掘利用目标方位取向与其后向散射机理之间的隐含关系。文献[12]提出的统一的极化矩阵旋转理论就是一种代表性的方法。该方法提出了在绕雷达视线的旋转域中理解目标散射特性的新思路,并导出了一系列旋转域极化特征。部分旋转域极化特征参数已经在农作物辨识[13]、目标对比增强[12]、人造目标提取[14]等领域获得了成功应用。

    由于这些旋转域极化特征包含有目标在旋转域中隐含的极化散射信息,且与其方位取向具有一定关系。若将它们与传统的旋转不变极化特征参数于H/ α/A/SPAN联合作为地物分类特征集,则从极化特征挖掘的角度来看,两类不同的极化特征对于不同地物类别的区分能力势必会形成一定程度的互补,进而使分类精度得到进一步提升。基于这一思路,本文提出了一种结合旋转域极化特征与旋转不变特征H/ α/A/SPAN的极化SAR地物分类方法。具体即基于不同地物类别样本集类间距最大的特征优选准则,以部分优选的旋转域极化特征参数与H/ α/A/SPAN联合作为地物分类所用特征,并选用性能较为稳定的SVM[15]作为分类器进行分类处理。由于该分类方法额外使用了目标在方位取向方面的隐含信息,故相较于仅使用旋转不变特征H/ α/A/SPAN作为输入的SVM分类器[10],其能够达到更优的分类性能表现。

    本文第2节简要介绍了统一的极化矩阵旋转理论及其所导出的旋转域极化特征参数;第3节提出结合旋转域极化特征的极化SAR地物分类方法;第4节基于AIRSAR和多时相UAVSAR实测数据开展了地物分类对比实验及分析;第5节总结本文方法并对后续研究工作进行展望。

    极化SAR获得的目标全极化信息可以通过极化相干矩阵T表示。满足互易性原理时,极化相干矩阵T可以表示为:

    T=kPkHP=[T11T12T13T21T22T23T31T32T33] (1)

    其中, kP=12[SHH+SVVSHHSVV2SHV]T为Pauli散射矢量。 SHV为以垂直极化天线发射并以水平极化天线接收条件下的散射系数, kP中其它元素可类似定义。  表示集合平均。 Tij则表示极化相干矩阵 T中第i行第j列所对应的元素。

    将极化相干矩阵 T绕雷达视线进行旋转处理,则可得到旋转域中极化相干矩阵的表达式为:

    T(θ)=kP(θ)kHP(θ)=R3(θ)TRH3(θ) (2)

    其中,旋转矩阵为:

    R3(θ)=[1000cos2θsin2θ0sin2θcos2θ] (3)

    在旋转域中极化相干矩阵 T(θ)的每个元素经过相应的数学变换即可被统一地由一个正弦函数进行表征[12]

    f(θ)=Asin[ω(θ+θ0)]+B (4)

    其中,A为振荡幅度,B为振荡中心, ω为角频率, θ0为初始角度。文献[12]将这4类极化特征参数 {A,B,ω,θ0}称为振荡参数集,其完整表征极化相干矩阵的各元素在旋转域中的特性。这样就可以导出一系列旋转域极化特征参数,如表1所示。其中, Angle{a}表示复数a的相位,相应取值范围为 [π,π]

    表  1  旋转域极化特征参数[12]
    Table  1.  Polarimetric feature parameters derived from rotation domain[12]
    散射矩阵元素项 A= B ω θ0=1ωAngle{}
    Re[T12(θ)] Re2[T12]+Re2[T13] 0 2 Re[T13]+jRe[T12]
    Re[T13(θ)] Re2[T12]+Re2[T13] 0 2 Re[T12]+jRe[T13]
    Im[T12(θ)] Im2[T12]+Im2[T13] 0 2 Im[T13]+jIm[T12]
    Im[T13(θ)] Im2[T12]+Im2[T13] 0 2 Im[T12]+jIm[T13]
    Re[T23(θ)] 14(T33T22)2+Re2[T23] 0 4 12(T33T22)+jRe[T23]
    T22(θ) 14(T33T22)2+Re2[T23] 12(T22+T33) 4 Re[T23]+j12(T22T33)
    T33(θ) 14(T33T22)2+Re2[T23] 12(T22+T33) 4 Re[T23]+j12(T33T22)
    |T12(θ)|2 Re2[T12T13]+14(|T13|2|T12|2)2 12(|T12|2+|T13|2) 4 Re[T12T13]+j12(|T12|2|T13|2)
    |T13(θ)|2 Re2[T12T13]+14(|T13|2|T12|2)2 12(|T12|2+|T13|2) 4 Re[T12T13]+j12(|T13|2|T12|2)
    |T23(θ)|2 14{14(T33T22)2+Re2[T23]}2 12{14(T33T22)2+Re2[T23]}+Im2[T23] 8 12(T33T22)Re[T23]+j12[Re2[T23]14(T33T22)2]
    下载: 导出CSV 
    | 显示表格

    基于上述振荡参数集,文献[12]还导出了一系列的极化角参数集,如极化零角参数、极化最大化角参数以及极化最小化角参数等。其中,极化零角参数的定义为在绕雷达视线的旋转域中使极化相干矩阵某元素取值为零的旋转角,即:

    f(θ)=Asin[ω(θnull+θ0)]+B=0θnull=θ0 (5)

    其中, θnull即极化零角参数。由于表1中相互独立的5个初始角度 θ0分别为 θ0_Re[T12(θ)], θ0_Im[T12(θ)], θ0_Re[T23(θ)], θ0_|T12(θ)|2θ0_|T23(θ)|2,故相应的极化零角参数有 θnull_Re[T12(θ)], θnull_Im[T12(θ)], θnull_Re[T23(θ)], θnull_|T12(θ)|2θnull_|T23(θ)|2。由文献[12]可知,各初始角度与其相应极化零角参数所包含的极化信息是相互等价的,且极化零角参数具有相对明确的物理意义,故在本文的后续部分均以极化零角参数代替相应的初始角度。

    文献[12]使用极化零角参数 θnull_Re[T12(θ)]θnull_Im[T12(θ)]的组合能够成功辨识7类不同农作物,初步证实了极化零角参数集对于不同地物类别具有较好的区分能力。在此基础上,本文挖掘利用旋转域极化特征所蕴含目标在旋转域中的隐含信息,并将其应用于极化SAR地物分类。

    在此之前,需要基于地物分类的应用背景对众多的旋转域极化特征进行优选处理。在文献[12]所导出的一系列旋转域极化特征之中,以不同地物类别样本集相互之间的“类间距最大化”为准则,进行相应的旋转域极化特征优选。具体步骤为:首先对各旋转域极化特征参数进行归一化处理;然后将不同的地物类别两两组合形成若干的地物类别对;接着针对各地物类别对,以其中两地物类别之间的类间距为标准,优选出使其取值达到最大的旋转域极化特征,则每个地物类别对均对应于一个优选的旋转域极化特征;最后,将各地物类别对的优选结果进行“取并集”处理,进而得到最终的优选结果。

    文献[12]所导出相互独立的旋转域极化特征共有12个,分别为 θnull_Re[T12(θ)], θnull_Im[T12(θ)], θnull_Re[T23(θ)], θnull_|T12(θ)|2, θnull_|T23(θ)|2, A_Re[T12(θ)], A_Im[T12(θ)], A_T12(θ), A_ T23(θ), B_T12(θ), B_T33(θ), B_T23(θ)。针对之后实验部分所使用的AIRSAR数据(15类地物,两两组合形成105个地物类别对;其它说明见4.1节)以及多时相UAVSAR数据(7类地物,两两组合形成21个地物类别对;4个数据获取日期;其它说明见4.2节),上述特征优选流程所得结果如表2所示。

    表  2  针对不同极化SAR实测数据的特征优选结果
    Table  2.  Selected features for different PolSAR data
    实测数据 优选所得旋转域极化特征(相应地物类别对的个数)
    AIRSAR θnull_Re[T12(θ)](18), θnull_Im[T12(θ)](15), θnull_Re[T23(θ)](71), B_T33(θ)(1)
    UAVSAR 6月17日 θnull_Re[T12(θ)](5), θnull_Im[T12(θ)](12), θnull_Re[T23(θ)](4)
    6月22日 θnull_Re[T12(θ)](5), θnull_Im[T12(θ)](14), θnull_Re[T23(θ)](2)
    7月03日 θnull_Im[T12(θ)](3), θnull_Re[T23(θ)](18)
    7月17日 θnull_Re[T12(θ)](7), θnull_Im[T12(θ)](5), θnull_Re[T23(θ)](9)
    下载: 导出CSV 
    | 显示表格

    综合考虑表2中的优选结果,并在追求较高地物分类精度的同时,将两组实测数据优选得到的旋转域极化特征进行统一,故本文优选部分的最终结果为3个极化零角参数,即 θnull_Re[T12(θ)], θnull_Im[T12(θ)]θnull_Re[T23(θ)]

    为了将目标在旋转域中的隐含信息充分利用在极化SAR地物分类中,同时又发挥传统的旋转不变极化特征参数H/A/ α/SPAN在极化散射机理解译方面的优点,本文提出了一种结合旋转域极化特征的极化SAR地物分类方法,其流程图如图1所示,相应的具体操作如下:

    图  1  本文方法具体流程图
    Figure  1.  Flowchart of proposed method

    (1) 在进行Cloude-Pottier分解之前,需要对极化SAR数据进行相干斑滤波处理。本文采用新近提出的一种基于矩阵相似性检验的SimiTest自适应相干斑滤波方法[16]对极化SAR数据进行滤波预处理。

    (2) 基于滤波后的极化相干矩阵,计算总散射能量SPAN。

    (3) 同样地,基于滤波后的极化相干矩阵,进行Cloude-Pottier分解,得到极化特征量H/ α/A

    (4) 同时,将滤波后的极化相干矩阵绕雷达视线旋转,计算上述优选部分所得的3个极化零角参数。

    (5) 对上述7个极化特征参数分别进行归一化处理,以作为地物分类特征集输入至SVM分类器。

    (6) 通过SVM相应的训练与测试过程,实现对不同地物类别的分类处理。

    为了验证新极化特征(即3个旋转域极化零角参数)的引入对于传统地物分类方法性能的提升作用,在对极化相干矩阵中全部极化信息进行利用的前提之下,将本文方法与仅使用旋转不变特征H/A/ α/SPAN作为SVM分类器输入的传统方法进行对比。首先使用AIRSAR数据15类地物的分类验证本文方法的分类性能,再使用多时相UAVSAR数据7类地物的分类进一步验证本文方法对多时相数据的稳健性。在对此两组数据分别进行SimiTest相干斑滤波[16]时,所用滑窗大小均为15×15。对SVM分类器,各类地物样本的一半用于训练,另一半用于测试。

    本文首先使用NASA/JPL AIRSAR系统在荷兰Flevoland地区所获取的L波段全极化SAR数据进行地物分类实验。该数据方位向分辨率为12.1 m,距离向分辨率为6.6 m,所用区域大小为736×1010。SimiTest相干斑滤波后的Pauli RGB图如图2(a)所示。该区域的真值图如图2(b)所示,其中主要包含茎豆、豌豆、森林、苜蓿、小麦1、甜菜、土豆、裸地、草地、油菜籽、大麦、小麦2、小麦3、水域以及建筑物等15类地物。

    图  2  AIRSAR数据
    Figure  2.  AIRSAR data

    使用传统方法和本文方法分别对滤波后的数据进行分类处理,所得结果如图3所示。

    图  3  AIRSAR数据的分类结果
    Figure  3.  Classification results of AIRSAR data

    两种方法对AIRSAR数据15类地物分类处理所得精度如表3所示。通过比较可知,本文方法得到的总体分类精度为92.3%,优于传统方法91.1%的分类精度。且本文方法对草地77.3%的分类精度相较于传统方法的59.3%提升了18个百分点。另外,由于SVM分类器所用分类策略以总体分类精度的最大化为目标,无法保证单一地物类别的分类精度均达到最优。例如,本文方法在苜蓿、小麦1、裸地、大麦以及建筑物等5种地物类别区域所得分类精度均不及传统方法。针对其中分类精度差距最大(约8.3%)的裸地,由于其相应区域的主要散射机制为“面散射”,不同方位取向对其后向散射的影响较小,使用传统的旋转不变极化特征已经能较好地对其进行区分与辨识,本文方法额外引入的3个旋转域极化零角参数可能造成了分类信息的冗余,进而导致所得分类精度的较大幅度下降。

    表  3  两种方法所得AIRSAR数据15类地物及总体的分类精度(%)
    Table  3.  Classification accuracy of different terrains in AIRSAR data using two methods (%)
    地物 传统方法 本文方法
    茎豆 97.2 98.0
    豌豆 93.7 96.9
    森林 92.6 93.7
    苜蓿 96.8 96.6
    小麦1 88.7 85.9
    甜菜 93.8 93.8
    土豆 92.6 93.3
    裸地 95.5 87.2
    草地 59.3 77.3
    油菜籽 83.9 88.0
    大麦 92.6 91.5
    小麦2 89.2 89.4
    小麦3 94.3 95.9
    水域 98.0 98.5
    建筑物 84.9 83.2
    总体精度 91.1 92.3
    下载: 导出CSV 
    | 显示表格

    本文使用NASA/JPL UAVSAR系统在加拿大Manitoba地区所获取的多时相L波段全极化SAR数据进行地物分类实验。该数据方位向分辨率为7 m,距离向分辨率为5 m,所用区域大小为1325×1011。多时相极化SAR数据分别获取于6月17日、6月22日、7月3日以及7月17日。SimiTest相干斑滤波处理之后多时相极化SAR数据对应的Pauli RGB图如图4所示。该区域的主要地物类型是以谷物和油种产品为代表的混合型牧场农作物。相应的真值图如图5所示,其中主要包含阔叶林、草料、大豆、玉米、小麦、油菜籽以及燕麦等7类地物。

    图  4  多时相UAVSAR数据滤波后Pauli RGB图
    Figure  4.  Filtered Pauli RGB images of multi-temporal UAVSAR data
    图  5  所用区域的真值图
    Figure  5.  Gound truth of the multi-temporal data

    使用传统方法和本文方法分别对滤波后的多时相极化SAR数据进行相互独立的分类处理,所得结果分别如图6图7所示。

    图  6  传统方法对多时相UAVSAR数据分类结果
    Figure  6.  Classification results of multi-temporal UAVSAR data using conventional method
    图  7  本文方法对多时相UAVSAR数据分类结果
    Figure  7.  Classification results of multi-temporal UAVSAR data using proposed method

    图6(c)图7(c)所示,基于7月3日获取的数据,传统方法将红色圆框内小麦与燕麦的绝大部分错分为了大豆,而本文方法在该区域的分类性能相较于前者有显著提升。又如图6(d)图7(d)所示,基于7月17日获取的数据,传统方法将白色圆框内小麦的绝大部分错分为了大豆,而本文方法在该区域的分类精度相较于前者也有较大提升。

    两种方法对多时相UAVSAR数据7类地物分类处理所得精度如表4所示。通过比较可知,对不同日期获取的数据,本文方法所得各类地物及总体的分类精度均优于或相当于传统方法。其中,对6月17日、6月22日、7月3日以及7月17日4个不同日期所获取的数据,本文方法得到的总体分类精度分别为94.98%, 95.12%, 95.99%以及96.78%,而传统方法所得总体分类精度则波动于80.87%至90.75%之间,出现约10%的起伏。具体就小麦和燕麦而言,本文方法得到的分类精度均分别保持在94%和92%以上,而传统方法所得相应分类精度则分别出现了约30%和23%的波动起伏。另外,本文方法95.72%的平均总体分类精度相较于传统方法的87.80%提升了约8个百分点。故本文方法较好的分类性能对于同一系统的多时相数据更具稳健性。

    表  4  两种方法所得多时相UAVSAR数据7类地物及总体的分类精度 (%)
    Table  4.  The classification accuracy of different terrains in multi-temporal UAVSAR data using two methods (%)
    日期 方法 阔叶林 草料 大豆 玉米 小麦 油菜籽 燕麦 总体
    6月17日 传统 98.47 62.24 92.64 96.12 93.63 91.70 86.37 90.19
    本文 98.49 81.65 96.76 98.19 96.08 92.25 96.32 94.98
    6月22日 传统 98.05 61.38 94.14 97.30 97.89 93.82 77.29 90.75
    本文 97.96 72.60 96.86 98.18 97.07 96.84 95.13 95.12
    7月3日 传统 97.41 54.38 90.45 98.89 68.75 98.81 63.46 80.87
    本文 97.77 76.68 98.12 99.08 96.95 98.93 94.22 95.99
    7月17日 传统 96.86 64.51 97.38 99.78 84.76 92.19 82.98 89.39
    本文 97.27 93.15 99.31 99.58 94.73 99.71 92.16 96.78
    平均 传统 97.70 60.63 93.65 98.02 86.26 94.13 77.53 87.80
    本文 97.87 81.02 97.76 98.76 96.21 96.93 94.46 95.72
    下载: 导出CSV 
    | 显示表格

    另外,对于6月22日所获取数据中的阔叶林和小麦,以及7月17日所获取数据中的玉米,本文方法所得分类精度均略低于传统方法,且分类精度的差距均在1%以内。

    在上述两组相互独立的对比实验所得结果中,本文方法所得分类精度均优于传统方法。故本文方法所表现出的较好分类性能对于不同系统的数据也具有较强稳健性。

    目标方位取向对其后向散射响应的直接影响极易引起散射机理的解译模糊,进而限制仅使用旋转不变特征参数作为分类特征集的极化SAR地物分类所得精度。针对这一问题,本文将刻画目标旋转域隐含信息的旋转域极化特征用于极化SAR地物分类,并提出了一种结合旋转域极化特征和旋转不变特征H/A/ α/SPAN的极化SAR地物分类方法,该方法将旋转域极化零角参数和H/A/ α/SPAN联合作为分类特征集输入至SVM分类器。

    将本文方法与仅使用旋转不变特征H/A/ α/SPAN作为SVM分类器输入的传统方法进行比较:对AIRSAR数据15类地物分类而言,本文方法总体分类精度达到92.3%,优于传统方法的91.1%。对多时相UAVSAR数据7类地物分类而言,本文方法平均总体分类精度达到95.72%,显著优于传统方法的87.80%,表明本文方法对同一系统的多时相数据更具稳健性。这两组对比实验也表明本文方法较好的分类性能对于不同系统的数据具有较强稳健性。

    通过对旋转域中目标极化散射信息的深入挖掘,能够为极化SAR图像的解译与应用提供一条新的可行途径。下一步将考虑旋转域极化特征与具有深度学习能力的卷积神经网络等分类器相结合,以实现更高的分类精度。另外,对极化特征参数更优的选择准则及相互融合也是我们未来将要深入研究讨论的内容。

  • 图  1  MIMO穿墙成像雷达模型

    Figure  1.  A simple of Multiple-Input Multiple-Output (MIMO) Through-the-Wall Radar Imaging (TWRI)

    图  2  穿墙雷达成像结果

    Figure  2.  Results of MIMO TWRI

    图  3  模型框架示意图

    Figure  3.  Schematic diagram of the model framework

    图  4  域自适应模型框架示意图

    Figure  4.  Schematic diagram of the domain adaptation model framework

    图  5  带CAM类激活图的自适应残差块

    Figure  5.  Adaptive residual block with CAM class activation map

    图  6  多尺度判别器训练流程

    Figure  6.  Multi-scale discriminator training process

    图  7  Patch-GAN判别器结构

    Figure  7.  Discriminator structure of Patch-GAN

    图  8  穿墙雷达仿真图像

    Figure  8.  Simulation images of Through-the-Wall Radar (TWR)

    图  9  穿墙雷达探测场景

    Figure  9.  TWR detection scene

    图  10  穿墙雷达实测图像

    Figure  10.  TWR measured image

    图  11  迁移学习结果(黄色圆圈标记生成图像纹理差异部分)

    Figure  11.  Transfer learning results (yellow circle marking generates texture differences in the image)

    图  12  训练过程中图像FID得分(虚线为训练过程中实际FID得分曲线,实线表示经平滑处理后的FID得分曲线)

    Figure  12.  FID Score during training (the dotted line is the actual FID score curve during the training process, and the solid line represents the FID score curve after smoothing)

    图  13  不同方法训练目标成像网络的成像测试结果(图中大方框图像是小方框的放大图像)

    Figure  13.  Target imaging results of different method (the large box image in the figure is an enlarged image of the small box)

    表  1  仿真参数设置

    Table  1.   Parameter setting

    参数 取值 参数 取值
    中心频率f 1.5 GHz 墙体电导率σw 0.1 S/m
    带宽B 1 GHz 人体目标半径r 10 cm
    墙体厚度h 0.2 cm 目标介电常数εr 55
    发射阵元和相邻接收阵元间距dTR 0.15 接收阵元间距dRR 0.3
    发射天线数量M 2 接收天线数量N 8
    墙体介电常数εw 5.0 目标电导率σr 1.05 S/m
    下载: 导出CSV

    表  2  实验环境详细参数

    Table  2.   Detailed parameters of experimental environment

    实验环境 版本
    操作系统 Windows 10专业版64位
    CPU Intel(R) Core(TM) i7-10700K CPU @ 3.80 GHz
    GPU NAVIDIA RTX 3090
    Pytorch 1.10.2
    CUDA 11.6
    下载: 导出CSV

    表  3  不同模型的SSIM, FID, PSNR值

    Table  3.   SSIM, FID and PSNR values of different models

    模型 SSIM PSNR (dB) FID
    CycleGAN[28] 0.68 15.50 32.88
    ACycleGAN 0.73 18.04 23.50
    ADCycleGAN 0.75 17.72 22.39
    本文域自适应模型 0.80 18.78 18.07
    下载: 导出CSV

    表  4  不同方法目标成像准确率(%)

    Table  4.   Target imaging accuracy of different methods (%)

    方法 数据集 迁移学习 单目标准确率 双目标准确率 三目标准确率 总准确率
    1 实测数据集 × 94.72 34.90 17.24 48.95
    2 CycleGAN[28]迁移学习生成数据集 95.95 50.69 39.66 62.10
    3 本文域自适应模型迁移学习数据集 98.24 90.97 55.17 81.46
    下载: 导出CSV
  • [1] AMIN M G. Through-The-Wall Radar Imaging[M]. Boca Raton, USA: CRC Press, 2017: 7–11. doi: 10.1201/9781315218144.
    [2] NKWARI P K M, SINHA S, and FERREIRA H C. Through-the-wall radar imaging: A review[J]. IETE Technical Review, 2018, 35(6): 631–639. doi: 10.1080/02564602.2017.1364146.
    [3] 金添, 宋勇平, 崔国龙, 等. 低频电磁波建筑物内部结构透视技术研究进展[J]. 雷达学报, 2021, 10(3): 342–359. doi: 10.12000/JR20119.

    JIN Tian, SONG Yongping, CUI Guolong, et al. Advances on penetrating imaging of building layout technique using low frequency radio waves[J]. Journal of Radars, 2021, 10(3): 342–359. doi: 10.12000/JR20119.
    [4] CUI Guolong, KONG Lingjiang, and YANG Jianyu. A back-projection algorithm to stepped-frequency synthetic aperture through-the-wall radar imaging[C]. 1st Asian and Pacific Conference on Synthetic Aperture Radar, Huangshan, China, 2007: 123–126. doi: 10.1109/APSAR.2007.4418570.
    [5] 吴一戎, 洪文, 张冰尘, 等. 稀疏微波成像研究进展(科普类)[J]. 雷达学报, 2014, 3(4): 383–395. doi: 10.3724/SP.J.1300.2014.14105.

    WU Yirong, HONG Wen, ZHANG Bingchen, et al. Current developments of sparse microwave imaging[J]. Journal of Radars, 2014, 3(4): 383–395. doi: 10.3724/SP.J.1300.2014.14105.
    [6] YOOON Y S and AMIN M G. Through-the-wall radar imaging using compressive sensing along temporal frequency domain[C]. IEEE International Conference on Acoustics, Speech and Signal Processing, Dallas, USA, 2010: 2806–2809. doi: 10.1109/ICASSP.2010.5496199.
    [7] LI Minchao, XI Xiaoli, SONG Zhongguo, et al. Multitarget time-reversal radar imaging method based on high-resolution hyperbolic radon transform[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1–5. doi: 10.1109/LGRS.2021.3054119.
    [8] ODEDO V C, YAVUZ M E, COSTEN F, et al. Time reversal technique based on spatiotemporal windows for through the wall imaging[J]. IEEE Transactions on Antennas and Propagation, 2017, 65(6): 3065–3072. doi: 10.1109/TAP.2017.2696421.
    [9] LI Lianlin, ZHANG Wenji, and LI Fang. A novel autofocusing approach for real-time through-wall imaging under unknown wall characteristics[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(1): 423–431. doi: 10.1109/TGRS.2009.2024686.
    [10] JIA Yong, GUO Yong, CHEN Shengyi, et al. Multipath ghost and side/grating lobe suppression based on stacked generative adversarial nets in MIMO through-wall radar imaging[J]. IEEE Access, 2019, 7: 143367–143380. doi: 10.1109/ACCESS.2019.2945859.
    [11] CHEN Guohao, CUI Guolong, KONG Lingjiang, et al. Robust multiple human targets tracking for through-wall imaging radar[C]. 2018 21st International Conference on Information Fusion, Cambridge, UK, 2018: 1–5. doi: 10.23919/ICIF.2018.8455343.
    [12] JIA Yong, KONG Lingjiang, YANG Xiaobo, et al. Target detection in multi-channel through-wall-radar imaging[C]. 2012 IEEE Radar Conference, Atlanta, USA, 2012: 539–542. doi: 10.1109/RADAR.2012.6212199.
    [13] 姚雪, 孔令讲, 易川, 等. 一种适用于穿墙雷达成像的墙体补偿算法[J]. 雷达科学与技术, 2014, 12(6): 654–658. doi: 10.3969/j.issn.1672-2337.2014.06.017.

    YAO Xue, KONG Lingjiang, YI Chuan, et al. A new wall compensation algorithm for through-the-wall radar imaging[J]. Radar Science and Technology, 2014, 12(6): 654–658. doi: 10.3969/j.issn.1672-2337.2014.06.017.
    [14] LI Shiyong, AMIN M G, AN Qiang, et al. 2-D coherence factor for sidelobe and ghost suppressions in radar imaging[J]. IEEE Transactions on Antennas and Propagation, 2020, 68(2): 1204–1209. doi: 10.1109/TAP.2019.2938581.
    [15] LU Biying, SUN Xin, ZHAO Yang, et al. Phase coherence factor for mitigation of sidelobe artifacts in through-the-wall radar imaging[J]. Journal of Electromagnetic Waves and Applications, 2013, 27(6): 716–725. doi: 10.1080/09205071.2013.774111.
    [16] LIU Jiangang, JIA Yong, KONG Lingjiang, et al. Sign-coherence-factor-based suppression for grating lobes in through-wall radar imaging[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(11): 1681–1685. doi: 10.1109/LGRS.2016.2603982.
    [17] AN Qiang, HORRFAR A, ZHANG Wenji, et al. Range coherence factor for down range sidelobes suppression in radar imaging through multilayered dielectric media[J]. IEEE Access, 2019, 7: 66910–66918. doi: 10.1109/ACCESS.2019.2911693.
    [18] SENG C H, BOUZERDOUM A, AMIN M G, et al. Two-stage fuzzy fusion with applications to through-the-wall radar imaging[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(4): 687–691. doi: 10.1109/LGRS.2012.2218570.
    [19] SENG C H, BOUZERDOUM A, AMIN M G, et al. Probabilistic fuzzy image fusion approach for radar through wall sensing[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4938–4951. doi: 10.1109/TIP.2013.2279953.
    [20] JIA Yong, ZHONG Xiaoling, LIU Jiangang, et al. Single-side two-location spotlight imaging for building based on MIMO through-wall-radar[J]. Sensors, 2016, 16(9): 1441. doi: 10.3390/s16091441.
    [21] LI Huquan, CUI Guolong, GUO Shisheng, et al. Human target detection based on FCN for through-the-wall radar imaging[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(9): 1565–1569. doi: 10.1109/LGRS.2020.3006077.
    [22] QU Lele, WANG Changan, YANG Tianhong, et al. Enhanced through-the-wall radar imaging based on deep layer aggregation[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 4023705. doi: 10.1109/LGRS.2022.3171714.
    [23] VISHWAKARMA S and RAM S S. Mitigation of through-wall distortions of frontal radar images using denoising autoencoders[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(9): 6650–6663. doi: 10.1109/TGRS.2020.2978440.
    [24] ZHANG Huiyuan, SONG Ruiyuan, CHEN Shengyi, et al. Target imaging based on generative adversarial nets in through-wall radar imaging[C]. International Conference on Control, Automation and Information Sciences, Chengdu, China, 2019: 1–6. doi: 10.1109/ICCAIS46528.2019.9074694.
    [25] JIA Yong, SONG Ruiyuan, CHEN Shengyi, et al. Preliminary results of multipath ghost suppression based on generative adversarial nets in TWRI[C]. IEEE 4th International Conference on Signal and Image Processing, Wuxi, China, 2019: 208–212. doi: 10.1109/SIPROCESS.2019.8868597.
    [26] HUANG Shaoyin, QIAN Jiang, WANG Yong, et al. Through-the-wall radar super-resolution imaging based on cascade U-net[C]. IEEE International Geoscience and Remote Sensing Symposium, Yokohama, Japan, 2019: 2933–2936. doi: 10.1109/IGARSS.2019.8900569.
    [27] GAMIN Y, USTINOVA E, AJAKAN H, et al. Domain-adversarial training of neural networks[J]. The Journal of Machine Learning Research, 2016, 17(59): 1–35. doi: 10.48550/arXiv.1505.07818.
    [28] ZHU Junyan, PAKR T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2242–2251. doi: 10.1109/ICCV.2017.244.
    [29] JANA R and KOCUR D. Compensation of wall effect for through wall tracking of moving targets[J]. Radioengineering, 2009, 18(2): 189–195.
    [30] 范苍宁, 刘鹏, 肖婷, 等. 深度域适应综述: 一般情况与复杂情况[J]. 自动化学报, 2021, 47(3): 515–548. doi: 10.16383/j.aas.c200238.

    FAN Cangning, LIU Peng, XIAO Ting, et al. A review of deep domain adaptation: General situation and complex situation[J]. Acta Automatica Sinica, 2021, 47(3): 515–548. doi: 10.16383/j.aas.c200238.
    [31] KIM J, KIM M, KANG H, et al. U-GAT-IT: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation[C]. 8th International Conference on Learning Representations, Addis Ababa, Ethiopia, 2020.
    [32] ULYANOV D, VEDALDI A, and LEMPITSKY V. Instance normalization: The missing ingredient for fast stylization[EB/OL]. https://arXiv.org/abs/1607.08022, 2016.
    [33] BA J L, KIROS J R, and HINTON G E. Layer normalization[EB/OL]. https://arXiv.org/abs/1607.06450, 2016.
    [34] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90.
    [35] SHORTEN C and KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data, 2019, 6(1): 60. doi: 10.1186/s40537-019-0197-0.
    [36] WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. doi: 10.1109/TIP.2003.819861.
    [37] HEUSEL M, RAMSAUER H, UNTERTHINER T, et al. GANs trained by a two time-scale update rule converge to a local nash equilibrium[C]. 31st Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 6629–6640. doi: 10.5555/3295222.3295408.
    [38] WANG Qiang and BI Sheng. Prediction of the PSNR quality of decoded images in fractal image coding[J]. Mathematical Problems in Engineering, 2016, 2016: 2159703. doi: 10.1155/2016/2159703.
  • 期刊类型引用(26)

    1. 刘畅宇,张浩,耿芳琳,白忠瑞,王鹏,李振锋,杜利东,陈贤祥,方震. 基于距离抽头重构的生理雷达动态解调算法. 雷达学报(中英文). 2025(01): 135-150 . 百度学术
    2. 赵翔,王威,李晨洋,关建,李刚. 基于毫米波雷达微动信号和脉搏波数据融合的睡眠呼吸暂停低通气综合征筛查技术. 雷达学报(中英文). 2025(01): 102-116 . 百度学术
    3. 武赟,张东恒,张淦霖,谢学诚,詹丰全,陈彦. 智能反射表面辅助的WiFi呼吸感知. 雷达学报(中英文). 2025(01): 189-203 . 百度学术
    4. 黄帅铭,朱晓华,王武斌,赵恒,洪弘. U-Sodar:基于超声波雷达的非接触生命体征检测技术. 雷达学报(中英文). 2025(01): 168-188 . 百度学术
    5. 田雨,王舒怡,赵博衡,方震,杨杰. 基于毫米波雷达的中医情志数据科学化探析. 中华中医药学刊. 2025(02): 12-15+259-260 . 百度学术
    6. 张冰洋,黄霞. 连续波生物雷达生命体征检测平台与实验研究. 中国现代教育装备. 2024(01): 77-79+83 . 百度学术
    7. 周杨,李剑鹏,王知雨,梁庆真. 基于4D点云和航迹信息的人员跌倒检测方法. 电子技术应用. 2024(01): 120-124 . 百度学术
    8. 张敏,张欢,史晓娟,梁卓文,张娜. 老年患者跌倒检测系统的设计与实现. 中国医学装备. 2024(02): 157-161 . 百度学术
    9. 韩丽有,谭钦红,刘家森. 基于CNN-BiLSTM的FMCW雷达生命体征信号检测. 激光杂志. 2024(03): 68-73 . 百度学术
    10. 屈乐乐,杨研. 基于MIMO-FMCW雷达的多人生命体征检测. 雷达科学与技术. 2024(03): 247-254+264 . 百度学术
    11. 郭洪瑞,曹汇敏,杨克奇,张朱珊莹. 基于多通道雷达数据融合的人体心率精准测量. 生物医学工程学杂志. 2024(03): 461-468 . 百度学术
    12. 王超超,胡钧益,蒋治国,张先超. SCG信号处理与应用研究进展. 传感技术学报. 2024(06): 923-940 . 百度学术
    13. 杨天虹,屈乐乐. 基于FMCW毫米波雷达的人体生命体征检测实验设计. 实验室研究与探索. 2024(06): 60-65 . 百度学术
    14. 姬丽静,郭书文,刘瑞霞,秦钰锦,徐蔚,虞青松. 重复作业人机工程风险监测评估研究综述. 机械设计. 2024(09): 149-155 . 百度学术
    15. 邹优敏,俞卫锋,罗恒,蔡端芳,谭友果. 基于多普勒效应的非接触式呼吸探测传感器研究. 电子元件与材料. 2024(08): 938-943 . 百度学术
    16. 张冰洋,高军峰,张宇,黄龙,付君雅,曹书琪,赵小玉. 基于雷达传感器的非接触式睡眠呼吸检测系统设计. 现代电子技术. 2024(22): 7-11 . 百度学术
    17. 倪杰,王勇,杨小龙,聂伟,张茜,罗朗娟. 基于毫米波雷达的心率变异性检测方法. 移动通信. 2024(12): 103-115 . 百度学术
    18. 黄育夫,高旭. 基于毫米波雷达的睡眠监控技术研究. 家电科技. 2024(S1): 479-483 . 百度学术
    19. 陈佳欣,李灿航,刘美,孟亚男. 基于FMCW雷达的人体活动感知综述. 广东石油化工学院学报. 2024(06): 42-48 . 百度学术
    20. 李牧,王昭,骆宇. 基于TsFresh-Stacking的毫米波雷达人体跌倒检测方法. 网络安全与数据治理. 2023(06): 71-78 . 百度学术
    21. 麦超云,王占,洪晓纯,黄传好,刘子明. GSWOA-VMD在毫米波雷达非接触式生命体征检测中的应用. 现代电子技术. 2023(16): 69-74 . 百度学术
    22. 刘梓隆,林志伟,张利,何华斌,蔡志明. 基于呼吸心跳时序混叠信号的毫米波雷达身份识别. 闽南师范大学学报(自然科学版). 2023(03): 107-115 . 百度学术
    23. 卢赛虎,张浩,牟岫影,王鹏,杜利东,陈贤祥,黄可,杨汀,方震. 慢阻肺数字疗法探讨. 生物医学工程研究. 2023(03): 279-284 . 百度学术
    24. 黄政钦,刘铭华,陈文骏. 非接触式生理参数检测系统的设计与实现. 科技创新与应用. 2023(34): 48-52 . 百度学术
    25. 何鹏宇,卓智海. 基于VMD-SWT联合算法的FMCW雷达生命体征检测. 北京信息科技大学学报(自然科学版). 2023(06): 41-47 . 百度学术
    26. 郑铭凯,饶彬,王伟. 基于超宽带冲激雷达的人体动作识别和心率估计数据集. 中国科学数据(中英文网络版). 2023(04): 484-495 . 百度学术

    其他类型引用(31)

  • 加载中
图(13) / 表(4)
计量
  • 文章访问数: 442
  • HTML全文浏览量: 119
  • PDF下载量: 190
  • 被引次数: 57
出版历程
  • 收稿日期:  2024-03-29
  • 修回日期:  2024-05-29
  • 网络出版日期:  2024-06-20
  • 刊出日期:  2024-08-28

目录

/

返回文章
返回