1.   引言

穿墙雷达通过低频超宽带电磁波穿透墙体，实现对封闭建筑空间内遮蔽目标的成像显示，在公安反恐、应急救援等军事和民用领域具有重要应用价值^[1−3]。

现有穿墙雷达成像算法主要有后向投影^[4]、压缩感知^[5,6]、时间反转^[7,8]等。受制于墙体透视探测的特殊性，穿墙雷达成像存在旁/栅瓣鬼影干扰、目标图像散焦、多目标互扰等问题，严重削弱了目标成像的可分辨性。具体来讲，电磁波穿透非均匀墙体时在墙体内外存在多次折射和反射，导致成像结果中出现目标散焦的现象^[9]；低频工作条件下，稀疏的阵元间距、有限的阵列孔径和阵元数量综合导致目标图像周围出现伴随的旁/栅瓣鬼影干扰^[10]；当封闭空间内存在多个目标时，目标间散射特性差异和互相遮挡共同导致多个目标图像的强度出现显著差异^[11]。上述问题的存在导致难以从模糊图像中准确辨别多个目标的分布。

针对目标图像散焦问题，文献[12]利用不同通道图像杂波造成的干扰分布不同而目标图像分布高度相似的特点，将多幅单通道图像融合为一幅高分辨二值图像，解决目标图像散焦问题。文献[13]提出一种近似墙体补偿的方法，通过构建墙体厚度和介电常数之间的约束关系来计算电磁波时延，近似实现目标聚焦成像。针对旁/栅瓣鬼影干扰问题，文献[14−17]利用旁栅瓣和主瓣在相干性方面的区别，对图像进行相干因子加权以抑制旁/栅瓣鬼影，但此类方法对弱目标图像有削弱作用。针对多目标互扰造成的目标图像强弱差异问题，文献[18,19]提出了一种多极化图像融合方法，利用不同极化图像中目标强度的互补特性，解决了弱目标图像难以分辨的问题。文献[20]提出了一种多视角协同成像探测方法，该方法通过叠加融合两幅不同视角图像和恒虚警检测实现多目标高分辨成像。上述方法分别在旁栅瓣鬼影抑制、目标图像散焦、多目标互扰等问题上取得了一定成果，但均只针对穿墙雷达高分辨成像中的单一问题进行考虑，缺少系统性、一体化解决全部问题的技术途径。

为系统性解决上述问题，一些学者将深度学习方法应用于穿墙雷达高分辨成像领域，归纳而言主要分为目标检测和图像优化两类。其中目标检测类方法利用检测器分离目标与杂波，实现穿墙目标高分辨成像显示。图像优化类方法通过学习目标图像的纹理结构等细节信息，自动生成优化后的高分辨图像。对于目标检测类方法，文献[21]提出一种融合注意力机制和全卷积网络(Fully Convolutional Networks, FCN)的目标检测算法，利用目标图像与背景杂波在形状与幅度特征上的区别实现穿墙雷达弱散射目标检测。文献[22]提出了一种基于深层聚合的多分辨率融合网络，通过迭代聚合穿墙雷达图像的语义和空间信息抑制旁/栅瓣鬼影，准确定位弱散射目标，但该算法需预知墙体相对介电常数等先验信息，实用性受限。对于图像优化类方法，文献[23]利用自动编码器削弱与目标无关的杂波，实现穿墙雷达高分辨图像重建。然而，该方法依赖于穿墙条件下采集的大量雷达图像及对应标签图像。文献[24,25]利用生成对抗网络实现对输入模糊图像中旁/栅瓣鬼影的抑制，系统性解决了遮蔽多目标高分辨成像面临的旁/栅瓣鬼影干扰、目标散焦、多目标互扰等问题，但该方法仅在仿真图像上进行了可行性验证。仿真图像与实测图像属于非同源图像，在某些风格和纹理结构上存在差异，文献[26]的结果也表明使用仿真图像训练的成像模型很难直接应用于真实场景中，为此现有基于生成对抗网络的穿墙雷达成像方法缺少在实际应用场景中的泛化能力。

为解决上述基于生成对抗网络的穿墙雷达成像方法的局限性，基于迁移学习的域自适应方法^[27]被提出。它关注于目标任务相同情况下，带标签数据仅适用于源域数据，且源域数据和目标域数据存在域间差异的问题。鉴于此，可利用域自适应模型减小图像域间差异，为解决带标签数据制作困难的问题提供了一种思路。

综上所述，本文提出一种基于仿真样本迁移学习的穿墙雷达成像新方法，在不需要带标签实测数据的情况下实现高分辨目标成像。具体而言，该方法首先利用基于循环生成对抗网络(Cycle-consistent Generative Adversarial Networks, CycleGAN)^[28]的域自适应子网络实现带标签仿真数据到实测数据的迁移，系统性解决穿墙雷达带标签实测数据不足的问题。联合使用注意力机制、自适应残差块及多尺度判别器提高图像迁移质量，引入结构一致性损失函数减小图像间的感知差异。然后利用域自适应子网络迁移学习生成的带标签数据训练穿墙雷达目标成像子网络，实现穿墙雷达多目标高分辨成像。基于实测数据的实验结果表明，所提方法能有效对齐源域穿墙雷达仿真图像和目标域穿墙雷达实测图像，实现无监督地穿墙雷达目标成像数据集自动标注，系统性解决了遮蔽多目标高分辨成像面临的旁/栅瓣鬼影干扰、目标图像散焦、多目标互扰等问题，为带标签数据不足情况下的穿墙雷达高分辨成像问题提供了新的技术途径。

2.   穿墙雷达成像

穿墙雷达成像模型如图1所示。T和R分别表示发射阵元和接收阵元，相邻接收阵元间距为${d_{{\mathrm{RR}}}}$，相邻收发阵元间距为${d_{{\mathrm{TR}}}}$。使用经典的后向投影算法(Back Projection, BP)对上述模型成像。具体来讲，BP成像算法将待成像区域划分为Q个像素点，计算不同发射天线发出的电磁波到像素点再从像素点返回接收天线的双程时间延时，通过对多个收发通道在双程延时处的回波数据相干叠加实现目标成像。对于M发N收的雷达，共包含$M \times N$个收发通道，假设发射超宽带信号为$s(t)$，将探测区域划分为P个网格点，则第i个收发通道的回波可表示为

图  1  MIMO穿墙成像雷达模型

Figure  1.  A simple of Multiple-Input Multiple-Output (MIMO) Through-the-Wall Radar Imaging (TWRI)

下载: 全尺寸图片 幻灯片

其中，${\sigma _{p,i}}$表示对应第i个收发通道、第p个网格的散射系数，${\tau _{p,i}}$表示第p个网格点与第i个收发通道的双程时间延时。

通过后向投影算法获得穿墙雷达图像，其中，待成像区域的第q个像素网格的像素值计算为

其中，${w_i}$用于定义系统点扩散函数的权重，本文将其值设置为1。${\tau _{q,i}}$是第q个像素点与第i个收发通道之间的传播延迟。

受墙体穿透的影响，使用上述方法成像时墙体折射效应将导致目标图像散焦。为此，本文使用基于固定延时的墙体补偿方法^[29]抑制墙体穿透导致的散焦问题。需要注意的是，采用的墙体补偿算法是基于均匀墙体模型的，而现实场景中墙体通常为非均匀介质，故目标图像散焦问题仅会削弱而非完全消除，如图2(a)给出的穿墙雷达实际成像结果所示。此外，在低频工作条件下，稀疏的阵元间距、有限的阵列孔径和阵元数量综合导致目标图像周围出现伴随的旁/栅瓣鬼影干扰(如图2(a)绿色圆圈标记所示)。当封闭空间内存在多个目标时，目标间散射特性差异和互相遮挡共同导致多个目标图像的强度出现显著差异(如图2(a)中目标1和目标2)。目标散焦、旁栅瓣鬼影等问题使得目标图像模糊不清，导致难以从雷达图像中准确辨别多个目标的分布情况。

图  2  穿墙雷达成像结果

Figure  2.  Results of MIMO TWRI

下载: 全尺寸图片 幻灯片

3.   仿真样本迁移学习的高分辨成像

为系统性解决传统穿墙雷达成像方法存在的旁/栅瓣鬼影干扰、目标图像散焦、多目标互扰等问题，本文利用图像优化类方法实现穿墙场景下雷达高分辨成像。具体来讲，该方法通过生成对抗网络学习目标图像的纹理结构等细节信息，并自动生成优化后的高分辨图像。然而，该方法属于深度学习范畴，模型性能依赖于带标签图像数量，而实际应用中大规模、高质量带标注的穿墙雷达图像数据集制作耗时耗力。考虑到开源电磁仿真软件GprMax能够模拟电磁波在穿墙场景下的传播过程并产生大量穿墙雷达回波数据，在一定程度上能够解决穿墙雷达成像模型训练困难的问题。然而仿真图像与实测图像属于多域图像，在风格和纹理结构上存在一定差异，如图2(a)中穿墙雷达实测图像与图2(b)中穿墙雷达仿真图像，导致使用仿真图像训练的网络难以拟合于实测图像上。为此，本文引入基于域自适应的迁移学习方法，该方法能够缩短仿真图像和实测图像之间的域间差异，实现带标签仿真图像到实测图像的转换，从而解决带标签实测图像不足的问题。综上，本文提出的仿真样本迁移学习的高分辨成像方法总体框架如图3所示，该方法包括两个子网络：域自适应子网络、目标成像子网络。首先利用域自适应子网络的生成学习能力^[30]，将大量穿墙雷达带标签仿真图像迁移为伪实测图像，仿真图像和伪实测图像共享标签，实现伪实测图像自动标注；在获得大量带标签穿墙雷达伪实测图像的基础上，利用目标成像子网络实现对输入雷达实测图像中杂波干扰的抑制，并自动生成优化后的穿墙雷达高分辨图像。

图  3  模型框架示意图

Figure  3.  Schematic diagram of the model framework

下载: 全尺寸图片 幻灯片

3.1   域自适应子网络

CycleGAN在非配对图像迁移学习任务上取得了很好的效果，本文基于CycleGAN框架搭建的域自适应子网络如图4所示。“仿真-实测”生成器${{\mathrm{G}}_{s \to t}}$将穿墙雷达仿真图像s迁移转换成伪实测图像${t{'}}$，“实测-仿真”生成器${{\mathrm{G}}_{t \to s}}$将穿墙雷达实测图像t迁移转换成伪仿真图像${s{'}}$。判别器${{\mathrm{D}}_t}$和${{\mathrm{D}}_s}$分别用于区分伪实测图像${t{'}}$与实测图像t之间、伪仿真图像${s{'}}$与穿墙雷达实测图像t之间的差异。由于CycleGAN是循环生成对抗结构，将生成的伪实测图像${t{'}}$送入${{\mathrm{G}}_{t \to s}}$得到重建的伪仿真图像${s{''}}$。同理，生成的伪仿真图像${s{'}}$送入${{\mathrm{G}}_{s \to t}}$得到重建的伪实测图像${t{''}}$。

图  4  域自适应模型框架示意图

Figure  4.  Schematic diagram of the domain adaptation model framework

下载: 全尺寸图片 幻灯片

由于CycleGAN是围绕着局部纹理间的转换展开的，而本文仿真图像与实测图像差异性较大，图像转换的效果不佳。为了缩短穿墙雷达仿真图像和实测图像之间的域差异，提高生成器生成图像质量，本文引入了注意力机制。该注意力机制利用辅助分类器来识别仿真图像与实测图像之间的域差异，使用全局平均池化和局部最大池化获取图像全局和细节纹理信息，将体现图像域间差异的权重作为对应特征图的权重对特征图进行加权，得到图5所示的CAM类激活图，CAM类激活图引导仿真图像风格转换更关注于与实测图像差异较大的部分。具体来讲，注意力模块接收编码器输出的特征图，使用全局平均池化和全局最大池化对特征图中的每个特征进行聚合，从而建立学习参数权重。为了给编码特征图每个通道赋予不同权重值，需要将全局平均池化和全局最大池化自适应调整的参数权重和编码特征图相乘，得到带通道加权参数的CAM类激活图，CAM类激活图内权重参数的大小决定了该部分特征对于整体特征图的重要性。最终利用卷积层将特征图通道数还原，得到注意力加权后的特征图，为后续残差块解码做准备。此外，本文在注意力机制中引入了辅助分类器。该辅助分类器本质上是一个二元分类器，图像经全局平均池化与全局最大池化后，使用卷积层进行降维处理后再送入辅助分类器。辅助分类器用于区分图像是否是实测图像，并根据分类情况优化学习参数权重。对于带注意力机制的生成器而言，当生成器能够借助辅助分类器区分图像域时，说明生成器已经学习到了源域仿真图像s与目标域实测图像t的数据分布情况，从而生成逼真的伪实测图像。同理，当注意力机制模块应用于判别器时，判别器借助辅助分类器判别图像是否是生成器生成图像，同时注意力机制模块对编码特征图的加权和池化操作能够加强判别器对图像重要区域的关注度，从而提高判别器对输入图像域的判别能力。

图  5  带CAM类激活图的自适应残差块

Figure  5.  Adaptive residual block with CAM class activation map

下载: 全尺寸图片 幻灯片

图像风格迁移的质量直接影响了目标成像网络性能的好坏，为进一步提高穿墙雷达图像转换质量，本文在生成器解码残差块中引入带CAM类激活图的自适应实例层归一化方法(AdaLIN)^[31]，其表达式如下：

其中，${\alpha _I}$表示实例归一化(IN)^[32]，${\alpha _L}$表示层归一化(LN)^[33]，$\rho \in (0,1)$，参数$\gamma$和$\beta$通过外部传入。AdaLIN结合了上述两种归一化方法的优点，训练时能从注意力模块中学习到当前更关注于图像整体结构分布还是目标及旁/栅瓣鬼影形状等细节信息，据此调整参数$\rho$的值，引导AdaLIN自适应修改生成图像的纹理和结构。实现在不修改模型总体结构和相关参数情况下的仿真图像向实测图像迁移的任务。

为了判别图像是否由生成器生成，大多数判别器都是分别对局部图像块的类别进行判断，然后对所有局部图像块的结果取平均得到最终的判别器结果。采用上述图像块分割的方式进行判别可以在一定程度上减少判别器的训练量，网络训练复杂度降低。然而，上述判别方法使得判别器更关注于局部区域内图像块的细节纹理信息，从而网络忽略了全局信息。针对这一问题，本文联合使用局部和全局判别器优化判别器的性能，其训练流程如图6所示。判别器中同样引入注意力机制，将不同层次编码阶段的特征图叠加形成注意力图，注意力图通过关注迁移学习生成的穿墙雷达伪实测图像与实测图像之间的差异辅助模型进行微调。

图  6  多尺度判别器训练流程

Figure  6.  Multi-scale discriminator training process

下载: 全尺寸图片 幻灯片

3.2   目标成像子网络

目标成像网络同样采用“生成-判别式”网络。生成器部分采用带有Resnet^[34]残差块的编码-转换-解码结构，主要用于将带有旁/栅瓣鬼影、多目标互扰、目标散焦等问题的穿墙雷达实测图像转换为高分辨目标图像。其中，编码器通过连续下采样操作提取图像不同层次特征；为避免下采样层次过深导致的梯度消失问题，转换器由9个残差块组成；最后在解码器部分恢复图像信息。

考虑到穿墙雷达原始模糊图像与高分辨目标图像主要在结构细节方面存在差异，因此采用PatchGAN作为目标成像网络的判别器，如图7所示。PatchGAN将输入图像切分为许多相互独立的小块patch并对每个patch进行真假判别，判别结果直接映射到分类矩阵上，矩阵内所有patch的平均值即为判别器的输出结果。PatchGAN对小块patch进行判定的特点使其在图像细节方面具有优越的判别效果。

图  7  Patch-GAN判别器结构

Figure  7.  Discriminator structure of Patch-GAN

下载: 全尺寸图片 幻灯片

3.3   损失函数

为了实现仿真图像到实测图像的迁移，首先引入对抗损失。具体来讲，在训练的过程中生成器旨在最小化对抗损失，以便判别器无法区分迁移学习生成的伪图像与真实图像之间的差异，而判别器目标则与之相反，对抗损失表达式如下所示：

其中，${\mathrm{E}}(*)$表示分布函数的期望值，${X_s}$和${X_t}$分别表示源域仿真图像和目标域实测图像数据。

为了防止生成器过度学习目标域空间中的雷达实测图像而过度改变源域空间中的雷达仿真图像，本文引入循环一致性损失函数保证图像迁移学习的有效性，表达式如下：

在域自适应任务中，为了达到输入输出图像之间色彩构成相似的目的，采用同一映射损失约束生成器${{\mathrm{G}}_{s \to t}}$和${{\mathrm{G}}_{t \to s}}$，同一映射损失表达式如下：

为了更好地将体现雷达仿真图像和雷达实测图像域间的差异部分分开，本文额外引入了辅助分类器损失，表达式如下：

其中，${\eta _s}(x)$为辅助分类器。该辅助分类器本质上是一个二元分类器，用于区分图像是否是实测图像，并根据分类情况自适应优化学习参数权重。对于带注意力机制的生成器而言，当生成器能够借助辅助分类器区分图像域时，说明生成器已经充分学习到了源域仿真图像与目标域实测图像的数据分布情况，从而生成逼真的伪实测图像。

此外，当穿墙雷达仿真输入图像和生成的雷达伪实测图像之间没有直接约束时，图像与不同语义信息混合将导致生成数据与标签信息不对应。具体表现为生成图像目标位置发生偏移，导致目标成像过程学习到错误信息。为解决上述问题，本文引入结构相似性损失函数对穿墙雷达仿真输入图像和生成的雷达伪实测图像进行约束，以减小输入图像和生成图像之间的感知差异。结构相似性损失函数描述伪实测图像和实测图像、伪仿真图像和仿真图像在结构上的相似度，值越接近1代表图像越相似，其表达式如下：

其中，${\sigma _s}$, ${\sigma _t}$是图像像素值的标准差，${\sigma _{st}}$为两个图像像素的协方差，${\mu _s}$, ${\mu _t}$是图像像素的平均值，${{\mathrm{c}}_1}$, ${{\mathrm{c}}_2}$为常数。

综上，本文所用域自适应子网络的总损失表达式如下：

其中，${\lambda }_{{\mathrm{cyc}}}, \;{\lambda }_{{\mathrm{identity}}}, \;{\lambda }_{{\mathrm{CAM}}}, \;{\lambda }_{{\mathrm{SSIM}}}$为常量，用于控制不同损失在总损失中所占的比重。

为了将带有旁/栅瓣鬼影、目标散焦等干扰的模糊图像转换生成为高分辨图像，目标成像网络需要使判别器最大化对图像的真实性进行判别，损失函数定义为

其中，x, y表示目标成像子网络的穿墙雷达模糊输入图像和配对标签图像。训练过程中为了提高生成器G生成的目标图像清晰度，实现穿墙雷达高分辨目标成像任务，使用L1正则化损失对生成的高分辨目标图像和标签图像之间的差异进行约束，其计算方法如下所示：

目标成像网络的总目标是在正则约束的情况下实现生成器和判别器的最大最小博弈，表达式如下所示：

其中，超参数$\lambda$控制正则约束项在总损失函数中所占的比重。

4.   实验与分析

4.1   数据集制作

本文利用Python电磁仿真库GprMax有限差分时域法获得仿真数据。仿真场景如图1所示，设置步进变频连续波信号作为发射信号，使用圆柱体目标模拟静止人体。共设置3组实验，分别为单目标、双目标、三目标场景，仿真场景下，除目标位置不同外，其他仿真参数均相同。详细参数设置情况如表1所示。

表  1  仿真参数设置

Table  1.  Parameter setting

参数	取值		参数	取值
中心频率f	1.5 GHz		墙体电导率${\sigma _{\mathrm{w}}}$	0.1 S/m
带宽B	1 GHz		人体目标半径r	10 cm
墙体厚度h	0.2 cm		目标介电常数${\varepsilon _{\mathrm{r}}}$	55
发射阵元和相邻接收阵元间距${d_{{\mathrm{TR}}}}$	0.15		接收阵元间距${d_{{\mathrm{RR}}}}$	0.3
发射天线数量M	2		接收天线数量N	8
墙体介电常数${\varepsilon _{\mathrm{w}}}$	5.0		目标电导率${\sigma _{\mathrm{r}}}$	1.05 S/m

下载: 导出CSV 

| 显示表格

完成穿墙雷达仿真场景构建后，首先利用GprMax获得多目标场景下的电磁仿真回波数据，然后利用MATLAB分别对穿墙封闭空间和未穿墙封闭空间多通道回波数据进行后向投影成像，得到原始模糊的电磁仿真图像。在未进行墙体补偿时，受墙体穿透效应的影响，电磁波信号时延发生了改变，上述因素导致雷达成像结果中墙后目标位置发生偏移。因此本文使用基于固定延时的墙体补偿方法解决目标偏移的问题。此外，仿真场景下的墙体为均匀墙体，对上述场景的多通道回波数据进行墙体补偿还能够解决目标图像散焦的问题，墙体补偿后的BP成像结果如图8(a)所示。在获得穿墙雷达仿真目标图像后，进一步通过简单的门限检测获得高分辨标签图像，如图8(b)所示。该标签图像为高分辨目标图像，在保持目标位置匹配的条件下，与电磁仿真模糊图像同步生成。最后，将穿墙雷达仿真图像与高分辨标签图像进行配对连接，共制作3500张带标签电磁仿真数据集，其中单目标、双目标、三目标仿真图像分别有1500张、1500张、500张，图像大小均为256×256。

图  8  穿墙雷达仿真图像

Figure  8.  Simulation images of Through-the-Wall Radar (TWR)

下载: 全尺寸图片 幻灯片

实验场景如图9所示，使用两发八收的MIMO雷达监视墙后走动的人体目标，两个发射阵元分别放置在接收子阵的末端，与相邻的接收阵元相距15 cm，相邻发射阵元间距为30 cm。在观测期间，人体目标在建筑物内随机行走，速度不超过1.5 m/s。雷达设置在离地1.2 m的高度上，以保证聚焦于高度为1.75 m的人体目标的胸腹部主要散射部位。最后使用从胸部散射的最强回波进行成像处理。由于受雷达分辨率的影响，在超过3个目标的情况下目标之间相互影响会导致目标丢失的问题，因此本文仅采集了1～3个人体目标场景下的数据。完成数据采集后，使用后向投影算法对穿墙雷达实测数据进行成像，最终得到1306张实测数据。其中，单目标、双目标、三目标图像数量分别为568张、618张、120张。成像结果如图10所示。

图  9  穿墙雷达探测场景

Figure  9.  TWR detection scene

下载: 全尺寸图片 幻灯片

图  10  穿墙雷达实测图像

Figure  10.  TWR measured image

下载: 全尺寸图片 幻灯片

4.2   实验细节

实验训练和测试环境如表2所示。训练完成后将带标签穿墙雷达电磁仿真图像输入域自适应模型，迁移生成对应的雷达伪实测图像，伪实测图像与仿真图像共享标签。在获得大规模带标签图像的基础上，使用带标签伪实测数据集训练目标成像子网络。训练完成后，输入1306张雷达实测数据，测试网络优化成像性能。为了避免过拟合，本文在域自适应和目标成像部分均使用了数据扩增^[35]方法。

表  2  实验环境详细参数

Table  2.  Detailed parameters of experimental environment

实验环境	版本
操作系统	Windows 10专业版64位
CPU	Intel(R) Core(TM) i7-10700K CPU @ 3.80 GHz
GPU	NAVIDIA RTX 3090
Pytorch	1.10.2
CUDA	11.6

下载: 导出CSV 

| 显示表格

4.3   评价指标

为客观评估本文提出的域自适应网络性能，选用结构相似性指数(Structural Similarity, SSIM)^[36]、峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)^[37]、距离得分(Frechet Inception Distance, FID)^[38]衡量域迁移模型生成雷达伪实测图像质量。

对于穿墙雷达实测图像和生成的伪实测图像而言，图像间亮度、对比度和结构之间的距离越接近，表示图像相似程度越高。为了衡量雷达实测图像和伪实测图像在上述3方面的相似程度，本文使用SSIM对图像相似度进行计算，计算公式表示为

其中，s, t分别表示穿墙雷达实测图像和伪实测图像。${\sigma _s}$, ${\sigma _t}$分别表示实测图像和伪实测图像像素值的标准差，${\sigma _{st}}$表示协方差，${\mu _s}$, ${\mu _t}$分别表示实测图像和伪实测图像像素平均值，${{\mathrm{c}}_1}$, ${{\mathrm{c}}_2}$为常数。

FID在特征空间上衡量穿墙雷达实测图像与伪实测图像的相似度，其值越低，表明雷达伪实测图像的数据分布与实测图像数据分布越接近，伪实测图像的质量越高，计算公式如下：

其中，${\displaystyle\sum\nolimits _i}$为协方差矩阵，${T_s}(*)$表示矩阵对角线上所有元素求和运算。

PSNR在像素层面上对图像失真程度进行评估，计算公式表示为

其中，MSE为图像均方误差，MaxValue为图像像素可取到的最大值。

4.4   实验结果与分析

4.4.1   域自适应子网络

本文最终目标是实现穿墙雷达高分辨成像任务，而图像迁移结果直接影响了目标成像准确率和清晰度，因此对于图像转换质量的评估至关重要。本文域自适应模型是在原始CycleGAN^[28]模型上进行改进的，为了验证本文改进域自适应模型的有效性，首先对穿墙雷达电磁仿真图像到穿墙雷达实测图像的转换效果进行定性比较，如图11所示。图11中按列的顺序从左到右依次为穿墙雷达电磁仿真输入图像、原始CycleGAN模型图像转换结果、本文模型图像转换结果、穿墙雷达实测图像。图中黄色圆圈标记生成图像纹理差异部分。从图11可以明显观察到，使用CycleGAN迁移学习生成的图像虽然在整体风格上与目标域图像接近，但是目标图像清晰度较低。具体表现在使用CycleGAN迁移学习生成的伪实测图像在结构和纹理上与目标图像存在差异，栅瓣部分曲线不自然，如图11(b)黄色圆圈标记部分所示。本文在域自适应模型中引入了带CAM类激活图的自适应残差块，上述模块的特性使得域自适应模型生成的图像在保留了原始输入图像局部特征信息的基础上，还与目标图像保持着较高的相似度，如图11(c)和图11(d)所示。此外，本文改进域自适应模型在训练中加入了结构一致性损失函数，经过域自适应模型转换后的图像与原始输入图像在结构上保持一致性。综上所述，使用本文域自适应模型迁移学习生成的伪实测图像不仅在图像清晰度上获得了提高，在结构和纹理上也更接近于目标图像，相较于CycleGAN方法，本文域自适应模型生成的伪实测图像更加逼真。

图  11  迁移学习结果(黄色圆圈标记生成图像纹理差异部分)

Figure  11.  Transfer learning results (yellow circle marking generates texture differences in the image)

下载: 全尺寸图片 幻灯片

为了进一步检验本文提出的注意力模块、自适应残差块、结构一致性损失模块对图像转换质量的影响，本节在原始CycleGAN的基础上逐步增加注意力机制、自适应实例残差块和结构一致性损失函数。比较不同改进模型训练过程中的FID得分，FID得分反映了真实图像和生成图像的相似程度，当两幅图像特征空间上的数据分布越近时，FID得分越低。经过平滑处理后的FID得分曲线如图12所示，其中ACycleGAN, ADCycleGAN分别表示带注意力机制的CycleGAN模型、带注意力机制和自适应实例残差块的CycleGAN模型。观察图12结果可知，随着迭代次数的增加，不同模型FID得分均呈现下降趋势。

图  12  训练过程中图像FID得分(虚线为训练过程中实际FID得分曲线，实线表示经平滑处理后的FID得分曲线)

Figure  12.  FID Score during training (the dotted line is the actual FID score curve during the training process, and the solid line represents the FID score curve after smoothing)

下载: 全尺寸图片 幻灯片

为了量化图像迁移质量，加载训练过程中FID得分最低的模型权重进行测试，比较不同改进模型下迁移学习生成的雷达伪实测图像和雷达实测图像的SSIM, PSNR, FID值，其结果如表3所示。在注意力机制的辅助下模型能关注于更感兴趣的部分，相比于原始CycleGAN模型，ACycleGAN模型的SSIM值提高了0.05，PSNR提高了2.54 dB，FID值降低了9.38。继续引入自适应残差块后，注意力机制和自适应残差块共同作用，引导模型更灵活地控制风格图像在形状和纹理变化的大小，图像迁移质量再次提高。最后增加结构一致性损失函数，减小输入雷达仿真图像和生成的穿墙雷达伪实测图像之间的感知差异，在SSIM, PSNR, FID 3种指标上均获得了优异的结果。

表  3  不同模型的SSIM, FID, PSNR值

Table  3.  SSIM, FID and PSNR values of different models

模型	SSIM	PSNR (dB)	FID
CycleGAN[28]	0.68	15.50	32.88
ACycleGAN	0.73	18.04	23.50
ADCycleGAN	0.75	17.72	22.39
本文域自适应模型	0.80	18.78	18.07

下载: 导出CSV 

| 显示表格

4.4.2   目标成像子网络

本文最终目标是实现穿墙雷达高分辨成像任务，而基于图像优化类方法的穿墙雷达目标高分辨成像模型性能依赖于带标签样本的数量。为验证数据集数量及质量对目标成像任务的影响，本文在网络参数设置相同的情况下，使用3种方法训练目标成像子网络。方法1是仅使用1306张穿墙雷达带标签实测数据集训练目标成像网络。方法2首先使用CycleGAN迁移学习生成3391张穿墙雷达带标签伪实测数据，其中单目标、双目标、三目标图像数量分别为1500张，1444张，447张，利用该数据集训练目标成像网络。方法3首先使用本文域自适应模型迁移学习生成3410张穿墙雷达伪实测数据，其中单目标、双目标、三目标图像数量分别为1500张， 1451张，459张，然后利用该数据集训练目标成像网络。最后在穿墙雷达实测图像上验证3个目标成像子网络的性能，使用统计学的方法统计实测图像上目标成像准确率(目标区域存在目标且非目标区域无假目标)，统计结果如表4所示。由于在有3个人体目标的场景下，多目标之间互相干扰会导致弱散射目标无法准确成像、目标聚焦成像效果差等问题更明显，造成3个人体目标的成像准确率相对较低。

表  4  不同方法目标成像准确率(%)

Table  4.  Target imaging accuracy of different methods (%)

方法	数据集	迁移学习	单目标准确率	双目标准确率	三目标准确率	总准确率
1	实测数据集	×	94.72	34.90	17.24	48.95
2	CycleGAN[28]迁移学习生成数据集	√	95.95	50.69	39.66	62.10
3	本文域自适应模型迁移学习数据集	√	98.24	90.97	55.17	81.46

下载: 导出CSV 

| 显示表格

图13展示不同训练数据集下目标成像子网络成像结果。在不同数量目标场景下，使用穿墙雷达实测数据集训练的目标成像子网络受带标签实测数据量的限制，存在目标聚焦成像效果差(图13(b)白色方框)、弱散射目标无法准确成像(图13(b)黄色、粉色方框)的问题，成像准确率和质量低；图13(c)为文献[24,25]提出的方法，由于该方法仅使用穿墙雷达带标签仿真图像训练目标成像网络，导致在实测数据上进行验证时，多目标场景下存在目标丢失(图13(b)黄色、粉色方框)及错误成像的问题(图13(c)黄色、绿色、粉色方框)等问题，因此，仅使用仿真图像训练的成像网络缺少在实际应用场景中的泛化能力；在双目标场景下，使用CycleGAN^[28]迁移学习生成的穿墙雷达伪实测数据集训练的目标成像子网络能在一定程度上解决带标签数据不足的问题，然而CycleGAN网络生成的伪实测图像质量低，与真实场景中的雷达图像存在差异，导致在雷达实测数据上进行目标成像时非目标位置处出现错误成像，如图13(d)绿色方框所示；相比而言，在不同数量目标场景下，使用本文方法生成的雷达伪实测数据集训练的目标成像子网络不仅成功实现旁/栅瓣鬼影抑制，还实现了散焦目标及弱散射目标的准确成像，在穿墙雷达多目标成像质量和成像准确率上均获得了提升。

图  13  不同方法训练目标成像网络的成像测试结果(图中大方框图像是小方框的放大图像)

Figure  13.  Target imaging results of different method (the large box image in the figure is an enlarged image of the small box)

下载: 全尺寸图片 幻灯片

5.   结语

为实现带标签数据有限条件下的遮蔽目标高分辨成像任务，本文提出了一种基于仿真样本迁移学习的方法。具体来说，该方法首先利用基于迁移学习的域自适应网络实现大规模带标签仿真图像到实测图像的迁移，解决了穿墙雷达带标签实测数据不足的问题。在获得大规模带标签图像的基础上，利用搭建的目标成像网络系统性解决遮蔽多目标高分辨成像面临的旁/栅瓣鬼影干扰、目标图像散焦、多目标互扰等问题，最终在没有任何标注的雷达实测数据集上实现穿墙雷达高分辨成像，多种目标数量场景下目标成像准确率达到81.46%。

虽然本文在穿墙雷达高分辨成像任务上取得了一定结果，但受实验设备和时间的限制，仍存在目标数量较少、成像场景简单的问题，未来希望能够通过进一步的研究，将其扩展应用到更多目标和复杂场景中。