Loading [MathJax]/jax/output/SVG/jax.js

基于角度内插仿真的飞机目标多角度SAR数据集构建方法研究

王汝意 张汉卿 韩冰 张月婷 郭嘉逸 洪文 孙巍 胡文龙

王汝意, 张汉卿, 韩冰, 等. 基于角度内插仿真的飞机目标多角度SAR数据集构建方法研究[J]. 雷达学报, 2022, 11(4): 637–651. doi: 10.12000/JR21193
引用本文: 王汝意, 张汉卿, 韩冰, 等. 基于角度内插仿真的飞机目标多角度SAR数据集构建方法研究[J]. 雷达学报, 2022, 11(4): 637–651. doi: 10.12000/JR21193
WANG Ruyi, ZHANG Hanqing, HAN Bing, et al. Multiangle SAR dataset construction of aircraft targets based on angle interpolation simulation[J]. Journal of Radars, 2022, 11(4): 637–651. doi: 10.12000/JR21193
Citation: WANG Ruyi, ZHANG Hanqing, HAN Bing, et al. Multiangle SAR dataset construction of aircraft targets based on angle interpolation simulation[J]. Journal of Radars, 2022, 11(4): 637–651. doi: 10.12000/JR21193

基于角度内插仿真的飞机目标多角度SAR数据集构建方法研究

DOI: 10.12000/JR21193
基金项目: 国家自然科学基金(61431018)
详细信息
    作者简介:

    王汝意(1997–),男,山东人,中国科学院空天信息创新研究院硕士生。2019年获北京科技大学通信工程学士学位。主要研究方向为SAR图像仿真

    张汉卿(1997–),男,山东人,中国科学院空天信息创新研究院博士生。主要研究方向为多角度SAR三维成像方法

    韩 冰(1980–),女,北京人,博士生导师,中国科学院空天信息创新研究院研究员。主要研究方向为先进体制星载SAR高精度成像处理、辐射校正与定标等数据处理关键技术,成果应用于SAR海洋遥感、多源遥感数据智能信息提取等领域

    张月婷(1983–),女,河北人,博士,中国科学院空天信息创新研究院副研究员。研究方向为SAR目标特性、SAR图像与遥感图像应用,发表SCI论文十余篇

    郭嘉逸(1989–),男,河北人,博士,中国科学院空天信息创新研究院助理研究员。研究方向为SAR图像深度学习应用、SAR图像与遥感图像复原应用,发表SCI论文十余篇

    洪 文(1968–),女,中国科学院空天信息创新研究院研究员,博士生导师。主要研究方向为多角度SAR数据处理方法、微波成像新概念新体制新方法等

    孙 巍(1980–),男,山东人,硕士,中国科学院空天信息创新研究院微波成像技术重点实验室副研究员。主要研究方向为SAR雷达系统设计和研制

    胡文龙(1963–),男,安徽人,博士,中国科学院空天信息创新研究院研究员。主要研究方向为雷达信号处理、雷达目标识别、高轨SAR新体制新方法等

    通讯作者:

    韩冰 han_bing@mail.ie.ac.cn

  • 责任主编:曾涛 Corresponding Editor: ZENG Tao
  • 中图分类号: TN959

Multiangle SAR Dataset Construction of Aircraft Targets Based on Angle Interpolation Simulation

Funds: The National Natural Science Foundation of China (61431018)
More Information
  • 摘要: 随着SAR技术应用领域的扩大以及SAR数据获取技术的发展,构建各种典型目标的多角度SAR数据集的需求日益迫切。针对飞机目标,目前尚未有比较完备的多角度SAR图像数据集。该文探索了一种基于实测数据和智能仿真相结合的数据集构建方法,通过飞行试验采集飞机目标SAR多角度数据,并基于散射分析和自注意力生成对抗网络实现特定角度的SAR图像内插仿真,从而为数据集构建和扩容提供新的解决方案。最后,在假定部分数据缺失的情况下,通过6种评价指标对仿真图像和实际采集图像的相似度进行了评价,验证了所提方法的有效性。

     

  • 合成孔径雷达(Synthetic Aperture Radar, SAR)是一种高分辨率微波成像雷达。作为一种主动发射信号的传感器,SAR可以全天时、全天候获取被观测区域目标的散射信息,丰富的信息与及时高效的数据获取能力使得SAR在军事侦察、地形测绘、灾害监测、应急预警等多个领域发挥越来越重要的作用。

    SAR成像机理决定了对于结构较为复杂的目标而言,其SAR图像特征将呈现显著的角度敏感特性。目前,在SAR目标检测识别等研究中被广泛使用的多角度观测公开数据集为MSTAR (The Moving and Stationary Target Acquisition and Recognition)数据集,但MSTAR数据集的观测对象仅包含苏联军用车辆目标。随着SAR技术应用领域的扩大以及SAR数据获取技术的发展,构建各种典型目标的多角度SAR数据集的需求日益迫切。

    针对本论文研究的典型目标—飞机目标,目前尚未有比较完备的多角度SAR图像数据集。由于飞机目标在不同的观测角度下会体现出不同的散射特性,且飞机目标形状较为复杂,方位向各向异性特征显著,所以构建类似MSTAR的飞机多角度SAR数据集需要针对飞机各向异性特性系统地展开对数据集构建理论和方法的研究。

    构建目标多角度SAR图像数据集的传统方法一般包括实验室半物理仿真、计算机仿真、实际数据采集等多种方式。实验室缩比半物理仿真,即对实体或缩小目标在外场或微波暗室进行实际测量[1];计算电磁学计算机仿真,即先借助计算机软件对目标的几何外形进行精确建模,再用计算机代码编程实现电磁计算方法,通过仿真计算得到目标电磁散射回波特性[2];实际数据采集则利用机载SAR系统针对特定目标进行如360°圆迹实际观测的数据获取。前两种方法的缺陷主要是难以实现对真实目标的准确描述,而最后一种方法的难点是成本高、受限因素多等。

    随着深度学习技术的发展,Goodfellow等人[3]在2014年提出的生成对抗网络(Generative Adversarial Networks, GAN)具备一定的数据内插和外插能力,在SAR图像的数据扩充和目标识别等方面有很好的应用前景。针对传统电磁仿真算法精度差、速度慢、自动化程度低的问题,Guo等人[4]开发了一种端到端模型,可以利用GAN直接从已知的图像数据库中生成所需的图像,并补全SAR目标在各个方位角下的结果。Zhang等人[5]结合SAR图像对目标方位角等参数敏感的特点,在利用深度卷积生成对抗网络(Deep Convolutional GAN, DCGAN)扩充目标图像的过程中,通过加入方位识别模型提取图像中的目标方位角,来生成与真实图像中目标的方位角一致的特定图像。为了改善DCGAN方法的不稳定性,同时更好地丰富完善已获取的SAR目标图像的角、方向等信息,张明蕊[6]提出了一个基于WGAN-GP(Wasserstein GAN-Gradient Penalty)可用于SAR图像方位角筛选模型,证明了生成的SAR图像是有效的,可以在一定程度上扩充现有图像数据。为解决SAR自动目标识别中的数据稀疏问题,孙智博等人[7]提出一种基于谱归一化生成对抗网络(Spectral Normalization Generative Adversarial Network, SN-GAN)的目标SAR图像仿真方法,通过实验验证,在训练集中加入SN-GAN优化的仿真SAR图像可以有效缓解数据稀疏问题,提升分类算法的准确率。Liu等人[8]提出利用RaySAR等工具生成模拟图像来增加训练集大小;然后,他们提出使用CycleGAN来调整仿真图像,实验结果表明,使用CycleGAN可以使分类准确率提高9.3%。生成对抗网络及其衍生网络在生成SAR图像样本中的广泛应用,促进实测数据采集和智能仿真相结合的目标多角度SAR数据构建与扩容技术的发展。

    截至目前,无论是在国内还是国际上,基于GAN的SAR图像生成的研究基本上是基于MSTAR数据集而展开的。尚无人使用除MSTAR车辆数据集以外的多角度观测数据对SAR目标进行多角度数据集构建方法的研究工作。飞机目标轮廓复杂,角度敏感性更加突出,且相对于车辆来说尺寸更大,若使用传统的GAN网络容易忽视飞机整体的特征,所以针对飞机目标数据集构建方法的研究有着十分迫切的需求。

    在本文中,通过实测数据采集来构建飞机目标SAR多角度数据集,并基于散射分析和自注意力生成对抗网络(Self-Attention GAN, SAGAN)实现特定角度的SAR图像内插仿真,从而为数据集构建和扩容提供新的解决方案。首先,采用无人机载SAR以尽可能小的角度间隔采集数据,围绕飞机目标多角度拍摄获得SAR原始回波数据,对其进行成像处理,并对获得SAR图像进行数据预处理,得到飞机图像切片数据。然后,假定部分数据缺失,采用SAGAN对缺失角度的飞机SAR图像进行角度内插仿真,使用6种评价指标对仿真图像与实际采集的数据进行数值分析并补全目标能量积分曲线,证明了使用该方法进行特定角度图像仿真的可行性。

    试验使用的雷达是中国科学院空天信息创新研究院研制的4 kg级MiniSAR R/SYA4000Ku-T1,采用KWT-X6L-15多旋翼无人机作为飞行平台,集成了雷达主机、惯性导航系统、供电模块、稳定云台4大部分。其集成平台实景图如图1所示。

    图  1  集成平台实景图
    Figure  1.  Picture of integrated platform

    试验选定山西省太原市尧城机场内自有停放的多架飞机作为本项目获取数据的观测对象。本文中研究的飞机目标是大棕熊100型(以下简称大棕熊)和“空中拖拉机”AT-504(以下简称T504)飞机,其现场图像如图2所示。此外,在该机场中还停放着其他型号的飞机,如空中国王350i、塞斯纳208“大篷车”等。在本文中只对大棕熊和T504飞机进行相关的研究,其余飞机目标后续会进行对比分析。

    图  2  现场图像
    Figure  2.  Situation image

    试验中,SAR采用右侧视观测且下视角为45°,所用成像方式为条带成像模式。试验中以大棕熊飞机为目标中心规划航线飞行,并要求以相邻航线之间的间隔为5°,即获取72个角度的SAR条带数据,并保持雷达的下视角和雷达发射功率恒定。飞行航线示意图如图3所示。其中,由于每条飞行航迹均采用右侧视,所以相反的两条航迹关于成像中心是中心对称的。

    图  3  试验航线规划局部图
    Figure  3.  Local figure of route planning

    传统SAR成像算法采用侧视观测几何来获得方位-斜距二维图像,由于飞行航线是随着观测角度不断变化的,所以飞机上的同一个点在不同角度的SAR图像中的位置是不同的,这给后续的散射特性分析带来了困难。BP成像算法可以将成像区域网格化,保障不同角度下网格位置的一一对应关系[9],所以本文中使用BP算法对原始数据进行成像处理。

    BP算法是在时域进行操作的SAR成像算法。BP算法首先将成像的场景进行网格划分,最终形成的SAR图像中每个像素代表一个网格,将雷达回波数据反向投影到成像区域的每个像素,再将每个像素处的回波进行相干叠加,最后恢复出每个像素的目标函数。在本文中,成像网格根据数字高程模型(Digital Elevation Model, DEM)设定,网格分辨率设置为0.05 m。

    经过BP成像之后,还需对成像后的SAR图像进行预处理,来获得构建数据集所需的飞机图像,其处理流程如图4所示。

    图  4  数据集切片制作流程图
    Figure  4.  Flow chart of dataset making

    首先,从BP成像之后的SAR复图像中裁剪出飞机SAR复图像(a);然后,将(a)中的复数取模,转化为(b);同时,为了防止强散射点对图像缩放和幅值归一化的影响,在复数取模后,需对其设置最高幅值阈值,并将超过该阈值的幅值设置为阈值的大小,得到(c);然后,将(c)经双线性插值缩放至128×128大小,得到(d);最后,将(d)的幅值归一化至[0,255]区间内,得到飞机图像,即本文实验所使用的数据。

    该数据集共有两型飞机,每型72张飞机图像,对应的角度信息分别为0°, 5°, 10°, 15°, ···, 340°, 345°, 350°, 355°,每张图像的大小都是128×128,且像素幅值都在[0,255]区间内。最后,制作的飞机数据集切片如图5图6所示。两型飞机多角度数据集,见《雷达学报》官方网站“论文数据集 2022年第1期。

    图  5  大棕熊数据集展示
    Figure  5.  Display of Quest dataset
    图  6  T504数据集展示
    Figure  6.  Display of T504 dataset

    雷达散射截面积(Radar Cross Section, RCS)是目标在雷达接收方向上反射雷达信号能力的度量,一个目标的RCS等于在单位立体角内目标在雷达接收天线方向上反射的功率与入射到目标处的功率密度之比[10]。其计算公式为

    σ=4πR2|Er|2|Ei|2 (1)

    其中,Ei入射电场矢量,Er为在距离目标R处反射电场矢量。同时,因为SAR图像中每个像素的幅值就是该像素的强度,所以这里将SAR图像中目标的幅值之平方和定义为目标的能量积分。

    如果一个目标的主体能量分布在N个像素点内,并且多角度SAR图像中第m(m=1,2,3,,N)个像素处的幅值随角度变化的曲线为Rm(k),其中k为不同的方位角度,那么我们将目标的能量积分随角度变化的曲线定义为

    R(k)=Nm=1Rm(k) (2)

    即目标在某一角度的能量是每个像素在该角度能量的叠加。因此,目标的能量积分曲线可以通过像素的累加获得。这相当于用一个等效像素来表示整个目标,类似于散射中心的概念[11]

    在本文中,将飞机数据集中每张切片图像的各个像素值按照式(2)进行相加,并将得到的结果取模,得到了飞机的能量积分随角度变化的曲线,分别是0°, 5°, 10°, ···, 345°, 350°, 355°等72个角度的目标能量积分随角度变化的曲线,以及假定部分数据缺失后,剩余的0°, 10°, 20°, ···, 330°, 340°, 350°等36个角度的目标能量积分随角度变化的曲线,如图7图8所示。

    图  7  大棕熊目标能量积分变化曲线
    Figure  7.  The integral curve of target energy of Quest
    图  8  T504目标能量积分变化曲线
    Figure  8.  The integral curve of target energy of T504

    试验中,在各个不同角度观测时保持雷达发射功率恒定,得到的SAR图像是处于同一辐射基准下的,所以虽然目标的能量积分的数值较大,但目标能量积分随角度变化的曲线仍能反映出各不同角度目标能量积分之间的相对关系。对比图7图8中(a)、(b)两图,可以发现(b)图虽然在轮廓上与(a)图相差不大,但在曲线变化的细节方面仍和(a)图有着较为明显的差异。在后续的实验中,会将(b)图对应角度的图像作为数据集,利用SAGAN来进行中间角度的仿真,实现对目标能量积分曲线进行角度补全,证明SAGAN在飞机数据集缺失角度仿真中的能力。

    本文使用的网络由两大部分构成,一个是生成器G,一个是鉴别器D,如图9所示。二者相辅相成,生成器G产生尽可能真的假样本来骗过鉴别器D,而D则不断通过反馈学习鉴别出样本的真假。在网络训练过程中,二者交替进行,最终达到平衡状态[12]。同时,由于需要生成特定角度的SAR图像,所以需要在生成器和鉴别器的输入端引入角度标签c,使其指导图像的生成过程,生成指定标签的样本。

    图  9  网络模型结构图
    Figure  9.  Structure diagram of network model

    生成器模型G的网络结构如图10所示。在图10中,Deconv表示反卷积(Deconvolution)操作,SN表示谱归一化(Spectral Normalization, SN), BN表示批归一化(Batch Normalization, BN), ReLU表示线性整流函数(Rectified Linear Unit, ReLU),网络中的H×W×C分别表示每层的高度、宽度和通道数量。

    图  10  生成器G 的网络结构图
    Figure  10.  Structure diagram of generator G

    生成器有两个输入,一个是服从标准正态分布的60位随机噪声z,另一个是输入图像的方位角信息c=[sinθ,cosθ]。在生成器的输入端,将输入的两部分通过反卷积网络上采样为相同的维度,并进行通道合并。然后经过5层反卷积上采样得到128×128大小的仿真SAR图像。

    判别器模型D的网络结构如图11所示。图中Conv表示卷积(Convolution)操作,Leaky ReLU表示渗漏整流单元。

    图  11  判别器D的网络结构图
    Figure  11.  Structure diagram of discriminator D

    判别器本质上就是一个二分类器。判别器也有两个输入,一个是生成器生成的SAR图像或真实的SAR图像,另一个是图像对应的角度信息c。经过通道合并和卷积下采样后,最后传送给全连接层进行分类,得到输入图像的可信度d=D(x)R,当判别器的输入为真实图像时可信度d1,当判别器的输入为生成图像时可信度d1,而当可信度d(1,1)时,判别器对图像的分类结果不确定。

    在生成飞机图片时,也是非常注重细节的,以左右机翼举例,只要左右机翼有一点点不对称,就会显得生成的飞机特别不真实。但是一般的卷积神经网络受局部感受野的限制,只能实现图像局部区域的精确建模,而无法体现图像中距离较远的特征之间的相关性。而自注意力机制为解决这一问题提供了新的途径。

    自注意力模块将所有位置处的特征的加权和作为该位置的响应,在模拟远距离依赖性的能力、计算效率之间有非常好的权衡,其网络拓扑图如图12所示[13]

    图  12  SAGAN的自注意力模块网络拓扑图
    Figure  12.  Topology of the self-attention module network in SAGAN

    图12中,xRC×N(N=H×W,x1,x2,,xNN个特征区域) 表示前一个隐含层的输出,transpose为矩阵转置运算,代表矩阵乘法,softmax为归一化指数函数,f, g, h分别代表不同的特征空间,且

    f(x)=Wfx,g(x)=Wgx,h(x)=Whx (3)

    其中,Wf,Wg,Wh为1×1卷积的权重矩阵。

    βj,i=softmax(f(xi)Tg(xj)) (4)

    其中,βj,i表示模型在合成第j个特征区域时对第i个特征区域的关注程度。全局空间信息o=[o1o2ojoN],其中

    oj=Ni=1βj,ih(xi) (5)

    网络的最终输出为

    yi=γoi+xi (6)

    表示全局空间和局部信息整合到一起,γ参数是从0开始初始化,目的是让网络首先关注邻域信息,随后慢慢把权重分配到其他远距离特征上。

    本文在生成器模型和判别器模型中均使用了注意力机制,如图10图11中绿色方块所示。

    此外,本文将谱归一化分别应用于生成器和判别器中来稳定网络的训练过程。谱归一化,是一种让函数满足Lipschitz条件的方式[14]。将谱归一化作用在生成器和判别器每一层的权重矩阵上,可以让判别器满足Lipschitz条件,同时也避免了生成器的参数过多导致梯度异常,使整个训练过程更加平稳和高效。其实现简单,额外的计算成本很低。

    本文中目标函数使用铰链损失函数(Hinge Loss),并采用交替训练的方式来最小化对抗性损失。判别器和生成器的目标函数分别为

    LD=E(x,y)Pdata[min(0,1+D(x|c,y|c))]EzPz,yPdata[min(0,1D(G(z|c),y|c))] (7)
    LG=EzPz,yPdataD(G(z|c),y|c) (8)

    其中,Pdata是数据集的分布函数,xy表示从中采样出来的真实图像;Pz服从标准正态分布,z表示从中采样出来的随机噪声;c为方位标签信息。当判别器判定真实图像x为真实图像时,判别器的目标函数LD的第1项为0;当判别器判定生成器生成的图像G(z|c)为虚假图像时,LD的第2项为0;当判别器错判或判别不出图像的真假时,要对两项的损失进行累加。生成器的目标函数LG使用判别器对生成图像G(z|c)的判定结果来作为损失函数。

    实验采用Pytorch深度学习框架。在训练过程中,设置batch size为12。生成器和判别器均采用Adam优化器,初始学习率设置为0.00002,超参数α1=0.5, α2=0.9

    为了方便对比本文网络模型的性能,本文将进行以下几组对照实验,并将通过几种仿真方法仿真的图像与采集到的真实图像进行参数对比,如表1所示。

    表  1  对照实验设计
    Table  1.  Design of control experiment
    对照实验仿真方法数据集仿真图像
    实验1线性插值
    DCGAN
    SAGAN
    0°, 10°, 20°, ···, 330°, 340°, 350°等
    36个角度的切片图像
    5°, 15°, 25°, ···, 335°, 345°, 355°等
    36个角度的生成图像
    实验2线性插值
    DCGAN
    SAGAN
    0°, 20°, 40°, ···, 300°, 320°, 340°等
    18个角度的切片图像
    10°, 30°, 50°, ···, 310°, 330°, 350°等
    18个角度的生成图像
    实验3线性插值
    DCGAN
    SAGAN
    0°, 30°, 60°, ···, 270°, 300°, 330°等
    12个角度的切片图像
    15°, 45°, 75°, ···, 285°, 315°, 345°等
    12个角度的生成图像
    下载: 导出CSV 
    | 显示表格

    本文将每型飞机的实验分为3大部分,分别假定有不同程度的数据缺失,在每一部分使用线性插值仿真和DCGAN网络仿真来与SAGAN网络仿真的结果进行对比。

    本文将使用均值、方差、动态范围、等效视数、辐射分辨率[15]以及多尺度结构相似性[16](Multi-Scale Structural Similarity, MSSSIM) 6种评价指标来评估3种仿真图像与真实图像之间的相似程度。

    图像的均值反映了图像的亮度,描述了目标的平均后向散射特征;图像的方差反映了像素值的不均匀性,图像越不均匀,方差越大;动态范围是图像最大灰度和最小灰度的比值,动态范围的减小会导致图像特征的模糊;等效视数反映了图像斑点噪声的相对强弱,等效视数越大,斑点噪声越弱;辐射分辨率反映了图像中像素点的区分能力,辐射分辨率越高,图像越清晰;多尺度结构相似性将失真建模为亮度、对比度和结构3个不同因素的组合,具有对称性,当两个图像完全相同时,MSSSIM值达到最大值1。值得注意的是,动态范围的定义是D=10×lgImax/Imin,其中Imax为图像幅度的最大值,Imin为图像幅度的最小值,由于在图像中有些Imin=0,所以我们定义Imin=max(Imin,1)

    本文实验结果如表2表3所示,表中分别列举了6种评价指标,并展示了相应的图像便于视觉上的对比。

    表  2  大棕熊飞机的实验结果
    Table  2.  The results of Quest
    对照实验评价指标真实图像线性插值DCGANSAGAN
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    8.3478
    222.7115
    24.0191
    0.3544
    4.4122
    1.0000
    7.2824
    180.5600
    24.0654
    0.3296
    4.5283
    0.8796
    2.2015
    332.6937
    24.0645
    0.0155
    9.8494
    0.7208
    7.4473
    184.9680
    23.6535
    0.3411
    4.5109
    0.9109
    图像对比

    实验2
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.9940
    196.1860
    23.9936
    0.3610
    4.3566
    1.0000
    7.3991
    195.2122
    24.0654
    0.3201
    4.5477
    0.8176
    1.9416
    299.9074
    24.0654
    0.0132
    10.1238
    0.7182
    7.9586
    171.7767
    23.5524
    0.4067
    4.2361
    0.8687
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    9.3860
    269.7321
    24.0088
    0.3585
    4.4068
    1.0000
    6.8494
    177.5682
    24.0654
    0.2871
    4.6584
    0.7895
    3.9641
    444.1880
    24.0654
    0.0371
    8.4001
    0.6872
    7.2850
    151.7025
    23.1066
    0.3805
    4.2585
    0.8322
    图像对比
    下载: 导出CSV 
    | 显示表格
    表  3  T504飞机的实验结果
    Table  3.  The results of T504
    对照实验评价指标真实图像线性插值DCGANSAGAN
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.6944
    233.4476
    24.0310
    0.2890
    4.7038
    1.0000
    6.4487
    195.5095
    24.0654
    0.2472
    4.9370
    0.8883
    2.3689
    419.6468
    24.0654
    0.0139
    10.0759
    0.7865
    6.9906
    207.3487
    23.7438
    0.3000
    4.7565
    0.9144
    图像对比

    实验2
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.6757
    223.5757
    24.0259
    0.2928
    4.6348
    1.0000
    6.2026
    181.2341
    24.0654
    0.2448
    4.9537
    0.8056
    2.6880
    455.8974
    24.0548
    0.0168
    9.6976
    0.7633
    7.6460
    207.0935
    23.6946
    0.3564
    4.5942
    0.8757
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    8.0766
    248.2839
    24.0408
    0.3004
    4.6469
    1.0000
    5.8539
    166.7415
    24.0654
    0.2394
    4.9320
    0.7346
    3.7857
    588.1618
    24.0654
    0.0259
    9.2289
    0.7276
    7.7380
    176.5282
    23.3641
    0.3768
    4.2544
    0.8358
    图像对比
    下载: 导出CSV 
    | 显示表格

    表2表3中,均值和方差越接近真实图像的评价指标,说明仿真的图像越接近真实的图像。

    对比DCGAN和SAGAN的仿真结果可以发现,除“动态范围”这一评价指标之外,SAGAN在其他指标上表现力更好。这是因为SAGAN引入了自注意力机制和谱归一化,自注意力机制关注了图像中较远距离的相关性,谱归一化使得网络的训练更加稳定,因此SAGAN即使在数据集不充足的情况下(如实验3),也能够生成视觉可以分辨出的飞机图像。

    由于BP成像算法可以将成像区域网格化,所以在不同角度的SAR图像中飞机目标的轮廓位置是相同的,因此本文也采用了线性插值仿真的方法来与SAGAN仿真的结果进行对比。可以看出,在均值、等效视数和MSSSIM 3个评价指标中,SAGAN有着明显的优势,说明SAGAN仿真的图像拥有更高的亮度、更弱的斑点噪声,并且在结构相似性上与真实图像更相似。虽然SAGAN仿真的图像在方差、动态范围和辐射分辨率上的表现逊色于线性插值的方法,但随着实验数据集数据的增加(从实验3到实验2再到实验1),这3个指标的数值也在逐渐增加,有些已经逼近甚至超过了真实图像和线性插值仿真的图像的评价指标数值,仿真图像也变得越来越清晰。

    此外,本文还利用DCGAN和SAGAN分别对MSTAR数据集中的2S1型坦克进行了缺省角度仿真,所得结果如表4所示。由表4的数据可知,不论在评价指标上,还是在视觉效果上,SAGAN都展示出了较强的仿真能力,说明不论是针对飞机目标还是坦克目标,基于SAGAN的缺失角度内插仿真具有较强的适用性。

    表  4  2S1的实验结果
    Table  4.  The results of 2S1
    对照实验评价指标真实图像DCGANSAGAN
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    40.2738
    2180.6988
    24.0654
    0.7570
    3.3949
    1.0000
    17.9584
    2994.0535
    24.0654
    0.1094
    6.1325
    0.6334
    37.3199
    1911.7460
    24.0654
    0.7521
    3.3834
    0.6378
    图像对比
    实验2均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    37.8375
    2047.7608
    24.0654
    0.7171
    3.4513
    1.0000
    16.6881
    2725.6077
    24.0654
    0.1034
    6.1879
    0.6271
    38.1466
    1780.0209
    24.0654
    0.8523
    3.2304
    0.6078
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    41.7061
    2236.8337
    24.0654
    0.7884
    3.3453
    1.0000
    15.5795
    2792.1799
    24.0654
    0.0872
    6.4576
    0.5594
    36.2191
    1809.6890
    24.0654
    0.7392
    3.4129
    0.5744
    图像对比
    下载: 导出CSV 
    | 显示表格

    下面利用仿真图像进行目标能量积分曲线的角度补全,其实验结果如图13所示。图中,蓝色的实线代表生成图像与真实图像的MSSSIM曲线,桔黄色的实线代表数据集的目标能量积分曲线,黑色的虚线代表假定一半数据缺失后,采用生成图像补全的目标能量积分曲线。

    图  13  目标能量积分角度补全
    Figure  13.  Angle completion of target energy integral

    可以看出,在绝大部分区域,桔黄色实线和黑色虚线能够较好地吻合,说明生成图像和真实图像具有极高的相似性,这也从另一方面证明了SAGAN应用于飞机目标特定角度仿真是可行的;然而,在MSSSIM曲线的局部极小值点以及目标能量积分变化较为剧烈的角度,两条目标能量积分曲线仍有着比较显著的差异。因此,若想要实现目标能量积分曲线的较为理想的补齐,仍需要对上述区域进行较为密集的数据采集。

    仔细观察图5图6,发现在0°, 85°, 90°, 175°, 180°, 270°以及355°的图像目标背景区域会出现细条纹,经判断后确认是由于停机坪水泥边缘的反射引起的。为了讨论其是否给实验结果带来影响,本文将大棕熊数据集中上述角度的条纹区域去除,并按照表1数据集的设置使用SAGAN仿真了部分角度的图像。

    以0°的大棕熊飞机SAR图像为例,将BP成像之后的复图像做方位向傅里叶变换后,得到其方位向频谱图,如图14所示。

    图  14  0°的大棕熊SAR图像及其方位向频谱图
    Figure  14.  SAR image and azimuthal spectrum of Quest at 0°

    图14(b)可以发现,没有条纹的背景(距离向=50,即图14(b)左侧红虚线)和有条纹的背景(距离向=90,即图14(b)右侧红虚线)在频谱图中有着较大的差异。分别绘制出这两处的方位向频谱曲线,如图15所示。

    图  15  距离向=50和90处的方位向频谱曲线
    Figure  15.  Azimuth spectrum curves at range = 50 and range = 90

    图15可以发现,由于停机坪水泥地边缘的反射,有条纹背景的频谱图(b)相较于无条纹背景的频谱图(a)在方位向点数200至280之间频谱变高。将此方位向点数内的频谱设置为图15(a)中相应的大小,并对频谱图做方位向傅里叶逆变换,则可得到去掉该条纹背景的SAR图像,如图16所示。

    图  16  去除距离向=90处的条纹后的结果
    Figure  16.  Results after removing the stripe at range = 90

    对比图16(a)图14(a),并计算出两者的差值如图16(b)所示,可以发现该方法能有效地去除SAR图像中条纹背景的干扰。采用该方法将0°, 85°, 90°, 175°, 180°, 270°以及355°的SAR图像条纹背景去除后的结果如表5所示。

    表  5  条纹背景去除前后的SAR图像对比
    Table  5.  Comparison of SAR images before and after removing stripes
    角度去除条纹前的SAR图像去除条纹后的SAR图像去条纹前后SAR图像的差值
    85°
    90°
    175°
    180°
    270°
    355°
    下载: 导出CSV 
    | 显示表格

    使用SAGAN仿真的去条纹前后的图像及参数对比结果如表6所示。从表6可以看出,是否有条纹对仿真出来的图像在某些参数上会有些影响,但从视觉效果上相差并不大。因此,若将采用本文所提方法构建出来的数据集应用于目标检测或识别,是否会对其结果造成影响可能还是与检测或识别的方法有关,这一部分将作为后续研究的一部分内容进行深入探讨。

    表  6  去除条纹区域的对照实验结果
    Table  6.  The results of the control experiment with the removal of the background area
    对照实验评价指标去条纹前的
    仿真图像
    去条纹后的
    仿真图像
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.4473
    184.9680
    23.6535
    0.3411
    4.5109
    0.9109
    6.9914
    222.9078
    23.6961
    0.3154
    4.9534
    0.8978
    图像对比

    实验2
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.9586
    171.7767
    23.5524
    0.4067
    4.2361
    0.8687
    7.9711
    169.2302
    23.5418
    0.4252
    4.3732
    0.8752
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.2850
    151.7025
    23.1066
    0.3805
    4.2585
    0.8322
    8.2949
    149.7321
    23.5496
    0.4837
    4.4068
    0.8299
    图像对比
    下载: 导出CSV 
    | 显示表格

    针对飞机目标,本文研究通过实测数据采集来构建SAR多角度数据集,并利用SAGAN实现特定角度的SAR图像内插仿真。构建数据集完成后,假定部分数据缺失,并使用SAGAN仿真出来的生成图像进行数值分析和目标能量积分的角度补全,证明了使用该方法进行特定角度图像仿真的可行性。该方法结合了实测数据采集和智能仿真,是目标多角度SAR数据构建和扩容的新途径。

    本文构建了飞机目标多角度数据集并对其进行了初步的分析与研究,但仍有以下问题尚待解决:在目标能量积分补齐曲线不理想的角度,需要至少几度间隔的数据采集才能使得目标能量积分补齐曲线较为理想;由SAGAN仿真出来的生成图像,能否在目标分类中取得和真实图像相近的效果;能否设计一种复数SAGAN,保留数据集的相位信息,来实现复数SAR图像的仿真等。之后,我们将针对这些遗留问题逐一进行深入研究。

  • 图  1  集成平台实景图

    Figure  1.  Picture of integrated platform

    图  2  现场图像

    Figure  2.  Situation image

    图  3  试验航线规划局部图

    Figure  3.  Local figure of route planning

    图  4  数据集切片制作流程图

    Figure  4.  Flow chart of dataset making

    图  5  大棕熊数据集展示

    Figure  5.  Display of Quest dataset

    图  6  T504数据集展示

    Figure  6.  Display of T504 dataset

    图  7  大棕熊目标能量积分变化曲线

    Figure  7.  The integral curve of target energy of Quest

    图  8  T504目标能量积分变化曲线

    Figure  8.  The integral curve of target energy of T504

    图  9  网络模型结构图

    Figure  9.  Structure diagram of network model

    图  10  生成器G 的网络结构图

    Figure  10.  Structure diagram of generator G

    图  11  判别器D的网络结构图

    Figure  11.  Structure diagram of discriminator D

    图  12  SAGAN的自注意力模块网络拓扑图

    Figure  12.  Topology of the self-attention module network in SAGAN

    图  13  目标能量积分角度补全

    Figure  13.  Angle completion of target energy integral

    图  14  0°的大棕熊SAR图像及其方位向频谱图

    Figure  14.  SAR image and azimuthal spectrum of Quest at 0°

    图  15  距离向=50和90处的方位向频谱曲线

    Figure  15.  Azimuth spectrum curves at range = 50 and range = 90

    图  16  去除距离向=90处的条纹后的结果

    Figure  16.  Results after removing the stripe at range = 90

    表  1  对照实验设计

    Table  1.   Design of control experiment

    对照实验仿真方法数据集仿真图像
    实验1线性插值
    DCGAN
    SAGAN
    0°, 10°, 20°, ···, 330°, 340°, 350°等
    36个角度的切片图像
    5°, 15°, 25°, ···, 335°, 345°, 355°等
    36个角度的生成图像
    实验2线性插值
    DCGAN
    SAGAN
    0°, 20°, 40°, ···, 300°, 320°, 340°等
    18个角度的切片图像
    10°, 30°, 50°, ···, 310°, 330°, 350°等
    18个角度的生成图像
    实验3线性插值
    DCGAN
    SAGAN
    0°, 30°, 60°, ···, 270°, 300°, 330°等
    12个角度的切片图像
    15°, 45°, 75°, ···, 285°, 315°, 345°等
    12个角度的生成图像
    下载: 导出CSV

    表  2  大棕熊飞机的实验结果

    Table  2.   The results of Quest

    对照实验评价指标真实图像线性插值DCGANSAGAN
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    8.3478
    222.7115
    24.0191
    0.3544
    4.4122
    1.0000
    7.2824
    180.5600
    24.0654
    0.3296
    4.5283
    0.8796
    2.2015
    332.6937
    24.0645
    0.0155
    9.8494
    0.7208
    7.4473
    184.9680
    23.6535
    0.3411
    4.5109
    0.9109
    图像对比

    实验2
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.9940
    196.1860
    23.9936
    0.3610
    4.3566
    1.0000
    7.3991
    195.2122
    24.0654
    0.3201
    4.5477
    0.8176
    1.9416
    299.9074
    24.0654
    0.0132
    10.1238
    0.7182
    7.9586
    171.7767
    23.5524
    0.4067
    4.2361
    0.8687
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    9.3860
    269.7321
    24.0088
    0.3585
    4.4068
    1.0000
    6.8494
    177.5682
    24.0654
    0.2871
    4.6584
    0.7895
    3.9641
    444.1880
    24.0654
    0.0371
    8.4001
    0.6872
    7.2850
    151.7025
    23.1066
    0.3805
    4.2585
    0.8322
    图像对比
    下载: 导出CSV

    表  3  T504飞机的实验结果

    Table  3.   The results of T504

    对照实验评价指标真实图像线性插值DCGANSAGAN
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.6944
    233.4476
    24.0310
    0.2890
    4.7038
    1.0000
    6.4487
    195.5095
    24.0654
    0.2472
    4.9370
    0.8883
    2.3689
    419.6468
    24.0654
    0.0139
    10.0759
    0.7865
    6.9906
    207.3487
    23.7438
    0.3000
    4.7565
    0.9144
    图像对比

    实验2
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.6757
    223.5757
    24.0259
    0.2928
    4.6348
    1.0000
    6.2026
    181.2341
    24.0654
    0.2448
    4.9537
    0.8056
    2.6880
    455.8974
    24.0548
    0.0168
    9.6976
    0.7633
    7.6460
    207.0935
    23.6946
    0.3564
    4.5942
    0.8757
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    8.0766
    248.2839
    24.0408
    0.3004
    4.6469
    1.0000
    5.8539
    166.7415
    24.0654
    0.2394
    4.9320
    0.7346
    3.7857
    588.1618
    24.0654
    0.0259
    9.2289
    0.7276
    7.7380
    176.5282
    23.3641
    0.3768
    4.2544
    0.8358
    图像对比
    下载: 导出CSV

    表  4  2S1的实验结果

    Table  4.   The results of 2S1

    对照实验评价指标真实图像DCGANSAGAN
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    40.2738
    2180.6988
    24.0654
    0.7570
    3.3949
    1.0000
    17.9584
    2994.0535
    24.0654
    0.1094
    6.1325
    0.6334
    37.3199
    1911.7460
    24.0654
    0.7521
    3.3834
    0.6378
    图像对比
    实验2均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    37.8375
    2047.7608
    24.0654
    0.7171
    3.4513
    1.0000
    16.6881
    2725.6077
    24.0654
    0.1034
    6.1879
    0.6271
    38.1466
    1780.0209
    24.0654
    0.8523
    3.2304
    0.6078
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    41.7061
    2236.8337
    24.0654
    0.7884
    3.3453
    1.0000
    15.5795
    2792.1799
    24.0654
    0.0872
    6.4576
    0.5594
    36.2191
    1809.6890
    24.0654
    0.7392
    3.4129
    0.5744
    图像对比
    下载: 导出CSV

    表  5  条纹背景去除前后的SAR图像对比

    Table  5.   Comparison of SAR images before and after removing stripes

    角度去除条纹前的SAR图像去除条纹后的SAR图像去条纹前后SAR图像的差值
    85°
    90°
    175°
    180°
    270°
    355°
    下载: 导出CSV

    表  6  去除条纹区域的对照实验结果

    Table  6.   The results of the control experiment with the removal of the background area

    对照实验评价指标去条纹前的
    仿真图像
    去条纹后的
    仿真图像
    实验1均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.4473
    184.9680
    23.6535
    0.3411
    4.5109
    0.9109
    6.9914
    222.9078
    23.6961
    0.3154
    4.9534
    0.8978
    图像对比

    实验2
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.9586
    171.7767
    23.5524
    0.4067
    4.2361
    0.8687
    7.9711
    169.2302
    23.5418
    0.4252
    4.3732
    0.8752
    图像对比

    实验3
    均值
    方差
    动态范围
    等效视数
    辐射分辨率
    MSSSIM
    7.2850
    151.7025
    23.1066
    0.3805
    4.2585
    0.8322
    8.2949
    149.7321
    23.5496
    0.4837
    4.4068
    0.8299
    图像对比
    下载: 导出CSV
  • [1] 李彩萍, 张永军. 典型目标SAR图像模拟[J]. 指挥技术学院学报, 1999, 10(2): 60–64, 70.

    LI Caiping and ZHANG Yongjun. SAR image simulation of typical object[J]. Journal of Institute of Command and Technology, 1999, 10(2): 60–64, 70.
    [2] 李国靖, 叶伟, 劳国超, 等. 欺骗目标仿真SAR图像可信度评估方法[J]. 电子信息对抗技术, 2018, 33(3): 53–58. doi: 10.3969/j.issn.1674-2230.2018.03.011

    LI Guojing, YE Wei, LAO Guochao, et al. Credibility assessment for simulated SAR image of deceptive target[J]. Electronic Information Warfare Technology, 2018, 33(3): 53–58. doi: 10.3969/j.issn.1674-2230.2018.03.011
    [3] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Advances in Nerual Information Processing System, 2014, 3: 2672–2680. doi: 10.1145/3422622
    [4] GUO Jiayi, LEI Bin, DING Chibiao, et al. Synthetic aperture radar image synthesis by using generative adversarial nets[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(7): 1111–1115. doi: 10.1109/LGRS.2017.2699196
    [5] ZHANG Mingrui, CUI Zongyong, WANG Xianyuan, et al. Data augmentation method of SAR image dataset[C]. 2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain, 2018: 5292–5295.
    [6] 张明蕊. SAR图像数据分集与扩容方法研究[D]. [硕士论文], 电子科技大学, 2019.

    ZHANG Mingrui. Research of SAR image data dversity and data augmentation method[D]. [Master disseration] School of Information and Communication Engineering, 2019.
    [7] 孙智博, 徐向辉. 基于谱归一化生成对抗网络的目标SAR图像仿真方法[J]. 计算机与现代化, 2020(8): 14–20. doi: 10.3969/j.issn.1006-2475.2020.08.003

    SUN Zhibo and XU Xianghui. Simulation method of target SAR image based on spectral normalization generative adversarial network[J]. Computer and Modernization, 2020(8): 14–20. doi: 10.3969/j.issn.1006-2475.2020.08.003
    [8] LIU Lei, PAN Zongxu, QIU Xiaolan, et al. SAR target classification with CycleGAN transferred simulated samples[C]. IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain, 2018: 4411–4414.
    [9] 林翊青, 李景文. 大距离徙动情况下距离多普勒(RD)算法与后向投影(BP)算法的比较[J]. 雷达科学与技术, 2004, 2(6): 349–354. doi: 10.3969/j.issn.1672-2337.2004.06.007

    LIN Yiqing and LI Jingwen. Comparison of RD algorithm and BP algorithm under severe range migration[J]. Radar Science and Technology, 2004, 2(6): 349–354. doi: 10.3969/j.issn.1672-2337.2004.06.007
    [10] 黄培康, 殷红成, 许小剑. 雷达目标特性[M]. 北京: 电子工业出版社, 2005: 51–63.

    HUANG Peikang, YIN Hongcheng, and XU Xiaojian. Radar Target Characteristic[M]. Beijing: Publishing House of Electronics Industry, 2005: 51–63.
    [11] TENG Fei, HONG Wen, and LIN Yun. Aspect entropy extraction using circular SAR data and scattering anisotropy analysis[J]. Sensors, 2019, 19(2): 346. doi: 10.3390/s19020346
    [12] 邹秀芳, 朱定局. 生成对抗网络研究综述[J]. 计算机系统应用, 2019, 28(11): 1–9. doi: 10.15888/j.cnki.csa.007156

    ZOU Xiufang and ZHU Dingju. Review on generative adversarial network[J]. Computer Systems &Applications, 2019, 28(11): 1–9. doi: 10.15888/j.cnki.csa.007156
    [13] ZHANG H, GOODFELLOW I, METAXAS D, et al. Self-attention generative adversarial networks[Z]. arXiv: 1805.08318, 2018.
    [14] MIYATO T, KATAOKA T, KOYAMA M, et al. Spectral normalization for generative adversarial networks[Z]. arXiv: 1802.05957, 2018.
    [15] 张晗. SAR图像质量评估方法研究[D]. [硕士论文], 国防科学技术大学, 2012: 23–25.

    ZHANG Han. Research on the SAR image quality assessment[D]. [Master disseration] National University of Defense Technology, 2012: 23–25.
    [16] WANG Z, SIMONCELLI E P, and BOVIK A C. Multiscale structural similarity for image quality assessment[C]. The Thirty-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, Pacific Grove, USA, 2003: 1398–1402.
  • 期刊类型引用(3)

    1. 罗汝,赵凌君,何奇山,计科峰,匡纲要. SAR图像飞机目标智能检测识别技术研究进展与展望. 雷达学报. 2024(02): 307-330 . 本站查看
    2. 何奇山,赵凌君,计科峰,匡纲要. 面向SAR目标识别成像参数敏感性的深度学习技术研究进展. 电子与信息学报. 2024(10): 3827-3848 . 百度学术
    3. 顾丹丹,廖意,王晓冰. 雷达目标特性知识引导的智能识别技术进展与思考. 制导与引信. 2022(04): 57-64 . 百度学术

    其他类型引用(3)

  • 加载中
图(16) / 表(6)
计量
  • 文章访问数: 3626
  • HTML全文浏览量: 1483
  • PDF下载量: 397
  • 被引次数: 6
出版历程
  • 收稿日期:  2021-11-27
  • 修回日期:  2022-01-26
  • 网络出版日期:  2022-03-10
  • 刊出日期:  2022-08-28

目录

/

返回文章
返回