智能电磁感知的若干进展

李廉林 崔铁军

马琳, 潘宗序, 黄钟泠, 等. 基于子孔径与全孔径特征学习的SAR多通道虚假目标鉴别[J]. 雷达学报, 2021, 10(1): 159–172. doi: 10.12000/JR20106
引用本文: 李廉林, 崔铁军. 智能电磁感知的若干进展[J]. 雷达学报, 2021, 10(2): 183–190. doi: 10.12000/JR21049
MA Lin, PAN Zongxu, HUANG Zhongling, et al. Multichannel false-target discrimination in SAR images based on sub-aperture and full-aperture feature learning[J]. Journal of Radars, 2021, 10(1): 159–172. doi: 10.12000/JR20106
Citation: LI Lianlin and CUI Tiejun. Recent progress in intelligent electromagnetic sensing[J]. Journal of Radars, 2021, 10(2): 183–190. doi: 10.12000/JR21049

智能电磁感知的若干进展

DOI: 10.12000/JR21049
基金项目: 国家重点研发计划变革性关键技术项目(2017YFA0700201/02/03)
详细信息
    作者简介:

    李廉林(1980–),男,山西人,北京大学信息科学技术学院教授、博士生导师。近年来,从事电磁感知体制、算法和工程应用方面的教学科研工作。主持国家自然科学基金等项目课题,以第一/通信作者在Nature Communications, Advanced Science, IEEE等发表论文80余篇,申请/授权国家发明专利20余项,出版中英文学术专著各1部。部分研究成果在电离层探测、石油探测和无线通信等领域得到应用。E-mail: lianlin.li@pku.edu.cn

    崔铁军(1965–),男,中国科学院院士,东南大学首席教授,IEEE Fellow,长期从事电磁超材料和计算电磁学研究。1993年获西安电子科技大学博士学位,1995—2002年先后任职德国洪堡学者、美国UIUC博士后和研究科学家。2001年受聘东南大学长江学者特聘教授;2002年获得国家杰出青年科学基金。2014年创建信息超材料新方向。发表学术论文500余篇,被引用35000余次、H因子93(谷歌学术)。研究成果入选2010年中国科学十大进展、2016年中国光学重要成果;获2011年教育部自然科学一等奖、2014年国家自然科学二等奖、2016年军队科学技术进步一等奖、2018年国家自然科学二等奖。E-mail: tjcui@seu.edu.cn

    通讯作者:

    李廉林 lianlin.li@pku.edu.cn

  • 责任主编:冯一军 Corresponding Editor: FENG Yijun
  • 中图分类号: TN82

Recent Progress in Intelligent Electromagnetic Sensing

Funds: The National Key Research and Development Program of China (2017YFA0700201/02/03)
More Information
  • 摘要: 智能电磁感知是电磁探测与成像的系统化和智能化延伸,是安全检查、生物医学、物联网等领域的基础性、关键性和共性问题。近年来,挖掘利用人工电磁材料和人工智能在电磁波调控与数据信息调控方面的强大能力,将其有机结合,并系统地引入电磁感知领域,发展了低成本、高性能的智能电磁感知体制,为电磁感知的进一步发展提供了关键理论和技术支撑。该文讨论了智能电磁感知的若干最新进展,为读者及时掌握该领域的最新进展提供有益帮助。

     

  • 合成孔径雷达(Synthetic Aperture Radar, SAR)是一种主动的微波传感器,具备全天时全天候的探测能力和高分辨率成像能力,是实现海洋监测的重要手段之一,在军事和民用领域具有重要的意义[1]。特别是星载SAR系统,同时满足了高分辨率和宽测绘带的需求,能够以较长工作时间运行,在船舶识别检测中被广泛应用。

    高分三号(GF-3)卫星是我国发射的第1颗C波段高分辨率卫星,是目前世界上成像模式最多的SAR卫星,具有12种成像模式。GF-3超精细条带(UltraFine Strip-map, UFS)模式与常规的条带模式不同,采用一发双收,即在方位向上有两个接收天线分别接收雷达回波,在该模式下的图像中存在多通道引起的虚假目标。与传统单通道SAR系统方位向欠采样引起的方位模糊不同,该类虚假目标产生的原因主要有两个方面[2-4]:(1)方位向信号的非均匀采样。卫星姿态误差导致各子孔径相位中心相对位置发生变化,由此产生的多通道方位向非均匀采样信号不加处理直接进行脉冲压缩将会导致成对虚假目标的出现[2]。(2)通道间幅相不平衡[3,4]。在实际星载系统中,受工作环境辐射、通道间元器件性能不一致、通道开机时间存在误差等影响,通道间存在幅相不平衡,导致虚假目标的出现。

    图1给出了GF-UFS图像中多通道虚假目标的示意图,如图1所示多通道引起的虚假目标在方位向上成对出现,并沿真实目标对称分布,且与对应真实目标相比在强度上有一定的衰减。2017年Pan等人[5]根据雷达系统参数计算真实目标与多通道虚假目标之间的相对位置[6]来去除虚假目标,但这种方法不能鉴别真实目标和其他目标附近的虚假目标位置的情况。

    图  1  GF-3 UFS图像中的多通道虚假目标示意图
    Figure  1.  An example of multichannel false-target in a GF-3 UFS SAR image

    SAR多通道虚假目标的存在给SAR船舶检测带来了巨大的挑战。这些虚假目标相对于海面的亮度很高,在海面这样的低散射区域出现时会被误检,造成虚警。虽然多通道虚假目标与对应真实目标相比在亮度上存在一定的衰减,但与其他非对应的真实目标之间没有明确的亮暗关系,因此无法根据绝对的亮度去鉴别。更为严峻的是,在SAR成像过程中,船舶的运动造成了多普勒参数的改变,进而造成方位向上匹配滤波的失配,因此船舶目标在SAR图像中会产生不同程度的散焦现象[7,8]。在全孔径图像中很难将多通道引起的虚假目标与真实的散焦目标进行区分,这一问题目前尚未得到解决。

    针对上述问题,本文提出一种基于子孔径与全孔径特征学习的SAR船舶目标鉴别算法,在利用深度卷积神经网络提取全孔径特征的同时,将复数SAR图像进行子孔径分解并利用栈式卷积自编码网络提取子孔径特征,通过子孔径特征所蕴含的鉴别信息实现真实目标和多通道虚假目标的区分,本文的创新点主要体现在:

    (1) 通过子孔径分解分析真实目标和多通道虚假目标在子孔径图像之间的差异;

    (2) 提出一种利用栈式卷积自编码网络学习子孔径特征的方法;

    (3) 利用GF-3数据验证所提方法在区分多通道虚假目标和真实目标,特别是散焦船舶目标上的有效性。

    本文余下章节安排如下,第2节介绍相关工作;第3节详细介绍本文提出的SAR目标鉴别方法;第4节结合GF-3超精细条带实验数据和部分仿真的散焦数据对本文方法的实验结果进行分析;第5节给出结论。

    深度学习方法相较于传统方法具有自动提取特征的优势,已有不少学者将深度神经网络如Faster R-CNN[9], SSD[10]等应用于SAR船舶检测和识别中[11-13],取得了很好的效果。针对训练样本不足的问题,文献[14]通过改进网络模型在小样本条件下仍能得到良好的识别效果。然而,上述方法只考虑了目标和背景的幅度差异,SAR图像本身是一种带有相位信息的复数数据,它蕴含了丰富的目标电磁散射信息。文献[15,16]通过复数SAR统计建模的方法进行SAR舰船检测和鉴别。同时,Zhang等人[17]提出的复数卷积网络模型、Huang等人[18]提出的Deep SAR-Net以及Tang等人[19]在改进的孪生网络模型中都使用了复数SAR数据,都是从SAR本身的散射特性出发,深入研究学习SAR成像的物理机制。

    以上方法仅考虑了全孔径图像中的特征,并未考虑子孔径图像中的特征。全孔径SAR图像提供了高分辨率的细节表征,但在合成孔径过程中却损失了目标其他有用的信息。文献[20]表明子孔径图像分析方法相对于传统技术的主要优势在于,即使在船舶的强度与杂波水平相似的情况下仍能够检测到船舶。目前,利用子孔径图像实现SAR船舶检测的方法主要包括子视图相干法(Sub-Look Cross-correlation, SLC)、广义似然比检验(Generalized Likelihood Ratio Test, GLRT)等[21-24],这些方法通过增强目标与杂波之间的对比度来检测船舶,但在复杂场景下这些方法不能将多通道虚假目标与真实目标很好地进行鉴别。

    因此,为了解决上述问题,本文结合深度学习方法,提出一种基于子孔径与全孔径特征学习的SAR船舶目标鉴别算法(Sub- and Full-aperture Feature Learning, SFFL),实现SAR船舶目标与多通道虚假目标的鉴别。

    目前针对SAR船舶目标鉴别的研究大多基于全孔径幅度图像,并未充分利用复数SAR图像中的信息,使得方法难以区分具有相似视觉特征的真实船舶目标和多通道虚假目标。在SAR成像过程中,目标会随着方位角的变化在不同子孔径图像中呈现不同的散射特性,在子孔径图像中,目标特征将得到更加精细的表征。基于子孔径图像的上述优势,本文提出一种基于深度学习的子孔径特征学习方法,用于解决SAR目标鉴别问题。方法的网络架构如图2所示,网络分为子孔径特征提取和全孔径特征提取两部分,通过基于栈式卷积自编码网络的无监督学习方法提取子孔径特征,利用ResNet-18的预训练模型经迁移学习后提取全孔径特征,将子孔径特征和全孔径特征做归一化后进行拼接,之后连接全连接层和softmax层,判断输出目标类别。

    图  2  结合子孔径与全孔径特征学习的网络框架
    Figure  2.  The detailed implementations of SFFL framework

    本章后续安排如下:3.1节本文通过对多通道虚假目标和真实船舶目标作子孔径分解,分析两类目标在子孔径图像中所体现出的特性;3.2节详细阐述利用栈式卷积自编码网络提取子孔径特征的方法;3.3节给出利用迁移学习提取全孔径特征的方法;3.4节介绍特征拼接和分类方法;3.5节对所提方法进行总结。

    子孔径图像可以通过对单视复数(Single Look Complex, SLC)SAR图像沿着方位向做子视处理得到,也称为子孔径分解。一般情况下,子孔径分解流程如图3所示[25],首先对原始SAR图像沿着方位向做一维的傅里叶变换转换到距离-多普勒域,通过对距离向幅值取平均估计权重函数,计算权重函数的逆函数并归一化得到纠正函数,将纠正函数作用于多普勒域来消除天线权重的影响,根据所需子孔径数目再对得到的频谱数据进行无重叠的分割,得到多个子频谱,然后对这些子频谱进行加窗处理,以改善相关的点目标响应。由于一个舰船目标所在范围较小,天线权重影响可以忽略不计,本文对频谱直接进行分割,本文所用窗函数为汉明窗(hamming window)。最后,通过傅里叶逆变换,将加窗后的子频谱转换回时域,从而生成所需子孔径图像。经过子孔径分解获得的子孔径图像,它的分辨率会随着子孔径数目的增加而成比例降低。

    图  3  子孔径分解流程图
    Figure  3.  Flowchart of sub-aperture decomposition

    图4比较了高分三号超精细条带模式下真实船舶目标、纯海面、多通道虚假目标切片的全孔径和子孔径图像,第1列为全孔径图像,第2~5列为4个子孔径图像,图4(a)图4(d)对应4个真实船舶目标切片,其中图4(b)图4(c)分别对应聚焦较好的船舶目标和散焦的船舶目标切片,图4(e)对应纯海面切片,图4(f)图4(h)对应3个多通道虚假目标切片。通过比较图4中的真实和虚假目标可见在全孔径图像上3个真实目标与虚假目标较为接近,难以进行有效地区分。真实目标的子孔径图像,虽然因为子视处理分辨率降低,但在每个子孔径图像中均有目标。虚假目标的能量几乎全部集中在一到两幅子孔径图像中,其他几幅子孔径图像中,虚假目标则呈现出和海杂波相似的特征。以上子孔径图像分析结果表明,真实船舶目标的子孔径图像具有一致性,多通道虚假目标的子孔径图像具有明显的差异性,因此通过提取子孔径图像特征能够实现真实船舶目标和多通道虚假目标的有效区分。

    图  4  真实船舶目标、纯海面、多通道虚假目标切片的全孔径图像及其对应子孔径图像
    Figure  4.  Examples of sublook amplitude for ships (a)—(d), sea (e), multichannel false-targets (f)—(h) and the relevant amplitude SLC images

    本文采用基于栈式卷积自编码网络的无监督学习方法提取子孔径图像特征,具体网络结构如图5所示,包含编码和解码两部分。输入子孔径图像,通过编码部分提取嵌入特征,再经过解码部分重建图像,并利用输入图像和重建图像的差异构建网络的损失函数。栈式卷积自编码网络由一组自编码单元堆叠而成,自编码单元由包含卷积层的编码器和包含反卷积层的解码器构成,每个自编码单元的训练方法相同,并采用逐层训练再堆叠的方式来训练整个网络。每层训练时都是一个较浅的自编码单元,在训练第l个自编码单元时,其输入xl1是第l1个自编码单元编码的输出,xl1经过包含卷积层、批归一化层、非线性激活层、下采样层的编码器和包含上采样层、反卷积层、批归一化层、非线性激活层的解码器,得到输出yl1。训练目标是要使解码器的输出yl1能够重建xl1,训练中通过计算输入图xl1与重建图yl1的均方根误差损失,更新网络参数,优化网络模型。

    图  5  基于子孔径特征学习的网络结构
    Figure  5.  Network structure based on sub-aperture feature learning

    卷积层:对于第l个自编码单元,设其输入xl1具有Ml1个通道,记为xl11,xl12,···,xl1Ml1,则通过卷积层后的特征图的第j个通道alj按照式(1)进行计算:

    alj=Ml1i=1xl1iWlij+blj,j=1,2,···,Ml
    (1)

    其中,Wlijblj表示卷积层的卷积核和偏置参数,代表二维卷积操作。

    批归一化层:批归一化层(Batch Normalization, BN)通过将输出信号归一化到相同的分布,消除训练过程中由于权重大小导致的梯度消失和爆炸,保证网络的稳定性,加快网络的收敛速度,计算公式如式(2)所示

    zlj=ξaljμ(alj)σ2(alj)+ε+η
    (2)

    其中,alj表示输入,zlj表示输出,参数ξ和η通过训练自动学习获得,σ2()μ()为求方差和均值操作,ε为趋近0的常数,防止出现分母为0的情况。

    非线性激活层:通过非线性激活函数能提升模型的非线性映射表征能力,加快收敛速度,可写成式(3)形式,其中f()代表非线性激活函数,本文采用ReLU非线性激活函数,计算如式(4)所示

    hlj=f(zlj)
    (3)
    f(x)={0,x<0x,x0
    (4)

    下采样层和上采样层:在下采样的过程中,不仅需要保留采样之后的数据,还要保留采样的位置,便于在解码部分能够更好地恢复图像局部特征,下采样和上采样可写成如式(5)和式(6)的形式

    DS_h=Ds(hl)
    (5)
    US_h=Us(DS_h)
    (6)

    其中,Ds()Us()分别表示下采样和上采样操作。

    反卷积层:用于特征图的重建,重建的过程如式(7)所示

    yl1i=f(Mlj=1US_hR(Ql1ji)+cl1i),i=1,2,···,Ml1
    (7)

    其中,Qc表示反卷积层的卷积核和偏置参数,R()表示将卷积核Q旋转180°。

    损失函数计算:将输入图与重建图的均方根误差作为网络的损失,因此,训练第l个自编码单元时所用到的损失函数如式(8)所示

    Loss=Ml1i=1xl1iyl1i2F
    (8)

    各个自编码单元的卷积层设计如表1所示,反卷积层的通道数和卷积核尺寸与卷积层一致。

    表  1  各个自编码单元的卷积层设计
    Table  1.  Design of convolutional layers in each auto-encoder unit
    自编码单元通道数卷积核尺寸
    1325×5
    2645×5
    3643×3
    41284×4
    下载: 导出CSV 
    | 显示表格

    由于SAR目标切片的样本过少,直接训练深层网络将会导致严重的过拟合问题,使得网络模型的泛化能力急剧下降,迁移学习方法可以解决小样本问题。借助NWPU-RESISC45数据集与TerraSAR-X标注数据集[26]传递的迁移学习方法,大大缩小了SAR图像与自然光学图像的差距,并且在MSTAR分类任务上具有良好的泛化能力[27]

    因此,本文选择采用传递式迁移学习方法提取全孔径特征,迁移学习的流程如图6所示。首先,选择在ImageNet上预先训练的ResNet-18作为初始预训练模型1,然后用NWPU-RESISC45遥感数据集对卷积层进行微调,得到遥感增强模型(预训练模型2)作为第1个迁移源;之后利用与遥感数据集有相似类别的高质量TerraSAR-X标注数据集[26]在遥感模型的基础上进行微调,得到预训练模型3作为本文迁移学习的将要应用的迁移源。然后,在预训练模型3上利用少量高分三号超精细条带模式下的影像切片对模型参数进行微调从而得到适用于SAR船舶鉴别任务的模型。

    图  6  传递式迁移学习方法流程图
    Figure  6.  Flowchart of transitive transfer learning method

    TerraSAR-X标注土地覆盖数据集[26]由X波段TerraSAR-X卫星[28]收集获得。该数据集选择高分辨率聚束模式、HH极化方式的多视地面距离探测(Multilook Ground range Detected, MGD)产品,分辨率为2.9 m,入射角在20°~50°之间,包含100000多个切片,具有150个类别的层次3级标注。在本文只使用其1级标签,包含移民区、工业设施、公共交通、农田、植被、裸露的地面、水体7类目标。

    ResNet-18包含4种类型的残差块(ResBlock),分别重复两次,并且分别具有64, 128, 256和512个输出特征图,共有17个卷积层和1个全连接层。残差块结构如图7所示,由两层卷积层、BN层和ReLU非线性激活层组成[29]

    图  7  残差块结构图
    Figure  7.  The architecture of residual block (ResBlock)

    虽然网络深度越大,学习特征的能力越强,但训练深层的网络会导致梯度弥散/爆炸,无法收敛,即网络层数的增加会导致更大的误差。残差网络(ResNet)通过在原有卷积网络的旁路上叠加恒等映射解决深层网络的退化问题。

    设残差网络的输入为x,则输出通过式(9)计算

    y=x+f(x)
    (9)

    其中,f()表示卷积操作,在ResNet-18所有卷积层后紧跟一个平均池化层,使得全孔径特征的尺寸与子孔径特征相同。

    C(x,y)表示输入的复数图像,I(x,y)表示全孔径幅度图像,用S(x,y)表示经过子孔径分解获得的子孔径图像。利用通过迁移学习方法训练的网络提取全孔径特征,如式(12)所示

    C(x,y)=A(x,y)+jB(x,y)
    (10)
    I(x,y)=A(x,y)2+B(x,y)2
    (11)
    φ1(x,y)=F1(I(x,y),θ1)
    (12)

    其中,A(x,y)B(x,y)分别表示复数图像的实部和虚部,F1表示全孔径特征提取器,θ1F1中的参数。利用通过栈式卷积自编码网络训练的模型提取子孔径特征,如式(13)所示

    φ2(x,y)=F2(S(x,y),θ2)
    (13)

    其中,F2表示子孔径特征提取器,θ2F2中的参数。提取到的全孔径特征和子孔径特征需要进行归一化操作后才能拼接,具体归一化操作如式(14)所示

    ψi(x,y)=φi(x,y)μ(φi(x,y))σ2(φi(x,y)),i=1,2
    (14)

    其中,σ2()μ()表示求方差和均值操作。将归一化后的全孔径特征ψ1(x,y)与子孔径特征ψ2(x,y)沿通道进行拼接,得到新联合特征ψ(x,y),再将ψ(x,y)输入到softmax层得到SAR船舶目标的鉴别结果。

    基于子孔径与全孔径特征学习的SAR船舶目标鉴别方法算法如表2所示。

    表  2  基于子孔径与全孔径特征学习的算法
    Table  2.  SFFL algorithm
     输入:复数SAR图像C(x,y)
     for 所有训练样本C(x,y) do
       (1) 通过子孔径分解获得子孔径图像S(x,y)
       (2) 训练栈式卷积自编码网络F2,获得子孔径特征φ2(x,y)
         for 子孔径图像S(x,y) do
          for 所有自编码单元l do
           计算自编码单元的输出
           yl1i=F2(Ml1i=1xl1i,θ2)
           计算损失函数
           Loss=Ml1i=1xl1iyl1i2F
           反向传播,更新参数θ2
          end for
         end for
       (3) 计算全孔径幅度图像I(x,y)=A(x,y)2+B(x,y)2
       (4) 迁移学习ResNet-18预训练模型F1,微调参数θ1,获得
       全孔径特征φ1(x,y)
       (5) 特征归一化φ1(x,y), φ2(x,y)
       (6) 特征拼接得到ψ(x,y)
       (7) 计算损失函数(交叉熵)
       (8) 反向传播,更新参数θ
     end for
     输出:最终模型
    下载: 导出CSV 
    | 显示表格

    (1) 高分三号数据。本文选取了8幅高分三号超精细条带L1A级图像,图像的相关参数如表3所示,DH极化方式表示信号在水平极化下发射一次,在水平极化和垂直极化下分别接收两次。SLC是单视复数据的简称,是GF-3卫星的一种产品类型。将AIS结合人工标注和确认标记的真实船舶目标和多通道虚假目标,根据标注框的位置和长宽信息裁剪复数数据,切片大小设置为128×128,每个切片包含一个样本。将4幅图像中的70个真实目标样本和70个虚假目标样本按照1:1的比例随机划分为训练集和验证集,训练过程保证样本数量类别均衡。测试集选择剩余4幅图像数据,包含72个真实目标样本,161个多通道虚假目标样本。

    表  3  GF-3超精细条带图像参数
    Table  3.  The detailed information of GF-3 UFS SAR images used in the experiment
    参数图像1—图像8
    成像模式UFS
    产品类型SLC
    产品级别L1A级
    轨道模式升轨
    极化方式DH
    斜距分辨率(m)2.5~5.0
    方位向分辨率(m)3
    幅宽(km)30
    像元间距[Rg×Az](m)1.124×1.729
    入射角(º)39.54~41.52
    下载: 导出CSV 
    | 显示表格

    (2) 仿真散焦数据集。由于多通道虚假目标与散焦的船舶目标在全孔径图像下更加相似,在视觉上更加难以区分,为了进一步验证本文算法的有效性,本文仿真了少量的散焦图像,具体仿真算法流程如图8所示。在目标切片的距离-多普勒域添加二次相位误差,二次相位误差如式(15)

    图  8  散焦图像仿真算法流程图
    Figure  8.  Flowchart of defocused image simulation algorithm
    Δφ=ax2+c
    (15)

    其中,a控制相位误差曲线开口的大小,当0>a>1.2634时,目标会发生轻微的散焦;a<1.2634时,将会产生较为明显的散焦,且散焦程度随a的减小而加剧。

    Δφ<π/4,运动目标会发生轻微的散焦,对成像结果的影响可忽略不计;Δφ>π/4,运动目标将会根据相位误差的大小产生不同程度的散焦[7,8]。据此,图9给出了5种不同程度散焦的图像及其对应的相位误差曲线,这里选择c=21。本文对比与多通道虚假目标在视觉上的相似程度,仿真了12个散焦船舶目标并且全部用于测试。

    图  9  不同程度散焦图像及其对应方位误差曲线图
    Figure  9.  Different degrees of defocused images and their corresponding azimuth error curves

    实验硬件环境:处理器显卡为Tesla K40,两块显存,每块12 G,终端8 G内存,3.2 GHz,英特尔i5处理器,Windows64位环境。软件环境为Torch0.4.0, torchvisions0.1.9, tqdm4.19.1.post1, Python3.6.5, Pillow 4.2.1, tensorboardX 1.12。

    栈式卷积自编码网络训练使用SGD优化器来进行网络参数迭代更新,并且训练400个epoch,初始学习率设置为0.1,权重衰减参数为0.0005。总网络的训练使用Adam优化器,初始学习率设置为0.01。使用Tensorboard监测训练过程,梯度下降更新参数。

    多通道虚假目标与真实目标的鉴别可看作一个二分类问题,混淆矩阵定义如表4

    表  4  二分类问题混淆矩阵
    Table  4.  Confusion matrix of binary classification
    预测结果实际为真实际为假
    预测为真TPFP
    预测为假FNTN
    下载: 导出CSV 
    | 显示表格

    准确率(accuracy),定义为

    Accuracy=TP+TNTP+TN+FP+FN
    (16)

    表5为基于子孔径与全孔径特征学习方法(Sub- and Full-aperture Feature Learning, SFFL)和基于子视图相关的方法(Sub-Look Cross-correlation Feature+Support Vector Machine, SLCF+SVM)、子孔径特征的学习方法(Sub-aperture Feature Learning, SFL)、全孔径特征学习方法(Full-aperture Feature Learning, FFL)的对比结果,实验对比结果显示,仅使用子孔径特征比仅使用全孔径特征可以取得更好的结果。与SFL方法和FFL方法相比,SFFL方法的运行时间略有增加,但其在多通道虚假目标鉴别任务中可以获得最高的准确率。它们的混淆矩阵如表6所示,对于测试集的161个虚假目标,FFL方法识别出其中的126个,SFFL方法识别出156个,可见结合子孔径特征和全孔径特征的方法能够更有效的识别虚假目标。FFL和SFFL方法的准确率分别为83.69%和96.57%,表明子孔径特征的利用能显著的提升准确率。FFL和SFFL方法在原图中的分类结果如图10所示,红色圆圈代表多通道虚假目标,黄色方框代表真实目标,FFL方法将其中4个多通道虚假目标错分为真实目标,SFFL方法中9个多通道虚假目标与4个真实目标均被正确分类。

    表  5  不同方法的鉴别性能对比
    Table  5.  Comparison of discrimination performance of different methods
    实验方法准确率(%)运行时间(s)
    SLCF+SVM90.560.8823
    SFL90.994.9824
    FFL83.694.2189
    SFFL96.575.3546
    下载: 导出CSV 
    | 显示表格
    表  6  不同方法的混淆矩阵
    Table  6.  Confusion matrix of different methods
    方法预测结果识别结果实际为真识别结果实际为假
    SLCF+SVM预测为真7020
    预测为假2141
    SFL预测为真6817
    预测为假4144
    FFL预测为真6935
    预测为假3126
    SFFL预测为真695
    预测为假3156
    下载: 导出CSV 
    | 显示表格
    图  10  原图分类结果比较
    Figure  10.  Comparison of FFL and SFFL results in the original image

    同时,本文也利用t-SNE对两种鉴别方法的结果进行可视化,即将两种方法的输出特征映射到二维平面上,图中的紫色点和红色点分别表示真实船舶目标和多通道虚假目标。从分类效果可视化图11中可以看出,多数多通道虚假目标与真实的船舶目标在全孔径特征空间混在一起无法正确区分,如图11(a)所示,而同时利用子孔径特征与全孔径特征时多通道虚假目标和真实目标可以进行有效的区分,如图11(b)所示。对于两个多通道虚假目标,图12比较了FFL和SFFL方法预测两个样本为虚假目标的置信度。由结果所知,基于子孔径特征学习的方法预测概率均在0.9以上,远高于FFL方法的预测结果,证明了本文方法在区分真实目标和多通道虚假目标上的有效性。由于在真实情况下,动目标在SAR成像过程中会出现一定程度的散焦,因此,本文在测试集上添加了仿真散焦船舶目标,图13(a)展示了真实聚焦的船舶目标,在轮廓、纹理特征上非常相似的仿真的船舶目标图13(c)和多通道虚假目标图13(b),其中图13(c)仿真目标是由真实聚焦的船舶目标图13(a)按照本文所提的仿真方法获得,仿真参数为a=–3.8, c=21。

    图  11  t-SNE降维特征可视化结果比较
    Figure  11.  Comparison of FFL and SFFL visualization results using t-SNE
    图  12  纹理特征与真实目标相似的多通道虚假目标切片鉴别结果详细说明
    Figure  12.  The elaborate explanation of the discrimination results of multichannel false-targets similar to real targets in texture
    图  13  测试集仿真散焦目标示例
    Figure  13.  An example of simulated defocus target in test set

    FFL和SFFL方法在新测试集上的准确率比较如表7所示,在加入仿真散焦数据后,FFL方法的准确率由83.69%下降到80.41%,SFFL方法的准确率由96.57%提高到96.73%,该实验结果进一步验证了子孔径特征在区分多通道虚假目标上的优势。

    表  7  加入散焦数据结果对比(%)
    Table  7.  Comparison of two methods after adding defocus data (%)
    测试数据FFL方法准确率SFFL方法准确率
    GF-3数据83.6996.57
    GF-3数据+仿真散焦数据80.4196.73
    下载: 导出CSV 
    | 显示表格

    本文还探究了子孔径数目对SFFL方法的影响,图14比较了不同子孔径数目下SFFL方法的准确率,从图中可以观察到,子孔径数目取4时方法取得了最优的准确率,当子孔径数目大于4时,准确率会有所下降,这是由于随着子孔径数目的增多,子孔径图像的分辨率会降低,可分辨的细节特征也会相应地减少,因而当子孔径的数目过多时,会影响方法的识别率;当子孔径数目小于4时,方法也未达到最佳的识别性能,这是因为子孔径数目过少,子孔径分解得不够精细,子孔径图像所能提供的额外有效信息被隐藏,可进行鉴别的差异性特征也会减少,方法的识别率无法达到最佳。由上述结果可知子孔径数目的确定需在子孔径分解的精细程度和子孔径图像的分辨率之间折中,根据实验结果,本文将子孔径数目设为4。

    图  14  不同子孔径数目下SFFL方法的准确率
    Figure  14.  Overall accuracy of SFFL method with different numbers of sub-apertures

    针对多通道虚假目标与真实目标在全孔径图像下识别难的问题,本文首先通过子孔径分解分析了真实目标和多通道虚假目标的子孔径图像分别具备一致性和差异性,然后,基于上述分析结果本文提出了一种结合子孔径和全孔径特征学习的方法,利用栈式卷积自编码网络提取子孔径特征,通过迁移学习的方法提取全孔径特征,最后在高分三号数据上验证了该方法的有效性,与仅用全孔径特征相比,本文方法能更有效地区分多通道虚假目标和真实目标;加入仿真散焦数据后,与仅用全孔径特征相比,本文方法在区分多通道虚假目标上的优势更加明显。

  • 图  1  首个可编程数字编码超材料的基本概念和部分结果[13]

    (a)1比特相移键控可编程数字编码超材料示意图 (b)1比特相移键控可编程数字编码超材料的单元结构及其相位-频率响应曲线 (c)1比特相移键控可编程数字编码超材料的在波束扫描中的若干应用 (d)1比特相移键控可编程数字编码超材料的基本工作原理

    Figure  1.  Concepts and Results of the first programmable digital coding metamaterials[13]

    (a) The schematic diagram of 1-bit phase-shift programmable digital coding metamaterial (b) The element structure of 1-bit phase-shift programmable digital coding metamaterial and its phase frequency characteristic curves (c) 1-bit phase-shift programmable digital coding metamaterial in beam scanning applications (d) The basic working principle of 1-bit phase-shift programmable digital coding metamaterial

    图  2  信息超材料的发展历史和趋势[19]

    Figure  2.  The history and trend of information metamaterials[19]

    图  3  经典机器学习驱动的智能电磁感知成像原理和部分结果[24]

    (a)主分量机器学习方法驱动的智能电磁感知的工作原理示意图 (b)基于2比特信息超材料的智能电磁感知系统示意图 (c)2比特相移键控信息超材料及单元结构示意图 (d)不同成像人体目标的光学图片 (e)基于主分量机器学习驱动智能电磁感知的成像结果 (f)基于随机降维机器学习驱动智能电磁感知的成像结果

    Figure  3.  The imaging principle and results of intelligent electromagnetic sensing driven by classical machine learning[24]

    (a) The schematic diagram of the principle of intelligent electromagnetic sensing driven by principal component machine learning (b) The schematic diagram of intelligent electromagnetic sensing system based on 2-bit information metamaterial (c) The schematic diagram of 2-bit phase-shift information metamaterial and element structure (d) The optical images of different human targets (e) The imaging results of intelligent electromagnetic sensing driven by principal component machine learning (f) The imaging result of intelligent electromagnetic sensing driven by machine learning based on random dimension reduction

    图  4  深度学习驱动的智能电磁感知成像原理和部分结果[25]

    (a)智能电磁感知的工作原理示意图 (b)基于1比特信息超材料的智能电磁感知系统示意图 (c)不同成像人体目标的光学图片及其成像结果 (d)基于智能感知系统的感兴趣人体局部姿势的波束聚焦结果 (e)基于智能感知系统的10个英文字母的手语识别结果 (f)基于智能感知系统的2个人体的呼吸特征识别结果

    Figure  4.  The imaging principle and results of intelligent electromagnetic sensing driven by deep learning[25].

    (a) The schematic diagram of working principle of intelligent electromagnetic sensing (b) The schematic diagram of intelligent electromagnetic sensing system based on 1-bit information metamaterial (c) Optical images of different human targets and corresponding imaging results (d) The beam focusing on interested human local posture based on intelligent sensing system (e) The sign language recognition results of 10 English letters based on intelligent sensing system (f) The recognition results of respiratory characteristics for two persons based on intelligent perception system

    图  5  数据获取和处理一体化的智能电磁感知成像原理图[28]

    (a)基于1比特信息超材料智能电磁感知的工作原理示意图 (b)和(c)算法原理示意图

    Figure  5.  The schematic diagram of intelligent electromagnetic sensing integrated with data acquisition and processing[28]

    (a) The schematic diagram of working principle of intelligent electromagnetic sensing based on 1-bit information metamaterial (b) and (c) The schematic diagram of proposed algorithm

    图  6  数据采集与处理一体化的智能感知的部分结果[25]

    Figure  6.  Some results of intelligent sensing integrated with data acquisition and processing[25]

  • [1] SMITH D R, PADILLA W J, VIER D C, et al. Composite medium with simultaneously negative permeability and permittivity[J]. Physical Review Letters, 2000, 84(18): 4184–4187. doi: 10.1103/PhysRevLett.84.4184
    [2] PENDRY J B. Negative refraction makes a perfect lens[J]. Physical Review Letters, 2000, 85(18): 3966–3969. doi: 10.1103/PhysRevLett.85.3966
    [3] SHELBY R A, SMITH D R, and SCHULTZ S. Experimental verification of a negative index of refraction[J]. Science, 2001, 292(5514): 77–79. doi: 10.1126/science.1058847
    [4] PENDRY J B, SCHURIG D, and SMITH D R. Controlling electromagnetic fields[J]. Science, 2006, 312(5781): 1780–1782. doi: 10.1126/science.1125907
    [5] SCHURIG D, MOCK J J, JUSTICE B J, et al. Metamaterial electromagnetic cloak at microwave frequencies[J]. Science, 2006, 314(5801): 977–980. doi: 10.1126/science.1133628
    [6] MA Huifeng and CUI Tiejun. Three-dimensional broadband ground-plane cloak made of metamaterials[J]. Nature Communications, 2010, 1(3): 21.
    [7] JIANG Weixiang, CUI Tiejun, YANG Xinmi, et al. Shrinking an arbitrary object as one desires using metamaterials[J]. Applied Physics Letters, 2011, 98(20): 204101. doi: 10.1063/1.3590203
    [8] MA Huifeng and CUI Tiejun. Three-dimensional broadband and broad-angle transformation-optics lens[J]. Nature Communications, 2010, 1: 124. doi: 10.1038/ncomms1126
    [9] YU Nanfang, GENEVET P, KATS M A, et al. Light propagation with phase discontinuities: Generalized laws of reflection and refraction[J]. Science, 2011, 334(6054): 333–337. doi: 10.1126/science.1210713
    [10] AIETA F, GENEVET P, YU Nanfang, et al. Out-of-plane reflection and refraction of light by anisotropic optical antenna metasurfaces with phase discontinuities[J]. Nano Letters, 2012, 12(3): 1702–1706. doi: 10.1021/nl300204s
    [11] KHORASANINEJAD M, CHEN Weiting, DEVLIN R C, et al. Metalenses at visible wavelengths: Diffraction-limited focusing and subwavelength resolution imaging[J]. Science, 2016, 352(6290): 1190–1194. doi: 10.1126/science.aaf6644
    [12] CONG Longqing, PITCHAPPA P, LEE C, et al. Active phase transition via loss engineering in a terahertz MEMS metamaterial[J]. Advanced Materials, 2017, 29(26): 1700733. doi: 10.1002/adma.201700733
    [13] CUI Tiejun, QI Meiqing, WAN Xiang, et al. Coding metamaterials, digital metamaterials and programmable metamaterials[J]. Light: Science & Applications, 2014, 3(10): e218.
    [14] CUI Tiejun, LIU Shuo, and ZHANG Lei. Information metamaterials and metasurfaces[J]. Journal of Materials Chemistry C, 2017, 5(15): 3644–3668. doi: 10.1039/C7TC00548B
    [15] CUI Tiejun, LIU Shuo, and LI Lianlin. Information entropy of coding metasurface[J]. Light: Science & Applications, 2016, 5(11): e16172.
    [16] CUI Tiejun. Microwave metamaterials–from passive to digital and programmable controls of electromagnetic waves[J]. Journal of Optics, 2017, 19(8): 084004. doi: 10.1088/2040-8986/aa7009
    [17] LI Lianlin and CUI Tiejun. Information metamaterials-from effective media to real-time information processing systems[J]. Nanophotonics, 2019, 8(5): 703–724. doi: 10.1515/nanoph-2019-0006
    [18] MA Qian and CUI Tiejun. Information metamaterials: Bridging the physical world and digital world[J]. PhotoniX, 2020, 1(1): 1. doi: 10.1186/s43074-020-00006-w
    [19] CUI Tiejun, LI Lianlin, LIU Shuo, et al. Information metamaterial systems[J]. iScience, 2020, 23(8): 101403. doi: 10.1016/j.isci.2020.101403
    [20] LIU Shuo, CUI Tiejun, ZHANG Lei, et al. Convolution operations on coding metasurface to reach flexible and continuous controls of terahertz beams[J]. Advanced Science, 2016, 3(10): 1600156. doi: 10.1002/advs.201600156
    [21] SHUANG Ya, ZHAO Hanting, JI Wei, et al. Programmable high-order OAM-carrying beams for direct-modulation wireless communications[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2020, 10(1): 29–37. doi: 10.1109/JETCAS.2020.2973391
    [22] LI Lianlin, CUI Tiejun, JI Wei, et al. Electromagnetic reprogrammable coding-metasurface holograms[J]. Nature Communications, 2017, 8(1): 197. doi: 10.1038/s41467-017-00164-9
    [23] CUI Tiejun, LIU Shuo, BAI Guodong, et al. Direct transmission of digital message via programmable coding metasurface[J]. Research, 2019, 2019: 2584509.
    [24] LI Lianlin, RUAN Hengxin, LIU Che, et al. Machine-learning reprogrammable metasurface imager[J]. Nature Communications, 2019, 10(1): 1082. doi: 10.1038/s41467-019-09103-2
    [25] LI Lianlin, SHUANG Ya, MA Qian, et al. Intelligent metasurface imager and recognizer[J]. Light: Science & Applications, 2019, 8: 97.
    [26] LI Lianlin, WANG Longgang, TEIXEIRA F L, et al. DeepNIS: Deep neural network for nonlinear electromagnetic inverse scattering[J]. IEEE Transactions on Antennas and Propagation, 2019, 67(3): 1819–1825. doi: 10.1109/TAP.2018.2885437
    [27] ZHAO Hanting, SHUANG Ya, WEI Menglin, et al. Metasurface-assisted massive backscatter wireless communication with commodity Wi-Fi signals[J]. Nature Communications, 2020, 11(1): 3926.
    [28] LI Haoyang, ZHAO Hanting, WEI Menglin, et al. Intelligent electromagnetic sensing with learnable data acquisition and processing[J]. Patterns, 2020, 1(1): 100006. doi: 10.1016/j.patter.2020.100006
  • 期刊类型引用(3)

    1. 张佳辉,苗洪利,杨忠昊,刘昆池. 基于SAR子孔径分解的海表面二维流场反演. 海洋学报. 2023(08): 24-30 . 百度学术
    2. 李志远,郭嘉逸,张月婷,黄丽佳,李洁,吴一戎. 基于自适应动量估计优化器与空变最小熵准则的SAR图像船舶目标自聚焦算法. 雷达学报. 2022(01): 83-94 . 本站查看
    3. 雷禹,冷祥光,孙忠镇,计科峰. 宽幅SAR海上大型运动舰船目标数据集构建及识别性能分析. 雷达学报. 2022(03): 347-362 . 本站查看

    其他类型引用(2)

  • 加载中
图(6)
计量
  • 文章访问数: 3855
  • HTML全文浏览量: 997
  • PDF下载量: 883
  • 被引次数: 5
出版历程
  • 收稿日期:  2021-04-15
  • 修回日期:  2021-04-27
  • 网络出版日期:  2021-04-28

目录

/

返回文章
返回