Loading [MathJax]/jax/output/SVG/jax.js

基于精调的膨胀编组-交叉CNN的PolSAR地物分类

肖东凌,  刘畅

文章导航 > 雷达学报  > 2019 >  8(4): 479-489
肖东凌, 刘畅. 基于精调的膨胀编组-交叉CNN的PolSAR地物分类[J]. 雷达学报, 2019, 8(4): 479–489. doi: 10.12000/JR19039
引用本文: 肖东凌, 刘畅. 基于精调的膨胀编组-交叉CNN的PolSAR地物分类[J]. 雷达学报, 2019, 8(4): 479–489. doi: 10.12000/JR19039
shu
XIAO Dongling and LIU Chang. PolSAR terrain classification based on fine-tuned dilated group-cross convolution neural network[J]. Journal of Radars, 2019, 8(4): 479–489. doi: 10.12000/JR19039
Citation: XIAO Dongling and LIU Chang. PolSAR terrain classification based on fine-tuned dilated group-cross convolution neural network[J]. Journal of Radars, 2019, 8(4): 479–489. doi: 10.12000/JR19039
shu

基于精调的膨胀编组-交叉CNN的PolSAR地物分类

DOI: 10.12000/JR19039 CSTR: 32380.14.JR19039

  • 中国科学院电子学研究所   北京   100190

  • 中国科学院大学   北京   100049

基金项目: 国家自然科学基金(61471340)，国家重点研发计划(2017YFB0503001)
详细信息
    作者简介:

    肖东凌(1995–)，男，四川眉山人，硕士生，研究方向为SAR图像目标检测识别、PolSAR图像地物分类。E-mail: xdluestc@outlook.com

    刘畅：刘   畅(1978–)，男，山东烟台人，研究员，博士生导师。2006年在中国科学院电子学研究所获得博士学位，现担任中国科学院电子学研究所研究员、博士生导师。主要研究方向为SAR系统及其相关SAR成像处理技术等。E-mail: cliu@mail.ie.ac.cn

    通讯作者:

    刘畅　cliu@mail.ie.ac.cn

  • 中图分类号: TN958

PolSAR Terrain Classification Based on Fine-tuned Dilated Group-cross Convolution Neural Network

  • Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China

  • University of Chinese Academy of Sciences, Beijing 100049, China

Funds: The National Natural Science Foundation of China (61471340), The State Key Research Development Program (2017YFB0503001)
More Information

HTML全文

    摘要
  • 摘要: 在极化合成孔径雷达(PolSAR)地物分类研究中，基于实数CNN的分类算法无法充分利用PolSAR图像丰富的通道相位信息，并且在逐像素预测中存在大量冗余计算，导致分类效率较低。针对以上问题，该文采用一种复数域下的像素映射深度模型，实现低采样率下精确且高效的PolSAR地物分类。为充分使用PolSAR数据的通道相位信息，该文基于一种编组-交叉卷积网络(GC-CNN)将分类模型推广到复数域，并利用网络提取的复数特征及其对应的相位和幅度来实现更精确的分类；为加快分类速度，该文还采用了一种精调的膨胀编组-交叉卷积网络(FDGC-CNN)来实现像素到像素的直接映射，并进一步提升了分类精度。在基于AIRSAR平台的16类地物数据和E-SAR平台的4类地物数据的实验中，该文采用的FDGC-CNN模型相较于SVM分类器和实数CNN模型，能够更准确和更高效地实现多类别地物分类，全局分类精度分别为96.94%和90.07%、总耗时4.22 s和4.02 s。

     

    Abstract: In the study of the terrain classification based on the Polarimetric Synthetic Aperture Radar (PolSAR), the algorithms based on general CNN do not fully utilize the phase information in different channels, and the pixel-by-pixel classification strategy with extensive redundant computation is inefficient. To mitigate these problems, a deep pixel-to-pixel mapping model in the complex domain is used for achieving a fast and accurate PolSAR terrain classification at a low sampling rate. To completely utilize the phase information, this study uses Group-Cross CNN to extend the original model to the complex domain allowing complex-number input signals and significantly improving the classification accuracy. In addition, to speed up the algorithm, a Fine-tuned Dilated Group-Cross CNN (FDGC-CNN) was adopted to directly achieve pixel-to-pixel mapping as well as improve accuracy. We verified the adopted model on two PolSAR images comprising 16 classes terrains from the AIRSAR and 4 classes terrains from the E-SAR. According to our model, the overall classification accuracies were 96.94% and 90.07% respectively while the running time was 4.22 s and 4.02 s respectively. Therefore, FDGC-CNN achieved better accuracy with higher efficiency compared to SVM and traditional CNN.

     

    • HTML全文

  • 1.   引言

    极化合成孔径雷达(Polarimetric Synthetic Aperture Radar, PolSAR)凭借全天时、全天候和高分辨率成像的能力以及丰富的地物目标散射信息和通道相位信息，被广泛运用于地物分类、目标检测和相干变化检测等领域。在地物分类研究中，表面平滑的地物纹理特征区分度不高，而PolSAR丰富的通道相位信息则能有效地区分纹理差异不大的地物，因此PolSAR数据在该领域受到了极大的关注。

    传统的PolSAR图像处理算法按照特征提取、训练分类器两个基本步骤独立展开[1–4]，特征和分类器之间的交互较弱，模型连贯性较差。相较于传统的图像算法，卷积神经网络(Convolution Neural Network, CNN)能根据具体的任务来自适应地捕获特征，并联合特征网络训练分类器，具有更好的灵活性和连贯性，因此能够得到更加准确的分类结果。目前，CNN已被广泛运用到PolSAR图像处理领域，例如Zhang等人[5]用复元素CNN来实现PolSAR地物分类；Xu等人[6]利用CNN实现PolSAR图像相干变化的检测；Bi等人[7]用基于图的CNN以及Chen等人[8,9]采用极化特征驱动的CNN算法实现精确的PolSAR地物分类。

    在基于PolSAR数据的地物分类研究中，深度分类网络的训练数据一般是后向散射矩阵S以及由S变换得到的协方差矩阵C和相干矩阵T [10–13]，而非实数CNN模型输入的3通道RGB图像。C矩阵和T矩阵的非对角元素都是复数，且S, C和T矩阵都包含能有效区分不同地物的通道相位信息。其中PolSAR的后向散射矩阵S如式(1)所示。

    S=[SHHSHVSVHSVV]=[|SHH|ejϕHH|SHV|ejϕHV|SVH|ejϕVH|SVV|ejϕVV]  (1)

    其中，SHH和SVV项包含同极化通道回波功率，而SHV和SVH项则包含交叉极化通道回波功率。协方差矩阵C矩阵的表示见式(2)。式中⟨⋅⟩为时间或空间集合平均。

    C=[⟨|SHH|2⟩√2⟨SHHS∗HV⟩⟨SHHS∗VV⟩√2⟨SHVS∗HH⟩2⟨|SHV|2⟩√2⟨SHVS∗VV⟩⟨SVVS∗HH⟩√2⟨SVVS∗HV⟩⟨|SVV|2⟩] 

    (2)

    为了充分利用PolSAR丰富的通道相位信息，Zhang等人[5]将CNN网络底层实现中的变量修改为复数；然而该算法在实现上较为繁琐，并且模型的迁移推广性不强，如推广到膨胀卷积神经网络(Dilated CNN)[14]、全卷积神经网络(FCN)[15]等复杂的CNN模型。因此本文基于一种编组-交叉卷积神经网络(Group-Cross CNN, GC-CNN)来模拟复数乘法运算并支持复数信号的输入和传递。该结构实质上是两组并行的交叉且交互的实数CNN网络，因此更容易实现和迁移推广到复杂的网络中。

    在算法效率方面，逐像素点(pixel-by-pixel)分类的算法[5–9]在提取相邻像素特征时存在大量的重复运算，因此分类较大尺寸图像的时间开销很大。而像素到像素(pixel-to-pixel)映射的算法[14,15]，如FCN和Dilated CNN则能有效地剔除冗余计算，实现端到端的高效预测。其中基于FCN的算法[15–17]由于在解码网络上采样的过程中丢失了大量的边缘细节信息，导致分类结果边缘粗糙；而基于Dilated CNN的算法[14]通过带孔洞的卷积核实现尺寸不变的输出特征图，这样既能实现快速的端到端分类又能保持目标的细节信息，因此本文采用基于Dilated CNN的膨胀编组-交叉卷积网络(Dilated Group-Cross CNN, DGC-CNN)来提升分类效率。

    在DGC-CNN的训练中，需要和输入图像尺寸相同的标注图，这对于PolSAR图像来说是困难的，因为带标注的PolSAR图像较少，且大部分带标注的PolSAR数据都存在未标注的区域。因此，本文用总采样率小于1.5%的标注像素预训练GC-CNN，并将其参数直接迁移到匹配的DGC-CNN中来实现效率提升。考虑到参数的直接迁移会导致DGC-CNN分类精度的损耗，本文沿用训练GC-CNN时的训练像素对迁移后的DGC-CNN进行精调，来捕获更多空间上下文语义特征，恢复并进一步提升GC-CNN模型的分类精度，文中称该算法为精调的膨胀编组-交叉卷积神经网络(Fine-tuned Dilated Group-Cross CNN, FDGC-CNN)。

    综上，本文的结构安排如下：第2节介绍卷积和编组-交叉卷积单元；第3节详细介绍编组-交叉卷积神经网络(GC-CNN)和精调的膨胀编组-交叉卷积网络(FDGC-CNN)；第4节为实验部分，基于AIRSAR平台的16类规则地物数据和E-SAR平台4类不规则地物数据，验证了本文采用的网络和算法的准确性和高效性。

    2.   编组-交叉卷积单元

    2.1   CNN原理

    CNN启发于视觉成像原理的研究，它通过使用不同的卷积核来模拟可视皮层细胞对边缘和方向的感知，随后连接非线性激活函数得到图像一系列复杂的特征表达[18]。CNN模型包含卷积层、池化层和激活层，其中卷积层由多组卷积核组成；第j组卷积核的输出I′j的数学表达式如下

    I′j=c∑i=1[∑(p+i,q+j)∈WIip+m,q+nKjim,n]+bj,Kj∈Rc×s×s (3)

    其中，c和s分别为输入图像通道数和卷积核窗口尺寸；Iim,n表示输入图像的第i通道、坐标为(m, n)的值；Kjim,n表示第j组卷积核Kj的第i个通道、坐标为(m, n)的值；bj为第j组卷积核的偏置项；W为卷积在图像上滑动的区域，(p, q)为滑动窗口的左上角坐标；之后将I′j输入激活层进行非线性表示，增加特征的非线性可分性，常见的激活函数有Sigmoid, tanh和ReLU[19]以及其它相关变种如CReLU[20], PReLU[21]等；最后，池化层对激活后的输出进行降采样，增加了每个像素的感受野，使空间形状灰度特征汇聚到更抽象的特征空间，并且减少了下一层卷积的计算量。

    在多层CNN模型中，浅层卷积捕获局部的边缘、角点特征，深层卷积捕获更抽象且强语义的高维特征。常见的多层CNN特征模型如VGG[22], GoogLeNet[23], ResNet[24], DenseNet[25]等已用于目标检测、分类和分割等诸多研究领域。

    2.2   编组-交叉卷积原理

    PolSAR通道之间的相位信息反映散射地物的回波时延，携带着地物的空间结构信息，对提升地物分类精度起着重要的作用。为了不丢失PolSAR的通道相位信息，本文采用编组-交叉卷积神经网络(GC-CNN)来实现复数信号的输入、传输和输出。该网络将输入信号的实部通道和虚部通道编组，并分别输入两组并行且交叉交互的实数CNN网络，将实数模型推广到复数域，GC-CNN结构如图1所示。

    图  1  编组-交叉卷积神经网络结构示意图
    Figure  1.  Structure of group-cross convolution neural network
    下载: 全尺寸图片 幻灯片

    复数域下的输入图像I由实部和虚部组成，因此本文将其编组为两组相同通道数的实数图像组，分别表示实部和虚部。设复数输入图像I的表达式如下

    I=Ireal+jIimag,I∈Cm×n×c,Ireal∈Rm×n×c,Iimag∈Rm×n×c (4)

    其中，c为I的通道数，Ireal和Iimag分别表示实部和虚部的图像组。同样，编组-交叉卷积核也被划分为两组实数信号，分别表示实部和虚部；窗口尺寸为s×s的编组-交叉卷积层如式(5)所示。

    K=Kreal+jKimag,K∈Cc×s×s×o,Kreal∈Rc×s×s×o,Kimag∈Rc×s×s×o (5)

    其中，c, o分别是卷积层的输入和输出维度，Kreal, Kimag分别是实部卷积核和虚部卷积核。

    实数卷积运算实质上是多组3维卷积核和图像的内积，本文记该运算为Conv(·)；同时编组-交叉卷积GC-Conv(·)是2组实数卷积的交叉结合。第o组编组-交叉的输出Io′可表示为

    I′o=GC−Conv(I,Ko)=GC−Conv(Ireal+jIimag,Ko,real+jKo,imag)=Conv(Ireal,Ko,real)−Conv(Iimag,Ko,imag)+j[Conv(Iimag,Ko,real)+Conv(Ireal,Ko,imag)]  (6)

    从式(6)可以看出编组-交叉卷积核的输出可以拆分成实部输入Ireal和实部卷积核Ko,real的卷积结果、虚部输入Iimag和虚部卷积核Ko,imag的卷积结果、实部输入Ireal和虚部卷积核Ko,imag的卷积结果、虚部输入Iimag和实部卷积核Ko,real的卷积结果，共4个通道；之后对4通道实数特征图进行线性合并，即组合成编组-交叉的输出I′=I′real+jI′imag。

    值得注意的是，ReLU激活函数也应推广到复数域，记作ReLU′(见图2)。具体形式如下所示。

    图  2  编组-交叉卷积层结构示意图
    Figure  2.  Structure of group-cross convolution layer
    下载: 全尺寸图片 幻灯片
    I′=ReLU′(I)=ReLU(Ireal)+jReLU(Iimag)=max{0,Ireal}+jmax{0,Iimag} (7)

    3.   精调的膨胀编组-交叉卷积神经网络

    本节将详细地介绍编组-交叉卷积神经网络(GC-CNN)和精调的膨胀编组-交叉卷积神经网络(DGC-CNN)。

    3.1   编组-交叉卷积神经网络

    算法首先以低采样率(<2%)在PolSAR图像中随机采样，并取10×10的像素窗作为中心像素的特征区域，输入3层的GC-CNN。GC-CNN的参数集中在全连接层，在训练样本不足的情况下，模型容易过拟合，因此，采用dropout和L2正则来泛化模型。为了使该网络参数能够很好地迁移到下一节介绍的DGC-CNN中，采用无边缘填充(Padding)的卷积方式进行特征提取，从而使得在每层3×3卷积层后，输入图像尺寸都将减少2个像素，如图3(a1)所示。因此，10×10的特征像素窗通过2层3×3编组-交叉卷积层后，可以得到尺寸为1×1的复数特征图。最后将复数特征图输入1×1编组-交叉卷积层以提取高维复数特征向量，用于中心像素点的分类。GC-CNN的具体结构如图3(b)所示。为将复数特征图转换为实数的分类结果，模型采用图4所示的结构将复数特征图及其相位和幅度转换为实数输出。

    图  4  GC-CNN模型损失计算结构
    Figure  4.  Loss calculation of GC-CNN
    下载: 全尺寸图片 幻灯片
    图  3  膨胀编组-交叉卷积神经网络结构示意图
    Figure  3.  Structure of Dilate Group-Cross CNN (DGC-CNN)
    下载: 全尺寸图片 幻灯片

    该结构将复数输出特征图的实部和虚部及其对应的幅度和相位在通道上拼接，并输入4×1的全连接层来获得各类别的分类概率。最后计算分类损失，更新GC-CNN参数。

    在模型的训练过程中，对于样本数较少的地物，网络学习较为困难。针对此问题，算法采用RetinaNet[26]中的焦点损失函数(focal loss)来减少易分样本的损失，进而使网络的训练更关注样本数较少的类别以及训练误差较大的样本点。记复数输出特征图为I′=λejφ, focal loss可由式(8)和式(9)计算

    p(I′)=Softmax(wrℜ(I′)+wiℑ(I′)+wmλ+wpφ) (8)
    Lfocal(I′,I)=−α(1−pI(I′))γlg(pI(I′)) (9)

    其中，I表示当前样本的真实标注，pI(I′)为输出类别I的预测概率。

    3.2   精调的膨胀编组-交叉卷积神经网络

    GC-CNN在提取相邻像素特征时存在大量的冗余计算，且分类效率较低。为了提升GC-CNN的分类速度，本文将GC-CNN的参数迁移到相同参数规模的膨胀编组-交叉卷积网络(DGC-CNN)中，如图3(c)所示，实现输入输出像素的直映射，从而大幅度减少冗余计算，提升分类效率。

    在GC-CNN中，为了捕获上下文语义特征，需要将输入图像进行池化降采样，使特征图中每个像素点都具有比降采样前大4倍的上下文感受野和更强的空间语义表达能力，但与此同时图像局部的边缘细节信息丢失严重。膨胀卷积可以解决这一问题，它通过对普通卷积窗进行空洞填充(hole padding)，使卷积输出的特征图能在尺寸不变的情况下和普通卷积池化后的特征图具备相同的感受野，即稠密的的特征图(dense map)，如图3(a2)所示。因此本文将GC-CNN的第2层卷积参数迁移到孔洞维度为1的DGC-CNN中。为了和GC-CNN中的池化层对应，DGC-CNN中的池化核步长和边缘填充尺寸设置为1个像素，且第2层池化核的空洞维度为1，从而实现如图3(c)所示的端到端的映射分类。图3(b)、图3(c)中红色虚线为GC-CNN的第1,2层卷积核参数迁移至DGC-CNN对应位置的示意图。

    由于DGC-CNN模型直接由GC-CNN参数迁移激活，分类精度上较GC-CNN会有所降低。因此，本文使用精调的膨胀交叉卷积神经网络(FDGC-CNN)来捕获更多上下文语义特征，进一步提升分类精度，其中精调算法流程图如图5所示。FDGC-CNN和全卷积神经网络FCN相同，在训练中都需要和输入图像尺寸一致的先验标注图，这对于先验标注较为稀缺的PolSAR数据来说是不可行的。为解决这一问题，本文沿用预训练GC-CNN时采样的像素点来实现FDGC-CNN的训练。在FDGC-CNN的训练过程中，只计算训练图像块中采样像素点的损失，并用于微调网络参数。具体的精调训练步骤为：用128×128的滑窗在输入复数图像上以步长为64进行滑动采样，作为DGC-CNN的输入数据；之后在训练过程中生成损失权重矩阵Wloss，用于剔除图像块中非采样像素点的损失，其中Wloss矩阵的采样像素点权重为1，其余像素点权重为0；最后将Wloss和训练预测结果加权，得到采样像素点的平均分类损失，并精调网络参数。

    图  5  DGC-CNN 精调流程图
    Figure  5.  Flowchart of DGC-CNN fine-tuning process
    下载: 全尺寸图片 幻灯片

    4.   实验结果和分析

    为了验证FDGC-CNN模型的分类能力，本节选择参数规模相当的CNN, GC-CNN, Dilated CNN, DGC-CNN与FDGC-CNN进行对比试验；实验的输入是PolSAR数据的协方差矩阵C，根据互易原理，单波段C矩阵可以转化为9维的实数特征向量Inputreal，如式(10)所示。其中C11, C22, C33分别为协方差矩阵C的对角元素，C12, C13, C23分别为C的非对角复数元素。

    Inputreal=[C11,ℜ(C12),ℑ(C12),C22,ℜ(C13), ℑ(C13),C33,ℜ(C23),ℑ(C23)] (10)

    推广到复数域下的模型，网络输入为6维复数特征向量Inputreal= [C′11,C′22,C′33,C12,C13,C23]，为了构造GC-CNN网络实部和虚部两组实数输入图像，实验将C的对角元素进行极小值填充并得到C′11,C′22,C′33，具体形式为C11+j(1e–8), C22+j(1e–8), C33+j(1e–8)。

    为了让实数和复数域模型的网络参数规模相近，本文设置GC-CNN的第1层卷积通道数为12，参数自由度(Degree of Freedom, DoF)为8788；设置CNN的第1层卷积通道数为17，参数自由度为8891。GC-CNN和CNN的参数自由度如图6所示。

    图  6  CNN和GC-CNN参数自由度结构图
    Figure  6.  The DoF of CNN and GC-CNN
    下载: 全尺寸图片 幻灯片

    CNN和GC-CNN的参数DoF差异很小，利于实验说明被推广到复数域下的网络的性能优势。

    实验采用像素分类准确率(Overall Accuracy, OA)、度量分类区域和真实地物重合程度的频权交并比(Frequency Weighted Intersection over Union, FWIoU)以及一致性检验指标Kappa系数3个评价指标对试验中各个网络算法进行评估，记N为分类混淆矩阵，Nij为地物i被分为地物j的像素点数量。OA如式(11)所示

    OA=cls∑i=0Niicls∑i=0cls∑j=0Nij (11)

    FWIoU如式(12)所示

    FWIoU=cls∑i=0(cls∑j=0Nijcls∑i=0cls∑j=0Nij×Niicls∑i=0Nij+cls∑j=0Nji−Nii) (12)

    Kappa系数的计算如式(13)所示

    Kappa=cls∑i=1[NtotalNii−cls∑j=1Nijcls∑j=1Nji]Ntotal2−cls∑i=1(cls∑j=1Nijcls∑j=1Nji) (13)

    4.1   基于AIRSAR平台的Flevoland-Netherlands地区PolSAR数据实验

    实验采用美国NASA/JPL实验室基于AIRSAR平台的Flevoland-Netherlands地区L, P, C全波段PolSAR数据。该数据广泛地用于PolSAR地物分类研究，总共包含了14类农作物和2类人造目标。其中，数据L波段部分的Pauli伪彩图如图7(a)所示，图像尺寸为1279×1024; 16类真实地物[27]和对应的标签图例见图7(b)和图7(c)，图7(b)中的黑色区域不参与模型的训练和评估。

    图  7  Flevoland-Netherlands地区L, P, C波段PolSAR数据
    Figure  7.  L, P, C-band PolSAR image data over the Flevoland-Netherlands region
    下载: 全尺寸图片 幻灯片

    16类地物包括potato, beans, wheat, fruit等14类庄稼以及道路和少量建筑。在预训练CNN和GC-CNN时，由于不同地物类别的样本数差异很大，小样本地物类别的学习更加困难。因此，实验为每类地物采样数目相近的样本用于训练，每类地物采样样本数详见表1第2行，各地物的采样率如表1第1行括号中数值所示，除Peas外，每类地物的采样率都低于6%，训练样本总采样率为1.5%。在Zhang等人[5]的实验中，分类精度随采样率升高而提升，并推荐在实际运用中将总采样率设置为5%～10%。Hou[28]和Guo[29]分别采用5%和10%的采样率实现精度相当的地物分类。本文设置总采样率为1.5%，旨在更低的总采样率下验证所提出模型的学习能力和泛化能力。

    表  1  Flevoland-Netherlands地区PolSAR图像分类结果表
    Table  1.  Classification results of Flevoland-Netherlands region
    Class (%) 1 (2.0) 2 (4.9) 3 (0.9) 4 (0.6) 5 (1.6) 6 (1.5) 7 (1.0) 8 (7.2) 9 (5.2) 10 (5.0)
    Train 600 400 600 600 600 700 700 300 240 100
    Total 29630 8031 66148 90681 38015 46583 68427 4155 4611 1982
    SVM 92.47 97.89 97.52 98.77 95.28 92.46 96.34 96.57 89.42 95.67
    CNN 97.81 99.35 98.99 98.93 99.96 97.05 99.21 96.21 83.65 88.27
    Dilated CNN 97.66 99.48 98.79 98.79 99.91 96.78 98.68 94.12 79.03 84.79
    GC-CNN 96.72 99.60 99.03 99.00 99.96 97.51 99.32 96.59 93.20 95.62
    DGC-CNN 96.71 99.49 98.80 98.99 99.95 97.43 99.17 96.58 91.93 95.05
    FDGC-CNN 96.63 99.29 98.90 98.59 99.95 98.65 99.59 97.11 91.32 97.01
    Class (%) 11 (4.4) 12(4.5) 13(5.4) 14(4.9) 15(4.4) 16(1.1) OA Kappa FWIoU Time (s)
    Train 600 100 100 400 200 400 – – – –
    Total 13485 2206 1838 8203 4536 42861 – – – –
    SVM 98.34 93.02 98.89 98.56 28.54 57.68 93.27 92.44 87.04 669.00
    CNN 97.81 96.48 99.93 99.56 86.69 69.36 95.72 95.31 92.77 220.31
    Dilated CNN 97.81 91.10 99.83 99.67 78.99 63.02 95.16 94.34 91.56 3.94
    GC-CNN 97.83 98.05 99.98 99.57 87.04 72.79 96.49 95.92 93.64 401.56
    DGC-CNN 97.86 97.37 99.82 99.45 82.36 70.13 96.14 95.50 93.04 4.32
    FDGC-CNN 96.49 98.85 99.98 99.73 89.61 77.99 96.94 96.44 94.29 4.32
    *注: Grass(1); Flax(2); Potato(3); Wheat(4); Rapseed(5); Beet(6); Barly(7); Peas(8); Maize(9); Bean(10); Fruit(11); Onion(12); Oats(13); Lucerne(14); Building(15); Road(16)
    下载: 导出CSV 
    | 显示表格

    参考Chen等人[8]的实验过程，本文对表1中每组实验随机进行了10次采样和训练，每次训练的超参数相同，表1的评估结果取10次实验的平均值。由于输入数据为L, P, C全波段极化SAR图像，因此CNN网络的输入为27维实数特征矢量，GC-CCN网络的输入为18维复数特征矢量。CNN和GC-CNN各迭代60轮后的收敛曲线如图8所示。

    图  8  GC-CNN和CNN训练loss收敛图
    Figure  8.  Training loss convergence curves of GC-CNN and CNN
    下载: 全尺寸图片 幻灯片

    可见，由于编组-交叉卷积能够充分利用PolSAR数据丰富的相位信息，GC-CNN能更快和更稳定地收敛，并且能得到更好的分类效果；从表1中的CNN和GC-CNN两行可以看出，GC-CNN在OA, Kappa和FWIoU 3项指标上都高过CNN大约0.6%，并且在Maize, Peas, Beans和Onion等样本数较少的类别上具有更好的分类结果。然而在参数规模相当的情况下，GC-CNN的卷积乘法运算量是CNN的2倍，因此，在预测过程中GC-CNN的分类速度较CNN变慢了约2倍。

    CNN和GC-CNN训练结束后，将具参数分别迁移至Dilated CNN和DGC-CNN中，从表1中CNN和Dilated CNN两行可以看出，Dilated CNN的分类速度较CNN加速了大约55倍，但由于直接迁移CNN的参数，分类精度有0.56%的损耗。DGC-CNN和GC-CNN相比，以损失0.3%分类精度为代价，大幅度提升了分类速度，且分类精度较Dilated CNN有1.1%的提升。

    在精调过程中，由于像素到像素(pixel-to-pixel)映射方式的训练使输入图像块内的采样像素被固定在一个批次(batch)中计算损失并更新网络参数，引入了先验的空间信息。因此，FDGC-CNN能够捕获更多的上下文语意特征，进一步提升分类精度。表1最后一行显示，FDGC-CNN相较于其他算法能够大幅度提升道路的分类精度，并且对于一些小样本地物如Onion, Peas, Beans和Beet等能够实现更加准确的分类。在AIRSAR平台的Flevoland-Netherlands地区实验中，FDGC-CNN实现了最精确和相对高效的地物分类。

    图9列出了各网络的分类结果图。从图9中可见，每个网络都能实现边缘保持良好的连贯分类。图中的白框指出，编组-交叉卷积能在小类别上实现更加准确的分类，从而提升整体分类精度。另外，FDGC-CNN能够弥补DGC-CNN的精度损耗，并且在Road, Beans, Beet上分类结果更加连贯。综上，本文采用的FDGC-CNN模型在Flevoland-Netherlands极化数据上兼顾了准确率和分类效率，得到了最优的地物分类结果。

    图  9  Flevoland-Netherlands地区分类结果图
    Figure  9.  Classification images of the Flevoland-Netherlands region
    下载: 全尺寸图片 幻灯片

    4.2   基于E-SAR平台的Oberpfaffenhofen地区L波段PolSAR数据实验

    为验证FDGC-CNN在表面不规则地物上的分类性能，本文采用德国E-SAR平台的L波段PolSAR数据进行实验。该数据包含表面粗糙的城区(Urban)和灌木(WoodLand)以及平滑的耕地(FarmLand)和道路(Road)，总共4类地物。数据尺寸为1300×1200，其Pauli伪彩图如10(a)所示，真实地物和标注图例分别如图10(b)、图10(c)所示，其中真实地物根据Google Earth光学图像通过人工标注得到。4类地物的采样样本数和实验总样本数如表2第1、第2列所示，单类采样率详见表2第1列括号中的数值，实验总采样率为0.94%。

    图  10  Oberpfaffenhofen地区L波段PolSAR数据
    Figure  10.  L-band PolSAR image data over the Oberpfaffenhofen region
    下载: 全尺寸图片 幻灯片
    表  2  Oberpfaffenhofen地区PolSAR图像分类结果表
    Table  2.  Classification results of oberpfaffenhofen region
    Class (%) Train Total CNN Dilated CNN GC-CNN DGC-CNN FDGC-CNN
    WoodLand (1.0) 3000 290915 88.14 88.33 90.40 89.67 90.55
    FarmLand (0.5) 3000 622739 94.02 94.23 93.54 94.27 95.30
    Urban (1.1) 3000 274684 82.78 79.93 85.80 82.36 86.03
    Roads (1.8) 2500 137400 78.89 76.45 78.82 76.08 73.65
    OA – – 88.83 88.13 89.72 88.90 90.07
    Kappa – – 81.40 79.26 82.80 81.20 83.36
    FWIoU – – 80.70 80.44 81.72 80.42 82.11
    Time (s) – – 262.47 2.60 513.43 3.21 4.02
    下载: 导出CSV 
    | 显示表格

    表2第4，第6列指出，GC-CNN在表面不规则的WoodLand和Urban地物上的分类精度相较CNN模型有较大提升，这主要因为PolSAR通道相位表征的是回波时延，GC-CNN通过充分学习通道相位信息来提取不规则地物的空间几何特征，因此能进一步提升不规则地物的分类精度。Dilated CNN和DGC-CNN在参数迁移后都损失了大约0.7%的总分类精度，但分类耗时缩短了大约100倍。精调后的FDGC-CNN模型在OA、Kappa和FWIoU指标上都优于DGC-CNN和GC-CNN，兼顾了分类准确率和效率。

    图11为Oberpfaffenhofen地区实验分类结果图。GC-CNN在白框区域较CNN能够实现更连贯的分类，空洞区域较少。FDGC-CNN相较于GC-CNN在FarmLand上的离散区域更少，说明精调过程能够结合训练图像块中像素的空间信息来约束平滑地物中的离散区域，进而提升分类精度。

    图  11  Oberpfaffenhofen地区分类结果图
    Figure  11.  Classification images of the Oberpfaffenhofen
    下载: 全尺寸图片 幻灯片

    4.3   实验分析

    从2组实验的分类精度评估指标曲线(如图12所示)可以看出，基于编组-交叉卷积的模型能够利用相位信息有效地提升网络的分类精度。将CNN和GC-CNN的参数迁移到Dilated CNN和DGC-CNN后，分类精度轻微下降，但分类速度大幅度提升。精调的FDGC-CNN能学习更多的上下文语义特征，从而修正一些样本数较少或具有较强结构特征地物的错分像素，并能根据像素的空间关联信息剔除规则地物区域中的离散点和空洞点，最终在GC-CNN和DGC-CNN的总体分类精度上实现了进一步的提升。综上，两组实验验证了FDGC-CNN模型能够在少量先验标注下实现高精度高效率的极化SAR地物分类。

    图  12  Flevoland-Netherlands和Oberpfaffenhofen地区实验各模型评估结果曲线
    Figure  12.  Evaluate results curve of models on Flevoland-Netherlands and Oberpfaffenhofen
    下载: 全尺寸图片 幻灯片

    5.   结论

    本文通过FDGC-CNN算法实现了在低采样率下精确且高效的PolSAR地物分类。该算法首先用低采样率采样得到的像素点预训练GC-CNN，随后将网络参数迁移到DGC-CNN中，在分类精度降低的代价下实现像素到像素(pixel-to-pixel)直接映射的快速分类。最后通过精调参数迁移后的DGC-CNN以捕获更多上下文强语义特征，进而修正错分样本，提升分类精度。基于AIRSAR平台以及E-SAR平台的PolSAR数据的实验表明，在低采样率下，FDGC-CNN相较于SVM分类器和CNN模型取得了精度和效率上的大幅度提升，兼顾了分类精度和效率，具有很强的实用性和部署性。

  • 图  1  编组-交叉卷积神经网络结构示意图

    Figure  1.  Structure of group-cross convolution neural network

    下载: 全尺寸图片 幻灯片

    图  2  编组-交叉卷积层结构示意图

    Figure  2.  Structure of group-cross convolution layer

    下载: 全尺寸图片 幻灯片

    图  4  GC-CNN模型损失计算结构

    Figure  4.  Loss calculation of GC-CNN

    下载: 全尺寸图片 幻灯片

    图  3  膨胀编组-交叉卷积神经网络结构示意图

    Figure  3.  Structure of Dilate Group-Cross CNN (DGC-CNN)

    下载: 全尺寸图片 幻灯片

    图  5  DGC-CNN 精调流程图

    Figure  5.  Flowchart of DGC-CNN fine-tuning process

    下载: 全尺寸图片 幻灯片

    图  6  CNN和GC-CNN参数自由度结构图

    Figure  6.  The DoF of CNN and GC-CNN

    下载: 全尺寸图片 幻灯片

    图  7  Flevoland-Netherlands地区L, P, C波段PolSAR数据

    Figure  7.  L, P, C-band PolSAR image data over the Flevoland-Netherlands region

    下载: 全尺寸图片 幻灯片

    图  8  GC-CNN和CNN训练loss收敛图

    Figure  8.  Training loss convergence curves of GC-CNN and CNN

    下载: 全尺寸图片 幻灯片

    图  9  Flevoland-Netherlands地区分类结果图

    Figure  9.  Classification images of the Flevoland-Netherlands region

    下载: 全尺寸图片 幻灯片

    图  10  Oberpfaffenhofen地区L波段PolSAR数据

    Figure  10.  L-band PolSAR image data over the Oberpfaffenhofen region

    下载: 全尺寸图片 幻灯片

    图  11  Oberpfaffenhofen地区分类结果图

    Figure  11.  Classification images of the Oberpfaffenhofen

    下载: 全尺寸图片 幻灯片

    图  12  Flevoland-Netherlands和Oberpfaffenhofen地区实验各模型评估结果曲线

    Figure  12.  Evaluate results curve of models on Flevoland-Netherlands and Oberpfaffenhofen

    下载: 全尺寸图片 幻灯片

    表  1  Flevoland-Netherlands地区PolSAR图像分类结果表

    Table  1.   Classification results of Flevoland-Netherlands region

    Class (%) 1 (2.0) 2 (4.9) 3 (0.9) 4 (0.6) 5 (1.6) 6 (1.5) 7 (1.0) 8 (7.2) 9 (5.2) 10 (5.0)
    Train 600 400 600 600 600 700 700 300 240 100
    Total 29630 8031 66148 90681 38015 46583 68427 4155 4611 1982
    SVM 92.47 97.89 97.52 98.77 95.28 92.46 96.34 96.57 89.42 95.67
    CNN 97.81 99.35 98.99 98.93 99.96 97.05 99.21 96.21 83.65 88.27
    Dilated CNN 97.66 99.48 98.79 98.79 99.91 96.78 98.68 94.12 79.03 84.79
    GC-CNN 96.72 99.60 99.03 99.00 99.96 97.51 99.32 96.59 93.20 95.62
    DGC-CNN 96.71 99.49 98.80 98.99 99.95 97.43 99.17 96.58 91.93 95.05
    FDGC-CNN 96.63 99.29 98.90 98.59 99.95 98.65 99.59 97.11 91.32 97.01
    Class (%) 11 (4.4) 12(4.5) 13(5.4) 14(4.9) 15(4.4) 16(1.1) OA Kappa FWIoU Time (s)
    Train 600 100 100 400 200 400 – – – –
    Total 13485 2206 1838 8203 4536 42861 – – – –
    SVM 98.34 93.02 98.89 98.56 28.54 57.68 93.27 92.44 87.04 669.00
    CNN 97.81 96.48 99.93 99.56 86.69 69.36 95.72 95.31 92.77 220.31
    Dilated CNN 97.81 91.10 99.83 99.67 78.99 63.02 95.16 94.34 91.56 3.94
    GC-CNN 97.83 98.05 99.98 99.57 87.04 72.79 96.49 95.92 93.64 401.56
    DGC-CNN 97.86 97.37 99.82 99.45 82.36 70.13 96.14 95.50 93.04 4.32
    FDGC-CNN 96.49 98.85 99.98 99.73 89.61 77.99 96.94 96.44 94.29 4.32
    *注: Grass(1); Flax(2); Potato(3); Wheat(4); Rapseed(5); Beet(6); Barly(7); Peas(8); Maize(9); Bean(10); Fruit(11); Onion(12); Oats(13); Lucerne(14); Building(15); Road(16)
    下载: 导出CSV

    表  2  Oberpfaffenhofen地区PolSAR图像分类结果表

    Table  2.   Classification results of oberpfaffenhofen region

    Class (%) Train Total CNN Dilated CNN GC-CNN DGC-CNN FDGC-CNN
    WoodLand (1.0) 3000 290915 88.14 88.33 90.40 89.67 90.55
    FarmLand (0.5) 3000 622739 94.02 94.23 93.54 94.27 95.30
    Urban (1.1) 3000 274684 82.78 79.93 85.80 82.36 86.03
    Roads (1.8) 2500 137400 78.89 76.45 78.82 76.08 73.65
    OA – – 88.83 88.13 89.72 88.90 90.07
    Kappa – – 81.40 79.26 82.80 81.20 83.36
    FWIoU – – 80.70 80.44 81.72 80.42 82.11
    Time (s) – – 262.47 2.60 513.43 3.21 4.02
    下载: 导出CSV
    • 参考文献(29)
  • [1] YANG Wen, ZHONG Neng, YANG Xiangli, et al. Rie-mannian sparse coding for classification of PolSAR images[C]. 2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Beijing, China, 2016: 5698–5701. doi: 10.1109/IGARSS.2016.7730488.
    [2] 张祥, 邓喀中, 范洪冬, 等. 基于目标分解的极化SAR图像SVM监督分类[J]. 计算机应用研究, 2013, 30(1): 295–298. doi: 10.3969/j.issn.1001-3695.2013.01.076

    ZHANG Xiang, DENG Kazhong, FAN Hongdong, et al. PolSAR SVM supervised classification method combining with polarimetric target decomposition[J]. Application Re-search of Computers, 2013, 30(1): 295–298. doi: 10.3969/j.issn.1001-3695.2013.01.076
    [3] ZHANG Hongsheng, ZHANG Yuanzhi, and LIN Hui. Urban land cover mapping using random forest combined with optical and SAR data[C]. 2012 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Munich, Germany, 2012: 6809–6812. doi: 10.1109/IGARSS.2012.6352600.
    [4] ZHANG Guangyun and JIA Xiuping. Simplified conditional random fields with class boundary constraint for spec-tral-spatial based remote sensing image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(5): 856–860. doi: 10.1109/LGRS.2012.2186279
    [5] ZHANG Zhimian, WANG Haipeng, XU Feng, et al. Complex-valued convolutional neural network and its application in polarimetric SAR image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(12): 7177–7188. doi: 10.1109/TGRS.2017.2743222
    [6] 徐真, 王宇, 李宁, 等. 一种基于CNN的SAR图像变化检测方法[J]. 雷达学报, 2017, 6(5): 483–491. doi: 10.12000/JR17075

    XU Zhen, WANG R, LI Ning, et al. A novel approach to change detection in SAR images with CNN classification[J]. Journal of Radars, 2017, 6(5): 483–491. doi: 10.12000/JR17075
    [7] BI Haixia, SUN Jian, and XU Zongben. A graph-based semisupervised deep learning model for PolSAR image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(4): 2116–2132. doi: 10.1109/TGRS.2018.2871504
    [8] CHEN Siwei and TAO Chensong. PolSAR image classification using polarimetric-feature-driven deep convolutional neural network[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 627–631. doi: 10.1109/LGRS.2018.2799877
    [9] CHEN Siwei, TAO Chensong, WANG Xuesong, et al. PolSAR target classification using polarimetric-feature-driven deep convolutional neural network[C]. 2018 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Valencia, Spain, 2018. doi: 10.1109/IGARSS.2018.8518529.
    [10] KONG J A, SWARTZ A A, YUEH H A, et al. Identification of terrain cover using the optimum polarimetric classifier[J]. Journal of Electromagnetic Waves and Applications, 1988, 2(2): 171–194.
    [11] LEE J S, GRUNES M R, and KWOK R. Classification of multi-look polarimetric SAR imagery based on complex Wishart distribution[J]. International Journal of Remote Sensing, 1994, 15(11): 2299–2311. doi: 10.1080/01431169408954244
    [12] KOUSKOULAS Y, ULABY F T, and PIERCE L E. The Bayesian Hierarchical Classifier (BHC) and its application to short vegetation using multifrequency polarimetric SAR[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(2): 469–477. doi: 10.1109/TGRS.2003.821066
    [13] 邹焕新, 罗天成, 张月, 等. 基于组合条件随机场的极化SAR图像监督地物分类[J]. 雷达学报, 2017, 6(5): 541–553. doi: 10.12000/JR16109

    ZOU Huanxin, LUO Tiancheng, ZHANG Yue, et al. Combined conditional random fields model for supervised PolSAR images classification[J]. Journal of Radars, 2017, 6(5): 541–553. doi: 10.12000/JR16109
    [14] YU F and KOLTUN V. Multi-scale context aggregation by dilated convolutions[J]. arXiv preprint arXiv: 1511.07122, 2015.
    [15] LONG J, SHELHAMER E, and DARRELL T. Fully convolutional networks for semantic segmentation[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 2015: 3431–3440. doi: 10.1109/CVPR.2015.7298965.
    [16] BADRINARAYANAN V, KENDALL A, and CIPOLLA R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation[J]. arXiv preprint ar-Xiv: 1511.00561, 2015.
    [17] RONNEBERGER O, FISCHER P, and BROX T. U-net: Convolutional networks for biomedical image segmenta-tion[C]. Proceedings of 18th International Conference on Medical Image Computing and Computer-Assisted Inter-vention, Munich, Germany, 2015: 234–241.
    [18] BENGIO Y, LECUN Y, NOHL C, et al. LeRec: A NN/HMM hybrid for on-line handwriting recognition[J]. Neural Computation, 1995, 7(6): 1289–1303. doi: 10.1162/neco.1995.7.6.1289
    [19] NAIR V and HINTON G E. Rectified linear units improve restricted boltzmann machines[C]. Proceedings of the 27th International Conference on Machine Learning (ICML-10), Haifa, Israel, 2010: 807–814.
    [20] SHANG W, SOHN K, ALMEIDA D, et al. Understanding and improving convolutional neural networks via concatenated rectified linear units[C]. International Conference on Machine Learning, 2016: 2217–2225.
    [21] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Delving deep into rectifiers: Surpassing human-level per-formance on imagenet classification[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1026–1034. doi: 10.1109/ICCV.2015.123.
    [22] SIMONYAN K and ZISSERMAN A. Very deep convolu-tional networks for large-scale image recognition[J]. arXiv preprint arXiv: 1409.1556, 2014.
    [23] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al.. Identity mappings in deep residual networks[C]. Proceedings of the 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 630–645.
    [24] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90.
    [25] HUANG Gao, LIU Zhuang, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017: 2261–2269. doi: 10.1109/CVPR.2017.243
    [26] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2999–3007. doi: 10.1109.ICCV.2017.324.
    [27] HOEKMAN D H and VISSERS M A M. A new polarimetric classification approach evaluated for agricultural crops[J]. IEEE Transactions on Geoscience and Remote Sensing, 2003, 41(12): 2881–2889. doi: 10.1109/TGRS.2003.817795
    [28] HOU Biao, KOU Hongda, and JIAO Licheng. Classification of polarimetric SAR images using multilayer autoencoders and superpixels[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(7): 3072–3081. doi: 10.1109/JSTARS.2016.2553104
    [29] GUO Yanhe, WANG Shuang, GAO Chenqiong, et al. Wishart RBM based DBN for polarimetric synthetic radar data classification[C]. 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Milan, Italy, 2015: 1841–1844. doi: 10.1109/IGARSS.2015.7326150.
    • 相关文章
    • 施引文献

  • 期刊类型引用(1)

    1. 谢雯，滑文强，焦李成，王若男. 采用深度学习的极化SAR地物分类方法综述. 西安电子科技大学学报. 2023(03): 151-170 . 百度学术

    其他类型引用(2)

    • 资源附件(0)
  • 加载中
图(12) / 表(2)
计量
  • 文章访问数: 3353
  • HTML全文浏览量: 1087
  • PDF下载量: 263
  • 被引次数: 3
出版历程
  • 收稿日期:  2019-03-04
  • 修回日期:  2019-03-19
  • 网络出版日期:  2019-08-28

目录

摘要
HTML全文

  • 1.   引言

  • 2.   编组-交叉卷积单元

  • 2.1   CNN原理

  • 2.2   编组-交叉卷积原理

  • 3.   精调的膨胀编组-交叉卷积神经网络

  • 3.1   编组-交叉卷积神经网络

  • 3.2   精调的膨胀编组-交叉卷积神经网络

  • 4.   实验结果和分析

  • 4.1   基于AIRSAR平台的Flevoland-Netherlands地区PolSAR数据实验

  • 4.2   基于E-SAR平台的Oberpfaffenhofen地区L波段PolSAR数据实验

  • 4.3   实验分析

  • 5.   结论

参考文献(29)
相关文章
施引文献
资源附件(0)

/

返回文章
返回

京ICP备20021838号-8   本系统由 北京仁和汇智信息技术有限公司 开发    百度统计