基于深度形状先验的高分辨率SAR飞机目标重建

窦方正 刁文辉 孙显 张跃 付琨

窦方正, 刁文辉, 孙显, 张跃, 付琨. 基于深度形状先验的高分辨率SAR飞机目标重建[J]. 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
引用本文: 窦方正, 刁文辉, 孙显, 张跃, 付琨. 基于深度形状先验的高分辨率SAR飞机目标重建[J]. 雷达学报, 2017, 6(5): 503-513. doi: 10.12000/JR17047
Dou Fangzheng, Diao Wenhui, Sun Xian, Zhang Yue, Fu Kun. Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior[J]. Journal of Radars, 2017, 6(5): 503-513. doi: 10.12000/JR17047
Citation: Dou Fangzheng, Diao Wenhui, Sun Xian, Zhang Yue, Fu Kun. Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior[J]. Journal of Radars, 2017, 6(5): 503-513. doi: 10.12000/JR17047

基于深度形状先验的高分辨率SAR飞机目标重建

doi: 10.12000/JR17047
基金项目: 国家自然科学基金重点项目(61331017)
详细信息
    作者简介:

    窦方正(1990–),女,山东淄博人,中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习。E-mail: doufangzheng@126.com

    刁文辉(1988–),男,山东莱芜人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所助理研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: whdiao@mail.ie.ac.cn

    孙显:孙   显(1982–),男,浙江绍兴人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所副研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉;参加工作以来,一直从事高分辨率遥感图像理解方面的前沿技术研究,作为项目负责人主持国家自然科学基金1项,高分青年创新基金1项,以及SAR目标检测识别技术相关的国防预研课题3项。作为技术负责人组织国家高分重大专项应用基础支撑技术测试评估总体技术、海上目标检测识别技术测试评估技术等项目的开展,并主持撰写国家高分重大专项测试评估方面2项标准规范。E-mail: sunxian@mail.ie.ac.cn

    张跃:张   跃(1990–),男,河南许昌人,中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: zhangyuereal@163.com

    付琨:付   琨(1974–),男,湖北襄阳人,中国科学院电子学研究所博士毕业,现为中国科学院电子学研究所研究员。研究方向为计算机视觉与遥感图像理解,地理空间信息挖掘与可视化;长期从事我国航天/航空遥感地面处理和应用系统技术相关领域的研究工作,多次担任中国遥感卫星系列地面系统的型号总师/副总师、学术带头人,承担或参与了10多项国家重大遥感地面系统型号建设任务,包括我国第1套SAR卫星地面系统、第1套多星多传感器一体化地面应用系统、第1套面向全国分布式多中心的地面系统等,此外,获得国家各类基金、863、预研项目支持20多项,参与973项目2项。E-mail: kunfuiecas@gmail.com

    通讯作者:

    窦方正   doufangzheng@126.com

  • 中图分类号: TN957.52

Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior

Funds: The National Natural Science Foundation of China (61331017)
  • 摘要: 目标重建是合成孔径雷达图像分析中的重要研究内容。该文提出了一种新的基于深度形状先验的高分辨率合成孔径雷达图像飞机目标重建方法。该方法分为两个阶段,在形状先验建模阶段,利用产生式的深度玻尔兹曼机模型进行深度形状先验建模;在目标重建阶段,提出了一种新的目标重建框架,该框架将深度形状先验作为约束融入重建过程中。为了解决目标旋转问题,该文提出了一种新的姿态估计方法获取目标的候选姿态,避免了姿态的穷举搜索。除此之外,该文构造了融合散射区域项和形状先验项的能量函数,并利用迭代优化算法进行函数优化,从而获取目标重建结果。该文提出的方法框架是首次利用深度形状先验在高分辨率合成孔径雷达图像中实现复杂目标的重建。在TerraSAR-X数据集上的实验结果表明,该文提出的方法具有较高的重建精度和鲁棒性。

     

  • 图  1  TerraSAR-X数据集部分切片展示

    Figure  1.  Part of the TerraSAR-X data set

    图  2  8种特定角度下10种不同种类的飞机目标黑白二值模板(从上到下角度依次是0°, 315°, 270°, 225°, 180°, 135°, 90°和45°)

    Figure  2.  Original black and white binary templates of ten types of aircrafts in 8 different poses (Poses, from top to bottom, are 0°, 315°, 270°, 225°, 180°, 135°, 90° and 45°)

    图  3  形状对齐结果(第1行和第2行分别表示0°姿态下原始形状模板和形状对齐后的结果图像)

    Figure  3.  Results of shape alignment (The first and second rows represent the original templates and the results of shape alignment respectively)

    图  4  3层深度玻尔兹曼机网络结构

    Figure  4.  The structure of three-layered deep Boltzmann machine

    图  5  本文方法的流程图

    Figure  5.  The framework of the proposed aircraft reconstruction method

    图  6  姿态估计结果

    Figure  6.  Results of the pose estimation

    图  7  不同目标重建方法的结果对比(第1行与第2行分别对应提取目标区域的轮廓图和提取到的目标区域图)

    Figure  7.  Comparison of reconstruction results of different methods (The first and the second rows correspond to the contour of the extracted aircraft area and the extracted aircraft area)

    图  8  目标重建结果

    Figure  8.  Reconstruction results

    表  1  算法1:目标重建中的优化算法

    Table  1.   The optimization algorithm in object reconstruction

    输入:通过预训练和候选姿态选择得到的深度形状先验参数,融合变换因子 ${\rm{\{ }}{{W}^1},{{W}^2},{{a}^1},{{a}^2},{b}{\rm{\} }}$,姿态估计的输出图像u
     步骤1 初始化:q为形状模板均值, ${{h}^{\bf{2}}}{\bf{ = 0}}$, ${η} = \left\{ {0.2{\rm{e}} - 5,\;} \right.$ $\left. {3{\rm{e}} - 5,\;3{\rm{e}} - 5,\;0.01{\rm{e}} - 5} \right\}$, $φ = \left\{ {{x_0},{y_0},{h_{{\rm{init}}}},0} \right\}$, ${E^{\rm new}} = 0$, $\tau = 0.1$, ${{I}_1}$, ${{I}_2}$。
     步骤2 优化:重复(a)到(c)直到 $|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon $或者达到最大迭代次数 ${{I}_1}$:
      (a) 计算 ${W}_φ^1$,并令 $E_1^{\rm old} = {E^{\rm ew}}$;
      (b) 重复(i)到(v)直到 $|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon $或者达到最大迭代次数 ${{I}_2}$:
       (i) $E_2^{\rm old} = {E^{\rm new}}$,
       (ii) ${h^1} = \sigma {\rm{ }}{\left( {{q^{\rm{T}}}W_\varphi ^1 + {W^2}{h^2} + {a^1}} \right)^{\rm{T}}}$,
       (iii) $q = \arg \min |\nabla q{|_{\rm{e}}} + \alpha {q^{\rm{T}}}s - \beta ({q^{\rm{T}}}W_\varphi ^1{h^1} + {q^{\rm{T}}}b)$,
       (iv) ${h^2} = \sigma \left( {{h^{{1^{\rm{T}}}}}{W^2} + {a^2}} \right)$,
       (v) 根据式(4)计算 ${E^{\rm new}}$;
      (c) 梯度下降法更新 $φ $:
       (i) 利用下面公式计算 $\nabla φ = \left\{ {\nabla x,\nabla y,\nabla h,\nabla \theta } \right\}$:
        $\begin{array}{l}\nabla x = \beta {{q}^{\rm T}}{{W}_{x}}{{h}^{{1^{\rm T}}}},\nabla y = \beta {{q}^{\rm T}}{{W}_{\!\! {y}}}{{h}^{{1^{\rm T}}}}\\\nabla h{{ = }}{W}_{x}^{\rm T}({x}{π} \cos \theta - {y}\sin \theta ) + {W}_{y}^{\rm T}({x}\sin \theta + {y}\cos \theta )\\\nabla \theta {{ = }}h\left\{ {{W}_{x}^{\rm T}( - {x}\sin \theta {\rm{ - }}{y}\cos \theta ) + {W}_{y}^{\rm T}({x}\cos \theta - {y}\sin \theta )} \right\}\end{array}$
        $({\rm ii}) \ {\text {计算}}φ = φ - {η} \nabla φ {\text{。}}$
    输出:最新的形状q
    下载: 导出CSV

    表  2  算法:算法1步骤2(b)(iii)算法

    Table  2.   The algorithm for step 2(b)(iii) in Tab. 1

    输入:各变量值
     步骤1 初始化:设置参数 $\alpha $, $\beta $。
     步骤2 重复步骤(a)到(e)直到 $\parallel{{q}^{k + 1}} - {{q}^k}{\parallel^2} < \varepsilon $
      (a) 计算 ${{z}^k} = {(c_1^k - {u})^2} - {(c_2^k - {u})^2} - \beta ({W}_{\! φ}^{{1}}{{h}^{{1}}}{\bf{ + }}{b})$
      (b) 最优化 $({{q}^{k + 1}},{\overrightarrow {d} ^{k + 1}}) = \arg \min |\overrightarrow {d} {|_{\rm{e}}} + \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$
       (i) 最优化 ${{q}^{k + 1}} = \arg \min \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel{\overrightarrow {d} ^k} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$, ${{q}^{k + 1}} = {\rm GS}({{z}^k},{\overrightarrow {d} ^k},{\overrightarrow {e} ^k})$
       (ii) 最优化 ${\overrightarrow {d} ^{k + 1}} = \arg \min |\overrightarrow {d} | + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {{q}^{k + 1}} - {\overrightarrow {e} ^k}{\parallel^2}$ ${\overrightarrow {d} ^{k + 1}} = {\rm shrin}{{\rm k}_g}({\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}},\lambda )$
      (c) 计算 ${\overrightarrow {e} ^{k + 1}} = {\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}} - {\overrightarrow {d} ^{k + 1}}$
      (d) 计算 ${Ω}_{τ} ^{ k} = \{ {x}:{{q}^{k + 1}}({x}) > \tau \} $
      (e) 更新 $c_1^{k + 1} = \int_{{Ω} _\tau ^{\!\! k}} {{u}{\mathop{\rm d}\nolimits} {x}}, \ c_2^{k + 1} = \int_{{Ω} /{Ω}_\tau ^{\! k}} {{u}{\mathop{\rm d}\nolimits} {x}} $
    输出:最新的q
    下载: 导出CSV

    表  3  不同目标重建方法的性能比较

    Table  3.   Performance of different reconstruction methods

    方法 平均像素误分比(%)
    GraphCut方法 40.3
    SG-ACM 14.6
    去除形状项的本文方法 31.8
    本文方法 8.0
    下载: 导出CSV
  • [1] 邓云凯, 赵凤军, 王宇. 星载SAR技术的发展趋势及应用浅析[J]. 雷达学报, 2012, 1(1): 1–10. http://radars.ie.ac.cn/CN/abstract/abstract18.shtml

    Deng Yunkai, Zhao Fengjun, and Wang Yu. Brief analysis on the development and application of spaceborne SAR[J]. Journal of Radars, 2012, 1(1): 1–10. http://radars.ie.ac.cn/CN/abstract/abstract18.shtml
    [2] Chen Jiehong, Zhang Bo, and Wang Chao. Backscattering feature analysis and recognition of civilian aircraft in TerraSAR-X images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 796–800. doi: 10.1109/LGRS.2014.2362845
    [3] Chang Y L, Chiang C Y, and Chen K S. SAR image simulation with application to target recognition[J]. Progress in Electromagnetics Research, 2011, 119: 35–57. doi: 10.2528/PIER11061507
    [4] Tang Kan, Sun Xian, Sun Hao, et al.. A geometrical-based simulator for target recognition in high-resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(5): 958–962. doi: 10.1109/LGRS.2012.2187426
    [5] Zhang Yue, Sun Xian, Thiele A, et al.. Stochastic geometrical model and Monte Carlo optimization methods for building reconstruction from InSAR data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 108: 49–61. doi: 10.1016/j.isprsjprs.2015.06.004
    [6] 王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2):195-203. http://radars.ie.ac.cn/CN/abstract/abstract424.shtml

    Wang Siyu, Gao Xin, Sun Hao, et al. An aircraft detection method based on convolutional neural networks in high-resolution sar images[J]. Journal of Radars, 2017, 6(2): 195-203 http://radars.ie.ac.cn/CN/abstract/abstract424.shtml
    [7] 杜康宁, 邓云凯, 王宇, 李宁. 基于多层神经网络的中分辨SAR图像时间序列建筑区域提取[J]. 雷达学报, 2016, 5(4):410-418. http://radars.ie.ac.cn/CN/abstract/abstract364.shtml

    Du Kangning, Deng Yunkai, Wang Yu, et al.. Medium Resolution SAR Image Time-series Built-up Area Extraction Based on Multilayer Neural Network[J]. Journal of Radars, 2016, 5(4): 410-418. http://radars.ie.ac.cn/CN/abstract/abstract364.shtml
    [8] 田壮壮, 占荣辉, 胡杰民, 张军. 基于卷积神经网络的SAR图像目标识别研究[J]. 雷达学报, 2016, 5(3):320-325. http://radars.ie.ac.cn/CN/abstract/abstract351.shtml

    Tian Zhuangzhuang, Zhan Ronghui, Hu Jiemin, et al.. SAR ATR Based on Convolutional Neural Network[J]. Journal of Radars, 2016, 5(3): 320-325. http://radars.ie.ac.cn/CN/abstract/abstract351.shtml
    [9] 徐丰, 王海鹏, 金亚秋. 深度学习在SAR目标识别与地物分类中的应用[J]. 雷达学报, 2017, 6(2):136-148. http://radars.ie.ac.cn/CN/abstract/abstract420.shtml

    Xu Feng, Wang Haipeng, Jin Yaqiu. Deep learning as applied in sar target recognition and terrain classification[J]. Journal of Radars, 2017, 6(2): 136-148. http://radars.ie.ac.cn/CN/abstract/abstract420.shtml
    [10] Salakhutdinov R and Hinton G. Deep Boltzmann machines[J]. Journal of Machine Learning Research, 2009, 5(2): 448–455.
    [11] Zhang Zhengdong, Liang Xiao, Ganesh A, et al.. TILT: Transform invariant low-rank textures[C]. Proceedings of Asian Conference on Computer Vision, Berlin, Heidelberg, 2010: 314–328.
    [12] Goldstein T, Bresson X, and Osher S. Geometric applications of the split bregman method: Segmentation and surface reconstruction[J]. Journal of Scientific Computing, 2010, 45(1): 272–293.
    [13] Eslami S M A, Heess N, Williams C K I, et al.. The shape boltzmann machine: A strong model of object shape[J]. International Journal of Computer Vision, 2014, 107(2): 155–176. doi: 10.1007/s11263-013-0669-1
    [14] Liu Ge, Sun Xian, Fu Kun, et al.. Interactive geospatial object extraction in high resolution remote sensing images using shape-based global minimization active contour model[J]. Pattern Recognition Letters, 2013, 34(10): 1186–1195. doi: 10.1016/j.patrec.2013.03.031
    [15] Chen Fei, Yu Huimin, Hu R, et al.. Deep learning shape priors for object segmentation[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 2013: 1870–1877.
    [16] Kuttikkad S and Chellappa R. Non-gaussian CFAR techniques for target detection in high resolution SAR images[C]. Proceedings of IEEE International Conference on Image Processing, Austin, TX, USA, 1994: 910–914.
    [17] Cremers D, Schmidt F R, and Barthel F. Shape priors in variational image segmentation: Convexity, Lipschitz continuity and globally optimal solutions[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, USA, 2008: 1–6.
    [18] Jones III G and Bhanu B. Recognizing articulated objects in SAR images[J]. Pattern Recognition, 2001, 34(2): 469–485. doi: 10.1016/S0031-3203(99)00218-6
    [19] Boykov Y Y and Jolly M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]. Proceedings of IEEE International Conference on Computer Vision, Vancouver, BC, Canada, 2001: 105–112.
    [20] Wu Qichang, Diao Wenhui, Dou Fangzheng, et al.. Shape-based object extraction in high-resolution remote-sensing images using deep Boltzmann machine[J]. International Journal of Remote Sensing, 2016, 37(24): 6012–6022. doi: 10.1080/01431161.2016.1253897
  • 加载中
图(8) / 表(3)
计量
  • 文章访问数:  3220
  • HTML全文浏览量:  1103
  • PDF下载量:  761
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-04-17
  • 修回日期:  2017-05-10
  • 网络出版日期:  2017-10-28

目录

    /

    返回文章
    返回