基于深度形状先验的高分辨率SAR飞机目标重建

窦方正; 刁文辉; 孙显; 张跃; 付琨

doi:10.12000/JR17047

基于深度形状先验的高分辨率SAR飞机目标重建

DOI: 10.12000/JR17047

窦方正^1,2, ,,
刁文辉^1,,
孙显^1,,
张跃^1,,
付琨^1,

①.
中国科学院电子学研究所北京 100190
②.
中国科学院大学北京 100190

基金项目: 国家自然科学基金重点项目(61331017)

详细信息

作者简介:
窦方正(1990–)，女，山东淄博人，中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习。E-mail: doufangzheng@126.com

刁文辉(1988–)，男，山东莱芜人，中国科学院电子学研究所博士毕业，现为中国科学院电子学研究所助理研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: whdiao@mail.ie.ac.cn

孙显：孙显(1982–)，男，浙江绍兴人，中国科学院电子学研究所博士毕业，现为中国科学院电子学研究所副研究员。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉；参加工作以来，一直从事高分辨率遥感图像理解方面的前沿技术研究，作为项目负责人主持国家自然科学基金1项，高分青年创新基金1项，以及SAR目标检测识别技术相关的国防预研课题3项。作为技术负责人组织国家高分重大专项应用基础支撑技术测试评估总体技术、海上目标检测识别技术测试评估技术等项目的开展，并主持撰写国家高分重大专项测试评估方面2项标准规范。E-mail: sunxian@mail.ie.ac.cn

张跃：张跃(1990–)，男，河南许昌人，中国科学院电子学研究所博士研究生。研究方向为遥感图像解译、机器学习与深度学习、计算机视觉。E-mail: zhangyuereal@163.com

付琨：付琨(1974–)，男，湖北襄阳人，中国科学院电子学研究所博士毕业，现为中国科学院电子学研究所研究员。研究方向为计算机视觉与遥感图像理解，地理空间信息挖掘与可视化；长期从事我国航天/航空遥感地面处理和应用系统技术相关领域的研究工作，多次担任中国遥感卫星系列地面系统的型号总师/副总师、学术带头人，承担或参与了10多项国家重大遥感地面系统型号建设任务，包括我国第1套SAR卫星地面系统、第1套多星多传感器一体化地面应用系统、第1套面向全国分布式多中心的地面系统等，此外，获得国家各类基金、863、预研项目支持20多项，参与973项目2项。E-mail: kunfuiecas@gmail.com

通讯作者:
窦方正 doufangzheng@126.com

中图分类号: TN957.52
计量
- 文章访问数: 3426
- HTML全文浏览量: 1141
- PDF下载量: 784
- 被引次数: 10
出版历程
- 收稿日期: 2017-04-17
- 修回日期: 2017-05-10
- 网络出版日期: 2017-10-28

Aircraft Reconstruction in High Resolution SAR Images Using Deep Shape Prior

Dou Fangzheng^{1,2
, ,},
Diao Wenhui^1
,,
Sun Xian^1
,,
Zhang Yue^1
,,
Fu Kun^1
,

①.
Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China
②.
University of Chinese Academy of Sciences, Beijing 100190, China

Funds: The National Natural Science Foundation of China (61331017)

摘要

摘要: 目标重建是合成孔径雷达图像分析中的重要研究内容。该文提出了一种新的基于深度形状先验的高分辨率合成孔径雷达图像飞机目标重建方法。该方法分为两个阶段，在形状先验建模阶段，利用产生式的深度玻尔兹曼机模型进行深度形状先验建模；在目标重建阶段，提出了一种新的目标重建框架，该框架将深度形状先验作为约束融入重建过程中。为了解决目标旋转问题，该文提出了一种新的姿态估计方法获取目标的候选姿态，避免了姿态的穷举搜索。除此之外，该文构造了融合散射区域项和形状先验项的能量函数，并利用迭代优化算法进行函数优化，从而获取目标重建结果。该文提出的方法框架是首次利用深度形状先验在高分辨率合成孔径雷达图像中实现复杂目标的重建。在TerraSAR-X数据集上的实验结果表明，该文提出的方法具有较高的重建精度和鲁棒性。
- 合成孔径雷达 /
- 目标重建 /
- 形状先验 /
- 深度玻尔兹曼机
Abstract: Object reconstruction is of vital importance in Synthetic Aperture Radar (SAR) image analysis. In this paper, we propose a novel method based on shape prior to reconstruct aircraft in high resolution SAR images. The method mainly contains two stages. In the shape prior modeling stage, a generative deep learning method is used to model deep shape priors; a novel framework is then proposed in the reconstruction stage, which integrates the shape priors in the process of reconstruction. Specifically, to address the issue of object rotation, a novel pose estimation method is proposed to obtain candidate poses, which avoids making an exhaustive search for each pose. In addition, an energy function combining a scattering region term and a shape prior term is proposed; this is optimized via an iterative optimization algorithm to achieve the goal of object reconstruction. To the best of our knowledge, this is the first attempt made to reconstruct objects with complex shapes in SAR images using deep shape priors. Experiments are conducted on the dataset acquired by TerraSAR-X and results demonstrate the accuracy and robustness of the proposed method.
- Synthetic Aperture Radar (SAR) /
- Object reconstruction /
- Shape prior /
- Deep Boltzmann machine

HTML全文

图 1 TerraSAR-X数据集部分切片展示

Figure 1. Part of the TerraSAR-X data set

下载: 全尺寸图片幻灯片

图 2 8种特定角度下10种不同种类的飞机目标黑白二值模板(从上到下角度依次是0°, 315°, 270°, 225°, 180°, 135°, 90°和45°)

Figure 2. Original black and white binary templates of ten types of aircrafts in 8 different poses (Poses, from top to bottom, are 0°, 315°, 270°, 225°, 180°, 135°, 90° and 45°)

下载: 全尺寸图片幻灯片

图 3 形状对齐结果(第1行和第2行分别表示0°姿态下原始形状模板和形状对齐后的结果图像)

Figure 3. Results of shape alignment (The first and second rows represent the original templates and the results of shape alignment respectively)

下载: 全尺寸图片幻灯片

图 4 3层深度玻尔兹曼机网络结构

Figure 4. The structure of three-layered deep Boltzmann machine

下载: 全尺寸图片幻灯片

图 5 本文方法的流程图

Figure 5. The framework of the proposed aircraft reconstruction method

下载: 全尺寸图片幻灯片

图 6 姿态估计结果

Figure 6. Results of the pose estimation

下载: 全尺寸图片幻灯片

图 7 不同目标重建方法的结果对比(第1行与第2行分别对应提取目标区域的轮廓图和提取到的目标区域图)

Figure 7. Comparison of reconstruction results of different methods (The first and the second rows correspond to the contour of the extracted aircraft area and the extracted aircraft area)

下载: 全尺寸图片幻灯片

图 8 目标重建结果

Figure 8. Reconstruction results

下载: 全尺寸图片幻灯片

表 1 算法1：目标重建中的优化算法

Table 1. The optimization algorithm in object reconstruction

输入：通过预训练和候选姿态选择得到的深度形状先验参数，融合变换因子

${\rm{\{ }}{{W}^1},{{W}^2},{{a}^1},{{a}^2},{b}{\rm{\} }}$ ，姿态估计的输出图像u
　步骤1　初始化：q为形状模板均值，

${{h}^{\bf{2}}}{\bf{ = 0}}$ ,

${η} = \left\{ {0.2{\rm{e}} - 5,\;} \right.$

$\left. {3{\rm{e}} - 5,\;3{\rm{e}} - 5,\;0.01{\rm{e}} - 5} \right\}$ ,

$φ = \left\{ {{x_0},{y_0},{h_{{\rm{init}}}},0} \right\}$ ,

${E^{\rm new}} = 0$ ,

$\tau = 0.1$ ,

${{I}_1}$ ,

${{I}_2}$ 。
　步骤2　优化：重复(a)到(c)直到

$|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon$ 或者达到最大迭代次数

${{I}_1}$ ：
　　(a) 计算

${W}_φ^1$ ，并令

$E_1^{\rm old} = {E^{\rm ew}}$ ；
　　(b) 重复(i)到(v)直到

$|{E^{\rm new}} - E_1^{\rm old}| < \varepsilon$ 或者达到最大迭代次数

${{I}_2}$ ：
　　　(i)

$E_2^{\rm old} = {E^{\rm new}}$ ，
　　　(ii)

${h^1} = \sigma {\rm{ }}{\left( {{q^{\rm{T}}}W_\varphi ^1 + {W^2}{h^2} + {a^1}} \right)^{\rm{T}}}$ ，
　　　(iii)

$q = \arg \min |\nabla q{|_{\rm{e}}} + \alpha {q^{\rm{T}}}s - \beta ({q^{\rm{T}}}W_\varphi ^1{h^1} + {q^{\rm{T}}}b)$ ，
　　　(iv)

${h^2} = \sigma \left( {{h^{{1^{\rm{T}}}}}{W^2} + {a^2}} \right)$ ，
　　　(v) 根据式(4)计算

${E^{\rm new}}$ ；
　　(c) 梯度下降法更新

$φ$ ：
　　　(i) 利用下面公式计算

$\nabla φ = \left\{ {\nabla x,\nabla y,\nabla h,\nabla \theta } \right\}$ ：
　　　

$\begin{array}{l}\nabla x = \beta {{q}^{\rm T}}{{W}_{x}}{{h}^{{1^{\rm T}}}},\nabla y = \beta {{q}^{\rm T}}{{W}_{\!\! {y}}}{{h}^{{1^{\rm T}}}}\\\nabla h{{ = }}{W}_{x}^{\rm T}({x}{π} \cos \theta - {y}\sin \theta ) + {W}_{y}^{\rm T}({x}\sin \theta + {y}\cos \theta )\\\nabla \theta {{ = }}h\left\{ {{W}_{x}^{\rm T}( - {x}\sin \theta {\rm{ - }}{y}\cos \theta ) + {W}_{y}^{\rm T}({x}\cos \theta - {y}\sin \theta )} \right\}\end{array}$
　　　

$({\rm ii}) \ {\text {计算}}φ = φ - {η} \nabla φ {\text{。}}$
输出：最新的形状q。

下载: 导出CSV

表 2 算法：算法1步骤2(b)(iii)算法

Table 2. The algorithm for step 2(b)(iii) in Tab. 1

输入：各变量值
　步骤1　初始化：设置参数

$\alpha$ ,

$\beta$ 。
　步骤2　重复步骤(a)到(e)直到

$\parallel{{q}^{k + 1}} - {{q}^k}{\parallel^2} < \varepsilon$
　　(a) 计算

${{z}^k} = {(c_1^k - {u})^2} - {(c_2^k - {u})^2} - \beta ({W}_{\! φ}^{{1}}{{h}^{{1}}}{\bf{ + }}{b})$
　　(b) 最优化

$({{q}^{k + 1}},{\overrightarrow {d} ^{k + 1}}) = \arg \min |\overrightarrow {d} {|_{\rm{e}}} + \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$
　　　(i) 最优化

${{q}^{k + 1}} = \arg \min \alpha {{q}^{\rm T}}{{z}^k} + \frac{\lambda }{2}\parallel{\overrightarrow {d} ^k} - \nabla {q} - {\overrightarrow {e} ^k}{\parallel^2}$ ,

${{q}^{k + 1}} = {\rm GS}({{z}^k},{\overrightarrow {d} ^k},{\overrightarrow {e} ^k})$
　　　(ii) 最优化

${\overrightarrow {d} ^{k + 1}} = \arg \min |\overrightarrow {d} | + \frac{\lambda }{2}\parallel\overrightarrow {d} - \nabla {{q}^{k + 1}} - {\overrightarrow {e} ^k}{\parallel^2}$

${\overrightarrow {d} ^{k + 1}} = {\rm shrin}{{\rm k}_g}({\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}},\lambda )$
　　(c) 计算

${\overrightarrow {e} ^{k + 1}} = {\overrightarrow {e} ^k} + \nabla {{q}^{k + 1}} - {\overrightarrow {d} ^{k + 1}}$
　　(d) 计算

${Ω}_{τ} ^{ k} = \{ {x}:{{q}^{k + 1}}({x}) > \tau \}$
　　(e) 更新

$c_1^{k + 1} = \int_{{Ω} _\tau ^{\!\! k}} {{u}{\mathop{\rm d}\nolimits} {x}}, \ c_2^{k + 1} = \int_{{Ω} /{Ω}_\tau ^{\! k}} {{u}{\mathop{\rm d}\nolimits} {x}}$
输出：最新的q。

下载: 导出CSV

表 3 不同目标重建方法的性能比较

Table 3. Performance of different reconstruction methods

方法	平均像素误分比(%)
GraphCut方法	40.3
SG-ACM	14.6
去除形状项的本文方法	31.8
本文方法	8.0

下载: 导出CSV

参考文献(20)

[1]	邓云凯, 赵凤军, 王宇. 星载SAR技术的发展趋势及应用浅析[J]. 雷达学报, 2012, 1(1): 1–10. http://radars.ie.ac.cn/CN/abstract/abstract18.shtml Deng Yunkai, Zhao Fengjun, and Wang Yu. Brief analysis on the development and application of spaceborne SAR[J]. Journal of Radars, 2012, 1(1): 1–10. http://radars.ie.ac.cn/CN/abstract/abstract18.shtml
[2]	Chen Jiehong, Zhang Bo, and Wang Chao. Backscattering feature analysis and recognition of civilian aircraft in TerraSAR-X images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(4): 796–800. doi: 10.1109/LGRS.2014.2362845
[3]	Chang Y L, Chiang C Y, and Chen K S. SAR image simulation with application to target recognition[J]. Progress in Electromagnetics Research, 2011, 119: 35–57. doi: 10.2528/PIER11061507
[4]	Tang Kan, Sun Xian, Sun Hao, et al.. A geometrical-based simulator for target recognition in high-resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(5): 958–962. doi: 10.1109/LGRS.2012.2187426
[5]	Zhang Yue, Sun Xian, Thiele A, et al.. Stochastic geometrical model and Monte Carlo optimization methods for building reconstruction from InSAR data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 108: 49–61. doi: 10.1016/j.isprsjprs.2015.06.004
[6]	王思雨, 高鑫, 孙皓, 郑歆慰, 孙显. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2):195-203. http://radars.ie.ac.cn/CN/abstract/abstract424.shtml Wang Siyu, Gao Xin, Sun Hao, et al. An aircraft detection method based on convolutional neural networks in high-resolution sar images[J]. Journal of Radars, 2017, 6(2): 195-203 http://radars.ie.ac.cn/CN/abstract/abstract424.shtml
[7]	杜康宁, 邓云凯, 王宇, 李宁. 基于多层神经网络的中分辨SAR图像时间序列建筑区域提取[J]. 雷达学报, 2016, 5(4):410-418. http://radars.ie.ac.cn/CN/abstract/abstract364.shtml Du Kangning, Deng Yunkai, Wang Yu, et al.. Medium Resolution SAR Image Time-series Built-up Area Extraction Based on Multilayer Neural Network[J]. Journal of Radars, 2016, 5(4): 410-418. http://radars.ie.ac.cn/CN/abstract/abstract364.shtml
[8]	田壮壮, 占荣辉, 胡杰民, 张军. 基于卷积神经网络的SAR图像目标识别研究[J]. 雷达学报, 2016, 5(3):320-325. http://radars.ie.ac.cn/CN/abstract/abstract351.shtml Tian Zhuangzhuang, Zhan Ronghui, Hu Jiemin, et al.. SAR ATR Based on Convolutional Neural Network[J]. Journal of Radars, 2016, 5(3): 320-325. http://radars.ie.ac.cn/CN/abstract/abstract351.shtml
[9]	徐丰, 王海鹏, 金亚秋. 深度学习在SAR目标识别与地物分类中的应用[J]. 雷达学报, 2017, 6(2):136-148. http://radars.ie.ac.cn/CN/abstract/abstract420.shtml Xu Feng, Wang Haipeng, Jin Yaqiu. Deep learning as applied in sar target recognition and terrain classification[J]. Journal of Radars, 2017, 6(2): 136-148. http://radars.ie.ac.cn/CN/abstract/abstract420.shtml
[10]	Salakhutdinov R and Hinton G. Deep Boltzmann machines[J]. Journal of Machine Learning Research, 2009, 5(2): 448–455.
[11]	Zhang Zhengdong, Liang Xiao, Ganesh A, et al.. TILT: Transform invariant low-rank textures[C]. Proceedings of Asian Conference on Computer Vision, Berlin, Heidelberg, 2010: 314–328.
[12]	Goldstein T, Bresson X, and Osher S. Geometric applications of the split bregman method: Segmentation and surface reconstruction[J]. Journal of Scientific Computing, 2010, 45(1): 272–293.
[13]	Eslami S M A, Heess N, Williams C K I, et al.. The shape boltzmann machine: A strong model of object shape[J]. International Journal of Computer Vision, 2014, 107(2): 155–176. doi: 10.1007/s11263-013-0669-1
[14]	Liu Ge, Sun Xian, Fu Kun, et al.. Interactive geospatial object extraction in high resolution remote sensing images using shape-based global minimization active contour model[J]. Pattern Recognition Letters, 2013, 34(10): 1186–1195. doi: 10.1016/j.patrec.2013.03.031
[15]	Chen Fei, Yu Huimin, Hu R, et al.. Deep learning shape priors for object segmentation[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 2013: 1870–1877.
[16]	Kuttikkad S and Chellappa R. Non-gaussian CFAR techniques for target detection in high resolution SAR images[C]. Proceedings of IEEE International Conference on Image Processing, Austin, TX, USA, 1994: 910–914.
[17]	Cremers D, Schmidt F R, and Barthel F. Shape priors in variational image segmentation: Convexity, Lipschitz continuity and globally optimal solutions[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, USA, 2008: 1–6.
[18]	Jones III G and Bhanu B. Recognizing articulated objects in SAR images[J]. Pattern Recognition, 2001, 34(2): 469–485. doi: 10.1016/S0031-3203(99)00218-6
[19]	Boykov Y Y and Jolly M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]. Proceedings of IEEE International Conference on Computer Vision, Vancouver, BC, Canada, 2001: 105–112.
[20]	Wu Qichang, Diao Wenhui, Dou Fangzheng, et al.. Shape-based object extraction in high-resolution remote-sensing images using deep Boltzmann machine[J]. International Journal of Remote Sensing, 2016, 37(24): 6012–6022. doi: 10.1080/01431161.2016.1253897

施引文献

期刊类型引用(7)

1.	邵帅，邢雷，王峰. 基于遗传算法的机相扫机载预警雷达重点扇区波位排布方法. 中国电子科学研究院学报. 2023(06): 521-524+530 . 百度学术
2.	李纪三，刘溶，张宁. 高速旋转相控阵雷达基于资源预规划的任务调度算法. 电子科技大学学报. 2022(03): 377-383+480 . 百度学术
3.	李纪三，纪彦星，曹鼎，刘溶，任渊. 基于广义时间窗的旋转相控阵雷达资源调度算法. 电子学报. 2022(05): 1050-1057 . 百度学术
4.	鲁金，畅言，陈春. 基于多级时间窗的综合优先级雷达任务调度算法. 火控雷达技术. 2021(03): 39-41+52 . 百度学术
5.	柴炎，郑海宾，朱宏梁，张宇. 云平台下自适应调度算法的优化分析. 数码世界. 2019(03): 172 . 百度学术
6.	徐玲，祝军. 制药智能工厂生产物流调度系统柔性管控优化算法. 电子技术与软件工程. 2019(22): 102-103 . 百度学术
7.	方旖，陈秋菊，潘继飞，毕大平. 基于贝叶斯的多功能雷达脉冲列变化点检测. 指挥与控制学报. 2019(04): 308-315 . 百度学术