基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法

陈慧元; 刘泽宇; 郭炜炜; 张增辉; 郁文贤

doi:10.12000/JR19041

基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法

DOI: 10.12000/JR19041 CSTR: 32380.14.JR19041

①.
上海交通大学电子信息与电气工程学院上海 200240
②.
同济大学同济–MIT城市科学国际联合实验室上海 200243

基金项目: 国家自然科学基金(61331015, U1830103)

详细信息

作者简介:
陈慧元(1994–)，女，内蒙古呼和浩特人，硕士，于2017年获南京理工大学学士学位，2017年9月至今，在上海交通大学电子信息与电气工程学院攻读硕士研究生。研究方向为基于深度学习的遥感图像目标检测。E-mail: chen940403@sjtu.edu.cn

刘泽宇(1993–)，男，黑龙江哈尔滨人，博士，于2014年获上海交通大学学士学位，2014年9月至今，在上海交通大学电子信息与电气工程学院攻读博士研究生。研究方向为雷达图像解译、数据挖掘。E-mail: ribosomal@sjtu.edu.cn

郭炜炜(1983–)，男，江苏南通人，博士，分别于2005, 2007, 2014年获得国防科技大学信息工程，信息与通信专业学士、硕士和博士学位。2008年—2010年在英国Queen Mary, University of London联合培养，2014年12月至2018年6月在上海交通大学电子信息与电气工程学院从事博士后研究工作，2018年12月至今为同济大学设计创意学院助理教授。研究方向为遥感图像理解、模式识别与机器学习、人机交互等。E-mail: weiweiguo@tongji.edu.cn

张增辉(1980–)，男，山东金乡人，博士，分别于2001年、2003年和2008年在国防科技大学获得应用数学、计算数学、信息与通信工程专业学士、硕士和博士学位。2008年6月至2013年7月，为国防科技大学数学与系统科学系讲师；2014年2月至今，为上海交通大学电子信息与电气工程学院副研究员。研究方向为SAR图像解译、雷达信号处理等。E-mail: zenghui.zhang@sjtu.edu.cn

郁文贤(1964–)，男，上海松江人，博士，教授，博士生导师，上海交通大学讲席教授，教育部长江学者特聘教授，上海市领军人才。现为上海交通大学信息技术与电气工程研究院院长，北斗导航与位置服务上海市重点实验室主任，智能探测与识别上海市高校重点实验室主任。研究方向为遥感信息处理、多源融合导航定位、目标检测识别等。E-mail: wxyu@sjtu.edu.cn

通讯作者:
郭炜炜　weiweiguo@tongji.edu.cn

中图分类号: TP183; TP751
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 107
出版历程
- 收稿日期: 2019-03-11
- 修回日期: 2019-06-10
- 网络出版日期: 2019-06-01

Fast Detection of Ship Targets for Large-scale Remote Sensing Image Based on a Cascade Convolutional Neural Network

CHEN Huiyuan^1
,,
LIU Zeyu^1
,,
GUO Weiwei^{2
, ,},
ZHANG Zenghui^1
,,
YU Wenxian^1
,

①.
School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai 200240, China
②.
Tongji-MIT City Science International Co-laboratory, Shanghai 200243,China

Funds: The National Natural Science Foundation of China (61331015, U1830103)

More Information

Corresponding author: GUO Weiwei, weiweiguo@tongji.edu.cn

摘要

摘要: 针对大场景遥感图像舰船目标的快速检测问题，该文设计了一种级联型卷积神经网络检测框架。该检测框架由目标预筛选全卷积网络(P-FCN)和目标精确检测全卷积网络(D-FCN)两个全卷积网络级联而成。P-FCN是一个轻量级的图像分类网络，负责对大场景图像中可能的舰船区域进行快速预筛选，其层数少、训练简单，候选框冗余较少，能够减少后续网络的计算负担；D-FCN是一个改进的U-Net网络，通过在传统U-Net结构中加入目标掩膜和舰船朝向估计层以进行多任务的学习，实现任意朝向舰船目标的精细定位。该文分别使用TerraSAR-X雷达遥感图像和从91卫图、DOTA数据集中获得的光学遥感图像对算法进行了测试，结果表明该方法的检测准确率分别为0.928和0.926，与传统滑窗法相当，但目标检测时间仅为滑窗法的1/3左右。该文所提的级联型卷积神经网络检测框架在保持检测精度的前提下能显著提高目标检测效率，可实现大场景遥感图像中舰船目标的快速检测。
- 舰船目标检测 /
- 深度学习 /
- 全卷积网络 /
- 大场景遥感图像 /
- 快速检测
Abstract: For the fast detection of ships in large-scale remote sensing images, a cascade convolutional neural network is proposed, which is a cascade combination of two Fully Convolutional Neural networks (FCNs), the target FCN for Prescreening (P-FCN), and the target FCN for Detection (D-FCN). The P-FCN is a lightweight image classification network that is responsible for the rapid pre-screening of possible ship areas in large-scale images. The region proposals generated by the P-FCN have less redundancy, which can reduce the computational burden of the D-FCN. The D-FCN is an improved U-Net that can accurately detect arbitrary-oriented ships by adding target masks and ship orientation estimation layers to the traditional U-Net structure for multitask learning. In our experiment, TerraSAR-X remote sensing images and the optical remote sensing images obtained from the 91 satellite map software and the DOTA dataset were used to test the network. The results show that the detection accuracy of our method was 0.928 and 0.926 for synthetic aperture radar images and optical images, respectively, which were close to the performance of the traditional sliding window method. However, the running time of the proposed method was only about 1/3 of that of the sliding window method. Therefore, the cascade convolutional neural network can significantly improve the target detection efficiency while maintaining the detection accuracy and can realize the rapid detection of ship targets in large-scale remote sensing images.
- Ship detection /
- Deep learning /
- Fully Convolutional Neural network(FCN) /
- Large scale remote sensing image /
- Fast detection

HTML全文

图 1 级联型网络总体架构图

Figure 1. The overall frame structure of cascading network

下载: 全尺寸图片幻灯片

图 2 P-FCN实验过程

Figure 2. The experimental process of P-FCN

下载: 全尺寸图片幻灯片

图 3 D-FCN结构图

Figure 3. The frame structure of D-FCN

下载: 全尺寸图片幻灯片

图 4 SAR图像与光学图像中真值目标掩膜与预测目标掩膜生成

Figure 4. The true target masks and the predictive target masks of SAR images and optical images

下载: 全尺寸图片幻灯片

图 5 旋转矩形框定位

Figure 5. Rotating rectangle positioning

下载: 全尺寸图片幻灯片

图 6 P-FCN训练TerraSAR-X数据集统计

Figure 6. The training TerraSAR-X dataset statistics of P-FCN

下载: 全尺寸图片幻灯片

图 7 resize参数与检测速度和准确率的关系

Figure 7. The relationship of resize parameter between detection speed and accuracy

下载: 全尺寸图片幻灯片

图 8 S=1, 3, 5时对应的热点图

Figure 8. The heat maps corresponding to S=1, 3, 5

下载: 全尺寸图片幻灯片

图 9 S=1, 3, 5时对应的候选区域

Figure 9. The probably proposals corresponding to S=1, 3, 5

下载: 全尺寸图片幻灯片

图 10 TerraSAR数据P-FCN测试结果

Figure 10. The test result of TerraSAR in P-FCN

下载: 全尺寸图片幻灯片

图 11 类型图1检测结果

Figure 11. The test results of type 1 image

下载: 全尺寸图片幻灯片

图 12 类型图2检测结果

Figure 12. The test results of type 2 image

下载: 全尺寸图片幻灯片

图 13 P-FCN 光学图像训练数据集统计

Figure 13. The training dataset statistics of P-FCN

下载: 全尺寸图片幻灯片

图 14 resize参数与检测速度和准确率的关系

Figure 14. The relationship of resize parameter between detection speed and accuracy

下载: 全尺寸图片幻灯片

图 15 S=1, 3, 5时对应的热点图

Figure 15. The heat maps corresponding to S=1, 3, 5

下载: 全尺寸图片幻灯片

图 16 S=1, 3, 5时对应的候选区域

Figure 16. The probably proposals corresponding to S=1, 3, 5

下载: 全尺寸图片幻灯片

图 17 级联型网络结构检测结果

Figure 17. The test results of the cascade network

下载: 全尺寸图片幻灯片

表 1 TerraSAR-X数据基本信息

Table 1. The basic information of TerraSAR-X

Satellite 极化方式分辨率(rg×az)(m) 像元间距(rg×az)(m)

TerraSAR-X HH 1.03×1.17 1.25×1.25

下载: 导出CSV

表 2 级联型网络结构、滑窗法、YOLO3检测结果

Table 2. The test results of cascade network, sliding window method and YOLO3

精确率召回率检测速度(s/1000×1000)

级联网络 0.952 0.928 0.142
滑窗法 0.927 0.931 0.334
YOLO3 0.922 0.753 0.041

下载: 导出CSV

表 3 类型图1检测结果统计

Table 3. The test results of type 1 image

TP FN FP 精确率召回率检测时间(s)

级联法 382 31 14 0.965 0.925 18.882
滑窗法 388 25 29 0.930 0.939 64.859
YOLO 322 91 28 0.920 0.780 5.860

下载: 导出CSV

表 4 类型图2检测结果统计

Table 4. The test results of type 2 image

TP FN FP 精确率召回率检测时间(s)

级联法 259 19 16 0.942 0.932 19.853
滑窗法 256 22 19 0.931 0.921 62.208
YOLO 210 68 18 0.921 0.755 5.321

下载: 导出CSV

表 5 滑窗法与级联法检测结果对比

Table 5. Comparison of sliding window and cascade method

召回率检测时间时间比

级联法 0.926 0.273 3.34
滑窗法 0.918 0.911

下载: 导出CSV

参考文献(15)

[1]	刘俊凯, 李健兵, 马梁, 等. 基于矩阵信息几何的飞机尾流目标检测方法[J]. 雷达学报, 2017, 6(6): 699–708. doi: 10.12000/JR17058 LIU Junkai, LI Jianbing, MA Liang, et al. Radar target detection method of aircraft wake vortices based on matrix information geometry[J]. Journal of Radars, 2017, 6(6): 699–708. doi: 10.12000/JR17058
[2]	陈小龙, 关键, 黄勇, 等. 雷达低可观测动目标精细化处理及应用[J]. 科技导报, 2017, 35(20): 19–27. CHEN Xiaolong, GUAN Jian, HUANG Yong, et al. Radar refined processing and its applications for low-observable moving target[J]. Science &Technology Review, 2017, 35(20): 19–27.
[3]	苏宁远, 陈小龙, 关键, 等. 基于卷积神经网络的海上微动目标检测与分类方法[J]. 雷达学报, 2018, 7(5): 565–574. doi: 10.12000/JR18077 SU Ningyuan, CHEN Xiaolong, GUAN Jian, et al. Detection and classification of maritime target with micro-motion based on CNNs[J]. Journal of Radars, 2018, 7(5): 565–574. doi: 10.12000/JR18077
[4]	GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014.
[5]	GIRSHICK R. Fast R-CNN[C]. Proceedings of 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2016.
[6]	UIJLINGS J R R, VAN DE SANDE K E A, GEVERS T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154–171. doi: 10.1007/s11263-013-0620-5
[7]	JIANG Huaizu and LEARNED-MILLER E. Face detection with the faster R-CNN[C]. Proceedings of the 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), Washington, USA, 2017: 650-657.
[8]	REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]. Proceedings of the 28th International Conference on Neural Information Processing Systems, Montreal, Canada, 2015.
[9]	REDMON J and FARHADI A. YOLOv3: An incremental improvement[J]. arXiv: 1804. 02767, 2018.
[10]	ZHOU Xinyu, YAO Cong, WEN He, et al. EAST: An efficient and accurate scene text detector[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, USA, 2017.
[11]	伍广明, 陈奇, SHIBASAKI R, 等. 基于U型卷积神经网络的航空影像建筑物检测[J]. 测绘学报, 2018, 47(6): 864–872. doi: 10.11947/j.AGCS.2018.20170651 WU Guangming, CHEN Qi, SHIBASAKI R, et al. High precision building detection from aerial imagery using a U-Net like convolutional architecture[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(6): 864–872. doi: 10.11947/j.AGCS.2018.20170651
[12]	ZHANG Zenghui, GUO Weiwei, ZHU Shengnan, et al. Toward arbitrary-oriented ship detection with rotated region proposal and discrimination networks[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(11): 1745–1749. doi: 10.1109/LGRS.2018.2856921
[13]	ZHAO Juanping, GUO Weiwei, ZHANG Zenghui, et al. A coupled convolutional neural network for small and densely clustered ship detection in SAR images[J]. Science China Information Sciences, 2019, 62(4): 42301. doi: 10.1007/s11432-017-9405-6
[14]	XIA Guisong, BAI xiang, DING Jian, et al. DOTA: A large-scale dataset for object detection in aerial images[C]. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, USA, 2018.
[15]	DING Jian, XUE Nan, LONG Yang, et al. Learning RoI transformer for detecting oriented objects in aerial images[C]. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

施引文献

期刊类型引用(39)

1.	董军，杜晓林，何肖阳，李建波，田团伟. 基于CNN-BiLSTM-AM的雷达波形设计. 现代雷达. 2025(03): 72-79 . 百度学术
2.	贲德. 机载有源相控阵火控雷达技术发展. 现代雷达. 2024(02): 1-15 . 百度学术
3.	王兴家，王彬，刘岳巍，晏学成，丁峰. 基于元知识转移的认知雷达波形设计. 雷达科学与技术. 2024(04): 443-453 . 百度学术
4.	沙印，陈虎威. 基于PLC的雷达自动控制系统设计与应用. 长春师范大学学报. 2024(10): 63-68 . 百度学术
5.	朱宏鹏，朱赛，安婷. 一种多材料综合的装备多波段兼容隐身方法. 现代电子技术. 2023(01): 1-5 . 百度学术
6.	岳帅英，彭芃，任渊. 舰载多功能相控阵雷达发展现状与趋势. 舰船科学技术. 2023(02): 141-147 . 百度学术
7.	张应奎，孙国皓，钟苏川，余显祥. 杂波先验数据缺失条件下基于级联优化处理的雷达波形设计方法. 雷达学报. 2023(01): 235-246 . 本站查看
8.	陈涛，张颖，胡学晶，肖易寒. 基于DQN的探测干扰一体化波形优化设计. 系统工程与电子技术. 2023(03): 638-646 . 百度学术
9.	冯翔，李风从，范羽，刘涛，崔文卿，赵宜楠. 基于粒子采样投影的雷达低旁瓣复合波形设计. 系统工程与电子技术. 2023(04): 1008-1015 . 百度学术
10.	杨婧，余显祥，沙明辉，崔国龙，孔令讲. MIMO系统探通一体化信号矩阵设计方法. 雷达学报. 2023(02): 262-274 . 本站查看
11.	王佳欢，范平志，时巧，周正春. 一种具有多普勒容忍性的通感一体化波形设计. 雷达学报. 2023(02): 275-286 . 本站查看
12.	汪敏，冯一伦，蒋彦雯，范红旗. 雷达波形通用调制引擎设计. 系统工程与电子技术. 2023(06): 1684-1692 . 百度学术
13.	李康，纠博，赵宇，刘宏伟. 雷达智能博弈抗干扰技术综述与展望. 现代雷达. 2023(05): 15-26 . 百度学术
14.	范文，李淳泽，赵勇，张航. 复杂环境下雷达抗干扰及多功能一体化波形设计方法研究. 无线电通信技术. 2023(05): 960-970 . 百度学术
15.	林瑜，卜祎，余显祥，崔国龙. 面向多主瓣干扰的波形与滤波器联合认知设计方法. 系统工程与电子技术. 2023(11): 3437-3448 . 百度学术
16.	谢壮，朱家华，徐舟，范崇祎，金添，黄晓涛. 基于智能反射面辅助雷达的恒模多相波形-反射面联合优化算法. 电子与信息学报. 2023(11): 3848-3859 . 百度学术
17.	李志汇，唐波，周青松，师俊朋，张剑云. 新体制机载雷达波形优化设计研究综述. 系统工程与电子技术. 2023(12): 3852-3865 . 百度学术
18.	辛祺，辛增献，马亮，辛升，陈涛. 基于双层强化学习的干扰策略与干扰波形优化设计. 制导与引信. 2023(04): 35-41 . 百度学术
19.	陈唯实，黄毅峰，陈小龙，卢贤锋，张洁. 机场探鸟雷达技术发展与应用综述. 航空学报. 2022(01): 184-204 . 百度学术
20.	刘治东，张群，罗迎，李瑞. 基于孪生波形设计的频谱弥散干扰抑制方法. 航空学报. 2022(02): 352-361 . 百度学术
21.	余若峰，杨威，付耀文，张文鹏. 面向不同雷达任务的认知波形优化综述. 电子学报. 2022(03): 726-752 . 百度学术
22.	崔国龙，樊涛，孔昱凯，余显祥，沙明辉，孔令讲. 机载雷达脉间波形参数伪随机跳变技术. 雷达学报. 2022(02): 213-226 . 本站查看
23.	余显祥，路晴辉，杨婧，沙明辉，崔国龙，孔令讲. 短基线收发分置频域协同波形设计方法. 雷达学报. 2022(02): 227-239 . 本站查看
24.	田团伟，邓浩，鲁建华，杜晓林. 智能反射面辅助雷达通信双功能系统的多载波波形优化方法. 雷达学报. 2022(02): 240-254 . 本站查看
25.	刘红亮，张思思，赵庆媛，岳凯. 一种跟踪信息辅助的认知目标检测方法. 太赫兹科学与电子信息学报. 2022(04): 340-345 . 百度学术
26.	陈辉，刘雅婷，张双庆，韩崇昭. 多扩展目标跟踪中基于加权最优子模式分配距离的传感器管理方法. 控制理论与应用. 2022(05): 887-896 . 百度学术
27.	吴文俊，唐波，汤俊，胡元奎. 杂波环境中雷达通信一体化系统波形设计算法研究. 雷达学报. 2022(04): 570-580 . 本站查看
28.	姚誉，李泽清，范文，杜晓林，吴乐南. 基于ABSUM的MIMO雷达频谱兼容波形设计. 雷达学报. 2022(04): 543-556 . 本站查看
29.	范文，蔚保国，陈镜，张航，李淳泽. 基于波形优化和天线位置选择的MIMO雷达波束扫描算法研究. 雷达学报. 2022(04): 530-542 . 本站查看
30.	杨华明，卞美琴，刘亚帅. 船舶雷达系统智能化发展研究. 雷达与对抗. 2022(03): 1-5+65 . 百度学术
31.	董军，杜晓林，崔国龙，余显祥，田团伟. 基于加权准则的雷达博弈波形设计. 电子科技大学学报. 2022(06): 866-874 . 百度学术
32.	崔国龙，余显祥，魏文强，熊奎，孔昱凯，孔令讲. 认知智能雷达抗干扰技术综述与展望. 雷达学报. 2022(06): 974-1002 . 本站查看
33.	曹亚丽，李梅梅，屈诗涵，宋昕. 联合准则下的认知雷达波形设计. 系统工程与电子技术. 2022(11): 3364-3370 . 百度学术
34.	赵俊龙，李伟，王泓霖，黄腾，甘奕夫，王也. 基于长短时记忆网络的雷达波形设计. 系统工程与电子技术. 2021(02): 376-382 . 百度学术
35.	陈涛，张颖，黄湘松. 基于强化学习的自适应干扰波形设计. 空天防御. 2021(02): 59-66 . 百度学术
36.	周仕霖. 基于改进粒子群的重频组多目标优化算法. 探测与控制学报. 2021(03): 92-97 . 百度学术
37.	葛萌萌，余显祥，严正欣，方学立，崔国龙，孔令讲. 脉间波形幅相联合设计抗欺骗干扰方法. 电子科技大学学报. 2021(04): 481-487 . 百度学术
38.	周凯，李德鑫，粟毅，何峰，刘涛. 雷达脉冲压缩低旁瓣发射波形和非匹配滤波联合设计方法. 电子学报. 2021(09): 1701-1707 . 百度学术
39.	张吉建，谢文冲，沈伟，赵思明. 基于低PAR的机载雷达自适应发射抗噪声卷积干扰方法. 空军预警学院学报. 2020(05): 313-318 . 百度学术

其他类型引用(68)

资源附件(0)

访问统计

图(17) / 表(5)

计量

文章访问数:
HTML全文浏览量:
PDF下载量:
被引次数: 107

基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法

DOI: 10.12000/JR19041 CSTR: 32380.14.JR19041

通讯作者:
郭炜炜　weiweiguo@tongji.edu.cn

计量

Fast Detection of Ship Targets for Large-scale Remote Sensing Image Based on a Cascade Convolutional Neural Network

Corresponding author: GUO Weiwei, weiweiguo@tongji.edu.cn

期刊类型引用(39)

其他类型引用(68)

计量

目录

期刊介绍

联系我们

Satellite	极化方式	分辨率(rg×az)(m)	像元间距(rg×az)(m)
TerraSAR-X	HH	1.03×1.17	1.25×1.25

	精确率	召回率	检测速度(s/1000×1000)
级联网络	0.952	0.928	0.142
滑窗法	0.927	0.931	0.334
YOLO3	0.922	0.753	0.041

	TP	FN	FP	精确率	召回率	检测时间(s)
级联法	382	31	14	0.965	0.925	18.882
滑窗法	388	25	29	0.930	0.939	64.859
YOLO	322	91	28	0.920	0.780	5.860

	召回率	检测时间	时间比
级联法	0.926	0.273	3.34
滑窗法	0.918	0.911	3.34

	TP	FN	FP	精确率	召回率	检测时间(s)
级联法	259	19	16	0.942	0.932	19.853
滑窗法	256	22	19	0.931	0.921	62.208
YOLO	210	68	18	0.921	0.755	5.321

基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法

DOI: 10.12000/JR19041 CSTR: 32380.14.JR19041

通讯作者: 郭炜炜 weiweiguo@tongji.edu.cn

计量

出版历程

Fast Detection of Ship Targets for Large-scale Remote Sensing Image Based on a Cascade Convolutional Neural Network

Corresponding author: GUO Weiwei, weiweiguo@tongji.edu.cn

期刊类型引用(39)

其他类型引用(68)

计量

出版历程

目录

期刊介绍

联系我们

通讯作者:
郭炜炜　weiweiguo@tongji.edu.cn