基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法

陈慧元 刘泽宇 郭炜炜 张增辉 郁文贤

陈慧元, 刘泽宇, 郭炜炜, 等. 基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法[J]. 雷达学报, 2019, 8(3): 413–424. doi: 10.12000/JR19041
引用本文: 陈慧元, 刘泽宇, 郭炜炜, 等. 基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法[J]. 雷达学报, 2019, 8(3): 413–424. doi: 10.12000/JR19041
CHEN Huiyuan, LIU Zeyu, GUO Weiwei, et al. Fast detection of ship targets for large-scale remote sensing image based on a cascade convolutional neural network[J]. Journal of Radars, 2019, 8(3): 413–424. doi: 10.12000/JR19041
Citation: CHEN Huiyuan, LIU Zeyu, GUO Weiwei, et al. Fast detection of ship targets for large-scale remote sensing image based on a cascade convolutional neural network[J]. Journal of Radars, 2019, 8(3): 413–424. doi: 10.12000/JR19041

基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法

doi: 10.12000/JR19041
基金项目: 国家自然科学基金(61331015, U1830103)
详细信息
    作者简介:

    陈慧元(1994–),女,内蒙古呼和浩特人,硕士,于2017年获南京理工大学学士学位,2017年9月至今,在上海交通大学电子信息与电气工程学院攻读硕士研究生。研究方向为基于深度学习的遥感图像目标检测。E-mail: chen940403@sjtu.edu.cn

    刘泽宇(1993–),男,黑龙江哈尔滨人,博士,于2014年获上海交通大学学士学位,2014年9月至今,在上海交通大学电子信息与电气工程学院攻读博士研究生。研究方向为雷达图像解译、数据挖掘。E-mail: ribosomal@sjtu.edu.cn

    郭炜炜(1983–),男,江苏南通人,博士,分别于2005, 2007, 2014年获得国防科技大学信息工程,信息与通信专业学士、硕士和博士学位。2008年—2010年在英国Queen Mary, University of London联合培养,2014年12月至2018年6月在上海交通大学电子信息与电气工程学院从事博士后研究工作,2018年12月至今为同济大学设计创意学院助理教授。研究方向为遥感图像理解、模式识别与机器学习、人机交互等。E-mail: weiweiguo@tongji.edu.cn

    张增辉(1980–),男,山东金乡人,博士,分别于2001年、2003年和2008年在国防科技大学获得应用数学、计算数学、信息与通信工程专业学士、硕士和博士学位。2008年6月至2013年7月,为国防科技大学数学与系统科学系讲师;2014年2月至今,为上海交通大学电子信息与电气工程学院副研究员。研究方向为SAR图像解译、雷达信号处理等。E-mail: zenghui.zhang@sjtu.edu.cn

    郁文贤(1964–),男,上海松江人,博士,教授,博士生导师,上海交通大学讲席教授,教育部长江学者特聘教授,上海市领军人才。现为上海交通大学信息技术与电气工程研究院院长,北斗导航与位置服务上海市重点实验室主任,智能探测与识别上海市高校重点实验室主任。研究方向为遥感信息处理、多源融合导航定位、目标检测识别等。E-mail: wxyu@sjtu.edu.cn

    通讯作者:

    郭炜炜 weiweiguo@tongji.edu.cn

  • 中图分类号: TP183; TP751

Fast Detection of Ship Targets for Large-scale Remote Sensing Image Based on a Cascade Convolutional Neural Network

Funds: The National Natural Science Foundation of China (61331015, U1830103)
More Information
  • 摘要: 针对大场景遥感图像舰船目标的快速检测问题,该文设计了一种级联型卷积神经网络检测框架。该检测框架由目标预筛选全卷积网络(P-FCN)和目标精确检测全卷积网络(D-FCN)两个全卷积网络级联而成。P-FCN是一个轻量级的图像分类网络,负责对大场景图像中可能的舰船区域进行快速预筛选,其层数少、训练简单,候选框冗余较少,能够减少后续网络的计算负担;D-FCN是一个改进的U-Net网络,通过在传统U-Net结构中加入目标掩膜和舰船朝向估计层以进行多任务的学习,实现任意朝向舰船目标的精细定位。该文分别使用TerraSAR-X雷达遥感图像和从91卫图、DOTA数据集中获得的光学遥感图像对算法进行了测试,结果表明该方法的检测准确率分别为0.928和0.926,与传统滑窗法相当,但目标检测时间仅为滑窗法的1/3左右。该文所提的级联型卷积神经网络检测框架在保持检测精度的前提下能显著提高目标检测效率,可实现大场景遥感图像中舰船目标的快速检测。

     

  • 图  1  级联型网络总体架构图

    Figure  1.  The overall frame structure of cascading network

    图  2  P-FCN实验过程

    Figure  2.  The experimental process of P-FCN

    图  3  D-FCN结构图

    Figure  3.  The frame structure of D-FCN

    图  4  SAR图像与光学图像中真值目标掩膜与预测目标掩膜生成

    Figure  4.  The true target masks and the predictive target masks of SAR images and optical images

    图  5  旋转矩形框定位

    Figure  5.  Rotating rectangle positioning

    图  6  P-FCN训练TerraSAR-X数据集统计

    Figure  6.  The training TerraSAR-X dataset statistics of P-FCN

    图  7  resize参数与检测速度和准确率的关系

    Figure  7.  The relationship of resize parameter between detection speed and accuracy

    图  8  S=1, 3, 5时对应的热点图

    Figure  8.  The heat maps corresponding to S=1, 3, 5

    图  9  S=1, 3, 5时对应的候选区域

    Figure  9.  The probably proposals corresponding to S=1, 3, 5

    图  10  TerraSAR数据P-FCN测试结果

    Figure  10.  The test result of TerraSAR in P-FCN

    图  11  类型图1检测结果

    Figure  11.  The test results of type 1 image

    图  12  类型图2检测结果

    Figure  12.  The test results of type 2 image

    图  13  P-FCN 光学图像训练数据集统计

    Figure  13.  The training dataset statistics of P-FCN

    图  14  resize参数与检测速度和准确率的关系

    Figure  14.  The relationship of resize parameter between detection speed and accuracy

    图  15  S=1, 3, 5时对应的热点图

    Figure  15.  The heat maps corresponding to S=1, 3, 5

    图  16  S=1, 3, 5时对应的候选区域

    Figure  16.  The probably proposals corresponding to S=1, 3, 5

    图  17  级联型网络结构检测结果

    Figure  17.  The test results of the cascade network

    表  1  TerraSAR-X数据基本信息

    Table  1.   The basic information of TerraSAR-X

    Satellite极化方式分辨率(rg×az)(m)像元间距(rg×az)(m)
    TerraSAR-XHH1.03×1.171.25×1.25
    下载: 导出CSV

    表  2  级联型网络结构、滑窗法、YOLO3检测结果

    Table  2.   The test results of cascade network, sliding window method and YOLO3

    精确率召回率检测速度(s/1000×1000)
    级联网络0.9520.9280.142
    滑窗法0.9270.9310.334
    YOLO30.9220.7530.041
    下载: 导出CSV

    表  3  类型图1检测结果统计

    Table  3.   The test results of type 1 image

    TPFNFP精确率召回率检测时间(s)
    级联法38231140.9650.92518.882
    滑窗法38825290.9300.93964.859
    YOLO32291280.9200.7805.860
    下载: 导出CSV

    表  4  类型图2检测结果统计

    Table  4.   The test results of type 2 image

    TPFNFP精确率召回率检测时间(s)
    级联法25919160.9420.93219.853
    滑窗法25622190.9310.92162.208
    YOLO21068180.9210.7555.321
    下载: 导出CSV

    表  5  滑窗法与级联法检测结果对比

    Table  5.   Comparison of sliding window and cascade method

    召回率检测时间时间比
    级联法0.9260.2733.34
    滑窗法0.9180.911
    下载: 导出CSV
  • [1] 刘俊凯, 李健兵, 马梁, 等. 基于矩阵信息几何的飞机尾流目标检测方法[J]. 雷达学报, 2017, 6(6): 699–708. doi: 10.12000/JR17058

    LIU Junkai, LI Jianbing, MA Liang, et al. Radar target detection method of aircraft wake vortices based on matrix information geometry[J]. Journal of Radars, 2017, 6(6): 699–708. doi: 10.12000/JR17058
    [2] 陈小龙, 关键, 黄勇, 等. 雷达低可观测动目标精细化处理及应用[J]. 科技导报, 2017, 35(20): 19–27.

    CHEN Xiaolong, GUAN Jian, HUANG Yong, et al. Radar refined processing and its applications for low-observable moving target[J]. Science &Technology Review, 2017, 35(20): 19–27.
    [3] 苏宁远, 陈小龙, 关键, 等. 基于卷积神经网络的海上微动目标检测与分类方法[J]. 雷达学报, 2018, 7(5): 565–574. doi: 10.12000/JR18077

    SU Ningyuan, CHEN Xiaolong, GUAN Jian, et al. Detection and classification of maritime target with micro-motion based on CNNs[J]. Journal of Radars, 2018, 7(5): 565–574. doi: 10.12000/JR18077
    [4] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014.
    [5] GIRSHICK R. Fast R-CNN[C]. Proceedings of 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2016.
    [6] UIJLINGS J R R, VAN DE SANDE K E A, GEVERS T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154–171. doi: 10.1007/s11263-013-0620-5
    [7] JIANG Huaizu and LEARNED-MILLER E. Face detection with the faster R-CNN[C]. Proceedings of the 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), Washington, USA, 2017: 650-657.
    [8] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]. Proceedings of the 28th International Conference on Neural Information Processing Systems, Montreal, Canada, 2015.
    [9] REDMON J and FARHADI A. YOLOv3: An incremental improvement[J]. arXiv: 1804. 02767, 2018.
    [10] ZHOU Xinyu, YAO Cong, WEN He, et al. EAST: An efficient and accurate scene text detector[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, USA, 2017.
    [11] 伍广明, 陈奇, SHIBASAKI R, 等. 基于U型卷积神经网络的航空影像建筑物检测[J]. 测绘学报, 2018, 47(6): 864–872. doi: 10.11947/j.AGCS.2018.20170651

    WU Guangming, CHEN Qi, SHIBASAKI R, et al. High precision building detection from aerial imagery using a U-Net like convolutional architecture[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(6): 864–872. doi: 10.11947/j.AGCS.2018.20170651
    [12] ZHANG Zenghui, GUO Weiwei, ZHU Shengnan, et al. Toward arbitrary-oriented ship detection with rotated region proposal and discrimination networks[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(11): 1745–1749. doi: 10.1109/LGRS.2018.2856921
    [13] ZHAO Juanping, GUO Weiwei, ZHANG Zenghui, et al. A coupled convolutional neural network for small and densely clustered ship detection in SAR images[J]. Science China Information Sciences, 2019, 62(4): 42301. doi: 10.1007/s11432-017-9405-6
    [14] XIA Guisong, BAI xiang, DING Jian, et al. DOTA: A large-scale dataset for object detection in aerial images[C]. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, USA, 2018.
    [15] DING Jian, XUE Nan, LONG Yang, et al. Learning RoI transformer for detecting oriented objects in aerial images[C]. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019.
  • 加载中
图(17) / 表(5)
计量
  • 文章访问数:  5107
  • HTML全文浏览量:  1074
  • PDF下载量:  466
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-03-11
  • 修回日期:  2019-06-10
  • 网络出版日期:  2019-06-21

目录

    /

    返回文章
    返回