作者中心
专家审稿
责编办公
编辑办公
-
摘要: 自动目标识别(ATR)是一个汇集模式识别、人工智能、信息处理等多学科融合发展的技术领域，ATR评价则是将ATR算法/系统等作为研究对象的评价行为。由于ATR算法/系统面临目标非合作、工作条件复杂多样、决策者自身存在多种主观偏好等诸多困难，ATR评价贯穿ATR研制的全过程，对ATR技术发展起到重要的指导作用。该文首先阐述了ATR评价方法研究的内涵，简要回顾ATR技术发展；然后从性能指标定义、测试条件构建、推断与决策等方面详细梳理分析了ATR评价方法研究的成果、应用及最新研究进展；最后总结了若干ATR评价方法研究的发展方向。该文旨在为更好地理解ATR评价和有效使用ATR评价方法提供新的参考借鉴。Abstract: Automatic Target Recognition (ATR) is an interdisciplinary technological field related to pattern recognition, artificial intelligence, and information processing. ATR evaluation focuses on accessing ATR algorithms and systems. Due to the noncooperative targets, complex operating conditions, and multiple subjective preferences of the decision maker, ATR evaluation is performed for the entire ATR research process and shows its importance in guiding ATR development. This paper presents the connotation of ATR evaluation and briefly reviews ATR development. Furthermore, the conventional methods, applications, and latest developments in ATR evaluation are presented and discussed from the perspective of performance measures, test condition, inference and decision. Finally, several ATR evaluation research directions are summarized. This paper serves as a valuable reference for a better understanding of ATR evaluation and the effective adoption of various ATR evaluation methods.
-
1. 引言
信息化时代中对于深层次信息的需求日益迫切，目标识别就是根据某物体呈现的特征进行分析和判断，从而达到辨认和识别其身份和属性的目的。当这一过程不需要人工参与而只由机器自动完成时，就称该过程为自动目标识别(Automatic Target Recognition, ATR)。一旦将此项重要的任务交由机器来自主完成，应该如何评价ATR所取得的实际作用？
由于ATR技术与模式识别、人工智能等技术有着许多共同点，因此雷达、光学等信息处理研究领域中都包含ATR这一研究方向，许多学术机构及期刊会议也设有ATR专栏。IEEE很早就从图像处理角度定义过ATR：自动目标识别一般指通过计算机处理来自各种传感器的数据，实现自主或辅助目标的检测和识别[1]。
很多学者系统梳理过ATR的概念与技术发展。例如，文献[2]对雷达ATR技术现状与发展认识进行了总结，文献[3]从工程视角进一步对ATR技术发展进行了评述。ATR技术研究需要多个学科方向进行交叉融合[4]，而测试与评价对任何技术领域的发展都是非常重要的。随着ATR技术的快速发展，ATR评价方法的研究也逐步得到重视。例如，Ross等人[5–11]在历年SPIE会议上发表了一系列论文阐述SAR ATR评价的理念与方法，李彦鹏等人[12–14]对ATR效果评估进行了深入研究。但从总体来看，近年来通用性的评价方法研究较为少见。ATR评价方法研究经常被归属于某个相关技术领域，点缀在众多的图形图像[15,16]、信息处理[17,18]、系统工程[19,20]，乃至运筹管理[21,22]等领域的期刊或会议论文集中。
专门总结ATR评价方法的综述研究更为少见，更多的是在论文、专著中作为ATR技术发展的组成部分予以介绍。例如，文献[12,23–27]虽然都以ATR评价方法作为主题，但研究重点在于提出新的评价方法；文献[13]对ATR评价进行了介绍，但主要成果是为ATR系统的性能评价提供综合性分析工具。文献[28]是一篇有关ATR算法评价方法的综述文献，更多的是对上述学位论文及专著相关部分的总结。十多年来，ATR技术领域有了新的发展，同时给ATR评价带来了新的问题，但是该领域缺乏最新的综述文献对这些新进展进行归纳与总结。
本文面向通用的ATR算法与系统，不仅梳理和总结了ATR技术及其评价方法的发展，还对ATR评价方法研究背后的基础理论、方法模型等开展了分析讨论，并针对当前方法研究中存在的关键问题给出了自己的见解，旨在为科学、有效的ATR算法与系统评价提供方法借鉴和启发引导。
2. ATR技术发展回顾
2.1 统计模式识别应用
20世纪80～90年代的ATR研究基本可以看作统计模式识别理论在具体应用领域中的探索实践，处理方法上沿袭了传统的特征提取与选择、模板建库、分类器设计、匹配决策等经典模式识别环节。特征提取在统计模式识别中尤为关键，这也是早期ATR研究的重点内容。
以雷达对空中目标的识别为例，目标信号特征包括飞机的动力构件调制特征、目标谐振区极点特征、极化散射矩阵的不变量、微动特征，以及雷达成像时散射中心、结构特征等[29]。目标特征提取需要大量的实测数据，而当时的数据采集手段较为有限，造成用于匹配模板的标准状态与目标的实际状态之间存在较大差异，导致这一时期ATR系统的实用性较差。
2.2 基于模型或信息辅助的技术
当人们认识到模板匹配方法的局限性之后，开始尝试采用模型预测来应对实际情况中目标变化的多样性。基于模型的分类识别逐渐成为当时ATR研究的主流技术。其中，颇具代表性的当属美国国防部高级研究计划局(Defense Advanced Research Projects Agency, DARPA)和美国空军实验室(Air Force Research Laboratory, AFRL)联合开展的MSTAR (Moving and Stationary Target Acquisition and Recognition)计划[30]，研制出较为成熟的基于模型SAR ATR系统。
针对传统ATR系统难以引入外部信息、缺少对目标相关知识利用等问题，文献[31]建议采用知识推理辅助的目标识别方法。这类方法中，基于上下文知识的目标识别技术首先得到了关注和深入研究[32]。随后，本体论[33]、可视化[34]、数据融合[35]等方法被陆续引入。ATR研究的范围逐步提升到更广泛的全局信息利用层面。
2.3 深度学习方法
早期基于神经网络的ATR技术大多采用小规模的网络分类器[36–39]。随着深度学习研究兴起，深度学习方法已成为当前ATR技术的一个研究热点[40–42]。深度卷积神经网络(Convolutional Neural Networks, CNN)的成功[43]同样在声呐图像、雷达图像的识别应用中得到了验证[44–46]。深度学习方法在信息处理过程中不再严格区分“特征提取”与“分类识别”，而是直接完成目标识别的全过程[47]。
目前，CNN已被广泛应用于一维距离像识别[48–50]、SAR图像识别[51–55]和红外图像识别[56–58]等场景，并且被证明在提升泛化性能方面有不错的表现[59]，但有些场景中也容易受到噪声干扰[60,61]和欺骗[62]等因素影响。另外，虽然迁移学习[63]在SAR图像ATR的应用中取得了一定成功[64–66]，但人们还是对深度学习ATR方法的可解释性存在着一定的疑惑[67]。
2.4 困难与制约
从20世纪50年代雷达目标识别领域研究[68]开始，ATR技术已经取得了长足的进步。然而，要真正解决目标识别问题，ATR技术仍面临许多困难与挑战。除了目标识别问题本身的复杂性之外，ATR领域缺乏系统、科学的性能测试与评价方法也是制约其技术发展的瓶颈问题之一。
ATR评价方法研究正是要致力于改变这一现状，对ATR算法或系统进行性能评价与预测，使得ATR研究具备成为真正科学领域的基本要素[4]。文献[69]是有关ATR发展的较早评述，其中对于ATR评价重要性和发展的预测已被实践所证明。为构建实用化的ATR系统，必须先建立起有效的ATR评价方法及性能测试系统[70]。
3. ATR评价方法研究成果
ATR评价实际上贯穿于整个ATR研制过程。以研制一个ATR算法为例，图1[71]给出了ATR评价在各个阶段的不同内容。
无论处于哪个阶段，ATR算法的评价都离不开性能指标定义、测试条件构建和推断与决策等环节。本节分别归纳总结这几方面的研究成果。
3.1 性能指标定义
识别性能对于ATR算法来说无疑非常重要，许多文献中提到的ATR性能指标就是指衡量其识别能力的指标。至于泛化能力等其他方面的能力，通常采用分析某个关键识别指标(如识别率)随测试条件变化的下降程度来度量。故本文重点阐述ATR识别性能指标。
混淆矩阵(Confusion Matrix)从模式分类研究时期起就被广泛使用，通常记录成一张由行和列构成的二维表格。单元格用下标(i,j )定位，记录目标i被自动判别为目标j的次数或比率。配合彩色或灰度幅度值，混淆矩阵能够更加直观地展示目标识别的结果，如图2[72]所示。
对于m类目标的情况，混淆矩阵至少包含了m2个单元格，详细记录了ATR算法对于每一类目标正确识别及混淆判别的结果。当目标类型数据较多时，混淆矩阵难以直观展示测试结果。对此，可以利用混淆矩阵推算出另一类被经常使用的评价指标—概率型指标，反映ATR过程中对某个目标类别的正确/错误判别概率，如检测概率(Probability of Detection, PD)、虚警概率(Probability of False Alarm, PFA)、识别率等。
如果说概率型指标是以数的形式对混淆矩阵进行简化，那么ROC (Receiver Operating Characteristic)曲线就是用图的形式对PD和PFA之间存在的约束关系进行描述。ROC曲线最早应用于雷达检测领域，如图3[73]所示。
图3给出了存在高斯白噪声(非目标)n情况下，对同样服从正态分布的信号(目标)sn依据检测门限x0得到的ROC曲线。显然，越大的曲线下面积(Area Under the Curve, AUC)意味着ATR系统在保持低虚警概率P(S/n)的同时，具有更高的检测概率P(S/sn)。AUC因而成为评价“目标-非目标”这种二分类ATR算法性能的最常见评价指标，并逐步从雷达ATR领域扩展到其他领域，如医学病理图像ATR诊断性能评价[74,75]。文献[76]对一些基于ROC曲线的ATR算法性能评价方法进行了较为系统的总结。
采用深度学习方法的ATR算法，更倾向于采用由精确率(Precision)和召回率(Recall)所构成的P-R曲线[77]。为避免P-R曲线因为样本的排序而出现摇摆，一般还要对其进行平滑处理，如图4所示。
与AUC类似，平均精度(Average Precision, AP)由P-R曲线所衍生，表示不同召回率下精确率的平均值。至于如何对P-R曲线做离散化取值，如何计算平滑后的P-R曲线下面积，都有一系列相应的规范要求，具体方法可以参考文献[78,79]。此外，P-R曲线虽然同样是针对某类目标而言的，但可以通过对各类目标的AP值再取平均值(mean AP, mAP)来实现多分类的ATR算法性能评价。因此，AUC也可以说是mAP的特例。
综上所述，ATR算法识别性能的评价指标主要包括：以表格形式记录的混淆矩阵，根据目标识别阶段定义的概率型指标，以及ROC曲线、P-R曲线等图形及衍生指标。表1总结了常见的ATR识别性能指标。
表 1 常见ATR识别性能指标Table 1. Common ATR performance measures形式 典型代表 使用要点 适用范围 优/缺点 表格 混淆矩阵 每行数据记录一类目标被正确识别或错误混淆的情况 任意m类目标的分类性能评价 优点：记录所有目标类型之间的相互区分结果
缺点：目标类型数m较大时展示效果不直观概率 检测概率PD
虚警概率PFA
种类识别概率PCC
类型识别概率PID逐级识别过程中特定事件的发生概率 目标识别过程中某个决策任务结果的不确定性度量 优点：内涵清晰，指标点估计值计算简单
缺点：需要根据多次目标识别试验进行统计推断曲线 ROC曲线
P-R曲线转换为AUC, AP采用下面积、曲线积分的形式度量 相互制约的两方面
性能综合刻画优点：综合评价阈值变化对两个相互制约指标的影响
缺点：需调整阈值进行量化，精度受阈值离散取值的影响3.2 测试条件构建
ATR技术最终将应用于真实环境，需要将ATR算法加载到实际系统中进行检验。MSTAR计划将SAR ATR系统所处的条件分为4类[9]：ATR系统面临的真实环境称为工作条件(Operation Conditions, OC)，性能评价时所构建的测试条件(Test Condtions)只是OC的子集。用于算法训练的数据样本代表了ATR系统的训练条件(Training Condtions)。此外，对于模型驱动的ATR系统还可以定义其建模条件(Modeled Condtions)。上述4类条件之间的关系如图5(a)所示；而ATR系统评价其实只能考察ATR系统的准确性(Accuracy)、稳健性(Robustness)和扩展性(Extensibility)，三者共同反映了部分的有效性(Utility)，如图5(b)所示。
为了更好地评价ATR系统的扩展性，AFRL进一步将OC划分为标准工作条件(Standard Operation Condition, SOC)和扩展工作条件(Extended Operation Condition, EOC)[80]，根据ATR任务的具体需求设置具有代表性的EOC，并在目标类型、地面背景、传感器姿态等因素维度上构建差异化的测试条件。测试条件构建最后体现为不同的数据集：一般来说，SOC采集的一部分数据构成训练数据集，主要被用作ATR算法训练开发和自检；EOC的数据相对于研制方保密，形成测试数据集并用于ATR系统性能评价。
在SAR ATR技术领域中，MSTAR数据集被广泛使用。MSTAR数据集包含X波段0.25 m×0.25 m分辨率的全方位SAR图像序列，方位角间隔1°，图像分辨率128×128像素，所含目标多为车辆[81]。其中，常见的几类地面目标如图6所示[82]。
公开发布的数据中提供设置的因素包括外形差异和俯仰角差异[82]。通常一类(Class)目标中包括若干不同的类型(Type)，用于评价ATR算法在目标外形差异条件下的扩展性；部分目标还具有多个差异较大俯仰角的观测图像，用于评价ATR算法在不同成像视角条件下的扩展性。文献[83]总结了如何正确使用MSTAR数据开展SAR ATR评价工作。文献[84]对MSTAR数据所发挥的作用进行了分析，总结了1995—2020年使用该数据论文的引用次数，如图7所示。
在光学图像ATR技术领域，包含海量图像的数据集为ATR系统提供了比较接近真实环境的测试条件，从而极大地促进了数据驱动的ATR技术飞速发展。其中，颇具代表性的图像数据集有PASCAL VOC[85,86], ImageNet[87], MS COCO[88]和Open Images[89]等。这些数据集经常被作为目标检测、模式识别等领域中ATR算法性能测试的基准条件。
3.3 推断与决策
分析表1不难发现，混淆矩阵由于其记录结果难以直观比较，需要转换为反映特定性能的概率型指标；而体现“检测-虚警”“精确率-召回率”等概率型指标之间相互约束关系的ROC曲线、P-R曲线等，也是以概率指标作为基础。由于实际测试次数的限制，基于概率型指标的性能评价通常被归结为统计推断问题，下面结合实例进行详细介绍。
以识别率指标为例，在统计学中可抽象为Bernoulli试验的成败概率。记n个测试样本中正确识别的次数为X，则X为服从二项分布的随机变量。X=k (k=0, 1, 2, ···, n)的概率为
P{X=k}=(nk)pk(1−p)n−k (1) 当n较大时(至少要求n≥30)，识别率指标的测试结果
ˆp=X/n 可以用正态分布近似，在置信度1–α下识别率指标的区间估计结果为[ˆp−zα/2√ˆp(1−ˆp)n,ˆp+zα/2√ˆp(1−ˆp)n] (2) 其中，zα/2表示标准正态分布N(0,1)的α/2分位数。
对ATR算法性能评价中特别关心的识别率达标问题，可以通过构建检验统计量进行假设检验予以判断。例如，合同对ATR算法的识别率指标要求为p0，可以构建如下的原假设H0和备选假设H1来判断识别率精确率是否达标[73]：
H0:p≥p0H1:p<p0z0=ˆp−p0√ˆp(1−ˆp)n～N(0,1) (3) 其中的检验统计量z0由测试结果
ˆp 、合同要求值p0和样本容量n共同计算。若该假设检验的显著性水平取α，则当z0>–zα时，判定识别率指标达到规定值。文献[90]在上述正态近似假设前提下，对等价误识率的估计精度、区分度等问题进行了详细讨论，其研究结果表明需要大量的测试样本才能保证推断结果具有统计意义。对任意测试样本容量的一般情况，文献[91]提出了一种基于特定事件贝叶斯后验概率的评价方法，有效解决了根据概率型指标进行ATR算法考核检验、比较排序等评价问题。
上述评价方法都只是根据某个关键的概率型指标进行评价，但实际中的ATR系统具有多方面属性，需要构建合适的评价指标体系才能开展全面评价。ATR系统评价所面临的多指标综合评价问题，在决策分析领域中被称为多属性决策(Multi-Attribute Decision-Making, MADM)问题，一般可采用分值模型或关系模型进行多指标聚合。
顾名思义，分值模型通过获取综合评分来实现多指标综合评价，类似于雷达等技术领域中广泛使用质量因数(Figure of Metric, FoM)[92]对系统的整体性能进行综合描述。FoM的通式可概括为
FoM=n∑i=1aiwi (4) 其中，ai表示第i个指标的评分值，wi表示该项指标的权重。
为得到ATR系统的综合评分值，Klimack等人[93]将决策分析(Decision Analysis, DA)理论引入ATR系统评价，以价值函数和效用函数作为获取指标评分值的量化工具，然后再用一种混合价值/效用(Hybrid Value-Utility)[94]的分值模型聚合多个指标的评分值。文献[95]结合某ATR系统评价给出了详细的指标分解、赋权和评分过程，并且归纳出一个通用的评分决策模型，如图8[95]所示。图8中底层的红色曲线表示各指标值的概率分布，倒数第二级的绿色曲线表示每个指标对应的价值函数或效用函数，需要根据具体的应用场景进行构建。
除分值模型之外，关系模型是另一类常见的评价决策模型。关系模型从形式上可以概况为[96]：称(U,R)为评价关系模型，其中U={x1, x2, ···, xn}为评价对象集，R为评价对象之间的关系集
R=[R(x1,x1)R(x1,x2)⋯R(x1,xn)R(x2,x1)R(x2,x2)⋯R(x2,xn)⋮⋮⋱⋮R(xn,x1)R(xn,x2)⋯R(xn,xn)] (5) 其中，R(xi,xj)表示评价对象xi与xj之间的某种优劣关系。
不同于分值模型，关系模型避开了不同数据类型指标的评分要求，不需要为每个评价指标构造价值函数或效用函数。例如，对ATR系统评价中最为常见的实数型、风险型和区间型指标，文献[97]通过建立基于标准优劣差异x的偏好映射实现对式(5)中矩阵元素的赋值，从而完成了混合3种数据类型的多指标ATR系统综合评价。
4. ATR评价研究最新进展
第3节分别对ATR评价方法研究中的性能指标定义、测试条件构建、推断与决策等方面的成果进行了归纳总结，本节继续对一些最新的研究进展进行分析与评述。
性能指标定义方面，消除评价指标不确定性的归一化方法研究已经开始引起关注。例如，对于识别率等具有不确定性的概率型指标，文献[98]提出一种前景函数构建方法，将识别率的增量转变成前景价值，其所设计的前景价值函数不仅具有边际递减效应，而且不敏感于测试样本容量的变化。另外，随着深度学习方法在ATR技术领域的广泛应用，对于ATR算法可解释性[99,100]的要求日益强烈，成为这类ATR算法评价的研究热点。可解释性研究的重点在于提出可量化的指标，但是当前常见的一些方法(如LIME[101], Grad-CAM[102]等)尚缺乏被一致认可的量化指标。
测试条件构建方面，随着国内学界对数据的逐渐重视，国内多个研究机构陆续发布了可用于ATR算法研究与系统测评的数据资源，包括雷达[103–105]、红外[106,107]等多种传感器采集的数据。代表测试条件的数据集质量问题，也开始引起人们的广泛关注。例如，文献[108]分别针对图像数据集和文本数据集，提出了面向任务的数据集质量评价和数据选择方法，实现了任务相关性和内容多样性的量化度量。当实测数据不能完全满足工作条件的多样性需求时，人工合成及仿真计算等方法也逐步成为一种有益的补充手段[109–112]。通过不断提高所构建测试条件与实际工作条件的逼真度，ATR系统的有效性可以用在测试数据集上的扩展性来等效近似。
推断与决策方面，适用于ATR评价的混合型多属性决策问题已引起国内外的普遍关注，陆续提出了多种混合型多属性决策方法[113,114]。国内学者对区间数[115,116]、模糊型[117,118]和语言变量[119]等类型的多数属性决策问题抱有较浓厚的研究兴趣。文献[120]总结了各类不确定性和混合型多属性决策方法，给出了一些新的决策方法与应用实例。ATR系统评价方法研究中，借鉴这些最新决策理论成果的报道较为少见。文献[121]针对制导装置提出了基于区间直觉模糊集的性能评价方法，但是评价方法的合理性仍有待实际应用检验。
5. 结语
ATR评价方法的研究伴随着ATR技术发展，陆续取得了不少研究成果。理论上，测评方法分为理论分析和实验测量两种技术途径，本文只涉及基于测试的评价方法。这是由于ATR技术与实际应用结合紧密，大部分的ATR算法和ATR系统的性能指标需要根据实际测试结果计算，因而制约了理论分析方法的发展。对基于测试的ATR评价方法，获取识别率等关键指标的边界值是一个难点问题。作者认为，如果将ATR算法作为结构未知的“黑箱”进行测试，始终难以从根本上解决ATR算法的可信应用问题。基于理论分析的方法研究，则有可能从对ATR算法内部认知的角度突破该难题。
下面根据当前的研究现状，提出两个值得深入思考和持续研究的方向。
(1) 借鉴多属性决策理论，进行综合评价方法创新。
现阶段对于不确定性多属性决策方法、不确定信息下的案例推理决策方法等方面的研究成果颇为丰富，但对ATR系统评价而言，最为关键的问题是根据评价指标自身的定义与内涵，谨慎选择合适的不确定信息类型予以描述和度量，然后再从众多的已有方法成果中挑选合适的决策模型(亦称为集结算子)来融合决策者的主观偏好。这些研究工作貌似只是对现有理论方法的修改，却灵活解决了ATR评价工作所要面临的各种实际问题，也是构建ATR评价指标体系的理论依据所在。因此，有必要针对ATR评价问题中特有的混合型多属性决策问题，研究相应的决策模型及综合评价方法，解决多指标的ATR综合评价问题。
(2) 持续数据工程建设，提升测试样本数据质量。
ATR算法技术主流从最初的模板匹配到后面的模型驱动，再到现在的以深度学习为代表的数据驱动，对于训练数据和测试数据的需求都在不断增加。ATR评价主要关心如何适当减少测试数据，同时又能够保证测试样本涵盖实际工作条件的各类场景，实际上提出了数据使用规范与数据集质量评价这两个方面的需求。因此，还需进一步加强测试流程的规范化研究，重点分析测试样本的数据质量，构建合理的质量指标体系对测试数据集进行量化考核，保证测试结果反映ATR系统的真实性能表现。
ATR评价方法的研究已取得一定成果，但仍然跟不上ATR技术的发展需求。随着相关学科领域的发展及ATR技术自身的持续深入研究，建议在ATR技术领域中将ATR评价设立为一个独立的研究方向，为模式分类、目标检测、敌我识别、无人作战等高新技术应用提供科学的检验标准与决策依据。
-
表 1 常见ATR识别性能指标
Table 1. Common ATR performance measures
形式 典型代表 使用要点 适用范围 优/缺点 表格 混淆矩阵 每行数据记录一类目标被正确识别或错误混淆的情况 任意m类目标的分类性能评价 优点：记录所有目标类型之间的相互区分结果
缺点：目标类型数m较大时展示效果不直观概率 检测概率PD
虚警概率PFA
种类识别概率PCC
类型识别概率PID逐级识别过程中特定事件的发生概率 目标识别过程中某个决策任务结果的不确定性度量 优点：内涵清晰，指标点估计值计算简单
缺点：需要根据多次目标识别试验进行统计推断曲线 ROC曲线
P-R曲线转换为AUC, AP采用下面积、曲线积分的形式度量 相互制约的两方面
性能综合刻画优点：综合评价阈值变化对两个相互制约指标的影响
缺点：需调整阈值进行量化，精度受阈值离散取值的影响
下载: 导出CSV
-
[1] BHANU B, DUDGEON D E, ZELNIO E G, et al. Guest editorial introduction to the special issue on automatic target detection and recognition[J]. IEEE Transactions on Image Processing, 1997, 6(1): 1–6. doi: 10.1109/TIP.1997.552076 [2] 胡卫东. 雷达目标识别技术的再认识[J]. 现代雷达, 2012, 34(8): 1–5. doi: 10.16592/j.cnki.1004-7859.2012.08.004HU Weidong. Restudy on the technique of radar target recognition[J]. Modern Radar, 2012, 34(8): 1–5. doi: 10.16592/j.cnki.1004-7859.2012.08.004 [3] 郁文贤. 自动目标识别的工程视角述评[J]. 雷达学报, 2022, 11(5): 737–752. doi: 10.12000/JR22178YU Wenxian. Automatic target recognition from an engineering perspective[J]. Journal of Radars, 2022, 11(5): 737–752. doi: 10.12000/JR22178 [4] 张天序. 成像自动目标识别[M]. 武汉: 湖北科学技术出版社, 2005.ZHANG Tianxu. Automated Recognition of Imaged Targets[M]. Wuhan: Hubei Science and Technology Press, 2005. [5] ROSS T D and MOSSING J C. The MSTAR evaluation methodology[C]. SPIE 3721, Algorithms for Synthetic Aperture Radar Imagery VI, Orlando, USA, 1999: 705–713. [6] ROSS T D. Confidence intervals for ATR performance metrics[C]. SPIE 4382, Algorithms for Synthetic Aperture Radar Imagery VIII, Orlando, USA, 2001: 318–329. [7] MOSSING J C and ROSS T D. Evaluation of SAR ATR algorithm performance sensitivity to MSTAR extended operating conditions[C]. SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V, Orlando, USA, 1998: 554–565. [8] ROSS T D and MINARDI M E. Discrimination and confidence error in detector-reported scores[C]. SPIE 5427, Algorithms for Synthetic Aperture Radar Imagery XI, Orlando, USA, 2004: 342–353. [9] ROSS T D, WESTERKAMP L A, ZELNIO E G, et al. Extensibility and other model-based ATR evaluation concepts[C]. SPIE 3070, Algorithms for Synthetic Aperture Radar Imagery IV, Orlando, USA, 1997: 554–565. [10] ROSS T D, BRADLEY J J, HUDSON L J, et al. SAR ATR: So what’s the problem? An MSTAR perspective[C]. SPIE 3721, Algorithms for Synthetic Aperture Radar Imagery VI, Orlando, USA, 1999: 662–672. [11] ROSS T D, WORRELL S W, VELTEN V J, et al. Standard SAR ATR evaluation experiments using the MSTAR public release data set[C]. SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V, Orlando, USA, 1998: 566–573. [12] 李彦鹏. 自动目标识别效果评估——基础、理论体系及相关研究[D]. [博士论文], 国防科学技术大学, 2004.LI Yanpeng. Performance evaluation in automatic target recognition—foundation, theoretic system and related research[D]. [Ph. D. dissertation], National University of Defense Technology, 2004. [13] LI Yanpeng, LI Xiang, WANG Hongqiang, et al. A compact methodology to understand, evaluate, and predict the performance of automatic target recognition[J]. Sensors, 2014, 14(7): 11308–11350. doi: 10.3390/s140711308 [14] LI Yanpeng, SHU Shaoxian, and HE Meisheng. Fuzzy run theory and its application in performance evaluation of automatic target recognition[C]. The 9th International Symposium on Next Generation Electronics, Changsha, China, 2021. [15] KECHAGIAS-STAMATIS O and AOUF N. Evaluating 3D local descriptors for future LIDAR missiles with automatic target recognition capabilities[J]. The Imaging Science Journal, 2017, 65(7): 428–437. doi: 10.1080/13682199.2017.1361665 [16] SHARMA S, GUPTA S, GUPTA D, et al. Performance evaluation of the deep learning based convolutional neural network approach for the recognition of chest X-ray images[J]. Frontiers in Oncology, 2022, 12: 932496. doi: 10.3389/fonc.2022.932496 [17] GUO Ming, LI Biao, SHAO Zhaoqun, et al. Objective image fusion evaluation method for target recognition based on target quality factor[J]. Multimedia Systems, 2022, 28(2): 495–510. doi: 10.1007/s00530-021-00850-1 [18] 齐振, 程广涛, 张友奎, 等. 基于信息熵的水声目标识别模型评估方法[J]. 舰船科学技术, 2021, 43(6): 134–137. doi: 10.3404/j.issn.1672-7649.2021.06.025QI Zhen, CHENG Guangtao, ZHANG Youkui, et al. Researching on evaluation method of acoustic target recognition models based on information entropy[J]. Ship Science and Technology, 2021, 43(6): 134–137. doi: 10.3404/j.issn.1672-7649.2021.06.025 [19] 贺文涛, 黄学宇. 工程应用中的目标识别方法评估研究[J]. 工业控制计算机, 2020, 33(11): 78–79, 83. doi: 10.3969/j.issn.1001-182X.2020.11.031HE Wentao and HUANG Xueyu. Research on evaluation of target recognition method in engineering application[J]. Industrial Control Computer, 2020, 33(11): 78–79, 83. doi: 10.3969/j.issn.1001-182X.2020.11.031 [20] 周颖, 张兴敢, 王琼. 雷达目标识别算法性能优化与评估系统[J]. 南京大学学报:自然科学, 2017, 53(6): 1187–1193. doi: 10.13232/j.cnki.jnju.2017.06.021ZHOU Ying, ZHANG Xinggan, and WANG Qiong. Performance optimization and evaluation system for radar target recognition algorithm[J]. Journal of Nanjing University:Natural Science, 2017, 53(6): 1187–1193. doi: 10.13232/j.cnki.jnju.2017.06.021 [21] 何峻, 肖立, 刘峥, 等. ATR系统评价中的因素作用测算方法及应用[J]. 运筹与管理, 2010, 19(2): 56–62. doi: 10.3969/j.issn.1007-3221.2010.02.010HE Jun, XIAO Li, LIU Zheng, et al. A factor effect measuring method and its application in ATR system evaluation[J]. Operations Research and Management Science, 2010, 19(2): 56–62. doi: 10.3969/j.issn.1007-3221.2010.02.010 [22] 刘红娅, 贾鑫. 基于目标跟踪识别的ISAR干扰效果评估[J]. 运筹与管理, 2010, 19(6): 165–170. doi: 10.3969/j.issn.1007-3221.2010.06.026LIU Hongya and JIA Xin. Assessment of ISAR jamming effectiveness based on target tracking and recognizing[J]. Operations Research and Management Science, 2010, 19(6): 165–170. doi: 10.3969/j.issn.1007-3221.2010.06.026 [23] 庄钊文, 黎湘, 李彦鹏, 等. 自动目标识别效果评估技术[M]. 北京: 国防工业出版社, 2006.ZHUANG Zhaowen, LI Xiang, LI Yanpeng, et al. Performance Evaluation Technology for Automatic Target Recognition[M]. Beijing: National Defense Industry Press, 2006. [24] 刘伟. 自动目标识别系统效能评估方法研究[D]. [硕士论文], 国防科学技术大学, 2007.LIU Wei. Research on performance evaluation methods of automatic target recognition system[D]. [Master dissertation], National University of Defense Technology, 2007. [25] 何峻. 自动目标识别评估方法研究[D]. [博士论文], 国防科学技术大学, 2009.HE Jun. Research on automatic target recognition evaluation method[D]. [Ph. D. dissertation], National University of Defense Technology, 2009. [26] 秦富童. 遥感图像目标识别效果评估研究[D]. [硕士论文], 中国科学技术大学, 2010.QIN Futong. Research on performance evaluation for target recognition on remote image[D]. [Master dissertation], University of Science and Technology of China, 2010. [27] 付强, 何峻. 自动目标识别评估方法及应用[M]. 北京: 科学出版社, 2013.FU Qiang and HE Jun. Automatic Target Recognition Evaluation Method and Its Application[M]. Beijing: Science Press, 2013. [28] 吕金建, 丁建江, 阮崇籍, 等. 自动目标识别(ATR)算法评估研究综述[J]. 电光与控制, 2011, 18(9): 48–52, 77. doi: 10.3969/j.issn.1671-637X.2011.09.011LÜ Jinjian, DING Jianjiang, RUAN Chongji, et al. Study on ATR algorithm evaluation: A survey[J]. Electronics Optics&Control, 2011, 18(9): 48–52, 77. doi: 10.3969/j.issn.1671-637X.2011.09.011 [29] NEBABIN V G. Methods and Techniques of Radar Recognition[M]. Boston: Artech House, 1994. [30] DIEMUNSCH J R and WISSINGER J. Moving and stationary target acquisition and recognition (MSTAR) model-based automatic target recognition: Search technology for a robust ATR[C]. SPIE 3370, Algorithms for Synthetic Aperture Radar Imagery V, Orlando, USA, 1998: 481–492. [31] WISSINGER J, WASHBURN R B, FRIEDLAND N S, et al. Search algorithms for model-based SAR ATR[C]. SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III, Orlando, USA, 1996: 279–93. [32] GILMORE J F. Knowledge-based target recognition system evolution[J]. Optical Engineering, 1991, 30(5): 557–570. doi: 10.1117/12.55829 [33] 邓志鸿, 唐世渭, 张铭, 等. Ontology研究综述[J]. 北京大学学报:自然科学版, 2002, 38(5): 730–738. doi: 10.3321/j.issn:0479-8023.2002.05.022DENG Zhihong, TANG Shiwei, ZHANG Ming, et al. Overview of Ontology[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2002, 38(5): 730–738. doi: 10.3321/j.issn:0479-8023.2002.05.022 [34] KEIM D A. Information visualization and visual data mining[J]. IEEE Transactions on Visualization and Computer Graphics, 2002, 8(1): 1–8. doi: 10.1109/2945.981847 [35] STEINBERG A N. Context-sensitive data fusion using structural equation modeling[C]. The 12th International Conference on Information Fusion, Seattle, USA, 2009: 725–731. [36] ERNISSE B E, ROGERS S K, DESIMIO M P, et al. Complete automatic target cuer/recognition system for tactical forward-looking infrared images[J]. Optical Engineering, 1997, 36(9): 2593–2603. doi: 10.1117/1.601484 [37] INGGS M R and ROBINSON A D. Ship target recognition using low resolution radar and neural networks[J]. IEEE Transactions on Aerospace and Electronic Systems, 1999, 35(2): 386–393. doi: 10.1109/7.766923 [38] NING Wu, CHEN Wugun, and ZHANG Xinggan. Automatic target recognition of ISAR object images based on neural network[C]. International Conference on Neural Networks and Signal Processing, Nanjing, China, 2003: 373–376. [39] AVCI E and COTELI R. A new automatic target recognition system based on wavelet extreme learning machine[J]. Expert Systems with Applications, 2012, 39(16): 12340–12348. doi: 10.1016/j.eswa.2012.04.012 [40] DONG Shi, WANG Ping, and ABBAS K. A survey on deep learning and its applications[J]. Computer Science Review, 2021, 40: 100379. doi: 10.1016/j.cosrev.2021.100379 [41] DARGAN S, KUMAR M, AYYAGARI M R, et al. A survey of deep learning and its applications: A new paradigm to machine learning[J]. Archives of Computational Methods in Engineering, 2020, 27(4): 1071–1092. doi: 10.1007/s11831-019-09344-w [42] ZHAI Yikui, DENG Wenbo, XU Ying, et al. Robust SAR automatic target recognition based on transferred MS-CNN with L2-regularization[J]. Computational Intelligence and Neuroscience, 2019, 2019: 9140167. doi: 10.1155/2019/9140167 [43] KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84–90. doi: 10.1145/3065386 [44] ZHU Xiaoxiang, MONTAZERI S, ALI M, et al. Deep learning meets SAR: Concepts, models, pitfalls, and perspectives[J]. IEEE Geoscience and Remote Sensing Magazine, 2021, 9(4): 143–172. doi: 10.1109/MGRS.2020.3046356 [45] NEUPANE D and SEOK J. A review on deep learning-based approaches for automatic sonar target recognition[J]. Electronics, 2020, 9(11): 1972. doi: 10.3390/electronics9111972 [46] 田壮壮, 占荣辉, 胡杰民, 等. 基于卷积神经网络的SAR图像目标识别研究[J]. 雷达学报, 2016, 5(3): 320–325. doi: 10.12000/JR16037TIAN Zhuangzhuang, ZHAN Ronghui, HU Jiemin, et al. SAR ATR based on convolutional neural network[J]. Journal of Radars, 2016, 5(3): 320–325. doi: 10.12000/JR16037 [47] POUYANFAR S, SADIQ S, YAN Yilin, et al. A survey on deep learning: Algorithms, techniques, and applications[J]. ACM Computing Surveys, 2019, 51(5): 92. doi: 10.1145/3234150 [48] 王容川, 庄志洪, 王宏波, 等. 基于卷积神经网络的雷达目标HRRP分类识别方法[J]. 现代雷达, 2019, 41(5): 33–38. doi: 10.16592/j.cnki.1004-7859.2019.05.007WANG Rongchuan, ZHUANG Zhihong, WANG Hongbo, et al. HRRP classification and recognition method of radar target based on convolutional neural network[J]. Modern Radar, 2019, 41(5): 33–38. doi: 10.16592/j.cnki.1004-7859.2019.05.007 [49] PAN Mian, LIU Ailin, YU Yanzhen, et al. Radar HRRP target recognition model based on a stacked CNN-Bi-RNN with attention mechanism[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5100814. doi: 10.1109/TGRS.2021.3055061 [50] 贺丰收, 何友, 刘准钆, 等. 卷积神经网络在雷达自动目标识别中的研究进展[J]. 电子与信息学报, 2020, 42(1): 119–131. doi: 10.11999/JEIT180899HE Fengshou, HE You, LIU Zhunga, et al. Research and development on applications of convolutional neural networks of radar automatic target recognition[J]. Journal of Electronics&Information Technology, 2020, 42(1): 119–131. doi: 10.11999/JEIT180899 [51] DING Baiyuan, WEN Gongjian, MA Conghui, et al. An efficient and robust framework for SAR target recognition by hierarchically fusing global and local features[J]. IEEE Transactions on Image Processing, 2018, 27(12): 5983–5995. doi: 10.1109/TIP.2018.2863046 [52] ZHANG Jinsong, XING Mengdao, and XIE Yiyuan. FEC: A feature fusion framework for SAR target recognition based on electromagnetic scattering features and deep CNN features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3): 2174–2187. doi: 10.1109/TGRS.2020.3003264 [53] LI Yi, DU Lan, and WEI Di. Multiscale CNN based on component analysis for SAR ATR[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5211212. doi: 10.1109/TGRS.2021.3100137 [54] FENG Sijia, JI Kefeng, ZHANG Linbin, et al. SAR target classification based on integration of ASC parts model and deep learning algorithm[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 10213–10225. doi: 10.1109/JSTARS.2021.3116979 [55] 喻玲娟, 王亚东, 谢晓春, 等. 基于FCNN和ICAE的SAR图像目标识别方法[J]. 雷达学报, 2018, 7(5): 622–631. doi: 10.12000/JR18066YU Lingjuan, WANG Yadong, XIE Xiaochun, et al. SAR ATR based on FCNN and ICAE[J]. Journal of Radars, 2018, 7(5): 622–631. doi: 10.12000/JR18066 [56] FANG Houzhang, XIA Mingjiang, ZHOU Gang, et al. Infrared small UAV target detection based on residual image prediction via global and local dilated residual networks[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 7002305. doi: 10.1109/LGRS.2021.3085495 [57] LI Boyang, XIAO Chao, WANG Longguang, et al. Dense nested attention network for infrared small target detection[J]. IEEE Transactions on Image Processing, 2023, 32: 1745–1758. doi: 10.1109/TIP.2022.3199107 [58] DU Jinming, LU Huanzhang, HU Moufa, et al. CNN-based infrared dim small target detection algorithm using target-oriented shallow-deep features and effective small anchor[J]. IET Image Processing, 2021, 15(1): 1–15. doi: 10.1049/ipr2.12001 [59] LI Rui, WANG Xiaodan, WANG Jian, et al. SAR target recognition based on efficient fully convolutional attention block CNN[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 4005905. doi: 10.1109/LGRS.2020.3037256 [60] GOEL A, AGARWAL A, VATSA M, et al. DNDNet: Reconfiguring CNN for adversarial robustness[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Seattle, USA, 2020: 103–110. [61] HUANG Teng, ZHANG Qixiang, LIU Jiabao, et al. Adversarial attacks on deep-learning-based SAR image target recognition[J]. Journal of Network and Computer Applications, 2020, 162: 102632. doi: 10.1016/j.jnca.2020.102632 [62] ZHANG Qinghao. Improvement of online game anti-cheat system based on deep Learning[C]. The 2nd International Conference on Information Science and Education, Chongqing, China, 2021: 652–655. [63] HUANG Zhongling, PAN Zongxu, and LEI Bin. Transfer learning with deep convolutional neural network for SAR target classification with limited labeled data[J]. Remote Sensing, 2017, 9(9): 907. doi: 10.3390/rs9090907 [64] MALMGREN-HANSEN D, KUSK A, DALL J, et al. Improving SAR automatic target recognition models with transfer learning from simulated data[J].IEEE Geoscience and Remote Sensing Letters, 2017, 14(9): 1484–1488. doi: 10.1109/LGRS.2017.2717486 [65] ZHAO Siyuan, ZHANG Zenghui, ZHANG Tao, et al. Transferable SAR image classification crossing different satellites under open set condition[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 4506005. doi: 10.1109/LGRS.2022.3159179 [66] ZHAO Siyuan, ZHANG Zenghui, GUO Weiwei, et al. An automatic ship detection method adapting to different satellites SAR images with feature alignment and compensation loss[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5225217. doi: 10.1109/TGRS.2022.3160727 [67] 郭炜炜, 张增辉, 郁文贤, 等. SAR图像目标识别的可解释性问题探讨[J]. 雷达学报, 2020, 9(3): 462–476. doi: 10.12000/JR20059GUO Weiwei, ZHANG Zenghui, YU Wenxian, et al. Perspective on explainable SAR target recognition[J]. Journal of Radars, 2020, 9(3): 462–476. doi: 10.12000/JR20059 [68] 柯有安. 雷达目标识别(上)[J]. 国外电子技术, 1978(4): 22–30.KE Youan. Radar target recognition[J]. Foreign Electronic Technique, 1978(4): 22–30. [69] 郁文贤, 郭桂蓉. ATR的研究现状和发展趋势[J]. 系统工程与电子技术, 1994(6): 25–32.YU Wenxian and GUO Guirong. The state of the arts of automatic target recognition[J]. Systems Engineering and Electronics, 1994(6): 25–32. [70] 郁文贤. 智能化识别方法及其在舰船雷达目标识别系统中的应用[D]. [博士论文], 国防科学技术大学, 1992.YU Wenxian. Intelligent recognition method and its application in ship radar target recognition system[D]. [Ph. D. dissertation], National University of Defense Technology, 1992. [71] MOHD M A. Performance characterization and sensitivity analysis of ATR algorithms to scene distortions[C]. SPIE 1957, Architecture, Hardware, and Forward-Looking Infrared Issues in Automatic Target Recognition, Orlando, USA, 1993: 203–214. [72] GU Yuehan, TAO Jiahui, FENG Lipeng, et al. Using VGG16 to military target classification on MSTAR dataset[C]. The 2nd China International SAR Symposium, Shanghai, China, 2021: 1–3. [73] BASSHAM C B. Automatic target recognition classification system evaluation methodology[D]. [Ph. D. dissertation], Air Force Institute of Technology, 2002. [74] ALEMAYEHU D and ZOU K H. Applications of ROC analysis in medical research: Recent developments and future directions[J]. Academic Radiology, 2012, 19(12): 1457–1464. doi: 10.1016/j.acra.2012.09.006 [75] KAMARUDIN A N, COX T, and KOLAMUNNAGE-DONA R. Time-dependent ROC curve analysis in medical research: Current methods and applications[J]. BMC Medical Research Methodology, 2017, 17(1): 53. doi: 10.1186/s12874-017-0332-6 [76] 孙长亮. 基于ROC曲线的ATR算法性能评估方法研究[D]. [硕士论文], 国防科学技术大学, 2006.SUN Changliang. Study of ATR algorithm performance evaluation method based on ROC curve[D]. [Master dissertation], National University of Defense Technology, 2006. [77] LIU Li, OUYANG Wanli, WANG Xiaogang, et al. Deep learning for generic object detection: A survey[J]. International Journal of Computer Vision, 2020, 128(2): 261–318. doi: 10.1007/s11263-019-01247-4 [78] RUSSAKOVSKY O, DENG Jia, SU Hao, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211–252. doi: 10.1007/s11263-015-0816-y [79] HOIEM D, CHODPATHUMWAN Y, and DAI Qieyun. Diagnosing error in object detectors[C]. The 12th European Conference on Computer Vision, Florence, Italy, 2012: 340–353. [80] KEYDEL E R, LEE S W, and MOORE J T. MSTAR extended operating conditions: A tutorial[C]. SPIE 2757, Algorithms for Synthetic Aperture Radar Imagery III, Orlando, USA, 1996: 228–242. [81] BLASCH E, MAJUMDER U, ZELNIO E, et al. Review of recent advances in AI/ML using the MSTAR data[C]. SPIE 11393, Algorithms for Synthetic Aperture Radar Imagery XXVII, 2020. [82] 赵高丽, 宋军平. 联合多特征的MSTAR数据集SAR目标识别方法[J]. 武汉大学学报:工学版, 2022, 55(7): 732–739. doi: 10.14188/j.1671-8844.2022-07-012ZHAO Gaoli and SONG Junping. SAR target recognition of MSTAR dataset based on joint use of multiple features[J]. Engineering Journal of Wuhan University, 2022, 55(7): 732–739. doi: 10.14188/j.1671-8844.2022-07-012 [83] ROSS T D, BRADLEY J, and O’CONNER M. MSTAR data handbook for experiment planning[R]. AFB, OH: AFRL/SNA with Sverdrup Technology, 1997. [84] KECHAGIAS-STAMATIS O and AOUF N. Automatic target recognition on synthetic aperture radar imagery: A survey[J]. IEEE Aerospace and Electronic Systems Magazine, 2021, 36(3): 56–81. doi: 10.1109/MAES.2021.3049857 [85] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The pascal visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303–338. doi: 10.1007/s11263-009-0275-4 [86] EVERINGHAM M, ESLAMI S M A, VAN GOOL L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98–136. doi: 10.1007/s11263-014-0733-5 [87] DENG Jia, DONG Wei, SOCHER R, et al. ImageNet: A large-scale hierarchical image database[C]. IEEE Conference on Computer Vision and Pattern Recognition, Miami, USA, 2009: 248–255. [88] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: Common objects in context[C]. European Conference on Computer Vision, Zurich, Switzerland, 2014: 740–755. [89] KUZNETSOVA A, ROM H, ALLDRIN N, et al. The open images dataset V4: Unified image classification, object detection, and visual relationship detection at scale[J]. International Journal of Computer Vision, 2020, 128(7): 1956–1981. doi: 10.1007/s11263-020-01316-z [90] GUYON I, MAKHOUL J, SCHWARTZ R, et al. What size test set gives good error rate estimates?[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(1): 52–64. doi: 10.1109/34.655649 [91] HE Jun and FU Qiang. Posterior probability calculation procedure for recognition rate comparison[J]. Journal of Systems Engineering and Electronics, 2016, 27(3): 700–711. doi: 10.1109/JSEE.2016.00073 [92] VO T M. An 8.25b-ENOB 100kSps 290fJ-FoM asynchronous SAR capacitance to digital converter[J]. AEU - International Journal of Electronics and Communications, 2022, 153: 154286. doi: 10.1016/j.aeue.2022.154286 [93] KLIMACK W K, BASSHAM C B, and BAUER K W JR. Application of decision analysis to automatic target recognition programmatic decisions[R]. AFIT/EN-TR-02-06, 2002. [94] KLIMACK C B. Hybrid value-utility decision analysis[R]. Operations Research Center of Excellence Technical Report DSE-TR-02-02, 2002. [95] KLIMACK W K. Robustness of multiple objective decision analysis preference functions[D]. [Ph. D. dissertation], Air Force Institute of Technology, 2002. [96] 仇国芳. 评估决策的信息集结理论与方法研究[D]. [博士论文], 西安交通大学, 2003.QIU Guofang. A theoretical and methodological study on information aggregation in assessment processes[D]. [Ph. D. dissertation], Xi’an Jiaotong University, 2003. [97] 何峻, 赵宏钟, 付强. 基于偏好矩阵的混合型多属性决策方法[J]. 系统工程与电子技术, 2009, 31(6): 1386–1390. doi: 10.3321/j.issn:1001-506X.2009.06.028HE Jun, ZHAO Hongzhong, and FU Qiang. Method for solving hybrid multiple attribute decision making problems based on preference matrix[J].Systems Engineering and Electronics, 2009, 31(6): 1386–1390. doi: 10.3321/j.issn:1001-506X.2009.06.028 [98] HE Jun, FU Ruigang, and WANG Guoyan. Prospect value function construction for pattern recognition algorithm’s accuracy metric[C]. 2022 China Automation Congress, Xiamen, China, 2022: 1409–1413. [99] 化盈盈, 张岱墀, 葛仕明. 深度学习模型可解释性的研究进展[J]. 信息安全学报, 2020, 5(3): 1–12. doi: 10.19363/J.cnki.cn10-1380/tn.2020.05.01HUA Yingying, ZHANG Daichi, and GE Shiming. Research progress in the interpretability of deep learning models[J]. Journal of Cyber Security, 2020, 5(3): 1–12. doi: 10.19363/J.cnki.cn10-1380/tn.2020.05.01 [100] 雷霞, 罗雄麟. 深度学习可解释性研究综述[J]. 计算机应用, 2022, 42(11): 3588–3602. doi: 10.11772/j.issn.1001-9081.2021122118LEI Xia and LUO Xionglin. Review on interpretability of deep learning[J]. Journal of Computer Applications, 2022, 42(11): 3588–3602. doi: 10.11772/j.issn.1001-9081.2021122118 [101] RIBEIRO M T, SINGH S, and GUESTRIN C. “Why should I trust you?”: Explaining the predictions of any classifier[C]. The 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, USA, 2016: 1135–1144. [102] SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision, 2020, 128(2): 336–359. doi: 10.1007/s11263-019-01228-7 [103] 杜兰, 陈晓阳, 石钰, 等. MMRGait-1.0: 多视角多穿着条件下的雷达时频谱图步态识别数据集[J]. 雷达学报, 2023, 12(4): 892–905. doi: 10.12000/JR22227.DU Lan, CHEN Xiaoyang, SHI Yu, et al. MMRGait-1.0: A radar time-frequency spectrogram dataset for gait recognition under multi-view and multi-wearing conditions[J]. Journal of Radars, 2023, 12(4): 892–905. doi: 10.12000/JR22227. [104] 陈杰, 黄志祥, 夏润繁, 等. 大规模多类SAR目标检测数据集-1.0[J/OL]. 雷达学报, https://radars.ac.cn/web/data/getData?dataType=MSAR, 2022.CHEN Jie, HUANG Zhixiang, XIA Runfan, et al. Large-scale multi-class SAR image target detection dataset-1.0[J/OL]. Journal of Radars, https://radars.ac.cn/web/data/getData?dataType=MSAR, 2022. [105] XIA Runfan, CHEN Jie, HUANG Zhixiang, et al. CRTransSar: A visual transformer based on contextual joint representation learning for SAR ship detection[J]. Remote Sensing, 2022, 14(6): 1488. doi: 10.3390/rs14061488 [106] 回丙伟, 宋志勇, 范红旗, 等. 地/空背景下红外图像弱小飞机目标检测跟踪数据集[J]. 中国科学数据, 2020, 5(3): 286–297. doi: 10.11922/csdata.2019.0074.zhHUI Bingwei, SONG Zhiyong, FAN Hongqi, et al. A dataset for infrared detection and tracking of dim-small aircraft targets under ground/air background[J]. China Scientific Data, 2020, 5(3): 286–297. doi: 10.11922/csdata.2019.0074.zh [107] 傅瑞罡, 范红旗, 朱永锋, 等. 面向空地应用的红外时敏目标检测跟踪数据集[J]. 中国科学数据, 2022, 7(2): 206–221. doi: 10.11922/11-6035.csd.2021.0085.zhFU Ruigang, FAN Hongqi, ZHU Yongfeng, et al. A dataset for infrared time-sensitive target detection and tracking for air-ground application[J]. China Scientific Data, 2022, 7(2): 206–221. doi: 10.11922/11-6035.csd.2021.0085.zh [108] 李安然. 面向特定任务的大规模数据集质量高效评估[D]. [博士论文], 中国科学技术大学, 2021.LI Anran. Efficient task-oriented quality assessment for large-scale datasets[D]. [Ph. D. dissertation], University of Science and Technology of China, 2021. [109] SEIDEL H, STAHL C, BJERKELI F, et al. Assessment of COTS IR image simulation tools for ATR development[C]. SPIE 5807, Automatic Target Recognition XV, 2005, Orlando, USA, 2005: 44–54. [110] AHMADIBENI A, JONES B, BOROOSHAK L, et al. Automatic target recognition of aerial vehicles based on synthetic SAR imagery using hybrid stacked denoising auto-encoders[C]. SPIE 11393, Algorithms for Synthetic Aperture Radar Imagery XXVII, 2020: 71–82. [111] WESTLAKE S T, VOLONAKIS T N, JACKMAN J, et al. Deep learning for automatic target recognition with real and synthetic infrared maritime imagery[C]. SPIE 11543, Artificial Intelligence and Machine Learning in Defense Applications II, 2020, Edingburgh, UN. [112] LI Xuesong, LUO Zijuan, YANG Qirui, et al. Airborne infrared imaging simulation for target recognition[J]. IEEE Journal of Radio Frequency Identification, 2022, 6: 846–850. doi: 10.1109/JRFID.2022.3210387 [113] DIVSALAR M, AHMADI M, and NEMATI Y. A SCOR-based model to evaluate LARG supply chain performance using a hybrid MADM method[J]. IEEE Transactions on Engineering Management, 2022, 69(4): 1101–1120. doi: 10.1109/TEM.2020.2974030 [114] PENA J, NÁPOLES G, and SALGUEIRO Y. Implicit and hybrid methods for attribute weighting in multi-attribute decision-making: A review study[J]. Artificial Intelligence Review, 2021, 54(5): 3817–3847. doi: 10.1007/s10462-020-09941-3 [115] SONG Jiekun, HE Zeguo, JIANG Lina, et al. Research on hybrid multi-attribute three-way group decision making based on improved VIKOR model[J]. Mathematics, 2022, 10(15): 2783. doi: 10.3390/math10152783 [116] 张兴贤, 王应明. 一种基于区间信度结构的混合型多属性决策方法[J]. 控制与决策, 2019, 34(1): 180–188. doi: 10.13195/j.kzyjc.2017.1007ZHANG Xingxian and WANG Yingming. A hybrid multi-attribute decision-making method based on interval belief structure[J]. Control and Decision, 2019, 34(1): 180–188. doi: 10.13195/j.kzyjc.2017.1007 [117] LIU Sen, YU Wei, CHAN F T S, et al. A variable weight-based hybrid approach for multi-attribute group decision making under interval-valued intuitionistic fuzzy sets[J]. International Journal of Intelligent Systems, 2021, 36(2): 1015–1052. doi: 10.1002/int.22329 [118] 江文奇, 降晓璐. 面向属性关联的区间犹豫模糊型PROMETHEE决策方法[J]. 系统工程与电子技术, 2021, 43(11): 3250–3258. doi: 10.12305/j.issn.1001-506X.2021.11.25JIANG Wenqi and JIANG Xiaolu. Interval hesitant fuzzy PROMETHEE decision method for attribute association[J]. Systems Engineering and Electronics, 2021, 43(11): 3250–3258. doi: 10.12305/j.issn.1001-506X.2021.11.25 [119] 罗承昆, 陈云翔, 顾天一, 等. 基于前景理论和证据推理的混合型多属性决策方法[J]. 国防科技大学学报, 2019, 41(5): 49–55. doi: 10.11887/j.cn.201905008LUO Chengkun, CHEN Yunxiang, GU Tianyi, et al. Method for hybrid multi-attribute decision making based on prospect theory and evidential reasoning[J]. Journal of National University of Defense Technology, 2019, 41(5): 49–55. doi: 10.11887/j.cn.201905008 [120] 李明. 不确定多属性决策及其在管理中的应用[M]. 北京: 经济管理出版社, 2021.LI Ming. Uncertain Multiple Attribute Decision Making and Its Application in Management[M]. Beijing: Economic Management Press, 2021. [121] 卜凡康. 制导装置性能评价方法及其应用研究[D]. [硕士论文], 国防科技大学, 2020.BU Fankang. Research on performance evaluation method and its application of guidance device[D]. [Master dissertation], National University of Defense Technology, 2020. -
下载:
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 0
