1.   引言

辐射源组成器件的生产和装配等存在一定的差异，这种硬件差异^[1]使得同型号、同批次的辐射源具有一种固有的、区别于^[2]其他个体的属性，这种属性会作用于无线电信号上，产生无意调制，但又不会影响辐射源实现其原有的通信或探测功能。通过一定的方法表征这种属性就可以推断无线电信号与辐射源之间的关联关系，实现个体识别，称之为射频指纹识别(Radio Frequency Fingerprinting, RFF)^[3]或特定辐射源识别(Specific Emitter Identification, SEI)^[4]。人们起初将这种属性描述为一种能够区分辐射源个体的“细微特征”，进一步期望能够如“指纹”，甚至“基因”一样，具有很好的稳定性和鲁棒性，只与辐射源的硬件差异相关，与无线信道、调制样式、协议、接收机、温度、时间等因素无关。因此，“细微特征”“射频指纹”“电磁波信号基因”^[5]等名称可理解为人们期望辐射源个体识别能力达到的层次，而究竟达到哪个层次，还需进行实验验证，本文统一使用“射频指纹”讨论。

随着网络化、信息化、智能化的推进，无线电设备数量激增、电磁频谱资源越来越稀缺，为了充分利用有限的频谱资源，新的信号调制样式和传输协议不断出现，而智能化赋予无线电设备更强的频谱感知^[6]和自主调整载频、调制方式等参数的能力，尤其在充满对抗与博弈的领域中，将对电磁频谱的争夺推向了新的高度，这些因素导致无线电设备工作的电磁环境更加复杂，电磁频谱的利用和管控更加困难，维护电磁空间安全面临的挑战更加严峻。射频指纹来源于辐射源硬件差异，具有难以模仿和克隆的特性，可以增强无线网络安全、保护数据隐私^[7]，提高全球定位系统、广播自动相关监视(Automatic Dependent Surveillance-Broadcast, ADS-B)系统等关键民用领域的抗欺骗能力^[8]，提升电子情报侦察和电磁频谱态势感知等能力^[9]，是维护国家电磁空间安全的关键技术之一，在民用和军用领域都有着广阔的应用前景^[10]。如何在一个复杂、多变的电磁环境下，对非合作的未知信号进行射频指纹识别是一个亟待解决的难题。

特征工程方法以特定领域专业知识为支撑，提取的特征具有较好的可解释性，但手工设计特征费时费力，而且依赖复杂且特定于协议的知识^[11]，缺乏灵活性；深度学习方法则以数据为驱动，能够自动学习特征，快速灵活地随任务调整，但可解释性偏弱。深度学习方法在图像处理、文本翻译等领域已表现出超越特征工程方法的优势，与图像等数据不同，无线电信号没有可直观理解的视觉形式，需要使用接收机将射频信号转换为复基带信号，并常保存为同向/正交(In-phase/Quadrature, I/Q)数据，I/Q数据尺寸一般为2×N，第1个维度为2，代表同向分量I和正交分量Q，第2个维度为N，代表沿时间方向的序列长度，与图像格式类比，可看作狭长的灰度图片，I/Q数据可以直接或经预处理后送入深度神经网络(Deep Neural Network, DNN)模型处理^[12]。早期基于深度学习的射频指纹识别方法更倾向于先采用变换域处理方法将I/Q数据转换为时频图等其他表示形式，然后再利用深度学习方法进行处理，但这种方式需要一些先验知识，在非合作条件下存在限制。在无线电信号调制识别任务中，O’shea等人^[12]在2016年首次证实了使用卷积神经网络(Convolution Neural Network, CNN)模型直接处理I/Q数据的可行性，之后又在更大规模的数据集上验证了该类方法的优势^[13]。2017年，DARPA启动了射频机器学习(Radio Frequency Machine Learning, RFML)项目，该项目直接利用原始RF数据作为机器学习技术的输入，从而减少专家定义特征和先验知识数量^[9]，射频指纹识别技术是该项目的关键应用之一。在射频指纹识别任务中，受RFML项目支持的Riyaz等人^[14]在2018年证实可使用CNN直接处理I/Q数据实现射频指纹识别，并展示了端到端(End to End)的深度学习范式和不需要频偏补偿、协议格式等先验知识及特定领域知识的优点。公开资料表明，使用CNN模型学习的特征来区分辐射源个体，比手工设计特征更可靠^[15,16]，并且在大规模WiFi数据集^[17]、ADS-B数据集^[18]上的实验进一步证实，深度学习方法相比特征工程方法的精度有大幅提升，且在低信噪比下仍能保持很高的正确率。越来越多的研究表明，直接使用I/Q数据作为DNN模型输入的方法，在实现未知信号、未知信道环境下的射频指纹识别方面具有巨大潜力。

虽然深度学习方法在射频指纹识别中取得了较好效果，但仍然有很多难题需要解决，如训练数据与测试数据分布之间的差异会导致深度学习模型性能恶化，造成这种数据分布差异的混杂因素(Confounding Factors)^[19]有：训练数据和测试数据不在同一天采集、无线信道发生变化、环境温度变化导致振荡器频率发生漂移、使用不同接收机采集数据等等，如果在训练时不采取额外措施，DNN模型更倾向于学习混杂因素表现的特征，得到一个特定于无线信道或时间的射频指纹识别模型，而不是特定于硬件差异的射频指纹识别模型。研究还发现，DNN模型会通过学习信号中潜在的标示辐射源ID的片段实现个体识别^[20]，最终得到一个特定于协议的射频指纹识别模型，而且DNN模型更倾向于利用这些特定信号片段作弊，产生虚高的正确率，因此，正确地使用深度学习方法是获得特定于硬件差异的射频指纹的关键。

本文将讨论问题聚焦于如何利用深度学习方法直接处理I/Q数据，实现端到端的射频指纹识别，从网络结构和数据两方面对基于Raw I/Q和深度学习的射频指纹识别方法的相关研究进行回顾，厘清其发展脉络和研究趋势。本文首先对射频指纹识别研究进行概览，重点对基于Raw I/Q的DNN模型进行分析，然后对射频指纹识别的开源数据集、数据表示方法和数据增强(Data Augmentation, DA)方法进行总结，最后进行全文总结和展望。

2.   射频指纹识别概览

2.1   射频指纹

辐射源的硬件差异包括DAC (Digital-to-Analog Converter)、I/Q调制器、滤波器、功率放大器等制造公差和组装差异，这些硬件差异会作用于无线电信号，最终发射的无线电信号$T_{x}(t)$可表示为

其中，$h_{\mathrm{tx}}$是辐射源的系统函数，反映了一种与辐射源个体硬件差异相关的无意调制特性，$X(\omega)$是不包含硬件信息的有意调制信号x(t)的频谱，W是信号带宽，$\omega_{{\rm{c}}}$是载波频率，$*$表示卷积。

无线电信号$T_{x}(t)$在被接收机转换为基带信号$R_{x}(t)$之前，会受到信道衰落、频率漂移、接收机非线性等混杂因素的影响，从而产生硬件差异导致的无意调制和信号的有意调制之外的失真，受混杂因素影响的基带信号$R_{x}(t)$表示为

其中，$h_{{\rm{C}}}$表示混杂因素的作用函数，$n(t)$表示噪声。

采用合适的方法可以从信号$R_{x}(t)$中提取出射频指纹实现个体识别。假设采集训练数据时的混杂因素为$h_{{\rm{C}}}^{\text {train }}$，采集测试数据时的混杂因素为$h_{{\rm{C}}}^{\text {test }}$，当$h_{{\rm{C}}}^{\text {train }} \neq h_{{\rm{C}}}^{\text {test }}$时，会导致训练数据和测试数据分布不一致，使模型在训练集上过拟合，在测试集上性能恶化。我们期望提出的射频指纹识别方法能够从信号$R_{x}(t)$中提取出特定于硬件差异的射频指纹，对混杂因素具有鲁棒性(或弹性)，甚至与混杂因素无关。

2.2   射频指纹识别方法对比

图1比较了深度学习方法在射频指纹识别应用中的一些差异，根据是否将I/Q数据转换为专家特征，分为基于专家特征和深度学习的射频指纹识别方法、基于I/Q和深度学习的射频指纹识别方法两大类。专家特征变换是指短时傅里叶变换、小波变换、星座图等方法，不同于DNN模型中的参数，专家特征变换需要手动设置参数，不能通过训练得到。在基于I/Q和深度学习的射频指纹识别方法中，专家特征变换的功能由DNN模型承担，并且根据数据预处理的差异有两种处置方案。方案1的预处理方式包含了“预处理①”和“预处理②”两类，方案2仅使用了“预处理①”。“预处理①”是指无需先验知识的数据预处理，如归一化、切片、抽样、插值、FFT (Fast Fourier Transformer)等操作，“预处理②”是需要先验知识的数据预处理，如时间同步、载频偏移和相位偏移补偿等操作。本文将无需先验知识的方案2称为“基于Raw I/Q和深度学习方法”，并将FFT等看作I/Q数据的不同表示形式。

图  1  基于深度学习的射频指纹识别方法对比

Figure  1.  Comparison of RFF methods based on deep learning

下载: 全尺寸图片 幻灯片

由图1可看出，从基于专家特征和深度学习的射频指纹识别方法到基于Raw I/Q和深度学习的射频指纹识别方法，需要专家特征变换和预处理②的步骤逐渐减少，对先验知识的依赖逐渐减弱，这一方面将深度学习端到端的处理流程向原始数据端推移，提升了方法的适用范围、灵活性，另一方面对如何设计适合于射频指纹识别的DNN模型提出了更高的挑战，而且在没有先验知识可用时，只能直接利用Raw I/Q进行个体识别。下面分别对基于专家特征和深度学习的射频指纹识别方法、基于Raw I/Q和深度学习的射频指纹识别方法进行讨论。

2.2.1   基于专家特征和深度学习的射频指纹识别方法

基于专家特征的深度学习方法，在具有一定先验知识时，可首先对信号进行同步、载频偏移补偿等预处理操作，缓解无线信道等不利影响，然后进行短时傅里叶变换、小波变换、星座图等专家特征变换操作，将I/Q数据转换为时频特征图、双谱特征图、星座图等专家特征表示形式，最后将变换后的专家特征馈入DNN模型进行特征提取和分类识别。

2019年，Baldini等人^[21]分别使用短时傅里叶变换(Short-Time Fourier Transform, STFT)、连续小波变换(Continous Wavelet Transform, CWT)和循环图(Recurrence Plots, RP)方法将采集并幅度归一化后的时间序列信号转换为图像形式，然后使用CNN进行分类，实验结果表明CWT方法优于其他两种方法。同年，Pan等人^[22]首先对信号进行希尔伯特-黄变换(Hilbert-Huang Transform, HHT)，然后将希尔伯特谱转换为灰度图像，最后利用残差网络(ResNet)实现分类。同年，Peng等人^[23]提出先将I/Q数据转换为差分星座轨迹图(Differential Constellation Trace Figure, DCTF)，然后再使用CNN实现分类，DCTF图的生成不需要先验信息进行同步，但需要根据经验手动设置一些参数。2020年，Lin等人^[24]提出先将Raw I/Q数据转为具有统计意义的等势星球图(Contour Stellar Image, CSI)表示形式，然后再利用CNN模型进行分类，取得了很好的效果。2021年，袁泽霖^[25]将时频特征图和双谱特征图融合之后，作为ResNet模型的输入，实验表明融合特征比单一特征好，但会占用更多计算资源。同年，Shen等人^[26]使用STFT时频图作为输入，使用CNN模型完成了分类，在利用载频偏移(Carrier Frequency Offset, CFO)补偿信息后，分类正确率得到进一步提升。

基于专家特征的深度学习方法在射频指纹识别中已有大量效果很好的研究工作，在已知信号协议等先验信息时，能够针对特定问题，利用特定领域知识设计专家特征，最大化个体间差异，但该方法也存在一些不足，如需要领域知识的支撑、需要根据具体问题选择合适的参数完成I/Q数据到专家特征的转换、从I/Q数据到专家特征的转换需要额外的计算量、专家特征可能特定于协议等。

2.2.2   基于Raw I/Q和深度学习的射频指纹识别方法

Raw I/Q指未经处理的I/Q数据，这既表明接收机输出的I/Q数据未发生信息的流失，也意味着没有对其中不利于射频指纹识别的混杂因素进行抑制。Shen等人^[27]和Gritsenko等人^[28]先利用关于信号的先验知识对Raw I/Q数据进行载频偏移补偿、相位补偿、时间同步等预处理，然后将预处理后的I/Q数据作为DNN模型的输入，认为预处理在抑制无线信道衰落等混杂因素的同时，保留了I/Q数据中的射频指纹。但Cekic等人^[19]提出质疑，认为预处理后留在I/Q数据中的残差可能会淹没I/Q数据中的射频指纹，不如使用数据增强方法来提升DNN模型对各种混杂因素的鲁棒性。事实上，在非合作条件下，难以进行载频偏移补偿、时间同步等预处理，几乎只有I/Q数据可利用。从目前的研究情况看，基于Raw I/Q和深度学习的射频指纹识别方法至少具有以下一些优点：

(1) 不依赖特定领域知识和先验知识，具有端到端的特点，使用数据驱动自动学习特征。

(2) 具有学习协议无关的射频指纹的潜力，提取的射频指纹更难伪造。依赖于特定领域知识和先验知识的射频指纹识别方法，一般是针对某一种协议进行设计，提取的射频指纹可能特定于协议。而基于Raw I/Q和深度学习的射频指纹识别方法，在使用相同的DNN模型时，能够进行不同协议下的射频指纹识别^[29]，提取的射频指纹独立于物理层协议和调制方案^[30,31]。还有研究指出手工设计特征可能被伪造，如通过对基带信号的操作可改变载波频率偏移^[32]和相位偏移^[33]，而深度学习方法提取的特征并没有显式表示，更难伪造。

(3) 可扩展性更好，部署灵活。采用预训练或者迁移学习的方法，在一个预训练模型的基础上，能够在少量样本甚至零样本的情况下，快速实现对未知环境下测试数据的射频指纹识别，对不同协议或设备类型下测试数据^[34,35]的射频指纹识别。而且随着研究的深入，有可能实现“一次训练，随处使用”的效果。

(4) 大规模和超大规模数量个体识别的潜力。深度学习方法擅长在高维特征空间下进行分类任务，深度学习方法已经能够对数百个设备^[17]甚至一万个设备^[11]进行个体识别，而传统的特征工程方法一般是几十个^[36]到一百多个设备左右的规模^[1]，深度学习方法更适合大规模个体识别问题。

以上对射频指纹识别方法进行了概览，分析了两类方法的特点和适用范围，并将问题聚焦于非合作条件下的射频指纹识别。基于Raw I/Q和深度学习的射频指纹方法对先验知识的依赖更小、更符合端到端的学习范式，能够利用DNN模型的非线性映射能力和复杂高维特征学习能力，在从数据中挖掘射频指纹及各混杂因素间潜在关系方面似乎比其他方法更具优势。深度学习研究中，可以从模型结构、训练方法和数据3个方面提升性能，下面以仅有Raw I/Q为限定条件，对能够直接使用Raw I/Q进行射频指纹识别的DNN模型进行回顾分析，然后对射频指纹识别的开源数据集、数据表示形式和数据增强方法进行总结讨论。

3.   使用Raw I/Q进行射频指纹识别的深度神经网络模型

深度学习是从数据中学习表示的数学框架，通常包含数十个甚至上百个连续的表示层，这些表示层几乎总是使用神经网络模型来学习^[37]。全连接层、卷积层、循环层、Transformer等是构造DNN模型的基础模块，由这些基础模块组合可以构建出全连接神经网络(Full Connected Neural Network, FCNN)、卷积神经网络、循环神经网络(Recurrent Neural Network, RNN)和Transformer模型等以及各种改进的DNN模型。生成对抗网络(Generative Adversarial Nets, GAN)和自编码器(Auto-Encoders, AE)也在射频指纹识别中应用，属于生成类网络，其基础模块仍然由全连接层、卷积层等组成，常用于数据增强、降噪等处理，其中GAN模型还被用来探测和识别对抗性的流氓辐射源^[38,39]，本文不对生成类网络进行讨论。图2将目前基于Raw I/Q和深度学习的射频指纹识别方法及文献出处按照FCNN模型、CNN模型、RNN模型、Transformer模型以及几何深度学习方法的类别进行了归类。FCNN模型采用全连接方式，是一种早期的神经网络结构，虽然也可以使用Raw I/Q作为输入进行射频指纹识别^[39]，但是全连接结构不能提取和保持数据中的特征结构，难以获得鲁棒的射频指纹，这一不足在小规模数据集上并不明显，但随着数据集规模的增大，FCNN模型的劣势越来越显著^[29]。在现代深度神经网络结构中，通常使用卷积层提取特征，使用全连接层在后端负责分类，本文不单独对采用FCNN模型的射频指纹识别方法进行介绍。CNN模型和RNN模型在射频指纹识别中的引入较早，关于CNN模型的研究工作最多，Transformer模型和几何深度学习方法的引入较晚，研究也很少，几何深度学习方法是一种从对称性、几何稳定性和尺度分离角度对深度学习方法进行几何统一的尝试^[40]，目前应用在射频指纹识别中的是群等变卷积神经网络模型。

图  2  基于Raw I/Q和深度学习的射频指纹识别方法分类

Figure  2.  Classification of RFF methods based on Raw I/Q and deep learning

下载: 全尺寸图片 幻灯片

基于Raw I/Q和深度学习的射频指纹识别方法虽然对专家特征和先验知识依赖更少，但是对神经网络建模的要求更高，文献[62]指出增大射频指纹识别数据集的规模和样本多样性，并不总能提高模型的泛化性能，需要更具有洞察力的神经网络建模方法才能继续提升模型性能，DNN模型的设计在射频指纹识别中至关重要，下面按照图2的分类对各种模型进行详细回顾分析。

3.1   卷积神经网络模型

CNN模型是射频指纹识别中应用最多、最早的网络结构，卷积和池化是其关键操作，CNN模型具有局部感受野、权值共享的特点。CNN模型首先在图像处理领域应用和发展，在射频指纹识别领域中的应用也按照类LeNet模型、类AlexNet模型、类VGG模型、残差网络、注意力机制等的路线发展，下面对各种使用Raw I/Q进行射频指纹识别的CNN模型进行回顾分析。

3.1.1   基础卷积神经网络模型

(1) 类LeNet模型

能够直接处理Raw I/Q的CNN模型首先于2016年应用在信号调制样式识别^[12]中，该CNN模型类似于LeNet模型，由2个卷积层和2个全连接层组成，这启发了射频指纹识别相关的工作。2018年，Riyaz等人^[14]提出了RFF-CNN1模型(图3(a))，由2个卷积层和1个全连接层组成。2019年，Sankhe等人^[63]提出了ORACLE模型(图3(b))，由2个卷积层和2个全连接层组成，第1个卷积层有50个1×7卷积核，每个卷积核分别提取I, Q两路特征；第2个卷积层使用50个2×7卷积核，将I, Q两路特征合并，经最大池化后送入全连接层分类，全连接层使用了Dropout层和L₂正则化技术防止过拟合。图3(a)和图3(b)都是类LeNet模型^[15,48,56]，通常只有两三个卷积层，适合于解决小规模射频指纹识别问题，常作为基准模型，是早期处理Raw I/Q的CNN模型。

图  3  使用Raw I/Q进行射频指纹识别的基础卷积神经网络模型

Figure  3.  The basis CNN model inputted with Raw I/Q for RFF

下载: 全尺寸图片 幻灯片

(2) 类AlexNet模型

2019年，Restuccia等人^[17]提出了DeepRadioID模型(图3(c))，其网络更深，是一种类AlexNet模型，可实现更大规模的射频指纹识别问题。2020年，Sankhe等人^[30]在50～500个设备的不同规模WiFi数据集上测试了DeepRadioID模型，实验发现对于50个设备的WiFi数据集，当训练数据和测试数据不在同一天时，识别率从85%下降到46%。同年，Al-Shawabka等人^[57]对DeepRadioID模型进行了简单修改，重复堆叠了5次图3(c)中的基本单元块，并增加了一个全连接层，在DARPA超大规模数据集上的研究表明无线信道会显著影响分类精度。

(3) 类VGG模型

2020年，Elmaghbub等人^[58]设计了RFF-CNN2模型(图3(d))，是一种类VGG模型，基本单元块由16个1×4卷积核的卷积层、批量归一化(Batch Normalization, BN)层和最大池化层组成，通过重复堆叠基本单元块完成特征提取，并使用一个平均池化层将特征聚合，然后通过分类全连接层和Softmax层输出分类结果。2021年，崔天舒等人^[59]提出了IQCNet模型，结构如图3(e)所示，基本单元块由2个卷积层和1个最大池化层组成，其特点是首先使用了32个2×1卷积核提取I, Q两路的相关特征，有效降低了模型参数量和计算量，更适合轻量化部署。

以上回顾了几种直接使用Raw I/Q进行射频指纹识别的基础卷积神经网络模型，其设计主要受到LeNet等经典网络模型启发，由1～2个卷积层与最大池化层串联组成基本单元块，然后通过重复堆叠这种基本单元块完成自动特征提取。卷积核沿着时间的方向滑动提取I/Q信号的局部时间关系，卷积核在整个信号切片上共享参数，符合射频指纹的唯一性和不变性特点；池化层用于提高网络在时间维度上的鲁棒性并实现下采样。在完成逐级特征提取之后，可以使用多个级联的全连接层，也可以使用平均池化层进行特征聚合后再馈入分类全连接层，最终完成射频指纹识别任务。

3.1.2   残差设计

残差设计^[64]能够很好地缓解网络退化问题，降低梯度消失的风险，训练更深的网络。2019年，Gritsenko等人^[28]参考ResNet-50模型，并根据I/Q数据的一维时间序列特点，设计了一种ResNet-50-1D模型(图4(a))。ResNet-50-1D模型使用一维卷积层，标识模块和卷积块是基本单元块，并配置有跳跃连接。在500个设备的WiFi数据集和ADS-B数据集上的实验表明，ResNet-50-1D模型的性能比DeepRadioID模型分别提升了15%和7%。在超大规模(10000个设备)WiFi和ADS-B数据集上的实验表明^[11]：训练集数据越多，ResNet-50-1D模型和DeepRadioID模型越准确；环境和信道条件会影响分类准确性；在ADS-B数据集上的准确性更高；在训练前去除信道效应并不总是能带来更好的结果；某些时候DeepRadioID模型的性能会优于ResNet-50-1D，更深层次的网络并不一定更好。2020年，翁琳天然等人^[45]设计了一种ResNet模型，并与双谱特征工程方法和基于Raw I/Q的CNN模型方法进行了对比，研究表明，深度学习方法对噪声具有更强的鲁棒性，且ResNet模型比CNN模型的性能更好。2021年，Zhang等人^[46]设计了一种RFFResNet模型(图4(b))，其参数数量为ResNet-34-1D模型的一半左右，使用手机信号的实验表明，网络的规模并不是越大越好，需要与数据集相匹配；在高信噪比下使用足够规模的数据训练，才能学习到鲁棒的射频指纹而不产生过拟合。

图  4  使用Raw I/Q进行射频指纹识别的ResNet模型

Figure  4.  The ResNet model inputted with Raw I/Q for RFF

下载: 全尺寸图片 幻灯片

残差设计是一种即插即用且简单有效的方法，能够方便地与其他方法集成，如在复数网络中就能够看到残差设计的例子，随着网络层数的加深，模型的学习能力将进一步提升，更适合于解决大型数据集问题。

3.1.3   复数改造

复数是无线电信号的自然表示形式，复数DNN模型^[65]可以直接处理复数，理论上可以获得更好的效果，在射频指纹识别问题中，Chen等人^[66]在真实的LoRa (Long Range)和WiFi数据集上，进行了不同网络层、网络层的组件(卷积滤波器或其输出)和网络层输出的实部、虚部分量等情况的消融(Ablation)实验，证实了在模型参数量大致相同时，复数DNN模型能够更有效地利用I路和Q路的特征信息，复数DNN模型的性能始终优于实数DNN模型。

2019年，Gopalakrishnan等人^[20]设计了一种复数CNN模型(图5(a))，该模型由2个复数卷积层和2个全连接层组成，首先使用2个复数卷积层提取特征，然后使用模值提取层将复数表征转换为实数表征，并送入时间平均(temporal averaging)层。实验表明，相比实数CNN模型，复数CNN模型在ADS-B数据集上性能提升了6.66%，在WiFi数据集上性能提升了1.64%；在训练信号中添加高斯白噪声能够迫使网络学习更鲁棒的射频指纹；训练数据中应去除包含辐射源标识的信号片段，防止网络学习信号中蕴含的辐射源ID等标识身份信息。Agadakos等人^[29]和Stankowicz等人^[42]也设计了复数CNN模型，在DARPA数据集上的实验表明，复数CNN模型在射频指纹识别任务中具有更强的表示能力和潜在的泛化优势，在多种协议、信道衰落影响和信噪比变化的情况下具有更高的正确率，同等情况下所需网络参数更少，对噪声具有抑制作用。2020年，Cekic等人^[19]继续使用文献[20]中的复数CNN模型研究了不同采集时间(训练与测试不在同一天)、时钟漂移和无线信道变化等混杂因素对射频指纹的影响。结果表明，除非主动采取一些手段阻止深度神经网络，否则神经网络会主动学习混杂因素表现的显著特征，而不是硬件的射频指纹特征，并提出使用数据增强方法来提升网络的泛化性能。2020年，Gu等人^[43]设计了一种复数CNN模型(图5(b))，其在每个复数卷积层和复数全连接层之后增加了1个复数BN层和1个Dropout层，可以加快训练速度、避免过拟合，在无人机遥控实测数据集上的实验表明，复数CNN模型优于实数CNN模型、FCNN模型。2020年，Wang等人^[44]设计了一种复数ResNet模型(图5(c))，其通过8个堆叠的复数残差块提取特征，然后使用3个全连接层分类，在20个设备WiFi数据集上的实验结果表明，复数ResNet模型比复数CNN模型和基于等势星球图的实数CNN模型性能都好，其推理耗时在13.6 ms以内，比复数CNN模型的计算时间稍长，但远小于基于等势星球图的实数CNN模型推理耗时，复数ResNet模型即使不进行载频偏移和相位偏移补偿也能够达到很高的精度。

图  5  使用Raw I/Q进行射频指纹识别的复数深度神经网络模型

Figure  5.  The complex-valued DNN model inputted with Raw I/Q for RFF

下载: 全尺寸图片 幻灯片

在射频指纹识别问题上，同等条件下复数DNN模型比实数DNN模型的性能更好，而且复数DNN模型对信噪比变化、时间、时钟漂移和信道变化等混杂因素的鲁棒性更好，对不同协议、个体数量规模等变化的适应性和扩展性更好。

3.1.4   其他改进方法

(1) 添加注意力机制的神经网络模型

注意力机制能够有选择地加强重要信息的通道，抑制无效信息的通道，Peng等人^[51]在CNN模型中引入了注意力机制SE (Squeeze-and-Excitation)模块，在WiFi数据集上的实验表明，添加了SE模块的CNN模型在低信噪比下，正确率更高、性能更为鲁棒。此外，如果能够稍微利用一些先验知识，还能够进一步提升网络的性能，如Weng等人^[52]提出了一种利用消息结构的先验信息辅助的注意力卷积网络(Message Structure aided Attentional Convolution Network, MSACN)，该网络将具有不同波形分布的信号部分分离并馈入识别网络，然后对多个数据块中的特征图进行提取和合并，并且为低维离散信号设计了一种空间注意力机制。实验表明，MSACN模型的正确率优于CNN模型^[56]、ResNet模型^[34]和卷积长短期记忆深度神经网络(Convolutional Long short-term Deep Neural Network, CLDNN)^[49]模型。

(2) 多采样卷积神经网络模型

2019年，Yu等人^[54,55]提出了一种多采样卷积神经网络(Multi-Sampling Convolutional Neural Network, MSCNN)模型，其通过使用多个下采样变换自动进行多尺度特征提取和分类，不同的下采样变换能够捕获反映局部区域细微变化的短期特征和反映总体趋势的长期特征，从而得到不同长度的多采样基带信号。在54个ZigBee设备数据集上的实验表明，在视距、非视距和各种信噪比情况下，MSCNN模型都比CNN模型^[56]的鲁棒性更好。需注意的是MSCNN模型输入的I/Q数据经过了频率偏移、相位偏移的补偿以及对齐预处理操作，虽然这些预处理需要一些待识别信号的先验知识，但多采样的处理方式具有很好的启发性。

(3) 增强的扩张因果卷积神经网络模型

2020年，Robinson等人^[31]设计了一种增强的扩张因果卷积(Augmented Dilated Causal Convolutional, ADCC)模型，作者认为辐射源由具有因果关系的模拟组件组成，因果关系就是射频指纹的属性。ADCC模型使用堆叠的残差块从每个样本的前1600个I/Q值中提取并产生2500个特征，然后使用较小的扩张卷积核从剩余的20个子序列中提取2500个特征，最后将残差块和扩展卷积核提取的特征串联，作为最终的输入特征。从较小子序列提取的特征不会受编码有标定个体身份信息片段的影响，扩张卷积在不增加网络参数的情况下扩大了感受野，这些优点使得ADCC模型能够学习与协议无关的硬件指纹，在训练数据与验证数据的分布相似的情况下能够获得很高的准确率。作者进一步指出，均衡信号的预处理方法可能同时消除信道效应和辐射源的射频指纹，不能推广到所有的信号类型。

(4) 双路卷积神经网络模型

2020年，Tian等人^[53]提出了一种双路CNN模型，将WiFi前导信号的短训练序列和长训练序列分别送入两个并行的支路，支路的网络结构与ORACLE模型的卷积层基本一致，并在卷积层之后增加了BN层，经过两个卷积层的特征提取之后，将两个支路的特征图融合，作为全连接层的输入。

除了以上讨论的基础卷积神经网络及其改进方法之外，研究者还利用DenseNet^[67]、3D卷积神经网络^[68]、降噪自编码器^[69]、离散小波变换池化^[70]等方法进行射频指纹识别，为我们提供了开阔的思路。

卷积和池化是CNN模型的核心，它赋予了CNN模型平移等变性和局部感受野，是CNN模型解决问题的归纳偏好(inductive bias)^[71]，是其能够提取具有唯一性和不变性的射频指纹特征的保证。通过加深网络层次、改进训练方法、进行复数化改造、引入残差设计等手段可以进一步提升网络的多层次特征提取和聚合能力。在具备待识别信号部分先验知识的情况下，还可以利用先验知识进一步对网络结构进行改进，提升网络针对特定信号的射频指纹提取能力。此外，有研究者指出输入端数据的平移，缩放等的微小差异可能导致CNN模型输出概率的显著变化^[72]，CNN模型的平移等变性并不具有一般性，在一些情况下并不满足平移等变性，CNN模型本身仍然需要改进。

3.2   循环神经网络模型

RNN模型擅长提取数据的时间相关性特征，在视频处理、语音识别等方面已得到了成功应用，简单的RNN模型存在长期信息保存和短期输入跳跃之间的矛盾，长短期记忆(Long Short-Term Memory, LSTM)网络模型则很好地克服了这个不足，下面主要介绍RNN模型中的LSTM网络等模型在射频指纹识别中的应用。

3.2.1   长短期记忆网络模型

2018年，Wu等人^[49]提出使用LSTM模型进行射频指纹识别，该网络由1个LSTM层和1个Softmax层组成，在多个USRP数据集上的实验表明，LSTM网络模型在低信噪比时可取得很好的效果。同年，Jafari等人^[48]也设计了一种LSTM模型，该网络由3个堆叠的LSTM层和1个全连接层组成，在6个同型号的ZigBee设备上的实验表明，FCNN模型和CNN模型的正确率明显优于LSTM网络模型。2021年，Al-Shawabka等人^[50]设计了一种RFF-LSTM模型(图6(a))，该模型由3个堆叠的LSTM层和1个全连接层组成，每个LSTM层的神经元个数为输入数据的长度，每个LSTM层之后使用概率为0.5的Dropout操作减少过拟合，在100个LoRa设备数据集上的实验表明，总体上CNN模型^[57]在所有场景中都比LSTM网络模型工作得更好。

图  6  使用Raw I/Q进行射频指纹识别的循环神经网络模型

Figure  6.  The RNN model inputted with Raw I/Q for RFF

下载: 全尺寸图片 幻灯片

与CNN模型相比，RNN模型在射频指纹识别中的研究工作相对较少。在小规模数据集上LSTM模型的性能优于CNN模型，而在大规模数据集上的实验表明，CNN模型优于LSTM模型。LSTM模型效果不如CNN模型的原因可能是LSTM模型提取的是时间相关特征，而没有关注空间相关特征，而这些时间相关特征并不是辐射源的射频指纹，可能是特定于某种混杂因素的特征，比如网络模型使用某一段时内的信道特征进行个体识别，当信道环境发生变化时，模型的性能就会显著下降。

3.2.2   联合CNN和RNN模型

联合CNN和RNN模型可以同时利用CNN模型提取空间相关特征和RNN模型提取时间相关特征的优点，在无线电信号调制识别研究^[73]中，已证实CLDNN模型比单独使用CNN模型性能上有大幅提升。2019年，Roy等人^[60]设计了一种RFF-ConvLSTM2D模型(图6(b))，该模型由2个ConvLSTM2D层和2个全连接层组成，在8个同型号USRP B210数据集上的实验表明，RFF-ConvLSTM2D模型的正确率达到了97.2%，高于GRU模型(95.3%)和LSTM网络模型(92%)。2020年，Soltani等人^[61]设计了一种RFF-ConvRNN模型(图6(c))，该模型由卷积单元模块、RNN单元模块和全连接单元模块组成，其中卷积单元模块由7个重复堆叠的卷积层和最大池化层组成。首先使用卷积单元模块提取空间相关特征，然后使用SimpleRNN层提取时间相关特征，最后使用全连接层完成分类，在DARPA数据集(50个WiFi辐射源)上的实验表明，在未使用数据增强方法的时候，RFF-ConvRNN模型正确率要优于DeepRadioID模型^[57]，而当使用数据增强方法时，DeepRadioID模型的正确率反而略优于RFF-ConvRNN。2020年，Liu等人^[33]设计了一种混合网络模型(图6(d))，该模型由具有扩展卷积和SE模块的一维残差卷积网络(one-dimensional residual convolution network with dilated convolution and squeeze-and-excitation block, Conv-OrdsNet)和深度双向长短期记忆(Deep BidirectionalLong Short-Term Memory, DBi-LSTM)网络组成，输入数据为固定长度且有3个通道，即I路、Q路和相位值，相位值用于辅助提取特征和加快收敛，在16个同型号USRP数据集^[63]上的实验表明，该模型不需要利用信号中的特定片段，在低信噪比条件下仍能保持高准确率，在相同正确率下需要的I/Q样本更短；在消除了信号中功率、频率偏移、相位偏移等不利影响后，该模型仍可以从信号中提取与身份相关的其他隐藏特征，具有更强的抗干扰能力和更好的鲁棒性。

联合CNN和RNN模型的特征提取能力，在一些问题上能够获得更好的性能，但也有研究指出，在测试数据与训练数据分布不一致时，CNN模型的性能会略优于联合CNN和RNN模型，导致这种反直觉结果的原因可能有两个方面：一是CNN模型能够捕获信号中存在的具有平移不变性的特征，RNN模型能更进一步捕捉到不同尺度上重复出现的模式在时间上的相关性，这可能是频率漂移类的长时特征，也可能是波形上升沿突变部分的短时特征，还有可能是无线信道等混杂因素所表现的时间相关特征，而且在不同场景下无线信道等混杂因素所引起的特征很可能比辐射源固有特征更为显著，这将导致RNN模型的引入反而使得混合模型的性能恶化；二是CNN模型通过加深网络层数，能够获得更大的感受野，从而具有挖掘更大时间尺度上模式相关性的潜力，这一定程度上弥补了CNN模型在时间关联特征提取方面的劣势。联合CNN和RNN模型的一些实验结果表明，设计更强大神经网络模型的同时，还应时刻注意在数据集、数据增强方法、训练方法等方面加以约束和验证，否则可能造成过拟合，导致网络泛化性能的下降。

3.3   Transformer模型

Transformer模型是不同于FCNN模型、CNN模型、RNN模型的结构，其完全基于注意力机制，通过编码器和解码器操作提取特征，2017年首次应用在文本翻译^[74]中，2020年首次使用纯Transformer模块构建的ViT (Vision Transformer)模型^[75]实现了图像识别，目前利用Transformer模型进行射频指纹识别的研究较少。2021年，Xu等人^[41]提出使用改进的Transformer模型和类内分割方法(Intra Class Splitting, ICS)进行未知辐射源识别，只使用Transformer模型的编码器部分提取射频指纹，该模型利用无线信号的符号率和采样率作为先验知识来修改self-attention中的节点连通性，用以降低计算复杂度和提取更鲁棒的特征，在30个USRP数据集上的实验表明，该方法能够以高精度拒绝来自未知发射器的信号，分类精度优于现有的其他开集识别(Open-Set Recognition, OSR)方法。2021年，Shen等人^[27]使用Transformer模型实现了可变信号长度下10个同型号LoRa设备的个体识别，但是该Transformer模型的输入数据表示形式为STFT时频谱图，本文将使用STFT数据表示形式归类到基于专家特征的一类方法，详细讨论见4.2节。

相较于CNN模型和RNN模型，Transformer模型具有全局视野和更好的并行计算能力，CNN模型和RNN模型一般只能处理固定长度的输入数据，而Transformer模型能够处理可变长度的输入数据，这一特点使Transformer模型具有更好的灵活性和可扩展性。Transformer模型的应用也存在一些限制，如Transformer模型的归纳偏好更少，几乎完全从数据中学习，而CNN模型和RNN模型具有局部感受野、空间等变性、时间等变性等较强的归纳偏好，达到相同性能，Transformer模型需要更多的训练数据。在文本、图像等领域已有不少开源、大规模、高质量数据集，在射频指纹识别领域还较少，这限制了Transformer模型在射频指纹识别中的应用。

3.4   几何深度学习模型

虽然深度学习方法成功应用于很多领域，并形成了各种网络结构，但DNN模型的设计并没有统一的指导原则，似乎更倚重于经验。2021年，Bronstein等人^[40]提出以对称性和不变性为第一原则，从中导出不同的归纳偏好和网络架构，并将这种几何化的尝试称为“几何深度学习”。

对称是一种保持某种性质或结构的变换，对一个给定的结构，所有变换的集合形成一个对称群，如卷积层的平移等变性就是一种对称性，输入到卷积层的移动会在输出特征图中产生相同数量的移动，这在图像处理中就是一种合理的几何先验，对应的直观理解就是物体的类别与其在图片中出现的位置无关。类比之，从无线电信号的不同时间片段中提取的射频指纹应当保持一致，CNN模型的平移等变性对于射频指纹识别问题是一种合理的对称性假设，CNN模型在射频指纹识别中的成功应用也证实这一假设的合理性。但实际中无线电信号会受到无线信道衰落、温度变化引起的频率偏移等混杂因素的影响而产生幅度、相位上的变化，这使得测试数据分布相对训练数据分布发生了改变，可能导致了网络模型性能的下降。如果能在平移等变性的基础上，继续赋予网络合适的、额外的对称性，那么就能进一步加强网络模型针对射频指纹提取的归纳偏好，提升网络模型利用数据的效率，从另一个角度来说更强的归纳偏好等价于更多的训练数据。另外，研究发现利用多个不同时间采集的数据、不同接收机采集的数据、数据增强方法、多样化的输入数据表示等训练网络，能够提高网络对输入数据变化的鲁棒性、有效降低测试数据与训练数据分布不一致时的网络模型性能的降级，但是这种依赖于数据多样性的方法并不总是可行，比如采集的数据不可能覆盖所有应用环境、数据增强方法中只能在一定范围内对信号进行频率偏移、相位偏移等操作，最终还是需要新的数据驱动方法^[47]，如从几何深度学习角度探索如何赋予网络额外对称性的方法就是一种有效的思路。假设我们期望从接收机输出信号$R_{x}(t)$中提取一种不受信道等混杂因素影响的射频指纹，这需要特征提取器f 对$R_{x}(t)$及其变换$R_{x}^{\prime}(t)$能够保持不变。

其中，$R_{x}^{\prime}(t)$是$R_{x}(t)$受到混杂因素影响后发生的某种变换，如信道衰落对无线电信号的作用。

以多径信道衰落为例，接收信号$R_{x}(t)$的极坐标形式为$r{\rm{e}}^{{\rm{i}}\theta}$, $r \in \mathbb{R}^{+}$, $\theta \in \mathbb{R}$，径向分量$r$和角分量$\theta$各自形成独立的李群，径向分量是标量乘法下的阿贝尔李群$\mathbb{R}^{+}$，角分量是阿贝尔李群$U(1)=\left\{{\rm{e}}^{{\rm{i}} \theta} \mid \theta \in \mathbb{R} / 2 \pi \mathbb{Z}\right\}$，与SO(2)群同构，则李群$\mathbb{R}^{+} \times U(1)$可以捕获幅度衰减(信道的增益)和角旋转(信号相位的偏移)。

2021年，Brown等人^[47]设计了一种信道鲁棒表示网络(Channel Robust Representation Networks, ChaRRNets)模型，该模型对群等变卷积神经网络^[76](Group equivariant Convolutional Neural Networks, G-CNNs)进行了复数改造，并引入了wFM运算^[77]，使其适用于无线电信号处理。当信号带宽小于信道相干带宽时，可看作平坦衰落信道，此时可假设信号在每个频率上都位于同一个流形上，每个频率上受到的信道扰动都符合$\mathbb{R}^{+} \times U(1)$，即在每个频率上的扰动具有不变性。仿真实验表明，ChaRRNets模型具有对多径衰落的鲁棒性，并且模型中包含的域偏移大大增加了模型对训练数据中不存在的多径信道环境的泛化能力；DARPA数据集上的实验表明，在大规模个体数量和较少训练样本情况下，ChaRRNets模型比复数CNN模型具有更好的分布外泛化能力，这将减轻数据收集的负担。

目前几何深度学习在射频指纹识别中的研究工作很少，从群等变卷积神经网络在射频指纹识别中的应用效果看，合理的对称性假设，能够赋予网络特殊的归纳偏好，从而大幅提升网络对特定问题的特征提取能力，实现更高效的数据利用，得到泛化能力更强的模型，具有很大的潜力。

至此，本文对使用Raw I/Q进行射频指纹识别的DNN模型进行了系统回顾，并对各研究结果进行了讨论。从以上各研究工作的结论中也可以注意到，网络模型与建模数据和训练方法等是一个相互关联的整体，提升射频指纹识别能力还需要其他方面的配合，下面将对近年来射频指纹识别研究在数据集、数据表示形式和数据增强方面的工作进行总结。

4.   射频指纹识别的开源数据集、数据表示形式和数据增强方法

4.1   开源射频指纹数据集

数据、算法和算力是深度学习的3大支柱，高质量、大规模和开源的数据集是推动深度学习发展的重要力量。在无线电信号处理方面，由于其相对小众的特点和对特定领域知识的依赖，无线电信号数据集的规模、数量和开源程度都很小。目前，在无线电信号调制识别中，RML2016.10a^[12]和RML2018.01a^[13]两个数据集使用较为广泛。而在射频指纹识别中，虽然也存在一些开源数据集，但是由于射频指纹识别相对调制识别的差异性，如射频指纹更容易受无线信道等多种混杂因素的影响，导致建立射频指纹识别数据集考虑的因素更多，投入更加巨大。另外，由于射频指纹数据集具有潜在的应用价值，导致DARPA等建立的超大规模射频指纹识别数据集并未开源，现有的开源射频指纹数据集还远不能满足研究的需求。

表1列出了部分现有的开源射频指纹数据集，并按照发射端配置，环境、信道、采集时间等配置，接收端配置3个部分进行了总结，以供后续数据集的建立提供参考。发射端通常选择较为常见、数量巨大、获取方便的WiFi信号、ADS-B信号、LoRa信号、ZigBee信号等作为研究对象。接收端一般使用USRP作为接收机，采样率需覆盖待识别信号的有效带宽，并保持过采样。根据研究目的进行环境、信道等配置，例如配置收发机之间直视和非直视的传输环境，在不同时间进行数据采集，改变收发机之间的距离，在实际工作环境或电波暗室中采集等。

表  1  开源的射频指纹数据集

Table  1.  Open source dataset of radio frequency fingerprint

文献	发射端			环境、信道、采集时间等配置	接收端
	辐射源	数量	信号类型		接收机	采样率	其他
[63]	USRP X310	16	IEEE802.11a	室内；LOS；不同距离(2～62 ft， 6 ft为步长)	USRP B210	5 MS/s	2e7个I/Q采样点/个体
[57]	USRP N210/X310	20	IEEE802.11a/g	线缆直连/暗室/室内；不同时间(10 d)； 同一天线/不同天线	USRP N210	20 MS/s	288个I/Q采样点/样本， 250条样本/个体/配置，
[81]	USRP X310	4	IEEE802.11a /LTE/5G-NR	室外；LOS/NLOS；不同时间(2 d)； 不同距离(300～1000 m)	USRP B210	5 MS/s, 7.68 MS/s	512个I/Q采样点/样本， 3e6个I/Q采样点/个体
[62]	无线网卡	174	IEEE802.11a/g	室内；LOS；不同时间(4 d)； 不同接收机(41个)	USRP B210/ N210/X310	25 MS/s	全集有1e7条数据包，1.4 TB大小，裁剪为4个子集
[82]	智能手机	86	Bluetooth	LOS；固定距离(30 cm)	Tektronix TDS7404	250 MS/s, 5 GS/s	150条样本/个体
[83]	飞行器	140	ADS-B	真实飞行数据	USRP B210	8 MS/s	总共3e4条样本
[18]	飞行器	530/ 198	ADS-B	真实飞行数据	Signal Hound SM200B	50 MS/s	200～600条样本/个体
[84]	物联网设备	60	LoRa	室内；LOS/NLOS；静止/移动	USRP N210	1 MS/s	8192个I/Q采样点/样本 1000条样本/个体
[85]	物联网设备	25	LoRa	室内/室外；不同时间(5 d)；不同距离(5 m/10 m/15 m/20 m)；不同接收机(2个)	USRP B210	1 MS/s	2e8个I/Q采样点/个体/天
[86]	USRP 2932	21	IEEE 802.15.4	半电波暗室内；不同功率； 受移动机器人扰动的动态信道	USRP 2932	5 MS/s	600个I/Q采样点/样本 5e4条样本/个体
[87]	DJI M100	7	非标准波形	暗室悬停；不同距离(6 ft/9 ft/12 ft/15 ft)	USRP X310	10 MS/s	约92e3个I/Q采样点/样本 2240条样本/个体

下载: 导出CSV 

| 显示表格

在早期的一些射频指纹数据集上，深度学习方法已达到了很高的精度，但这并不能说明已经提取了鲁棒的射频指纹，在小规模、直视信道环境数据集上建立的模型并不能外推到大规模、非直视传输环境和不同时间段的测试环境。RMFL项目组在DARPA超大规模数据集上的研究^[11,61]证实了这一点，辐射源数量的增加、不同时间采集的训练数据和测试数据、不同的接收机等情况都会使个体识别率显著下降。因此，在构建射频指纹数据集时，需要考虑辐射源个体数量、收发机距离、多径效应、温度、不同接收机等各种因素，已有研究者按照SigMF标准^[78]建立了多个射频指纹数据集^[79]，其使用元数据详细描述采集I/Q数据时的发射端设置、环境和信道等配置、接收端参数配置等详细信息。另外，在未知辐射源识别研究中，用于检验模型训练数据分布外泛化能力的数据必须是未知数据，而且数据集中个体数量必须足够多才能开展开集识别研究。乐波等人^[80]的研究表明接收机畸变会对射频指纹产生严重影响，目前大多数射频指纹识别研究都是保持接收机不变，从而忽略接收机对射频指纹的影响。但是，在射频指纹识别应用的部署阶段，我们更希望一次采集和训练得到的模型能够部署到不同的接收机上，而不是为每个接收机建立模型，因此建立多接收机的数据集也很有必要。

一个开源的、有一定规模的、高质量的射频指纹数据集能够让研究者在同一基线上客观地对比各自方法，在构建射频指纹数据集时，还应考虑无线信道环境、温度、采集时间和接收机等多种混杂因素的影响，以便为研究射频指纹的鲁棒性、模型的训练数据分布外泛化能力、不同接收机上的射频指纹识别部署等多种问题提供支持。

4.2   射频指纹识别的数据表示形式

使用深度学习进行无线电信号处理是一个较新的研究方向，网络输入的最佳数据表示形式可能取决于DNN模型架构、学习目标和损失函数的选择^[88]，在无线电信号调制识别和在无线信号干扰检测任务中发现，数据表示形式与任务和SNR相关^[89]，合适的数据表示形式可提升DNN模型的性能。在射频指纹识别中数据表示形式有I/Q、$A / \phi$、FFT、自然对数(Nature Logarithm, NL)、差分I/Q等。表2列出了无先验知识时，射频指纹识别中有关数据表示形式研究的文献及其结论，并给出了各项研究中使用的网络模型、信号类型和设备数量。表2的STFT作为一种数据表示形式，为了实现较好的时频特征提取，实际上需要一些知识来设置合适的参数。

表  2  数据表示形式的研究

Table  2.  Research of data representation

文献	网络模型	信号类型	设备数量	待比较的数据 表示形式	研究结论
[42]	复数CNN	WiFi/ADS-B	100/1000	I/Q, I/Q+FFT	I/Q+FFT更好
[90]	LSTM	WiFi	4	I/Q, NL, I/Q+NL	I/Q+NL更稳定
[51]	有注意力机制CNN	WiFi	20	I/Q, FFT	FFT更好
[91]	复数CNN	WiFi	20	I/Q, 差分I/Q	差分I/Q更好
[85]	CNN	LoRa	25	I/Q, FFT, $A/\phi$	I/Q和$A/\phi$更好
[26]	CNN	LoRa	20	I/Q, FFT, STFT	STFT更好。经频偏补偿后，3种表示形式时模型的 正确率都获得大幅提升，STFT更好
[50]	CNN, LSTM	LoRa	100	I/Q, $A/\phi$ STFT	<10个设备时，$A/\phi$和STFT与LSTM模型配合最好；10～49个设备时， $A/\phi$最好；50个设备以上时，3种数据表示形式都很差
[66]	CNN、复数CNN	Wired/WiFi/ LoRa	20/10/25	I/Q, $A/\phi$	实数CNN：LoRa数据集上，I/Q更好，Wired和WiFi数据集上，$A/\phi$更好 复数CNN：LoRa和WiFi数据集上，I/Q更好，Wired数据集上，$A/\phi$更好

下载: 导出CSV 

| 显示表格

文献[42]发现，在使用复数CNN模型时，采用I/Q+FFT表示形式比I/Q表示形式更好。文献[90]发现，在使用LSTM模型时，采用I/Q+NL表示形式相比NL表示形式没有显著提升，但是结果更加稳定。文献[51]发现，在低信噪比下，FFT表示形式比I/Q表示形式更好。文献[91]发现，差分I/Q表示形式比I/Q表示形式更好，需注意虽然差分处理能够减轻相位旋转、载频偏移和多普勒效应的影响，但是合适的延迟参数仍需要手工设置。文献[85]发现，在使用CNN模型时，I/Q表示形式和$A / \phi$表示形式更好，对变化信道更具鲁棒性，可推测在频域中信道对射频指纹的影响比时域中更大。文献[26]发现，STFT表示形式比I/Q表示形式和FFT表示形式都好，在采取频偏补偿后，3种表示形式的模型正确率都得到了显著提升。文献[50]发现，在设备数量少于10个时，LSTM网络模型与$A / \phi$表示形式和STFT表示形式的结合优于其他组合方式；在设备数量为10~49个时，$A / \phi$表示形式优于几乎其他所有情况；在设备数量大于50时，I/Q, $A / \phi$, STFT 3种表示形式时模型的性能都很差。文献[66]发现，在使用CNN模型时，在LoRa数据集上，I/Q表示形式更好；在Wired和WiFi数据集上，$A / \phi$表示形式更好；在使用复数CNN模型时，在LoRa和WiFi数据集上，I/Q表示形式更好，在Wired数据集上，$A / \phi$表示形式更好。

综上所述，射频指纹识别的最佳数据表示形式与深度学习架构、信号类型和任务规模相关，如文献[50]的研究中发现，3种数据表示形式和两种网络模型的不同组合产生的性能就有很大不同，文献[26]和文献[50]的研究都发现对于LoRa这种线性调频信号，针对时频特征提取的STFT表示形式更具优势。因此，所设计的网络结构应尽可能利用I/Q及其衍生的其他数据表示形式，且当数据表示形式与网络模型相适合时才会获得较好效果，通过某种简明的判别条件在多种数据表示形式或其组合中快速搜索最优数据表示形式，也许是一种兼顾正确率与效率的方法。

4.3   射频指纹识别的数据增强方法

非合作条件下，有效数据少，DNN模型得不到充分训练，容易发生过拟合，而且非合作还意味着需要在未知环境下进行射频指纹识别，由此导致的训练数据与测试数据分布不一致也是一大挑战。使用信号协议知识均衡信道可能同时消除信道环境和射频指纹特征，但均衡不能推广到所有的信号类型^[31]，数据增强(Data Augmentation, DA)方法是一种缓解以上问题的有效措施。数据增强方法能够在一定程度上弥补训练样本匮乏的问题，并且通过赋予数据多样性，能够缓解过拟合问题，降低对某些混杂因素的敏感性，提高DNN模型的泛化能力。数据增强方法可以看作一种对深度学习模型的正则化处理^[92]手段，与Dropout、权重衰减等显式手段不同，数据增强方法并没有降低网络模型的容量和增加计算复杂度。数据增强方法已在图像识别等任务中获得成功应用，在无线电信号调制识别任务中，有叠加高斯噪声^[93]、施加信道衰落效应等数据增强方法。与信号调制特征不同，射频指纹特征更容易受信道等混杂因素影响，如何进行数据增强、提高射频指纹在混杂因素下的鲁棒性是值得研究的问题。下面对射频指纹识别的数据增强方法进行回顾讨论。

(1) 高斯白噪声

添加不同信噪比的高斯白噪声可以模拟收发机间不同距离的衰减，是最常用的数据增强方法，该方法可以使模型在不同信噪比下都具有较好的性能。Shen等人^[27]使用高斯白噪声进行射频指纹数据增强，分别采用在线、离线和无增强策略训练了Transformer模型，实验表明在线增强策略训练的模型在噪声鲁棒性方面更好，训练时间比离线增强策略的时间长。

(2) 信道衰落模型

特定信道环境下训练数据建立的模型可能随着信道环境的变化而恶化^[19]，无线信道衰落模型是对实际无线信道统计上的仿真，包含了实际无线信道的知识，通过在训练数据添加信道衰落效应可以提升模型对特定信道变化的鲁棒性，如Merchant等人^[94]使用Rayleigh信道模型进行数据增强，在训练数据中引入了多径效应，使得模型在多径环境下的性能下降更小；Al-Shawabka等人^[50]通过同时使用ITU-R信道衰落模型和高斯白噪声，将测试与训练数据集为同一天情况下的正确率从82%提高到91%，将测试与训练数据集不在同一天的正确率从19%提高到36%；Shen等人^[84]同时使用信道衰落模型和高斯白噪声进行数据增强，其中信道衰落模型同时考虑了多径效应和多普勒效应，将高速场景(多普勒频移为100 Hz)下的正确率从68.6%提升到80%以上。

(3) 频率偏移模拟

发射机和接收机之间振荡器的频率失配会产生载波频率偏移，温度、器件老化等因素都可能产生频率偏移，而且采用高精度的发射机也可以对频率偏移进行模拟，因此频率偏移并不是可靠的射频指纹，可以通过在信号中引入频率偏移和相位偏移来缓解由此产生的误分类^[33]。Cekic等人^[19]采用了同时使用信道衰落模型和载波频率偏移(Carrier Frequency Offset, CFO)的数据增强方法，发现随着训练数据集中包含的不同时间段训练样本的增多，该数据增强方法的效果越来越接近于采用载波频率偏移补偿和数据增强的组合方法，也即在没有先验知识的情况下可以通过丰富数据多样性来弥补先验知识的不足。

(4) 复数滤波器

采用信道衰落模型的数据增强方法实际上对所使用的信道衰落模型有一个要求，即所施加的信道衰落模型与未知信道环境存在一定的相似性，当对信道环境未知时，该选择哪一种信道衰落模型是一个难题。Soltani等人^[61]利用复数FIR滤波器模拟无线信道对无线电信号幅度和相位的影响，引入类似信道衰落和噪声失真来进行数据增强，使模型对未知的噪声和信道变化具有鲁棒性，该方法不需要有关波形的先验知识，实验表明使用数据增强后，CNN模型的分类正确率得到了至少35%的提升。

此外，还有利用变分自动编码器(Variational AutoEncoders, VAE)^[95]、生成对抗网络(GAN)^[39]和伪随机积分^[96]等进行射频指纹识别的数据增强方法，并且不同的数据增加方法可以组合使用。

5.   总结和展望

目前，在合作条件下或已具备部分先验信息的条件下，并且训练数据与测试数据的信道环境变化较小时，射频指纹识别能够取得很好的效果，并且在一些大规模数据集上进行了验证。但是在信道环境未知，信号调制方案等先验信息匮乏时，开展射频指纹识别仍然是一件困难的任务，而且随着辐射源个体数量的增加，难度还会不断提升。本文从非合作条件下的射频指纹识别需求出发，首先对射频指纹识别研究的总体情况进行概览，剖析了特征工程方法和深度学习方法在射频指纹识别中的优缺点，在跟踪和查阅了近年来国内外研究动态的基础上，指出基于Raw I/Q和深度学习的方法是解决非合作条件下射频指纹识别的一条非常有潜力的技术途径。然后按照CNN模型、RNN模型、Transformer模型以及几何深度学习方法的分类，对已提出的各种直接使用Raw I/Q进行射频指纹识别的DNN模型进行总结分析，讨论了各模型的优缺点和适用范围，厘清了各种模型的发展脉络，并指出通过对网络模型进行合理的对称性假设，赋予网络归纳偏好能够更高效的利用数据、减轻数据搜集的负担、提升网络模型的泛化能力。最后，对目前分散于各项研究中有关射频指纹识别的开源数据集资源、数据表示方法和数据增强方法进行了系统的分类、整理和归纳，为后续研究工作提供一个较为清晰的方向。

将深度学习引入射频指纹识别研究中，能够简化处理流程、形成统一的处理框架、降低对特定领域知识的要求。虽然在无线信道、频率偏移等混杂因素影响下的射频指纹识别研究已取得了一定进展，并初步探索了协议无关、信道弹性的射频指纹识别方法，但是射频指纹面临的混杂因素多且难以控制，深度学习方法还在持续完善和更新，仍然存在许多难点问题需要深入研究，仍然有大量的基础性研究工作有待推动。如深度学习具有黑盒建模的特点，其可解释性偏弱，关于深度学习的可解释性研究是一个值得注意的方向；各种混杂因素会导致数据分布的变化，进而导致深度学习模型性能的恶化，而迁移学习^[97]能够根据任务和环境的变化进行源域到目标域的迁移，是应对数据分布变化的一种有效手段；目前大部分射频指纹识别是研究闭集分类问题，即研究如何在一个有限集合内进行射频指纹识别，而如何对未知辐射源进行开集识别^[41]是一个更贴近实际应用的问题；多辐射源下的射频指纹识别是一个典型的工作场景，在多信号混合^[98]时，如何在不损失各个信号射频指纹的情况下，可靠、高效地分离多个信号是一个难点；接收机也会引入相位噪声、时钟偏移、IQ不平衡等畸变，从而对发射机的射频指纹产生不利影响，如何减小接收机对射频指纹的影响，实现射频指纹在不同接收机之间的传递是一个值得研究的方向。此外，元学习^[35]、联邦学习^[99]、孪生神经网络^[100]等方法也逐渐被应用在射频指纹识别中，射频指纹识别算法的边缘计算节点部署工作^[101,102]也已开展研究，随着深度学习方法在理论、算法、模型、应用等方面的不断进步，射频指纹识别面临的各种难题也将有所突破。