Loading [MathJax]/jax/output/SVG/jax.js

杂波先验数据缺失条件下基于级联优化处理的雷达波形设计方法

张应奎 孙国皓 钟苏川 余显祥

何密, 平钦文, 戴然. 深度学习融合超宽带雷达图谱的跌倒检测研究[J]. 雷达学报, 2023, 12(2): 343–355. doi: 10.12000/JR22169
引用本文: 张应奎, 孙国皓, 钟苏川, 等. 杂波先验数据缺失条件下基于级联优化处理的雷达波形设计方法[J]. 雷达学报, 2023, 12(1): 235–246. doi: 10.12000/JR22166
HE Mi, PING Qinwen, and DAI Ran. Fall detection based on deep learning fusing ultrawideband radar spectrograms[J]. Journal of Radars, 2023, 12(2): 343–355. doi: 10.12000/JR22169
Citation: ZHANG Yingkui, SUN Guohao, ZHONG Suchuan, et al. Radar waveform design method based on cascade optimization processing under missing clutter prior data[J]. Journal of Radars, 2023, 12(1): 235–246. doi: 10.12000/JR22166

杂波先验数据缺失条件下基于级联优化处理的雷达波形设计方法

DOI: 10.12000/JR22166
基金项目: 国家自然科学基金(62201371),四川省自然科学基金(2022NSFSC1952)
详细信息
    作者简介:

    张应奎,硕士生,主要研究方向为基于机器学习的雷达信号处理方法

    孙国皓,博士,副研究员,主要研究方向为认知雷达信号处理、分布式雷达信号处理、机载/星载雷达信号处理、天域态势感知

    钟苏川,副研究员,主要研究方向为随机动力系统、随机信号处理等

    余显祥,博士后,主要研究方向为雷达波形设计与处理、最优化理论算法以及阵列信号处理等

    通讯作者:

    孙国皓 sghsjw2005@126.com

  • 责任主编:唐波 Corresponding Editor: TANG Bo
  • 中图分类号: TN958

Radar Waveform Design Method Based on Cascade Optimization Processing under Missing Clutter Prior Data

Funds: The National Natural Science Foundation of China (62201371), Sichuan Provincial Natural Science Foundation (2022NSFSC1952)
More Information
  • 摘要: 认知雷达波形设计往往依赖于精准的杂波先验信息,当先验信息数据存在缺失时,所构建的杂波模型会严重失配,进而影响雷达对杂波的抑制能力。该文针对杂波先验数据缺失条件下的雷达波形优化问题,建立完全随机缺失机制下的点状与块状缺失场景,设计恒模与相似性约束的波形优化模型,提出基于优先级填充-强化学习级联优化的雷达波形训练算法:即采用强化学习智能体与填充算法修复后的杂波环境相交互的级联方法,以最大化信杂噪比为优化目标,通过迭代训练得到雷达最佳波形参数配置策略。最后,仿真验证不同缺失概率条件下所提算法的优越性。结果表明:相比于传统非级联优化算法,该文所提算法均可获得更优的杂波抑制性能,有效提升雷达的探测能力。

     

  • 我国是老年人口规模最大的国家,也将是人口老龄化速度最快的国家。2021年第7次人口普查显示,60岁及以上人口为26402万人,占总人口的18.70%,65岁及以上人口为19064万人,占总人口的13.50%。根据联合国人口预测,到2037年,我国60岁及以上老年人口将占到总人口的30%以上[1,2]。而随着年龄的增长,老年人的体质衰退,听力、视力、平衡协调能力等方面下降,常常会导致老人突然失去平衡和行动能力而发生跌倒。据世界卫生组织(World Health Organization, WHO)报道每年65岁以上老人出现跌倒的概率为28%~35%,并随着年龄增加而逐步提高;且跌倒是79岁以上老人意外伤害死亡最主要的原因之一,经历跌倒的老人比未跌倒过的老人更易死亡,风险比值为5.11[3]。研究显示,老人跌倒后如能得到及时救助,可以有效降低80%的死亡风险和26%的长期住院治疗风险[4]。因此跌倒检测技术具有重要的研究意义和社会价值。

    根据不同的工作原理,跌倒检测系统可分为接触式(即可穿戴式)和非接触式(即环境感知式)两大类[5-13]。环境感知式传感器—雷达不受光照、声音、温度变化的影响,能较好地保护用户隐私,近年来开始应用于人体行为和步态识别的研究[14]。由于窄带多普勒雷达结构简单、造价低廉,已广泛应用于非接触式跌倒检测研究[15-17]。相比窄带多普勒雷达,超宽带(Ultrawideband, UWB)雷达不仅能够较好地分辨多普勒速度,还具备良好的距离分辨力,因此能够给跌倒行为检测提供更多维度的信息,以提高跌倒识别准确率[18]。近年来,面向人体行为识别和智慧家居的超宽带生物雷达实现了集成化、小型化和量产化,开始应用于室内跌倒识别的研究中[19,20]

    在早期的雷达跌倒检测算法研究中,多采用人工模式提取特征,如从雷达的距离多普勒谱图和时间多普勒谱图中提取多普勒带宽、步伐频率、多普勒最大值或最小值及其比值、小波变换系数、余弦变换系数、Mel-倒谱、线性预测编码系数等特征[21],并结合机器学习进行分类[22]。与人工提取特征模式相比,基于数据驱动的深度学习方法能自动提取特征,一般能获得更好的分类效果。但如果将雷达信号原始数据直接输入深度学习网络,往往会导致网络的结构偏大[23]。因此,目前大多数研究一般会对雷达原始数据做一些预处理再输入深度学习网络[18],常用的预处理方法如小波变换、短时傅里叶变换(Short Time Fourier Transform, STFT)、稀疏自编码器、主成分分析(Principal Component Analysis, PCA)等。Jokanović等人[24]通过连续波雷达采集3个受试者117 次跌倒和291次非跌倒数据,利用堆叠稀疏自编码器自动提取雷达时频域和距离域信息的特征,再用多元逻辑回归进行分类,最高的准确率为97.1%,但对应的灵敏度仅为79.0%。Erol等人[25]利用多维PCA自动提取4个受试者的109次跌倒、105次坐下、95次弯腰和76次行走的3D距离-多普勒-时间数据的特征,检测跌倒准确率可达96%以上。Wang等人[26]提出了一种用于雷达微多普勒时序数据分类的堆叠式门控循环单位(Gated Recurrent Units, GRU)网络,用于识别人体运动类型,在对整个序列进行分类时,GRU的表现明显优于卷积神经网络(Convolutional Neural Network, CNN)。Taylor等人[27]利用CNN和PCA对数据集中198次跌倒和1435次非跌倒的多普勒时间谱图像进行训练和验证,准确率可达95.3%。Anishchenko等人[28]利用两个窄带多普勒雷达进行跌倒检测,结合小波变换和AlexNet网络,对5个受试者175次摔倒和175次非摔倒数据进行训练和测试,准确率为99.3%,但数据偏少,网络结构复杂,数据划分不互斥。Arab等人[29]利用连续小波变换预处理1000例动作(其中跌倒125例)的雷达正交通道信号,得到去噪尺度图,将其和原始信号输入双通道CNN中进行跌倒检测,准确率为96%,但存在类别严重不平衡和数据泄露等问题。

    从目前的国内外研究现状来看,基于雷达的非接触跌倒检测的样本量普遍偏少,一般为2~5个受试者的数据,且不公开;现有数据集的动作类型普遍偏少且场景单一[29];因此,对于深度学习而言,现有数据集数据往往不足以训练网络结构和参数,可能会导致网络泛化能力差、通用性能低。以前的研究多采用窄带多普勒雷达,导致行为识别精度不够高。有些研究在网络参数训练时存在数据泄露问题,往往将同一人的动作数据既用在训练集也用在验证集,而有些研究没有测试集,也没有采用多种场景中的数据进行验证,模型的通用性和泛化能力未得到验证;Anishchenko等人[28]未对雷达数据做预处理,导致训练的深度学习网络结构普遍庞大,不适宜线上实时处理;有些算法仅使用了超宽带雷达在某个距离单元的时间多普勒谱信息,同时浪费了距离时间谱和距离多普勒谱的信息,在识别准确率上还有待提高[20,30]

    因此本文将采用调频连续波(Frequency Modulated Continuous Wave, FMCW)超宽带雷达在多个真实的室内复杂场景下采集多名受试者的日常行为和跌倒的回波数据,设计深度学习网络融合3种图谱的信息,从而提高跌倒识别的准确率,网络训练、验证和测试过程中始终保证数据的互斥性。本文的整体研究框图如图1所示,超宽带雷达在场景1下采集的数据用于网络训练和交叉验证,场景2下采集的数据用于网络测试,雷达采集的回波经去斜处理、距离压缩、动目标显示(Moving Target Indic-ation, MTI)等预处理,生成包含互补信息的距离时间谱、距离多普勒谱和时间多普勒谱3种图谱,然后利用轻量级深度学习网络MobileNet-V3基本结构设计数据级、特征级和决策级3种融合方式下的深度学习网络,最后给出是否跌倒的判断。

    图  1  深度学习融合超宽带雷达图谱检测跌倒的整体研究框图
    Figure  1.  Overall research block diagram of deep learning fusing ultrawideband radar spectrograms for fall detection

    本研究中FMCW雷达发射和接收的信号为三角波形,如图2所示。其中红色线条为发射波形,蓝色线条为接收波形,T为线性调频信号的周期,PRT为脉冲重复周期,B为雷达发射信号的带宽,fc为雷达中心频率。

    图  2  FMCW雷达发射和接收波形示意图
    Figure  2.  Schematic diagram of transmitting and receiving waveforms of the FMCW radar

    FMCW雷达对接收回波Sr(t)进行去斜处理,得到差频信号Sb(t)[31]

    Sb(t)=Sr(t)St(t) (1)

    其中,表示共轭转置,St(t)是发射信号。通过去斜处理,回波信号与发射信号之间的延时就转换为不同差频信号的频率,对应目标的距离。差频信号再经傅里叶变换,从而得到目标的一维距离像,如式(2)所示:

    RT(r)=F[sb(t)]=Aexp(j4πfccR(t))sinc(T(fr2kscR(t))) (2)

    其中,函数F[]为傅里叶变换,j是虚数单位,c为光速,R(t)是目标与雷达之间距离随时间变化的函数,sinc(x)=sin(2πx)2πxfr为快时间t对应的频率采样,可换算成距离rks为调频斜率。

    一个发射周期的信号经上述处理后得到一个一维距离像,将其离散化,按照距离单元排成行向量,如图3中的行向量。多个周期的信号经相同处理后,可以得到多个一维距离像,按照时间先后排列可形成一个距离时间矩阵RT,如图3所示,其中行方向为距离单元,列方向为慢时间采样(采样率为1/PRT)。距离时间矩阵为

    图  3  距离时间矩阵RT的排列示意图
    Figure  3.  Arrangement diagram of range-time matrix RT
    RT(r,ts)=F[sb(t,ts)] = Aexp(j4πfccR(ts))sinc(T(fr2kscR(ts))) (3)

    其中,ts是慢时间采样,R(ts)是慢时间的函数。

    对距离时间矩阵RT先进行MTI处理,抑制静态杂波,然后再归一化,并将归一化幅值转化为分贝表示,得到距离时间谱RTS,跌倒和行走的RTS分别如图4所示:

    图  4  跌倒和行走的距离时间谱图
    Figure  4.  Range-time spectrograms of fall and walk
    RTS=20lg|RTmax(RT)| (4)

    其中,|·|表示取绝对值,max(·)表示求所有元素中的最大值。

    沿距离时间矩阵RT的慢时间方向(列方向)进行Nfft点FFT变换,得到距离多普勒矩阵RD,如图5所示,行方向为距离单元,列方向为多普勒频率。对距离多普勒矩阵RD归一化,并将归一化幅值转化为分贝表示,得到距离多普勒谱RDS,跌倒和行走的RDS分别如图6所示。

    图  5  距离多普勒矩阵RD的排列示意图
    Figure  5.  Arrangement diagram of range-Doppler matrix RD
    图  6  跌倒和行走的距离多普勒谱图
    Figure  6.  Range-Doppler spectrograms of fall and walk

    对距离时间矩阵RT的第m个距离单元的时序信号RTm(n)(n =1, 2, ···, N),进行时频分析(如STFT),可以得到时间多普勒矩阵TD。为了更好地反映运动目标特征,采用文献[30]中的方法选取最优距离单元上的信号RTm(n) 进行STFT。

    TD(n,k)=K1i=0RTm(i)W(in)exp(j2πik/K) (5)

    其中,n是慢时间采样,k是频率采样,W(·)是滑窗函数,K是加窗傅里叶变换的点数。

    同理,对时间多普勒矩阵TD归一化,并将归一化幅值转化为分贝表示,得到距离多普勒谱TDS。跌倒和行走的TDS分别如图7所示。

    图  7  跌倒和行走的时间多普勒谱图
    Figure  7.  Time-Doppler spectrograms of fall and walk

    MobileNet-V3是由Google团队在2019年提出的专注于移动端或者嵌入式设备中的轻量级CNN网络,分为Large和Small两个版本,网络参数大小分别为5.4 MB和2.5 MB[32]。本文后面提及的MobileNet-V3网络特指参数更小的Small版本。

    3.1.1   MobileNet-V3网络

    MobileNet-V3相比CNN,能在准确率小幅降低的前提下大大减少模型参数与运算量是因为包含3个重要结构:深度可分离卷积、倒残差结构和轻量级注意力模块[32],如图8所示。具体包括:(1)深度可分离卷积中一个卷积核只作用一个输入通道,逐点卷积运算类似标准卷积,使用尺寸为1×1的卷积核扩大输出特征的通道数,在提取雷达图谱特征时减少了参数量和计算量。(2)倒残差结构在特征提取时首先使用标准卷积对特征进行扩维,然后使用深度可分离卷积进一步提取特征且输出通道维度与标准卷积输出通道维度一致。倒残差结构能够很好地保留雷达图谱中的行为动作重要特征信息,且对输入特征重用,可避免模型在训练时出现梯度消失。(3)轻量级注意力模块与倒残差结构相结合,调整不同通道的权重,从而保证模型更加关注雷达图谱中的关键信息。

    图  8  MobileNet-V3的核心结构
    Figure  8.  Core structure of MobileNet-V3

    此外,MobileNet-V3采用h-swish激活函数能够提高网络精度[32],其具体表达式为

    h-swish(x)=xReLU6(x+3)6 (6)

    其中,函数ReLU6 (x) = min(6,max(0,x))。Softmax交叉熵损失函数L用于衡量预测值与实际值之间的相似程度,其具体表达式为

    L=1NsNsi=12q=1I(li=q)lg(pi) (7)

    其中,Ns是用于训练的样本个数,pi是网络输出的概率。

    3.1.2   数据级融合网络

    数据级融合网络的结构设计如图9所示,该网络将UWB雷达的距离时间谱、距离多普勒谱和时间多普勒谱3种图谱分别读取成灰度图像,经过统一尺寸变化后,然后将3个图谱按初始权重相等的组合方式叠加融合在一起组成3通道数据。基于数据级融合的网络由于结合了轻量级注意力模块与倒残差结构,训练过程中可调整3种图谱所在通道的权重,提高跌倒行为的识别能力。

    图  9  数据级融合网络的结构示意图
    Figure  9.  Structure diagram of data level fusion network
    3.1.3   特征级融合网络

    特征级融合网络的结构设计如图10所示,共分3个支路,每个支路均采用MobileNet-V3网络结构,输入3种图谱的灰度图像,分别提取每种图谱的特征。在全连接层将3个支路提取的特征拼接作为分类器的输入,为了防止过拟合,提升网络性能,再加入两级Dropout层和全连接层,最后分类器给出识别结果。

    图  10  特征级融合网络的结构示意图
    Figure  10.  Structure diagram of feature level fusion network
    3.1.4   决策级融合网络

    决策级融合网络结构如图11所示,输入也为3种图谱的灰度图像,分为两部分:第1部分采用MobileNet-V3网络分别对3种图谱进行特征提取并初步分类,第2部分采用投票机制将分类结果重新投票得出最终预测结果。投票机制采用多数投票的方式,将得分最高的结果作为最终预测结果。

    图  11  决策级融合网络的结构示意图
    Figure  11.  Structure diagram of decision level fusion network
    3.2.1   模型训练和测试

    为了训练出可靠的网络模型,本文采用K折交叉验证的方法,即每轮训练中选择场景1中(K–1)/K数据作为训练集,1/K的数据作为验证集。另外,为了测试训练模型的泛化能力,本文将场景2下新受试者的数据作为测试集,对参数优化后的模型进行测试。

    3.2.2   评价指标

    模型性能评价指标主要包括灵敏度(Sensitivity, Se)、特异性(Specificity, Sp)、准确率(Accuracy, Ac)、精密度(Precision, Pr)和F1-Score,计算公式如下:

    Se=TPP (8)
    Sp=TNN (9)
    Ac=TP+TNP+N (10)
    Pr=TPTP+FN (11)
    F1-Score=2PrSePr+Se (12)

    其中,P表示真实跌倒的次数,N表示真实非跌倒的次数,TP表示判断正确的跌倒次数,TN表示判断正确的非跌倒次数,FN表示将真实跌倒判断为非跌倒的次数,FP表示将真实非跌倒判断为跌倒的次数。分别计算模型在交叉验证集和测试集中上述指标的结果,以评估不同分类模型的效果。

    本实验采用K波段UWB雷达探测系统,如图12所示,工作带宽设置为2 GHz,发射功率为12 dBm,发射波形为三角波,重复周期设置为0.5 ms,对应的脉冲重复频率为2000 Hz,快时间采样频率为500 kHz,天线方位和俯仰波束宽度分别为30°和20°。

    图  12  K波段UWB雷达跌倒检测系统
    Figure  12.  K band UWB radar fall detection system

    实验尽可能全方位地考虑现实生活中的跌倒和日常行为动作。日常行为动作包括常见的行走、坐下、躺下、起立、慢速上下楼梯等的动作,其特点是行动速率较慢、速率变化幅度较小且频率较低,与人体跌倒时速率急速变化区别较大,比较容易区分。此外,增加了较为剧烈的日常行为动作,如慢跑、爬行等。跌倒动作包括晕倒、跌倒、滑倒、上下楼梯绊倒等。考虑到现实生活中行为动作发生位置的随意性和方向的随机性,动作数据将在距离雷达不同位置、不同方位上采集。实验方案通过了陆军军医大学伦理委员会批准(批准号:AF/sc-03/1.0, 2021年),由于跌倒实验本身存在一定危险因素,考虑到老人普遍的身体状况,本实验中的受试者均为青壮年,且跌倒在提供足够缓冲的海绵垫上。实验共收集了36名受试者的数据,受试者男女的性别比例为23:13。实验中统计了受试者的年龄、身高、体重和体质指数(Body Mass Index, BMI)信息,经Shapiro-Wilk统计分析,除年龄以外其他参数均满足正态分布。受试者统计信息如下:年龄为Q2(Q1, Q3)=22.0(20.0, 24.75),身高为169.1±8.0 cm,体重为59.9±9.5 kg,BMI为20.8±2.1 kg/m2

    本实验设计了常见的20种日常行为动作及10种跌倒动作,部分动作示意图如图13所示。为增加样本的多样性,受试者每个动作需重复测量3次,且每次动作受试者可随意发挥以增加随机性。每条数据采集的时长至少为5 s,参考文献[18,33],目前截取4 s时长的数据进行后续分析。场景1的房间尺寸为640 mm×492 mm×246 mm(长×宽×高),场景2的房间尺寸为560 mm×247 mm×263 mm(长×宽×高)。为了模拟真实房间场景,两个房间中随机摆放了各种办公桌椅、病床、沙发、铁皮文件柜等,如图14所示。

    图  13  实测实验设计的日常行为与跌倒部分动作示意图
    Figure  13.  Schematic diagram of daily behaviors and a part of falls designed in the experiment
    图  14  实测实验多场景示意图
    Figure  14.  Multi-scene schematic diagram of the experiment

    本文数据库K-UWB-MSHA-1.0共包含两个场景下36名受试者共3240例UWB雷达行为测量数据,其中场景1采集的数据作为训练集(共2700例来自前30名受试者),场景2采集的数据作为测试集(共540例来自后6名受试者)。附录提供了数据集K-UWB-MSHA-1.0的下载和使用说明链接。为了提高训练模型的泛化能力,本文对训练集的样本进行数据增强处理,但考虑到雷达图谱与自然图像之间的差异,仅对3种图谱进行水平和垂直翻转。因此数据增强后,5折交叉验证中训练集和验证集的样本数量分别为6480和1620。

    训练集、验证集和测试集的数据划分遵循互斥原则,即不仅数据样本互斥,而且每个受试者的所有样本只能划分至一个数据集,从而避免了验证和测试时的数据泄露。

    深度学习网络模型训练的工作站采用专业版Windows10 64位操作系统,配置为Intel Xeon 6核CPU,191 GB运行内存,NVIDIA Quadro RTX 6000显卡。深度学习框架采用Pytorch 1.10.1,环境Python版本为3.7.12,CUDA版本为11.1。

    为了公平测试不同网络的性能,模型训练阶段采用固定的随机数种子保证每种网络模型划分时训练集和验证集一致。此外输入图谱的尺寸、训练轮数、学习率等超参数也保持一致。具体而言,图谱的输入尺寸统一设置为224×224,每种网络模型训练轮数皆为30,学习率为0.01,采用Adam优化函数,每轮训练迭代的批样本数为256,训练过程中利用GPU加速计算,权重衰减系数为10–5。模型训练完成后,利用场景2下的数据对模型进行测试。表1分别列出了本文所用到的MobileNet-V3网络(以距离时间谱为例)、数据级融合网络、特征级融合网络和决策级融合网络的训练耗时,训练好后网络模型的大小,以及利用这些网络进行单张图片测试的平均耗时(1000张图片耗时的平均值)。可以看出,单个MobileNet-V3网络和数据级融合网络在大小和单张图片测试耗时基本是一致的。决策级的网络最大,约17.7 MB,单张图片测试需要耗时0.1 s左右,可以做到实时处理。

    表  1  MobileNet-V3网络和融合网络的大小及耗时对比
    Table  1.  Comparison of size and time consumption of MobileNet-V3 network and fusion networks
    网络类型训练耗时(h)网络大小(MB)测试平均耗时(s)
    MobileNet-V3(距离时间谱)0.28335.90820.0035
    数据级2.35005.90920.0030
    特征级1.544711.90720.0046
    决策级0.850017.72460.1030
    下载: 导出CSV 
    | 显示表格

    图15展示了利用场景1中单个图谱的数据进行5折交叉验证时准确率(图15(a)图15(c)图15(e))和交叉熵损失值(图15(b)图15(d)图15(f))随训练轮数的变化曲线。图16展示了融合场景1中3种图谱的数据进行5折交叉验证时准确率(图16(a)图16(c)图16(e))和交叉熵损失值(图16(b)图16(d)图16(f))随训练轮数的变化曲线。可以看出,无论是单种图谱还是融合方法经过30轮的训练,准确率和交叉熵损失值均趋于稳定。相对于单个图谱和其他两种融合方法,特征级融合方法在不同折上性能差异比较大,从而表明该方法对数据的依赖较大,容易过拟合。

    图  15  仅用单图谱检测跌倒的5折交叉验证的准确率及交叉熵损失随训练轮数的变化曲线
    Figure  15.  Curves of accuracy and cross entropy loss of 5-fold cross-validation using one kind of spectrograms for fall detection
    图  16  融合方法检测跌倒的5折交叉验证的准确率及交叉熵损失随训练轮数的变化曲线
    Figure  16.  Curves of accuracy and cross entropy loss of 5-fold cross-validation using fusion methods for fall detection

    表2列出了单种图谱和融合方法检测跌倒的5折交叉验证的平均结果。可以看出,单种图谱中检测性能最优的是距离时间谱,其5折交叉验证的准确率为0.9923,其次是时间多普勒谱(准确率为0.9893)。数据融合方法和决策融合方法的检测性能都比单种图谱方法的效果有所提升,决策模型在相同条件下检测效果最佳,其5折交叉验证的准确率可达0.9956。但特征级融合在5折交叉验证结果中,平均性能较单种图谱有所下降,其原因是在某些折上检测性能变差。

    表  2  跌倒检测5折交叉验证评价指标对比(场景1)
    Table  2.  Comparison of evaluation indicators for 5-fold cross-validation of fall detection (Scene 1)
    模型AcPrSeSpF1-score
    单种图谱距离时间谱0.99230.98990.98890.99500.9894
    距离多普勒谱0.98220.97120.97560.98560.9734
    时间多普勒谱0.98930.98340.98440.99170.9839
    融合方法数据级融合0.99330.99110.98890.99560.9900
    特征级融合0.98660.97570.98440.98780.9801
    决策级融合0.99560.99330.99330.99670.9933
    下载: 导出CSV 
    | 显示表格

    表3列出了仅用单种图谱和融合方法在场景2的测试结果。可以看出,仅用距离时间谱的数据能够获得单种图谱最高的检测性能,准确率为0.9537,但距离多普勒谱的准确率只有0.9167,说明其泛化能力较差。融合方法中,数据级和决策级融合相比于单种图谱具有更好的预测性能。在新的场景下,决策级融合的方法具有最高的检测性能,准确率可达0.9778,F1-score可达0.9659。但特征级融合方法的性能相对于单种图谱没有提升,说明其泛化能力差。另外表3表2的结果具有一致性。

    表  3  不同模型之间跌倒检测性能的对比(场景2)
    Table  3.  Comparison of fall detection performance between different models (Scene 2)
    模型AcPrSeSpF1-score
    单种图谱距离时间谱0.95370.92350.93890.96110.9313
    距离多普勒谱0.91670.85710.90000.92500.8781
    时间多普勒谱0.95190.92310.93330.96110.9282
    融合方法数据级融合0.95740.97010.90000.98610.9337
    特征级融合0.94820.97500.86670.98890.9177
    决策级融合0.97780.98830.94440.99440.9659
    下载: 导出CSV 
    | 显示表格

    图17分别给出了用单种图谱和融合方法对场景2的数据进行测试时的混淆矩阵。为了验证不同方法在新场景下对新的受试者数据中检测跌倒的准确率之间是否存在统计性差异,本文将采用配对设计4表格资料卡方检验(McNemar检验)。为此,分别计算需要对比的两种方法中方法1判断正确但方法2判断错误的个数a,方法1判断错误但方法2判断正确的个数b。构造统计量,χ2=(ab)2/(a+b),则假设检验为

    图  17  用场景2数据测试各种模型时得到的混淆矩阵
    Figure  17.  Confusion matrix obtained when testing various models using data of Scene 2
    {H0H1 (13)

    按显著性水平α=0.05拒绝H0。本文的统计分析通过软件统计产品与服务解决方案(Statistical Product and Service Solutions, SPSS)实现,结果表明决策级融合方法优于单种图谱方法(3个P值均<0.001)、数据级融合方法(P =0.003)和特征级融合方法(P <0.001)。数据级&特征级融合方法与单用距离时间谱(两个P值均为1.000)和时间多普勒谱(P =0.152, P =0.690)的方法之间没有显著性差异,但优于单用距离多普勒谱的方法(两个P值均 <0.001)。特征级与数据级融合方法之间没有统计性差异(P =0.367)。

    为克服窄带雷达获取动作行为信息有限以及现有数据集数据量偏少等问题,本研究采用UWB雷达在2个真实的室内复杂场景下采集36名受试者的日常行为和跌倒的回波数据,建立了动作类型丰富、多场景、多受试者的数据集,设计了基于MobileNet-V3的轻量级深度学习网络融合3种雷达图谱的信息以提高跌倒识别的性能。网络模型在训练、验证和测试过程中始终保证数据的互斥性,防止了数据泄露的问题。采用了多种指标衡量比较不同融合模型的效果,并与单种图谱的识别效果进行了比较。通过统计分析发现,本文提出的决策级融合方法相对于单种图谱、数据级、特征级融合方法,能够提高跌倒检测性能(统计分析表明所有P 值不超过0.003),其5折交叉验证的准确率为0.9956,F1-score为0.9933,在新场景下测试的准确率为0.9778,F1-score可达0.9659,具有较强的泛化能力。

    由于雷达的型号参数和观察角度会影响现有模型的识别性能,因此不同参数的雷达需要重新训练网络,为了完善数据集,今后将增加更多的探测角度(如垂直雷达视线的角度)。在数据处理方面将考虑数据流的形式,以真正实现实时跌倒检测,并进一步分析不同图谱对于不同动作的识别性能是否存在差异。

    K波段超宽带雷达跌倒检测图谱数据集1.0 (K-UWB-FDHA-1.0)依托《雷达学报》官方网站发布(附图1),网址为https://radars.ac.cn/web/data/getData?dataType=DatasetinthePaper

    1  K波段超宽带雷达跌倒检测图谱数据集-1.0发布网页
    1.  Release webpage of K band UWB radar spectrogram dataset-1.0 for fall detection
  • 图  1  缺失场景示意图

    Figure  1.  Schematic diagram of the missing scene

    图  2  级联优化算法整体框架图

    Figure  2.  Overall framework diagarm of the cascade optimization algorithm

    图  3  数据修复结构原理图

    Figure  3.  Schematic diagram of data repair structure

    图  4  雷达波形设计的DDPG算法结构图

    Figure  4.  Structure diagram of DDPG algorithm for radar waveform design

    图  5  杂波参考矩阵可视化图

    Figure  5.  Visualization of the clutter reference matrix

    图  6  杂波数据信息缺失图

    Figure  6.  Missing information of clutter data

    图  7  点状缺失场景下缺失数据修复图

    Figure  7.  Missing data repair diagram in the point-like missing scene

    图  8  块状缺失场景下缺失数据修复图

    Figure  8.  Missing data repair diagram in the block-like missing scenario

    图  9  不同缺失概率下数据修复性能分析

    Figure  9.  Data repair performance analysis under different missing probability

    图  10  仅恒模约束下强化学习奖励曲线图

    Figure  10.  Reinforcement learning reward curves under constant modulus constraint

    图  11  仅恒模约束下不同场景的输出SCNR性能曲线图

    Figure  11.  Output SCNR performance curves of different scenarios under constant modulus constraint

    图  12  相似性约束下强化学习奖励曲线图

    Figure  12.  Reinforcement learning reward curves under similarity constraints

    图  13  相似性约束下不同场景的输出SCNR性能曲线图

    Figure  13.  Output SCNR performance curves of different scenarios under similarity constraints

    表  1  优先级填充算法

    Table  1.   Priority filling algorithm

     输入:杂波缺失矩阵˜C,滑窗维度M
     输出:杂波修复矩阵ˆC
     1:将杂波缺失矩阵˜C分为目标区域Ω和源区域Φ
     2:根据式(13)初始化置信度C(p)
     3:识别目标区域轮廓δΩ
     4:根据式(10)计算优先级P(p), pδΩ
     5:找到优先级最高的待填充样本ΨˆpCM×M,即
       ˆp=argmaxpδΩP(p)
     6:根据式(14)得到最相似样本Ψˆq
     7:将最相似样本Ψˆq内的数据信息复制到Ψˆp
     8:根据式(15)更新置信度C(p)
     9:判断Ω是否为空集,如果是,算法结束;否则跳转3
    下载: 导出CSV

    表  2  基于DDPG的波形优化算法

    Table  2.   Algorithm for waveform optimization based on DDPG

     输入:Actor策略网络及其目标网络,Critic评估网络及其目标网络,网络参数分别为θ,θ,ω,ω,奖励衰减因子γ,软更新系数τ,最大迭
        代次数T,经验回放池R,采样样本数K
     输出:最佳Actor策略网络π(a|s)
     1:随机初始化Actor策略网络参数θ和Critic评估网络参数ω
     2:初始化目标网络参数θ=θ, ω=ω
     3:初始化经验回放池R
     4:for 回合e{1,2,,T} do
     5: 初始化随机噪声N,初始化状态s
     6: 根据式(16)得到Actor网络的输出动作at
     7: 执行动作at,获得下一时刻状态st+1,反馈奖励rt
     8: 将{st,at,rt,st+1}存入经验回放池R
     9: 从经验回放池中随机采样K个经验样本{si,ai,ri,si+1}, i=1,2,,K
     10: 根据式(17)和式(18)更新Actor策略网络和Critic评估网络
     11: 根据式(19)更新目标网络参数θω
     12: 判断st+1是否为终止状态,如果是,迭代完毕,否则跳转步骤5
    下载: 导出CSV

    表  3  强化学习参数表

    Table  3.   Reinforcement learning parameters table

    参数数值
    经验池大小200000
    训练批次大小64
    训练总次数100000
    回合训练次数1000
    学习率0.001
    惩罚因子0.98
    Actor, Critic网络层节点数[400, 300]
    下载: 导出CSV
  • [1] TANG Bo and TANG Jun. Joint design of transmit waveforms and receive filters for MIMO radar space-time adaptive processing[J]. IEEE Transactions on Signal Processing, 2016, 64(18): 4707–4722. doi: 10.1109/TSP.2016.2569431
    [2] TANG Bo, TUCK J, and STOICA P. Polyphase waveform design for MIMO radar space time adaptive processing[J]. IEEE Transactions on Signal Processing, 2020, 68: 2143–2154. doi: 10.1109/TSP.2020.2983833
    [3] YU Xianxiang, CUI Guolong, YANG Jing, et al. Wideband MIMO radar waveform design[J]. IEEE Transactions on Signal Processing, 2019, 67(13): 3487–3501. doi: 10.1109/TSP.2019.2916732
    [4] WU Linlong and PALOMAR D P. Radar Waveform Design Via the Majorization-Minimization Framework[M]. CUI Guolong, DE MAIO A, FARINA A, et al. Radar Waveform Design Based on Optimization Theory. London: The Institution of Engineering and Technology, 2020: 185–220.
    [5] O’ROURKE S M, SETLUR P, RANGASWAMY M, et al. Quadratic semidefinite programming for waveform-constrained joint filter-signal design in STAP[J]. IEEE Transactions on Signal Processing, 2020, 68: 1744–1759. doi: 10.1109/TSP.2020.2977271
    [6] TANG Bo, NAGHSH M M, and TANG Jun. Relative entropy-based waveform design for MIMO radar detection in the presence of clutter and interference[J]. IEEE Transactions on Signal Processing, 2015, 63(14): 3783–3796. doi: 10.1109/TSP.2015.2423257
    [7] WANG Yikai, XIA Wei, HE Zishu, et al. Polarimetric detection in compound Gaussian clutter with Kronecker structured covariance matrix[J]. IEEE Transactions on Signal Processing, 2017, 65(17): 4562–4576. doi: 10.1109/TSP.2017.2716912
    [8] SUN Guohao, HE Zishu, TONG Jun, et al. Mutual information-based waveform design for MIMO radar space-time adaptive processing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(4): 2909–2921. doi: 10.1109/TGRS.2020.3008320
    [9] 崔国龙, 余显祥, 杨婧, 等. 认知雷达波形优化设计方法综述[J]. 雷达学报, 2019, 8(5): 537–557. doi: 10.12000/JR19072

    CUI Guolong, YU Xianxiang, YANG Jing, et al. An overview of waveform optimization methods for cognitive radar[J]. Journal of Radars, 2019, 8(5): 537–557. doi: 10.12000/JR19072
    [10] 王珽, 赵拥军, 胡涛. 机载MIMO雷达空时自适应处理技术研究进展[J]. 雷达学报, 2015, 4(2): 136–148. doi: 10.12000/JR14091

    WANG Ting, ZHAO Yongjun, and HU Tao. Overview of space-time adaptive processing for airborne MIMO radar[J]. Journal of Radars, 2015, 4(2): 136–148. doi: 10.12000/JR14091
    [11] AUBRY A, DE MAIO A, MARANO S, et al. Structured covariance matrix estimation with missing-(complex) data for radar applications via expectation-maximization[J]. IEEE Transactions on Signal Processing, 2021, 69: 5920–5934. doi: 10.1109/TSP.2021.3111587
    [12] HIPPERT-FERRER A, EL KORSO M N, BRELOY A, et al. Robust low-rank covariance matrix estimation with a general pattern of missing values[J]. Signal Processing, 2022, 195: 108460. doi: 10.1016/j.sigpro.2022.108460
    [13] PAVEZ E and ORTEGA A. Covariance matrix estimation with non uniform and data dependent missing observations[J]. IEEE Transactions on Information Theory, 2021, 67(2): 1201–1215. doi: 10.1109/TIT.2020.3039118
    [14] ZHANG Ying, LIE J P, NG B P, et al. Robust minimum 1-norm adaptive beamformer against intermittent sensor failure and steering vector error[J]. IEEE Transactions on Antennas and Propagation, 2010, 58(5): 1796–1801. doi: 10.1109/TAP.2010.2044353
    [15] XIONG Can, XIAO Gaobiao, HOU Yibei, et al. A compressed sensing-based element failure diagnosis method for phased array antenna during beam steering[J]. IEEE Antennas and Wireless Propagation Letters, 2019, 18(9): 1756–1760. doi: 10.1109/LAWP.2019.2929353
    [16] GAO Yongchan, LIAO Guisheng, and LIU Weijian. High-resolution radar detection in interference and nonhomogeneous noise[J]. IEEE Signal Processing Letters, 2016, 23(10): 1359–1363. doi: 10.1109/LSP.2016.2597738
    [17] LIM D, GIANELLI C D, and LI Jian. Automatic target recognition in missing data cases[J]. IEEE Aerospace and Electronic Systems Magazine, 2017, 32(7): 40–49. doi: 10.1109/MAES.2017.150273
    [18] SHEN Lei, LIU Zhiwen, XU Yougen, et al. Robust polarimetric adaptive detector against target steering matrix mismatch[J]. IEEE Transactions on Aerospace and Electronic Systems, 2020, 56(1): 442–455. doi: 10.1109/TAES.2019.2916708
    [19] LOUNICI K. High-dimensional covariance matrix estimation with missing observations[J]. Bernoulli, 2014, 20(3): 1029–1058. doi: 10.3150/12-BEJ487
    [20] LIU Junyan and PALOMAR D P. Regularized robust estimation of mean and covariance matrix for incomplete data[J]. Signal Processing, 2019, 165: 278–291. doi: 10.1016/j.sigpro.2019.07.009
    [21] XU Danlei, DU Lan, LIU Hongwei, et al. Compressive sensing of stepped-frequency radar based on transfer learning[J]. IEEE Transactions on Signal Processing, 2015, 63(12): 3076–3087. doi: 10.1109/TSP.2015.2421473
    [22] LV Qinzhe, QUAN Yinghui, WEI Feng, et al. Radar deception jamming recognition based on weighted ensemble CNN with transfer learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5107511. doi: 10.1109/TGRS.2021.3129645
    [23] JIANG Wei, HAIMOVICH A M, and SIMEONE O. Joint design of radar waveform and detector via end-to-end learning with waveform constraints[J]. IEEE Transactions on Aerospace and Electronic Systems, 2022, 58(1): 552–567. doi: 10.1109/TAES.2021.3103560
    [24] LI Jian, GUERCI J R, and XU Luzhou. Signal waveform’s optimal-under-restriction design for active sensing[J]. IEEE Signal Processing Letters, 2006, 13(9): 565–568. doi: 10.1109/LSP.2006.874465
    [25] BELLMAN R. A Markovian decision process[J]. Journal of Mathematics and Mechanics, 1957, 6(5): 679–684.
    [26] CRIMINISI A, PEREZ P, and TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200–1212. doi: 10.1109/TIP.2004.833105
    [27] LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning[EB/OL]. http://arxiv.org/abs/1509.02971, 2015.
  • 期刊类型引用(8)

    1. 宋永坤,晏天兴,张可,刘显,戴永鹏,金添. 基于点云时空特征的超宽带雷达轻量化人体行为识别方法. 雷达学报(中英文). 2025(01): 1-15 . 百度学术
    2. 郑学召,丁文,黄渊,蔡国斌,马扬,刘盛铠,周博. 不同领域下超宽带雷达探测呼吸心跳信号研究综述. 雷达学报(中英文). 2025(01): 204-228 . 百度学术
    3. 周杨,李剑鹏,王知雨,梁庆真. 基于4D点云和航迹信息的人员跌倒检测方法. 电子技术应用. 2024(01): 120-124 . 百度学术
    4. 张敏,张欢,史晓娟,梁卓文,张娜. 老年患者跌倒检测系统的设计与实现. 中国医学装备. 2024(02): 157-161 . 百度学术
    5. 屈乐乐,祝诗卉. 基于三通道CNN-GSAM-LSTFEM网络的雷达人体切向动作识别. 雷达科学与技术. 2024(02): 135-144+154 . 百度学术
    6. 王梦溪,李峻. 老年人跌倒检测技术研究综述. 计算机与现代化. 2024(08): 30-36 . 百度学术
    7. 孙梓誉,顾晶. 基于雷达时频变换和残差网络的人体行为检测. 电子测量技术. 2024(10): 27-33 . 百度学术
    8. 杨桢,段雨昕,李鑫,吴方泽,纪力文,冯丰. 基于2D-SPWVD与PCA-SSA-RF的超宽带雷达人体跌落动作辨识方法. 电子测量与仪器学报. 2024(10): 147-158 . 百度学术

    其他类型引用(10)

  • 加载中
图(13) / 表(3)
计量
  • 文章访问数: 808
  • HTML全文浏览量: 326
  • PDF下载量: 195
  • 被引次数: 18
出版历程
  • 收稿日期:  2022-08-09
  • 修回日期:  2022-10-24
  • 网络出版日期:  2022-11-03
  • 刊出日期:  2023-02-28

目录

/

返回文章
返回