作者中心
专家审稿
责编办公
编辑办公
-
摘要: 相对于窄带多普勒雷达，超宽带雷达能够同时获取目标的距离和多普勒信息，更利于行为识别。为了提高跌倒行为的识别性能，该文采用调频连续波超宽带雷达在两个真实的室内复杂场景下采集36名受试者的日常行为和跌倒的回波数据，建立了动作种类丰富的多场景跌倒检测数据集；通过预处理，获取受试者的距离时间谱、距离多普勒谱和时间多普勒谱；基于MobileNet-V3轻量级网络，设计了数据级、特征级和决策级3种雷达图谱深度学习融合网络。统计分析结果表明，该文提出的决策级融合方法相对于仅用单种图谱、数据级和特征级融合的方法，能够提高跌倒检测的性能(显著性检验方法得到的所有P值<0.003)。决策级融合方法的5折交叉验证的准确率为0.9956，在新场景下测试的准确率为0.9778，具有良好的泛化能力。Abstract: Compared with narrowband Doppler radar, ultrawideband radar can simultaneously acquire the range and Doppler information of targets, which is more beneficial for behavior recognition. To improve the recognition performance of fall behavior, frequency-modulated continuous-wave ultrawideband (UWB) radar was applied to collect daily behavior and fall data of 36 subjects in two real indoor complex scenes, and a multi-scene fall detection dataset was established with various action types; the range-time, time-Doppler, and range-Doppler spectrograms of the subjects were obtained after preprocessing radar data; based on the MobileNet-V3 lightweight network, three types of deep learning fusion networks at the data level, feature level, and decision level were designed for the radar spectrograms, respectively. A statistical analysis shows that the decision level fusion method proposed in this paper can improve fall detection performance compared with those using one type of spectrogram, the data level and the feature level fusion methods (all P values by significance test method are less than 0.003). The accuracies of 5-fold cross-validation and testing in the new scene of the decision level fusion method are 0.9956 and 0.9778, respectively, which indicates the good generalization ability of the proposed method.
-
Key words:
- Ultrawideband radar /
- Deep learning /
- Fall detection /
- Data fusion /
- Ligthweight network
-
1. 引言
我国是老年人口规模最大的国家，也将是人口老龄化速度最快的国家。2021年第7次人口普查显示，60岁及以上人口为26402万人，占总人口的18.70%，65岁及以上人口为19064万人，占总人口的13.50%。根据联合国人口预测，到2037年，我国60岁及以上老年人口将占到总人口的30%以上[1,2]。而随着年龄的增长，老年人的体质衰退，听力、视力、平衡协调能力等方面下降，常常会导致老人突然失去平衡和行动能力而发生跌倒。据世界卫生组织(World Health Organization, WHO)报道每年65岁以上老人出现跌倒的概率为28%～35%，并随着年龄增加而逐步提高；且跌倒是79岁以上老人意外伤害死亡最主要的原因之一，经历跌倒的老人比未跌倒过的老人更易死亡，风险比值为5.11[3]。研究显示，老人跌倒后如能得到及时救助，可以有效降低80%的死亡风险和26%的长期住院治疗风险[4]。因此跌倒检测技术具有重要的研究意义和社会价值。
根据不同的工作原理，跌倒检测系统可分为接触式(即可穿戴式)和非接触式(即环境感知式)两大类[5-13]。环境感知式传感器—雷达不受光照、声音、温度变化的影响，能较好地保护用户隐私，近年来开始应用于人体行为和步态识别的研究[14]。由于窄带多普勒雷达结构简单、造价低廉，已广泛应用于非接触式跌倒检测研究[15-17]。相比窄带多普勒雷达，超宽带(Ultrawideband, UWB)雷达不仅能够较好地分辨多普勒速度，还具备良好的距离分辨力，因此能够给跌倒行为检测提供更多维度的信息，以提高跌倒识别准确率[18]。近年来，面向人体行为识别和智慧家居的超宽带生物雷达实现了集成化、小型化和量产化，开始应用于室内跌倒识别的研究中[19,20]。
在早期的雷达跌倒检测算法研究中，多采用人工模式提取特征，如从雷达的距离多普勒谱图和时间多普勒谱图中提取多普勒带宽、步伐频率、多普勒最大值或最小值及其比值、小波变换系数、余弦变换系数、Mel-倒谱、线性预测编码系数等特征[21]，并结合机器学习进行分类[22]。与人工提取特征模式相比，基于数据驱动的深度学习方法能自动提取特征，一般能获得更好的分类效果。但如果将雷达信号原始数据直接输入深度学习网络，往往会导致网络的结构偏大[23]。因此，目前大多数研究一般会对雷达原始数据做一些预处理再输入深度学习网络[18]，常用的预处理方法如小波变换、短时傅里叶变换(Short Time Fourier Transform, STFT)、稀疏自编码器、主成分分析(Principal Component Analysis, PCA)等。Jokanović等人[24]通过连续波雷达采集3个受试者117 次跌倒和291次非跌倒数据，利用堆叠稀疏自编码器自动提取雷达时频域和距离域信息的特征，再用多元逻辑回归进行分类，最高的准确率为97.1%，但对应的灵敏度仅为79.0%。Erol等人[25]利用多维PCA自动提取4个受试者的109次跌倒、105次坐下、95次弯腰和76次行走的3D距离-多普勒-时间数据的特征，检测跌倒准确率可达96%以上。Wang等人[26]提出了一种用于雷达微多普勒时序数据分类的堆叠式门控循环单位(Gated Recurrent Units, GRU)网络，用于识别人体运动类型，在对整个序列进行分类时，GRU的表现明显优于卷积神经网络(Convolutional Neural Network, CNN)。Taylor等人[27]利用CNN和PCA对数据集中198次跌倒和1435次非跌倒的多普勒时间谱图像进行训练和验证，准确率可达95.3%。Anishchenko等人[28]利用两个窄带多普勒雷达进行跌倒检测，结合小波变换和AlexNet网络，对5个受试者175次摔倒和175次非摔倒数据进行训练和测试，准确率为99.3%，但数据偏少，网络结构复杂，数据划分不互斥。Arab等人[29]利用连续小波变换预处理1000例动作(其中跌倒125例)的雷达正交通道信号，得到去噪尺度图，将其和原始信号输入双通道CNN中进行跌倒检测，准确率为96%，但存在类别严重不平衡和数据泄露等问题。
从目前的国内外研究现状来看，基于雷达的非接触跌倒检测的样本量普遍偏少，一般为2～5个受试者的数据，且不公开；现有数据集的动作类型普遍偏少且场景单一[29]；因此，对于深度学习而言，现有数据集数据往往不足以训练网络结构和参数，可能会导致网络泛化能力差、通用性能低。以前的研究多采用窄带多普勒雷达，导致行为识别精度不够高。有些研究在网络参数训练时存在数据泄露问题，往往将同一人的动作数据既用在训练集也用在验证集，而有些研究没有测试集，也没有采用多种场景中的数据进行验证，模型的通用性和泛化能力未得到验证；Anishchenko等人[28]未对雷达数据做预处理，导致训练的深度学习网络结构普遍庞大，不适宜线上实时处理；有些算法仅使用了超宽带雷达在某个距离单元的时间多普勒谱信息，同时浪费了距离时间谱和距离多普勒谱的信息，在识别准确率上还有待提高[20,30]。
因此本文将采用调频连续波(Frequency Modulated Continuous Wave, FMCW)超宽带雷达在多个真实的室内复杂场景下采集多名受试者的日常行为和跌倒的回波数据，设计深度学习网络融合3种图谱的信息，从而提高跌倒识别的准确率，网络训练、验证和测试过程中始终保证数据的互斥性。本文的整体研究框图如图1所示，超宽带雷达在场景1下采集的数据用于网络训练和交叉验证，场景2下采集的数据用于网络测试，雷达采集的回波经去斜处理、距离压缩、动目标显示(Moving Target Indic-ation, MTI)等预处理，生成包含互补信息的距离时间谱、距离多普勒谱和时间多普勒谱3种图谱，然后利用轻量级深度学习网络MobileNet-V3基本结构设计数据级、特征级和决策级3种融合方式下的深度学习网络，最后给出是否跌倒的判断。
图 1 深度学习融合超宽带雷达图谱检测跌倒的整体研究框图Figure 1. Overall research block diagram of deep learning fusing ultrawideband radar spectrograms for fall detection2. 雷达信号预处理
本研究中FMCW雷达发射和接收的信号为三角波形，如图2所示。其中红色线条为发射波形，蓝色线条为接收波形，T为线性调频信号的周期，PRT为脉冲重复周期，B为雷达发射信号的带宽，fc为雷达中心频率。
图 2 FMCW雷达发射和接收波形示意图Figure 2. Schematic diagram of transmitting and receiving waveforms of the FMCW radarFMCW雷达对接收回波Sr(t)进行去斜处理，得到差频信号Sb(t)[31]
Sb(t)=Sr(t)⋅S∗t(t) (1) 其中，
∗ 表示共轭转置，St(t)是发射信号。通过去斜处理，回波信号与发射信号之间的延时就转换为不同差频信号的频率，对应目标的距离。差频信号再经傅里叶变换，从而得到目标的一维距离像，如式(2)所示：RT(r)=F[sb(t)]=A⋅exp(j4πfccR(t))⋅sinc(T(fr−2kscR(t))) (2) 其中，函数
F[⋅] 为傅里叶变换，j是虚数单位，c为光速，R(t)是目标与雷达之间距离随时间变化的函数，sinc(x)=sin(2πx)2πx ，fr为快时间t对应的频率采样，可换算成距离r，ks为调频斜率。2.1 距离时间谱
一个发射周期的信号经上述处理后得到一个一维距离像，将其离散化，按照距离单元排成行向量，如图3中的行向量。多个周期的信号经相同处理后，可以得到多个一维距离像，按照时间先后排列可形成一个距离时间矩阵RT，如图3所示，其中行方向为距离单元，列方向为慢时间采样(采样率为1/PRT)。距离时间矩阵为
RT(r,ts)=F[sb(t,ts)] = A⋅exp(j4πfccR(ts))⋅sinc(T(fr−2kscR(ts))) (3) 其中，ts是慢时间采样，
R(ts) 是慢时间的函数。对距离时间矩阵RT先进行MTI处理，抑制静态杂波，然后再归一化，并将归一化幅值转化为分贝表示，得到距离时间谱RTS，跌倒和行走的RTS分别如图4所示：
RTS=20⋅lg|RTmax(RT)| (4) 其中，|·|表示取绝对值，max(·)表示求所有元素中的最大值。
2.2 距离多普勒谱
沿距离时间矩阵RT的慢时间方向(列方向)进行Nfft点FFT变换，得到距离多普勒矩阵RD，如图5所示，行方向为距离单元，列方向为多普勒频率。对距离多普勒矩阵RD归一化，并将归一化幅值转化为分贝表示，得到距离多普勒谱RDS，跌倒和行走的RDS分别如图6所示。
2.3 时间多普勒谱
对距离时间矩阵RT的第m个距离单元的时序信号RTm(n)(n =1, 2, ···, N)，进行时频分析(如STFT)，可以得到时间多普勒矩阵TD。为了更好地反映运动目标特征，采用文献[30]中的方法选取最优距离单元上的信号RTm(n) 进行STFT。
TD(n,k)=K−1∑i=0RTm(i)W(i−n)exp(−j2πik/K) (5) 其中，n是慢时间采样，k是频率采样，W(·)是滑窗函数，K是加窗傅里叶变换的点数。
同理，对时间多普勒矩阵TD归一化，并将归一化幅值转化为分贝表示，得到距离多普勒谱TDS。跌倒和行走的TDS分别如图7所示。
3. 基于MobileNet-V3网络的数据融合
MobileNet-V3是由Google团队在2019年提出的专注于移动端或者嵌入式设备中的轻量级CNN网络，分为Large和Small两个版本，网络参数大小分别为5.4 MB和2.5 MB[32]。本文后面提及的MobileNet-V3网络特指参数更小的Small版本。
3.1 网络结构和参数
3.1.1 MobileNet-V3网络
MobileNet-V3相比CNN，能在准确率小幅降低的前提下大大减少模型参数与运算量是因为包含3个重要结构：深度可分离卷积、倒残差结构和轻量级注意力模块[32]，如图8所示。具体包括：(1)深度可分离卷积中一个卷积核只作用一个输入通道，逐点卷积运算类似标准卷积，使用尺寸为1×1的卷积核扩大输出特征的通道数，在提取雷达图谱特征时减少了参数量和计算量。(2)倒残差结构在特征提取时首先使用标准卷积对特征进行扩维，然后使用深度可分离卷积进一步提取特征且输出通道维度与标准卷积输出通道维度一致。倒残差结构能够很好地保留雷达图谱中的行为动作重要特征信息，且对输入特征重用，可避免模型在训练时出现梯度消失。(3)轻量级注意力模块与倒残差结构相结合，调整不同通道的权重，从而保证模型更加关注雷达图谱中的关键信息。
此外，MobileNet-V3采用h-swish激活函数能够提高网络精度[32]，其具体表达式为
h-swish(x)=xReLU6(x+3)6 (6) 其中，函数ReLU6 (x) = min(6,max(0,x))。Softmax交叉熵损失函数L用于衡量预测值与实际值之间的相似程度，其具体表达式为
L=−1NsNs∑i=12∑q=1I(li=q)⋅lg(pi) (7) 其中，Ns是用于训练的样本个数，pi是网络输出的概率。
3.1.2 数据级融合网络
数据级融合网络的结构设计如图9所示，该网络将UWB雷达的距离时间谱、距离多普勒谱和时间多普勒谱3种图谱分别读取成灰度图像，经过统一尺寸变化后，然后将3个图谱按初始权重相等的组合方式叠加融合在一起组成3通道数据。基于数据级融合的网络由于结合了轻量级注意力模块与倒残差结构，训练过程中可调整3种图谱所在通道的权重，提高跌倒行为的识别能力。
3.1.3 特征级融合网络
特征级融合网络的结构设计如图10所示，共分3个支路，每个支路均采用MobileNet-V3网络结构，输入3种图谱的灰度图像，分别提取每种图谱的特征。在全连接层将3个支路提取的特征拼接作为分类器的输入，为了防止过拟合，提升网络性能，再加入两级Dropout层和全连接层，最后分类器给出识别结果。
3.1.4 决策级融合网络
决策级融合网络结构如图11所示，输入也为3种图谱的灰度图像，分为两部分：第1部分采用MobileNet-V3网络分别对3种图谱进行特征提取并初步分类，第2部分采用投票机制将分类结果重新投票得出最终预测结果。投票机制采用多数投票的方式，将得分最高的结果作为最终预测结果。
3.2 模型训练及评价
3.2.1 模型训练和测试
为了训练出可靠的网络模型，本文采用K折交叉验证的方法，即每轮训练中选择场景1中(K–1)/K数据作为训练集，1/K的数据作为验证集。另外，为了测试训练模型的泛化能力，本文将场景2下新受试者的数据作为测试集，对参数优化后的模型进行测试。
3.2.2 评价指标
模型性能评价指标主要包括灵敏度(Sensitivity, Se)、特异性(Specificity, Sp)、准确率(Accuracy, Ac)、精密度(Precision, Pr)和F1-Score，计算公式如下：
Se=TPP (8) Sp=TNN (9) Ac=TP+TNP+N (10) Pr=TPTP+FN (11) F1-Score=2⋅Pr⋅SePr+Se (12) 其中，P表示真实跌倒的次数，N表示真实非跌倒的次数，TP表示判断正确的跌倒次数，TN表示判断正确的非跌倒次数，FN表示将真实跌倒判断为非跌倒的次数，FP表示将真实非跌倒判断为跌倒的次数。分别计算模型在交叉验证集和测试集中上述指标的结果，以评估不同分类模型的效果。
4. 实验设计和数据采集
4.1 雷达跌倒检测系统
本实验采用K波段UWB雷达探测系统，如图12所示，工作带宽设置为2 GHz，发射功率为12 dBm，发射波形为三角波，重复周期设置为0.5 ms，对应的脉冲重复频率为2000 Hz，快时间采样频率为500 kHz，天线方位和俯仰波束宽度分别为30°和20°。
4.2 实验方案设计
实验尽可能全方位地考虑现实生活中的跌倒和日常行为动作。日常行为动作包括常见的行走、坐下、躺下、起立、慢速上下楼梯等的动作，其特点是行动速率较慢、速率变化幅度较小且频率较低，与人体跌倒时速率急速变化区别较大，比较容易区分。此外，增加了较为剧烈的日常行为动作，如慢跑、爬行等。跌倒动作包括晕倒、跌倒、滑倒、上下楼梯绊倒等。考虑到现实生活中行为动作发生位置的随意性和方向的随机性，动作数据将在距离雷达不同位置、不同方位上采集。实验方案通过了陆军军医大学伦理委员会批准(批准号：AF/sc-03/1.0, 2021年)，由于跌倒实验本身存在一定危险因素，考虑到老人普遍的身体状况，本实验中的受试者均为青壮年，且跌倒在提供足够缓冲的海绵垫上。实验共收集了36名受试者的数据，受试者男女的性别比例为23:13。实验中统计了受试者的年龄、身高、体重和体质指数(Body Mass Index, BMI)信息，经Shapiro-Wilk统计分析，除年龄以外其他参数均满足正态分布。受试者统计信息如下：年龄为Q2(Q1, Q3)=22.0(20.0, 24.75)，身高为169.1±8.0 cm，体重为59.9±9.5 kg，BMI为20.8±2.1 kg/m2。
本实验设计了常见的20种日常行为动作及10种跌倒动作，部分动作示意图如图13所示。为增加样本的多样性，受试者每个动作需重复测量3次，且每次动作受试者可随意发挥以增加随机性。每条数据采集的时长至少为5 s，参考文献[18,33]，目前截取4 s时长的数据进行后续分析。场景1的房间尺寸为640 mm×492 mm×246 mm(长×宽×高)，场景2的房间尺寸为560 mm×247 mm×263 mm(长×宽×高)。为了模拟真实房间场景，两个房间中随机摆放了各种办公桌椅、病床、沙发、铁皮文件柜等，如图14所示。
图 13 实测实验设计的日常行为与跌倒部分动作示意图Figure 13. Schematic diagram of daily behaviors and a part of falls designed in the experiment4.3 数据集的建立和划分
本文数据库K-UWB-MSHA-1.0共包含两个场景下36名受试者共3240例UWB雷达行为测量数据，其中场景1采集的数据作为训练集(共2700例来自前30名受试者)，场景2采集的数据作为测试集(共540例来自后6名受试者)。附录提供了数据集K-UWB-MSHA-1.0的下载和使用说明链接。为了提高训练模型的泛化能力，本文对训练集的样本进行数据增强处理，但考虑到雷达图谱与自然图像之间的差异，仅对3种图谱进行水平和垂直翻转。因此数据增强后，5折交叉验证中训练集和验证集的样本数量分别为6480和1620。
训练集、验证集和测试集的数据划分遵循互斥原则，即不仅数据样本互斥，而且每个受试者的所有样本只能划分至一个数据集，从而避免了验证和测试时的数据泄露。
4.4 网络运行环境
深度学习网络模型训练的工作站采用专业版Windows10 64位操作系统，配置为Intel Xeon 6核CPU，191 GB运行内存，NVIDIA Quadro RTX 6000显卡。深度学习框架采用Pytorch 1.10.1，环境Python版本为3.7.12，CUDA版本为11.1。
4.5 网络参数
为了公平测试不同网络的性能，模型训练阶段采用固定的随机数种子保证每种网络模型划分时训练集和验证集一致。此外输入图谱的尺寸、训练轮数、学习率等超参数也保持一致。具体而言，图谱的输入尺寸统一设置为224×224，每种网络模型训练轮数皆为30，学习率为0.01，采用Adam优化函数，每轮训练迭代的批样本数为256，训练过程中利用GPU加速计算，权重衰减系数为10–5。模型训练完成后，利用场景2下的数据对模型进行测试。表1分别列出了本文所用到的MobileNet-V3网络(以距离时间谱为例)、数据级融合网络、特征级融合网络和决策级融合网络的训练耗时，训练好后网络模型的大小，以及利用这些网络进行单张图片测试的平均耗时(1000张图片耗时的平均值)。可以看出，单个MobileNet-V3网络和数据级融合网络在大小和单张图片测试耗时基本是一致的。决策级的网络最大，约17.7 MB，单张图片测试需要耗时0.1 s左右，可以做到实时处理。
表 1 MobileNet-V3网络和融合网络的大小及耗时对比Table 1. Comparison of size and time consumption of MobileNet-V3 network and fusion networks网络类型 训练耗时(h) 网络大小(MB) 测试平均耗时(s) MobileNet-V3(距离时间谱) 0.2833 5.9082 0.0035 数据级 2.3500 5.9092 0.0030 特征级 1.5447 11.9072 0.0046 决策级 0.8500 17.7246 0.1030 5. 实验结果与对比
图15展示了利用场景1中单个图谱的数据进行5折交叉验证时准确率(图15(a)、图15(c)和图15(e))和交叉熵损失值(图15(b)、图15(d)和图15(f))随训练轮数的变化曲线。图16展示了融合场景1中3种图谱的数据进行5折交叉验证时准确率(图16(a)、图16(c)和图16(e))和交叉熵损失值(图16(b)、图16(d)和图16(f))随训练轮数的变化曲线。可以看出，无论是单种图谱还是融合方法经过30轮的训练，准确率和交叉熵损失值均趋于稳定。相对于单个图谱和其他两种融合方法，特征级融合方法在不同折上性能差异比较大，从而表明该方法对数据的依赖较大，容易过拟合。
图 15 仅用单图谱检测跌倒的5折交叉验证的准确率及交叉熵损失随训练轮数的变化曲线Figure 15. Curves of accuracy and cross entropy loss of 5-fold cross-validation using one kind of spectrograms for fall detection
图 16 融合方法检测跌倒的5折交叉验证的准确率及交叉熵损失随训练轮数的变化曲线Figure 16. Curves of accuracy and cross entropy loss of 5-fold cross-validation using fusion methods for fall detection表2列出了单种图谱和融合方法检测跌倒的5折交叉验证的平均结果。可以看出，单种图谱中检测性能最优的是距离时间谱，其5折交叉验证的准确率为0.9923，其次是时间多普勒谱(准确率为0.9893)。数据融合方法和决策融合方法的检测性能都比单种图谱方法的效果有所提升，决策模型在相同条件下检测效果最佳，其5折交叉验证的准确率可达0.9956。但特征级融合在5折交叉验证结果中，平均性能较单种图谱有所下降，其原因是在某些折上检测性能变差。
表 2 跌倒检测5折交叉验证评价指标对比(场景1)Table 2. Comparison of evaluation indicators for 5-fold cross-validation of fall detection (Scene 1)模型 Ac Pr Se Sp F1-score 单种图谱 距离时间谱 0.9923 0.9899 0.9889 0.9950 0.9894 距离多普勒谱 0.9822 0.9712 0.9756 0.9856 0.9734 时间多普勒谱 0.9893 0.9834 0.9844 0.9917 0.9839 融合方法 数据级融合 0.9933 0.9911 0.9889 0.9956 0.9900 特征级融合 0.9866 0.9757 0.9844 0.9878 0.9801 决策级融合 0.9956 0.9933 0.9933 0.9967 0.9933 表3列出了仅用单种图谱和融合方法在场景2的测试结果。可以看出，仅用距离时间谱的数据能够获得单种图谱最高的检测性能，准确率为0.9537，但距离多普勒谱的准确率只有0.9167，说明其泛化能力较差。融合方法中，数据级和决策级融合相比于单种图谱具有更好的预测性能。在新的场景下，决策级融合的方法具有最高的检测性能，准确率可达0.9778，F1-score可达0.9659。但特征级融合方法的性能相对于单种图谱没有提升，说明其泛化能力差。另外表3与表2的结果具有一致性。
表 3 不同模型之间跌倒检测性能的对比(场景2)Table 3. Comparison of fall detection performance between different models (Scene 2)模型 Ac Pr Se Sp F1-score 单种图谱 距离时间谱 0.9537 0.9235 0.9389 0.9611 0.9313 距离多普勒谱 0.9167 0.8571 0.9000 0.9250 0.8781 时间多普勒谱 0.9519 0.9231 0.9333 0.9611 0.9282 融合方法 数据级融合 0.9574 0.9701 0.9000 0.9861 0.9337 特征级融合 0.9482 0.9750 0.8667 0.9889 0.9177 决策级融合 0.9778 0.9883 0.9444 0.9944 0.9659 图17分别给出了用单种图谱和融合方法对场景2的数据进行测试时的混淆矩阵。为了验证不同方法在新场景下对新的受试者数据中检测跌倒的准确率之间是否存在统计性差异，本文将采用配对设计4表格资料卡方检验(McNemar检验)。为此，分别计算需要对比的两种方法中方法1判断正确但方法2判断错误的个数a，方法1判断错误但方法2判断正确的个数b。构造统计量，
χ2=(a−b)2/(a+b) ，则假设检验为
图 17 用场景2数据测试各种模型时得到的混淆矩阵Figure 17. Confusion matrix obtained when testing various models using data of Scene 2{H0：两种方法检测性能相同H1：两种方法检测性能不同 (13) 按显著性水平
α =0.05拒绝H0。本文的统计分析通过软件统计产品与服务解决方案(Statistical Product and Service Solutions, SPSS)实现，结果表明决策级融合方法优于单种图谱方法(3个P值均<0.001)、数据级融合方法(P =0.003)和特征级融合方法(P <0.001)。数据级&特征级融合方法与单用距离时间谱(两个P值均为1.000)和时间多普勒谱(P =0.152, P =0.690)的方法之间没有显著性差异，但优于单用距离多普勒谱的方法(两个P值均 <0.001)。特征级与数据级融合方法之间没有统计性差异(P =0.367)。6. 结语
为克服窄带雷达获取动作行为信息有限以及现有数据集数据量偏少等问题，本研究采用UWB雷达在2个真实的室内复杂场景下采集36名受试者的日常行为和跌倒的回波数据，建立了动作类型丰富、多场景、多受试者的数据集，设计了基于MobileNet-V3的轻量级深度学习网络融合3种雷达图谱的信息以提高跌倒识别的性能。网络模型在训练、验证和测试过程中始终保证数据的互斥性，防止了数据泄露的问题。采用了多种指标衡量比较不同融合模型的效果，并与单种图谱的识别效果进行了比较。通过统计分析发现，本文提出的决策级融合方法相对于单种图谱、数据级、特征级融合方法，能够提高跌倒检测性能(统计分析表明所有P 值不超过0.003)，其5折交叉验证的准确率为0.9956，F1-score为0.9933，在新场景下测试的准确率为0.9778，F1-score可达0.9659，具有较强的泛化能力。
由于雷达的型号参数和观察角度会影响现有模型的识别性能，因此不同参数的雷达需要重新训练网络，为了完善数据集，今后将增加更多的探测角度(如垂直雷达视线的角度)。在数据处理方面将考虑数据流的形式，以真正实现实时跌倒检测，并进一步分析不同图谱对于不同动作的识别性能是否存在差异。
附录
K波段超宽带雷达跌倒检测图谱数据集1.0 (K-UWB-FDHA-1.0)依托《雷达学报》官方网站发布(附图1)，网址为
https://radars.ac.cn/web/data/getData?dataType=DatasetinthePaper 。 -
图 1 深度学习融合超宽带雷达图谱检测跌倒的整体研究框图
Figure 1. Overall research block diagram of deep learning fusing ultrawideband radar spectrograms for fall detection
图 2 FMCW雷达发射和接收波形示意图
Figure 2. Schematic diagram of transmitting and receiving waveforms of the FMCW radar
图 13 实测实验设计的日常行为与跌倒部分动作示意图
Figure 13. Schematic diagram of daily behaviors and a part of falls designed in the experiment
图 15 仅用单图谱检测跌倒的5折交叉验证的准确率及交叉熵损失随训练轮数的变化曲线
Figure 15. Curves of accuracy and cross entropy loss of 5-fold cross-validation using one kind of spectrograms for fall detection
图 16 融合方法检测跌倒的5折交叉验证的准确率及交叉熵损失随训练轮数的变化曲线
Figure 16. Curves of accuracy and cross entropy loss of 5-fold cross-validation using fusion methods for fall detection
图 17 用场景2数据测试各种模型时得到的混淆矩阵
Figure 17. Confusion matrix obtained when testing various models using data of Scene 2
1 K波段超宽带雷达跌倒检测图谱数据集-1.0发布网页
1. Release webpage of K band UWB radar spectrogram dataset-1.0 for fall detection
表 1 MobileNet-V3网络和融合网络的大小及耗时对比
Table 1. Comparison of size and time consumption of MobileNet-V3 network and fusion networks
网络类型 训练耗时(h) 网络大小(MB) 测试平均耗时(s) MobileNet-V3(距离时间谱) 0.2833 5.9082 0.0035 数据级 2.3500 5.9092 0.0030 特征级 1.5447 11.9072 0.0046 决策级 0.8500 17.7246 0.1030 
下载: 导出CSV
表 2 跌倒检测5折交叉验证评价指标对比(场景1)
Table 2. Comparison of evaluation indicators for 5-fold cross-validation of fall detection (Scene 1)
模型 Ac Pr Se Sp F1-score 单种图谱 距离时间谱 0.9923 0.9899 0.9889 0.9950 0.9894 距离多普勒谱 0.9822 0.9712 0.9756 0.9856 0.9734 时间多普勒谱 0.9893 0.9834 0.9844 0.9917 0.9839 融合方法 数据级融合 0.9933 0.9911 0.9889 0.9956 0.9900 特征级融合 0.9866 0.9757 0.9844 0.9878 0.9801 决策级融合 0.9956 0.9933 0.9933 0.9967 0.9933
下载: 导出CSV
表 3 不同模型之间跌倒检测性能的对比(场景2)
Table 3. Comparison of fall detection performance between different models (Scene 2)
模型 Ac Pr Se Sp F1-score 单种图谱 距离时间谱 0.9537 0.9235 0.9389 0.9611 0.9313 距离多普勒谱 0.9167 0.8571 0.9000 0.9250 0.8781 时间多普勒谱 0.9519 0.9231 0.9333 0.9611 0.9282 融合方法 数据级融合 0.9574 0.9701 0.9000 0.9861 0.9337 特征级融合 0.9482 0.9750 0.8667 0.9889 0.9177 决策级融合 0.9778 0.9883 0.9444 0.9944 0.9659
下载: 导出CSV
-
[1] DOS SANTOS R B, LAGO G N, JENCIUS M C, et al. Older adults’ views on barriers and facilitators to participate in a multifactorial falls prevention program: Results from Prevquedas Brasil[J]. Archives of Gerontology and Geriatrics, 2021, 92: 104287. doi: 10.1016/j.archger.2020.104287 [2] HU Zhan and PENG Xizhe. Strategic changes and policy choices in the governance of China’s aging society[J]. Social Sciences in China, 2020, 41(4): 185–208. doi: 10.1080/02529203.2020.1844451 [3] DAVIS J C, ROBERTSON M C, ASHE M C, et al. International comparison of cost of falls in older adults living in the community: A systematic review[J]. Osteoporosis International, 2010, 21(8): 1295–1306. doi: 10.1007/s00198-009-1162-0 [4] IIO T, SHIOMI M, KAMEI K, et al. Social acceptance by senior citizens and caregivers of a fall detection system using range sensors in a nursing home[J]. Advanced Robotics, 2016, 30(3): 190–205. doi: 10.1080/01691864.2015.1120241 [5] NOORUDDIN S, ISLAM M, SHARNA F A, et al. Sensor-based fall detection systems: A Review[J]. Journal of Ambient Intelligence and Humanized Computing, 2022, 13(5): 2735–2751. doi: 10.1007/s12652-021-03248-z [6] XEFTERIS V R, TSANOUSA A, MEDITSKOS G, et al. Performance, challenges, and limitations in multimodal fall detection systems: A review[J]. IEEE Sensors Journal, 2021, 21(17): 18398–18409. doi: 10.1109/JSEN.2021.3090454 [7] SALEH M and LE BOUQUIN JEANNÈS R. Elderly fall detection using wearable sensors: A low cost highly accurate algorithm[J]. IEEE Sensors Journal, 2019, 19(8): 3156–3164. doi: 10.1109/JSEN.2019.2891128 [8] RASTOGI S and SINGH J. A systematic review on machine learning for fall detection system[J]. Computational Intelligence, 2021, 37(2): 951–974. doi: 10.1111/coin.12441 [9] GRACEWELL J J and PAVALARAJAN S. RETRACTED ARTICLE: Fall detection based on posture classification for smart home environment[J]. Journal of Ambient Intelligence and Humanized Computing, 2021, 12(3): 3581–3588. doi: 10.1007/s12652-019-01600-y [10] LU Na, WU Yidan, FENG Li, et al. Deep learning for fall detection: Three-dimensional CNN combined with LSTM on video kinematic data[J]. IEEE Journal of Biomedical and Health Informatics, 2019, 23(1): 314–323. doi: 10.1109/JBHI.2018.2808281 [11] CIPPITELLI E, FIORANELLI F, GAMBI E, et al. Radar and RGB-depth sensors for fall detection: A review[J]. IEEE Sensors Journal, 2017, 17(12): 3585–3604. doi: 10.1109/JSEN.2017.2697077 [12] TARAMASCO C, RODENAS T, MARTINEZ F, et al. A novel monitoring system for fall detection in older people[J]. IEEE Access, 2018, 6: 43563–43574. doi: 10.1109/ACCESS.2018.2861331 [13] ABOBAKR A, HOSSNY M, and NAHAVANDI S. A skeleton-free fall detection system from depth images using random decision forest[J]. IEEE Systems Journal, 2018, 12(3): 2994–3005. doi: 10.1109/JSYST.2017.2780260 [14] LE H T, PHUNG S L, and BOUZERDOUM A. A fast and compact deep Gabor network for micro-Doppler signal processing and human motion classification[J]. IEEE Sensors Journal, 2021, 21(20): 23085–23097. doi: 10.1109/JSEN.2021.3106300 [15] SU W C, WU Xuanxin, HORNG T S, et al. Hybrid continuous-wave and self-injection-locking monopulse radar for posture and fall detection[J]. IEEE Transactions on Microwave Theory and Techniques, 2022, 70(3): 1686–1695. doi: 10.1109/TMTT.2022.3142142 [16] SAHO K, HAYASHI S, TSUYAMA M, et al. Machine learning-based classification of human behaviors and falls in restroom via dual Doppler radar measurements[J]. Sensors, 2022, 22(5): 1721. doi: 10.3390/s22051721 [17] WANG Yongchuan, YANG Song, LI Fan, et al. FallViewer: A fine-grained indoor fall detection system with ubiquitous Wi-Fi devices[J]. IEEE Internet of Things Journal, 2021, 8(15): 12455–12466. doi: 10.1109/JIOT.2021.3063531 [18] GURBUZ S Z and AMIN M G. Radar-based human-motion recognition with deep learning: Promising applications for indoor monitoring[J]. IEEE Signal Processing Magazine, 2019, 36(4): 16–28. doi: 10.1109/MSP.2018.2890128 [19] MAITRE J, BOUCHARD K, and GABOURY S. Fall detection with UWB radars and CNN-LSTM architecture[J]. IEEE Journal of Biomedical and Health Informatics, 2021, 25(4): 1273–1283. doi: 10.1109/JBHI.2020.3027967 [20] SADREAZAMI H, BOLIC M, and RAJAN S. Contactless fall detection using time-frequency analysis and convolutional neural networks[J]. IEEE Transactions on Industrial Informatics, 2021, 17(10): 6842–6851. doi: 10.1109/TII.2021.3049342 [21] GURBUZ S Z, CLEMENTE C, BALLERI A, et al. Micro-Doppler-based in-home aided and unaided walking recognition with multiple radar and sonar systems[J]. IET Radar, Sonar & Navigation, 2017, 11(1): 107–115. doi: 10.1049/iet-rsn.2016.0055 [22] AMIN M G, ZHANG Y D, AHMAD F, et al. Radar signal processing for elderly fall detection: The future for in-home monitoring[J]. IEEE Signal Processing Magazine, 2016, 33(2): 71–80. doi: 10.1109/MSP.2015.2502784 [23] MA Liang, LIU Meng, WANG Na, et al. Room-level fall detection based on ultra-wideband (UWB) monostatic radar and convolutional long short-term memory (LSTM)[J]. Sensors, 2020, 20(4): 1105. doi: 10.3390/s20041105 [24] JOKANOVIĆ B and AMIN M. Fall detection using deep learning in range-Doppler radars[J]. IEEE Transactions on Aerospace and Electronic Systems, 2018, 54(1): 180–189. doi: 10.1109/TAES.2017.2740098 [25] EROL B and AMIN M G. Radar data cube analysis for fall detection[C]. 2018 IEEE International Conference on Acoustics, Speech and Signal Processing, Calgary, Canada, 2018: 2446–2450. [26] WANG Mingyang, CUI Guolong, YANG Xiaobo, et al. Human body and limb motion recognition via stacked gated recurrent units network[J]. IET Radar, Sonar & Navigation, 2018, 12(9): 1046–1051. doi: 10.1049/iet-rsn.2018.5054 [27] TAYLOR W, DASHTIPOUR K, SHAH S A, et al. Radar sensing for activity classification in elderly people exploiting micro-Doppler signatures using machine learning[J]. Sensors, 2021, 21(11): 3881. doi: 10.3390/s21113881 [28] ANISHCHENKO L, ZHURAVLEV A, and CHIZH M. Fall detection using multiple bioradars and convolutional neural networks[J]. Sensors, 2019, 19(24): 5569. doi: 10.3390/s19245569 [29] ARAB H, GHAFFARI I, CHIOUKH L, et al. A convolutional neural network for human motion recognition and classification using a millimeter-wave Doppler radar[J]. IEEE Sensors Journal, 2022, 22(5): 4494–4502. doi: 10.1109/JSEN.2022.3140787 [30] HE Mi, YANG Yi, PING Qinwen, et al. Optimum target range bin selection method for time-frequency analysis to detect falls using wideband radar and a lightweight network[J]. Biomedical Signal Processing and Control, 2022, 77: 103741. doi: 10.1016/j.bspc.2022.103741 [31] HE Mi, NIAN Yongjian, and GONG Yushun. Novel signal processing method for vital sign monitoring using FMCW radar[J]. Biomedical Signal Processing and Control, 2017, 33: 335–345. doi: 10.1016/j.bspc.2016.12.008 [32] HOWARD A, SANDLER M, CHEN Bo, et al. Searching for MobileNetV3[C]. 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea, 2019: 1314–1324. [33] SU Boyu, HO K C, RANTZ M J, et al. Doppler radar fall activity detection using the wavelet transform[J]. IEEE Transactions on Biomedical Engineering, 2015, 62(3): 865–875. doi: 10.1109/TBME.2014.2367038 期刊类型引用(8)
1. 宋永坤，晏天兴，张可，刘显，戴永鹏，金添. 基于点云时空特征的超宽带雷达轻量化人体行为识别方法. 雷达学报(中英文). 2025(01): 1-15 . 
百度学术2. 郑学召，丁文，黄渊，蔡国斌，马扬，刘盛铠，周博. 不同领域下超宽带雷达探测呼吸心跳信号研究综述. 雷达学报(中英文). 2025(01): 204-228 . 百度学术3. 周杨，李剑鹏，王知雨，梁庆真. 基于4D点云和航迹信息的人员跌倒检测方法. 电子技术应用. 2024(01): 120-124 . 百度学术4. 张敏，张欢，史晓娟，梁卓文，张娜. 老年患者跌倒检测系统的设计与实现. 中国医学装备. 2024(02): 157-161 . 百度学术5. 屈乐乐，祝诗卉. 基于三通道CNN-GSAM-LSTFEM网络的雷达人体切向动作识别. 雷达科学与技术. 2024(02): 135-144+154 . 百度学术6. 王梦溪，李峻. 老年人跌倒检测技术研究综述. 计算机与现代化. 2024(08): 30-36 . 百度学术7. 孙梓誉，顾晶. 基于雷达时频变换和残差网络的人体行为检测. 电子测量技术. 2024(10): 27-33 . 百度学术8. 杨桢，段雨昕，李鑫，吴方泽，纪力文，冯丰. 基于2D-SPWVD与PCA-SSA-RF的超宽带雷达人体跌落动作辨识方法. 电子测量与仪器学报. 2024(10): 147-158 . 百度学术其他类型引用(10)
-
下载:
百度学术
计量
- 文章访问数: 1527
- HTML全文浏览量: 912
- PDF下载量: 345
- 被引次数: 18
