作者中心
专家审稿
责编办公
编辑办公
-
摘要: 雷达人体行为感知系统具有穿透探测能力，在安防、救援、医疗等领域具有广泛的应用前景。近年来，深度学习技术的出现促进了雷达传感器在人体行为感知领域的发展，同时对相关数据集的样本规模和丰富性提出了更高的要求。该文公开了一个超宽带雷达人体动作四维成像数据集，该数据集以超宽带多输入多输出雷达为探测传感器来获取了人体目标的距离-方位-高度-时间四维动作数据，共采集了11个人体目标的2757组动作数据，动作类型包含走路、挥手、打拳等10种常见动作，有穿透探测和不穿透探测的实验场景。该文详细介绍了数据集的系统参数、制作流程、数据分布等信息。同时，基于飞桨平台使用计算机视觉领域应用较多的深度学习算法对该数据集进行人体动作识别实验，实验对比结果可以作为参考，为学者使用该数据集提供技术支撑，方便在此基础上进一步探索研究。Abstract: A radar human behavior perception system has penetration detection ability, which gives it a wide application prospect in the fields of security, rescue, medical treatment, and so on. Although the development of deep learning technology has promoted radar sensor research in human behavior perception, it requires more prompted dataset availability. This paper provides a four-dimensional imaging dataset of human activity using ultra-wideband radar, UWB-HA4D, which uses three-dimensional ultra-wideband multiple-input multiple-output radar as the detection sensor to capture the range-azimuth-height-time four-dimensional activity data of a human target. The dataset contains the activity data of 2757 groups for 11 human targets, including 10 common activities, such as walking, waving, and boxing. It also contains penetration and nonpenetration detection experimental scenarios. The radar system parameters, data generation process, data distribution, and other information of the dataset are introduced in detail herein. Meanwhile, several deep learning algorithms that are based on the PaddlePaddle framework and are widely used in the computer version field are applied to this dataset for human activity recognition. The experimental comparison results can be used to provide references for scholars and facilitate further investigation and research on this basis.
-
1. 引言
城市环境下的反恐作战、灾害救援等行动中，作战、救援人员往往需要深入陌生建筑物内部，缺少建筑物内部结构信息将对行动的顺利开展以及人员的安全产生较大威胁。因此，研究建筑物内部结构的穿透探测，具有重要的现实意义和研究价值。在不破坏现场的情况下，声波、红外、低频电磁波等探测技术均能够不同程度地实现穿透探测，这其中，低频电磁波探测在可穿透墙体类型、探测范围、探测精度等指标上最为突出，因此成为建筑物内部结构穿透探测的研究热点[1]。本文将围绕基于低频电磁波的建筑物内部结构穿透探测技术，回顾21世纪初以来科研人员在该领域中所做出的努力。
利用低频电磁波的穿透特性获取建筑物内部信息的典型代表是穿墙雷达技术，由于建筑物本身几乎不存在任何运动，因此利用穿墙雷达进行合成孔径雷达(Synthetic Aperture Radar, SAR)成像来获得大面积高分辨率图像成为自然而然的选择。考虑到建筑物本身的特性，穿墙探测中的SAR扫描往往沿着建筑物的外墙进行，研究人员由此开展了多种观测模式的研究，例如沿单侧外墙扫描的单视角观测模式[2]、沿垂直和水平侧外墙扫描的多视角观测模式[3]、单视角下的多高度基线观测模式[4,5]、固定位置下的多斜视角观测模式[6]、多极化观测模式[7]等。这些研究的主要目的是获得建筑物内部结构的成像结果，其核心是基于反射波测量的穿墙雷达成像技术，雷达系统的收发天线往往位于建筑物同一外侧，通过运动收集建筑物内部物体的反射回波，最后利用穿墙雷达成像技术来估计建筑物内部结构。
除此之外，基于透射波测量的射频层析成像(Radio Tomographic Imaging, RTI)技术[8]与基于多径信号的墙体位置估计技术[9]，也因在建筑物结构探测中具有各自独特的优势而为人关注。前者的收发天线分置于建筑物不同外侧，信号从建筑物的某一外侧出发，穿过建筑物并被另一外侧的接收系统采集，最后通过反演信号衰减率的空间分布来获得建筑物内部结构信息；后者的雷达固定在某个位置，以凝视模式探测室内运动目标，利用目标真实运动轨迹与其多径信号形成的虚假轨迹之间的几何关系来估计室内墙体位置。
基于穿墙雷达成像技术的建筑物结构穿透探测是目前主流的探测方案，墙后静止目标成像则是其核心内容[10,11]。有鉴于此，本文将首先简要介绍穿墙雷达墙后目标的成像原理，然后讨论基于穿墙雷达的建筑物内部结构观测模式的发展历程，接着介绍典型的基于穿墙雷达成像技术的建筑物内部结构重建方法，之后介绍RTI与基于多径信号的墙体位置估计这两种探测技术，最后对建筑物内部结构穿透探测这一领域的发展特点进行总结。
2. 穿墙雷达墙后静止目标成像原理
穿墙透视成像与其他成像技术的区别在于，穿墙探测时，墙体会改变信号的传播路径。图1给出了建筑物内部结构探测过程中信号传播路径的常用简化模型，天线被设置为沿着平行于墙体的方向运动，信号由A点发出后，经B点进入墙体，又经C点离开后到达目标D处，经目标反射的回波经C点再次进入墙体，并从B点离开后回到天线A处。
图 1 穿墙探测的一般信号传播模型Figure 1. General signal propagation model for through-the-wall detection根据穿墙探测中常用的墙体折射模型[12]，
D 处的静止理想点目标回波可以被简写为S(f,m)=σexp(−j4πflAB(m)+√εlBC(m)+lCD(m)c) (1) 其中，
f 为工作频率，σ 为目标反射系数，m 为方位向采样序号，ε 为墙体相对介电常数，c 为光速，lAB(m) 为A 点到B 点的直线距离，其余符号以此类推。墙体的存在，除了对信号造成直接衰减之外，还导致目标在回波中存在额外时延(相对于自由空间传播模型)。站在傅里叶变换的角度来看，D 处的目标成像结果为I(D)=M−1∑m=0∫fvadS(f,m)exp(j4πfrAD(m)c)df (2) 其中，
M 是方位向采样数，fvad 为系统有效工作频段，rAD(m) 是根据成像模型设定的信号传播路径长度。当D 点遍历场景所有的网格坐标时，利用式(2)即获得了建筑物内部结构的成像结果。式(2)为后向投影(Back Projection, BP)成像方法的实现原理。在传统的SAR成像中，rAD(m) 一般被假设为A 点到D 点的直线距离，但在穿墙成像中，受墙体折射效应影响，墙后目标的回波信号传播路径长度要大于A 点到D 点的直线距离，如图1所示，在未知墙体参数的情况下，直接采用传统的SAR成像模型会造成墙后目标图像散焦与错位。因此获取建筑物的几何布局和介质参数是实现室内目标精准定位的前提。3. 基于穿墙雷达的建筑物内部结构观测模式的发展
机载与车载SAR系统是最早引入建筑物内部结构探测的穿墙雷达系统，这些大型穿墙雷达具有良好的机动性，在观测规模与效率上具有明显优势。但其缺陷也很明显，即只能工作在建筑物外部进行远距离探测。由于信号每穿透一层墙体，都将发生一定的衰减和变形，穿透的层数越多，累积的衰减与变形越严重，前墙拖尾以及多径等影响也越严重，信号被接收与复原的难度也越大。因此对于结构较为复杂的建筑物，仅依赖外部探测很难正确估计建筑物的内部结构。一种解决手段是逐层推进深入建筑物内部进行观测，虽然其效率较低，但往往能获得更好的观测性能。为此，雷达系统需要被设计得体积更小、重量更轻、功耗更低。一些原本用于室内人员探测的小型多输入多输出(Multi-Input Multi-Output, MIMO)穿墙雷达因而也被应用于探测建筑物的内部结构，相比于大型穿墙雷达，小型MIMO穿墙雷达更为灵活，能够被操作员带入室内环境使用，有效扩大了建筑物内部结构的可观测范围。另一些被设计搭载在小型机器人平台上的穿墙雷达则进一步扩展了雷达操作的灵活性，此类穿墙雷达甚至能进入操作员无法到达的某些位置进行探测。
3.1 室外主动雷达观测模式的发展
美国斯坦福国际研究院Falconer等人[13]于2000年就提出了基于机载SAR的平面图雷达(Floor Plan Radar, FPR)穿墙探测方案。FPR可以获得任意高度下的探测结果，因此是高层建筑物穿墙探测的有效解决方案，但受限于当时的低空飞行器技术，FPR的实现复杂度与成本较高，其性价比明显低于车载平台，此后并未见后续报道。
车载平台上，最早具有实用意义的建筑物内部结构成像系统是2008年由美国陆军实验室Nguyen等人[2]所公布的超宽带同步脉冲重构(Synchronous Impulse REconstruction, SIRE)车载穿墙雷达系统，SIRE工作在侧视SAR模式，沿着建筑物的某一墙体基线运动，从而得到建筑物的单视角观测结果。实验室研究人员还给出了多份针对复杂封闭建筑物内部结构探测的仿真报告[14,15]。单视角观测无法直接得到垂直视角上的结构信息，2008年美国维拉诺瓦大学Ahmad等人[3]提出了穿墙成像中的多视角观测融合技术，首先使雷达沿两个相互垂直的墙体基线进行扫描，得到不同视角下的子图像，而后引入指数因子来实现子图像融合，不过Ahmad等人并没有给出最优指数因子的选取方法。次年，美国陆军实验室的Le等人[16,17]给出了SIRE在多视角探测模式下的实测结果，采用了非相干叠加的方式实现子图像之间的融合，最终获得了相对完整的建筑物结构成像结果，如图2所示。
图 2 SIRE在多视角探测模式下的实测数据成像结果Figure 2. Imaging results of SIRE’s measured data in multi-view detection mode由于并非任何时候都能够沿不同的墙体基线进行扫描，2011年澳大利亚伍伦贡大学Seng等人[4,5]提出了基于俯仰向的多视角观测方案，在某一面墙上设置多个高度基线对墙后场景进行观测，他们同时也提出了基于模糊逻辑的图像融合方法，多高度基线的观测方式虽然只能获得单一方向的测绘结果，但却能够有效降低室内场景在不同视线上的拖尾污染。2013年，加拿大国防研发部的Sévigny等人[6]提出沿着同一侧墙体以不同斜视角进行照射，即多斜视角融合也能够提升成像性能。同一时期，多极化探测也被引入穿墙探测之中[7]，Seng等人考虑到室内目标具有不同的极化特性，因此将HH, HV, VH, VV 4种极化探测的穿墙结果进行融合，最终得到高信杂比的增强成像结果。除了设法提高墙体本身的成像质量之外，墙角信息在建筑物结构中的特殊地位也引起了研究人员的注意，2016年成都理工大学的Jia等人[18]提出了一种基于MIMO穿墙雷达的单边双点观测模式，仅需将雷达摆放在两个不同的观测视角对建筑物进行斜视探测，就可对建筑物的4个墙角以及内部目标同时进行成像，结果如图3所示。
为了更高效地获得建筑物内部结构信息，研究人员开始在穿墙探测中引入MIMO-SAR模式，MIMO阵列内部不存在运动误差，对空间采样点的数目与密度要求也远低于传统SAR模式，因此逐渐受到研究人员的青睐。2009年荷兰应用科学院deWit等人[19,20]报告了使用极化干涉相控阵合成孔径雷达装备(Synthetic Aperture Polarimetric PHased array Interferometer Radar Equipment, SAPPHIRE)的建筑物3D成像结果，如图4所示。SAPPHIRE在方位向上采用直线SAR扫描模式，在俯仰向上采用MIMO虚拟阵列模式，通过对场景中墙体、不同墙体交汇形成的二面角、墙体与地板形成的三面角等主要散射体的定位与识别，来获取建筑物的三维结构。2010年美国俄亥俄州立大学Browne等人[21]则设计了一款可携带的3D穿墙成像雷达，采用小型二维MIMO阵列，通过设置若干快拍点的形式进一步简化了方位向的扫描过程。相比于传统SAR模式，MIMO-SAR模式有效提高了探测效率，但也带来了栅瓣与非均匀采样等问题，国防科技大学Song等人[22]针对MIMO-SAR的观测特点，提出了基于功率谱相干因子加权的增强成像方法，降低栅瓣对室内场景的污染，并在国防科技大学自研的建筑物可视化雷达上得到了验证。
3.2 室内主动雷达观测模式的发展
上述探测均在室外进行，即雷达系统布设于建筑物之外，信号经由外墙向室内辐射的过程中会不断衰减，雷达的探测距离往往受限于信号经过的墙体数目，难以有效探测具有复杂结构的建筑物。为了解决多层墙体的探测问题，一种简单的思路是由外向内逐层推进探测，因此需要雷达系统具有小型化、可移动、低功耗等特征，从而便于在室内环境中工作。
美国国家标准与技术研究院Braga等人[23]于2009年设计出了一款可用于室内穿墙成像的雷达系统，如图5所示，雷达搭载于小型移动平台之上，以SAR模式对其他房间进行扫描，可以实现高分辨的静止场景成像。类似的思路可以追溯到2000年由Falconer等人[24]提出的基于机器人平台的穿墙成像雷达。除了设计专门的小型移动平台外，扩展面向室内运动目标探测的小型便携式MIMO穿墙雷达的使用功能，使其具备对建筑物内部结构的探测也是一种可行的思路[25]。
Braga等人只是将雷达系统由室外搬移到了室内，并没有改变观测过程本身。与上述研究不同，2010年Sakamoto等人[26]仅利用位于建筑内部的单发单收天线所采集的墙体散射回波，通过找到回波时延与传播路径的最佳匹配组合，进而估计出了建筑内部的几何布局，并基于仿真试验验证了该方法的可行性。2016年美国密歇根大学Yektakhah等人[27]则提出了全方向(all-directions)穿墙雷达建筑物结构探测方案，全方向穿墙雷达系统工作于室内环境，其发射单元固定在中心位置，接收单元围绕发射单元进行圆周运动，探测圆圈外的建筑物布局。全方向探测的一大优势是雷达在各个角度上保持了相同的方位向分辨率，有效避免了不同方位上目标在成像中产生的畸变。在后续的研究成果中他们给出了这一方案的实验样机与初步的实验结果[28,29]，如图6所示。
3.3 被动雷达观测模式
上述观测模式都是以主动雷达为基础，即雷达平台本身承担了发射信号照射场景的任务。除此之外，基于被动合成孔径雷达(Passive Synthetic Aperture Radar, PSAR)技术的穿墙探测方案也被研究人员提出[30]，由于可以采用广泛存在的电视广播等第三方信号，基于PSAR技术的建筑物内部结构探测具备良好的研究与应用前景。
4. 基于穿墙雷达成像技术的建筑物内部结构重建方法
基于穿墙雷达成像技术的建筑物内部结构重建方法，在算法模型或重建过程中依赖雷达成像技术，不过受分辨率、栅旁瓣、外墙拖尾、多径等因素影响，直接进行雷达成像处理的结果往往难以辨识，特别是对于一些内部面积狭小、结构复杂的建筑物，还需要辅以其他处理技术，才能得到相对清晰完整的建筑物内部结构布局图。典型的重建技术包括电磁仿真拟合技术、图像增强技术、基于图理论的最优估计技术以及稀疏重构技术等。
4.1 基于电磁仿真拟合技术的建筑物内部结构重建
2006年美国国防高级研究计划局(Defense Advanced Research Projects Agency, DARPA)Baranoski等人[31]做了名为VisiBuilding项目的专题报告，分析了建筑物布局信息对城市巷战的重要意义，提出了机载、车载、单兵等多套系统相组合的建筑物布局探测模型[32]，如图7所示。VisiBuilding项目中的基于模型的建筑物3D结构反演技术，设想在多系统的穿墙成像结果与电磁仿真模型之间形成闭环迭代结构，通过不断降低实测回波与电磁仿真模型之间的差异，最终得到精确的建筑物墙体、楼梯、门等的3D结构。2008年美国密西根理工学院Subotic等人[33]参照这一设想进行了相关的电磁仿真实验。执类似想法的还有意大利SELEX Sistemi Integrati公司的Buonanno等人[34]，设想利用全波模型来生成与实际回波匹配的仿真模型，从而反推建筑物结构。相比于具体的技术，建筑物3D结构反演更接近于一种方案设想，其实现难度如此之大，以至于到目前都没有看到相关后续报道。
4.2 基于图像增强技术的建筑物内部结构重建
典型的基于图像增强技术的建筑物内部结构成像技术，是2009年由斯洛伐克Košice技术大学Aftanas等人[35,36]提出的，利用图像处理中的边缘检测与Hough变换来处理穿墙成像结果，通过提取墙体的直线结构来获得相对直观的建筑物结构信息，如图8所示。
另一种以图像增强技术为基础的建筑物内部结构重建技术是由电子科技大学贾勇等人[37]于2013年提出的M-N-K检测器，M-N-K检测器首先被成功应用于电磁仿真数据，在将各子视角的成像结果归一化后利用M-N-K检测器进行融合，并结合Hough变换去除融合结果中的毛刺。2014年M-N-K检测器在实测数据上得到了验证[38]，如图9所示。M-N-K检测器不需要知晓墙体参数，容易与传统雷达成像方法结合，具有很强的实用性，但也正因为不考虑墙体参数补偿，最终得到的建筑物布局相对粗糙。2015年，电子科技大学姚雪[39]提出了灰度线变换结合频域滤波的建筑物内部结构图像优化方法，对多视角融合成像时的子视角不均衡问题进行了改善。
为解决单一尺度域下图像增强成像效果不佳的缺点，桂林电子科技大学唐茜等人[40]于2019年提出了一种基于多方位多尺度的建筑布局成像方法。该方法首先对方位向进行二维匹配滤波，再通过非下采样Contourlet变换将多视角下不同频率成分按照不同融合准则进行融合。仿真与实测数据的处理结果表明该方法能够有效增强建筑布局图像的轮廓和细节信息，如图10所示。
此外，2019年成都理工大学的Jia等人[41]提出了基于生成对抗网络的建筑物结构重建方法，将深度学习思想引入以图像处理技术为基础的建筑物内部结构重建技术中。该方法通过训练生成对抗网络，建立原始雷达图像与标签清晰结构图像之间的映射关系，实现多径和栅旁瓣鬼影干扰在原始雷达图像中空间分布特征的解析，进而生成期望的清晰结构图像，电磁仿真结果如图11所示，初步验证了生成对抗网络在简单标准建筑物结构重建方面的优异性能，不过对于复杂建筑物结构和实际雷达成像数据的处理性能，还需要进一步验证和优化。
4.3 基于图理论的建筑物内部结构最优估计技术
基于图理论的建筑物内部结构最优估计技术在2014年由国防科技大学陈波等人[42-44]提出，在详细分析了墙角散射的空变特性后，他们利用最小生成树(Minimum Spanning Tree, MST)算法获得了建筑物内部结构的最优估计，如图12所示。与其他方法相比，这一方法能够获得高精度的建筑物内部结构矢量图。
4.4 基于稀疏重构技术的建筑物内部结构重建
压缩感知技术兴起后，西班牙加泰罗尼亚理工大学Lagunas联合美国维拉诺瓦大学Amin等人[45]在2012年开始尝试利用稀疏重构技术在回波域直接重建墙体回波，以降低雷达成像时墙体拖尾对墙后目标的污染，不过仅依赖稀疏约束容易造成目标割裂，他们进一步采用直线结构来辅助墙体的重建[46]，仿真数据验证了这一方法对建筑物内部结构成像的改善，结果如图13所示。
2018年，国防科技大学金添等人[47]提出了单侧墙体方向观测模式下的建筑结构稀疏成像方法，利用传统雷达成像技术中的相干因子(Coherence Factor, CF)加权算法来提高稀疏重建中支撑集选取的稳定性与准确性，实测数据的处理结果表明，该方法可以在较少的迭代次数下获得高质量的建筑物结构成像结果，如图14所示。
2019年桂林电子科技大学的Zhao等人[48]提出了基于全变差(Total Variation, TV)正则化的建筑物结构稀疏重构方法，降低了墙后目标结构差异导致的重构损失，仿真实验结果如图15所示。
雷达成像往往是一个病态的逆问题[49]，基于雷达成像技术的建筑物内部结构重建算法，虽然种类众多，但本质上都是在成像过程中或成像之后加入额外的正则化约束，从而使重建结果变得稳定，只不过相比于其他的重建方法，稀疏重构技术在算法模型上将这一点体现得更为明显。在重构模型中如何通过增加其他约束，以应对更加复杂的建筑物内部结构，可能是该领域未来的一个研究方向。
5. 其他建筑物内部结构探测技术
除了穿墙成像技术之外，还有两种新型建筑物内部结构探测技术，即RTI技术与基于多径信号的墙体位置估计技术，本节将介绍这两类技术的发展。
5.1 基于RTI的建筑物结构反演技术
RTI主要利用接收信号强度(Received Signal Strength, RSS)信息来反演信号衰减率的空间分布。场景中不同物体对信号存在不同程度的遮蔽作用，信号强度因此会产生额外的衰减，所以信号衰减率的空间分布即是对建筑物内部结构的一种刻画。严格来说，RTI并非雷达技术，甚至与雷达技术有本质区别。RTI接收处理的是透射波，获得的是场景的传输特性，而雷达接收处理的是反射波，获得的是场景的散射特性[8]。将RTI技术应用于室内运动目标探测的研究起步较早，国内外均有研究者提出通过布设多组无线传感器来监测RSS的变化来估计室内目标的运动信息[8,50-52]。相比于运动目标探测，静止场景的RTI难度更大，需要更多的传感器节点以及更为复杂的反演技术。
2008年美国新墨西哥大学Mostofi等人[53]结合压缩感知技术建立了静止场景RSS分布的压缩映射模型，即在传统的线性RTI模型中增加了稀疏正则化约束，提出利用合作的移动无线传感器节点，低成本获得场景的RSS分布。2011年Mostofi[54]利用这一模型，将WiFi网卡搭载在小型机器人身上作为探测平台，成功得到了一个T型柱子的平面结构。2013年Mostofi进入美国加州大学工作，此后Mostofi等人[55-58]在利用压缩感知技术进行RTI的研究中，尝试了多种改进方案，包括TV约束下的稀疏重建、贝叶斯压缩感知技术、基于Rytov线性近似的TVAL3 (TV minimization by Augmented Lagrangian and Alternating Direction Algorithms)算法等，最终得到了建筑物二维平面布局信息，如图16所示。
2017年，Karanam等人[59]利用两台小型无人机对建筑物进行同步绕飞来获取探测数据，再结合温特尔-克拉默斯-布里渊(Wentzel-Kramers-Brillouin, WKB)线性近似方法，将三维结构反演问题转化为最小化三维全变差(3D Total Variation, 3D TV)问题，进一步得到了静止建筑物的三维成像结果，如图17所示。
除了稀疏正则化约束之外，其他类型的正则化约束也出现在RTI的研究中。例如2012年美国佐治亚理工学院Hamilton等人[60]提出了射频层析成像与非合作分析(RF Exploitation for Tomographic Imaging and Non-cooperative Analysis, RETINA)算法，在反演模型中追加了Tikhonov正则化约束，RETINA可以同时获得建筑物结构布局与室内运动目标的分布信息，并在仿真实验中表现出了优异的性能，如图18所示。2013年他们又根据建筑物结构中墙体具有互相垂直等特性，将Tikhonov正则化约束替换成了椭圆协方差约束，从而在仿真实验中得到了更高质量的建筑物结构反演结果[61]。
Hamilton等人的反演模型虽然只在仿真实验中得到了验证，但给予了后继研究者很多启发。2018年北京理工大学Xu等人[62]就在Hamilton等人提出的椭圆协方差约束的基础上，利用定向天线取代全向天线以获得更高的信号质量，并进一步加入了像素衰减非负约束，最终在实测实验中获得了更好的反演性能，如图19所示。
2020年中国科学院Guo等人[63]则结合了Mostofi等人与Hamilton等人的研究，利用墙体的厚度与长度具有明显差异的特征，提出使用重新加权全变差(Reweighted Total Variation, RTV)约束代替传统的TV约束，同时借助墙体往往只有水平和垂直这两个方向的先验信息，提出了重新加权全变差与先验信息联合(Reweighted Total Variation and Prior Information, RTV-PIR)算法，RTV-PIR在RTV模型中增加了椭圆协方差约束，进一步改善了反演结果中墙体的不规则现象。
为解决多介质场景成像问题，2020年，电子科技大学Zhang等人[64]在单介质场景成像的研究基础上，考虑将各介质的电磁参数作为先验灰度向量融入迭代求解算法中，提出了一种先验信息约束下的代数重建技术(Priori Information Constrained Algebraic Reconstruction Technology, PIC-ART)算法，在每一轮迭代求解的过程中，加入了各像素值与先验灰度向量的误差约束。相较传统的TV约束方法，所提算法不仅提高了运行效率，同时改善了多介质场景的成像质量，结果如图20所示。
上述针对RTI的研究工作主要利用的是RSS信息，缺少信号的相位信息，难以解决电磁波的多径传播问题，导致直接成像效果较差。为此，2019年电子科技大学的Chen等人[65]尝试将线性调频信号替代窄带信号，并通过对时延谱分析完成了收发天线之间直达路径提取，基于电磁仿真数据实现了建筑结构的反演。次年，中国科学院Guo等人[66]通过所提的时延估计算法完成了基于传播时延的建筑结构层析成像实测验证，结果如图21所示。
除了在建筑物外布设无线传感器节点之外，研究人员也尝试利用建筑物内部的辐射源进行RTI处理。2017年德国慕尼黑工业大学的Holl等人[67]借鉴光学全息成像的思路，将辐射源布置于建筑物内部，在建筑外部部署二维阵面记录电磁波的波前复振幅，通过角谱传播得到了任意深度的二维全息成像结果，如图22所示。电磁仿真结果表明该方法不仅可以获得建筑物的三维成像结果，而且可以实现对辐射源的定位。
总体而言，RTI成像求解过程往往比传统雷达成像更为病态，反演过程更为复杂，但是RTI技术在传感器成本、系统复杂度和布设灵活度等方面，相较于穿墙雷达成像技术具有明显优势，因此具有广阔的发展前景。
5.2 基于多径信号的墙体位置估计技术
基于多径信号的墙体位置估计技术依然属于雷达探测领域，这一技术需要室内存在运动目标。2014年，美国杜克大学Li等人[9]提出了一种基于多径信号的目标定位与建筑布局联合估计方法，首先建立了目标与环境中点散射体和面散射体的参数化位置关系，进而通过多周期多假设跟踪方法同时求解目标位置与散射体位置参数，最终实现了目标位置与建筑布局的同时估计，实验结果如图23所示。
电子科技大学的刘剑刚等人[68,69]于2015年采用一个小孔径穿墙雷达，在单站凝视模式下探测室内人员目标与其多径虚假目标的运动轨迹，再分析真实轨迹与虚假目标轨迹之间的几何关系，最终反向重构侧墙的位置分布，如图24所示。2018年开始，电子科技大学的研究人员对MIMO穿墙雷达中的多径效应[70]、L拐角处的多径效应[71,72]进行了深入研究，为复杂建筑物结构中的墙体位置估计提供了进一步研究的依据。
利用多径定位墙体的方法需要室内运动目标的合作，不可能在任何情况下都实现，但这一方法所需的雷达系统结构简单，易于操作与实现，为建筑物内部结构穿透探测提供了非常新颖的思路。
6. 结束语
本文对建筑物内部结构探测领域近20年来的发展情况进行了简要梳理。从FPR到全方向穿墙雷达，从直接进行雷达成像到复杂的RTI处理，以及利用室内目标的运动信息间接获取建筑物内部结构，无论是探测平台，还是重建方法，建筑物内部结构穿透探测已经取得了许多振奋人心的成果。当然就现有结果而言，目前获得的建筑物内部结构信息还较为简单，只适合提供一些初步的辅助参考服务，不过随着探测系统与重建算法的不断更新发展，这一领域非常有可能出现新的突破。
从本文梳理的结果来看，虽然国外在该领域的研究起步早于国内，但在国内研究人员的努力之下，国内也涌现出很多新颖高效的建筑物内部结构探测方法。不过也应注意到，国内在该领域的创新依然弱于国外，一个非常显著的特点是国外研究人员侧重于系统架构与处理算法的综合改进，国内则更倾向于单纯的算法创新。不过伴随着国内器件水平的提高与制造成本的下降，我们有理由相信，未来国内在该领域的研究将可能取得非常显著的突破。
建筑物内部结构穿透探测有着广阔的应用前景与研究价值，结合目前的发展情况与应用需求来看，一些可能的发展趋势是：
(1) 探测平台将更加轻型化与多样化，特别是结合当前机器人、无人机等技术的发展，未来的穿墙探测会具有更高的空间探测自由度，针对高层建筑物以及地下建筑物等目前几乎尚未涉及的探测对象，开展内部结构穿透探测将变得更加容易；
(2) 多种探测技术的融合将提高建筑物内部结构的探测性能，现有的雷达成像技术与RTI等技术，除了各自独立发展之外，未来将可能出现融合上述技术的探测平台与结构重建方法，从而实现技术互补；
(3) 目前建筑物内部结构探测领域还主要依赖于研究人员手工设计成像模型与方法，而在与之紧密相关的室内人员目标探测领域，已经出现了大量使用人工智能技术的研究成果，未来这些研究很可能会迁移到建筑物内部结构穿透探测领域。
-
1 超宽带雷达人体动作四维成像数据集1.0发布网页
1. Release webpage of ultra-wideband radar human activity 4D imaging dataset
表 1 雷达系统参数
Table 1. Radar system parameters
参数 指标 工作频段 1.78～2.78 GHz 信号带宽 1 GHz 信号体制 步进频信号 信号步进带宽 4 MHz 脉冲重复频率 10 Hz 天线阵元数 10发10收(MIMO) 信号发射功率 20 dBm (100 mW) 系统尺寸 60 cm×88 cm 可穿透介质 幕布、木板、塑料、泡沫、砖墙等 
下载: 导出CSV
表 2 数据集采集场景信息
Table 2. Dataset collection scene information
场景编号 遮挡情况 训练集 测试集 S1 无遮挡 √ √ S2 3 cm塑料板遮挡 × √ S3 27 cm砖墙遮挡 × √ 注：√表示有，×表示无。
下载: 导出CSV
表 3 不同动作的数据量(组)
Table 3. The amount of data for different actions (groups)
标号 动作 S1场景训练 S1场景测试 S2场景测试 S3场景测试 总数 1 开双臂 149 40 40 40 269 2 打拳 155 40 40 40 275 3 静坐 156 40 40 40 276 4 踢腿 158 40 40 40 278 5 坐下 155 40 40 40 275 6 站立 156 40 40 40 276 7 向前走 157 40 40 40 277 8 向左走 156 40 40 40 276 9 向右走 158 40 40 40 278 10 挥手 157 40 40 40 277
下载: 导出CSV
表 4 人体目标信息
Table 4. Human target information
目标编号 身高(cm) 体重(kg) S1场景 S2场景 S3场景 H1 175 70 √ × × H2 172 72 √ × × H3 178 68 √ × × H4 182 85 √ × × H5 170 75 √ × × H6 179 74 √ √ √ H7 165 60 √ × × H8 169 65 √ √ √ H9 162 53 √ × × H10 186 80 √ × × H11 171 67 √ × ×
下载: 导出CSV
表 5 人体动作标号
Table 5. Human activity labels
动作编号 动作类型 真值标号 动作编号 动作类型 真值标号 A1 开双臂 0 A6 站立 5 A2 打拳 1 A7 向前走 6 A3 静坐 2 A8 向左走 7 A4 踢腿 3 A9 向右走 8 A5 坐下 4 A10 挥手 9
下载: 导出CSV
表 6 实验结果对比表
Table 6. Experimental results comparison table
识别方法 网络框架 S1识别精度 S2识别精度 S3识别精度 2D CNN TSN 85.75% 83.5% 60.75% TSM 91.50% 88.0% 73.75% 3D CNN SFN 88.00% 80.5% 70.25% Res3D 92.25% 90.0% 77.00%
下载: 导出CSV
表 7 Res3D网络在不同场景下的动作识别精度(%)
Table 7. Human activity recognition accuracy of Res3D networks in different scenes (%)
探测场景 张开双臂 打拳 静坐 踢腿 坐下 站立 向前走 向左走 向右走 挥手 平均 S1场景 90 90.0 97.5 82.5 100 85.0 97.5 100 100 80 92.25 S2场景 85 92.5 100.0 85.0 100 82.5 85.0 100 100 70 90.00 S3场景 90 82.5 100.0 42.5 100 65.0 50.0 70 100 70 77.00
下载: 导出CSV
-
[1] KUMAR P. Human activity recognition with deep learning: Overview, challenges & possibilities[J]. CCF Transactions on Pervasive Computing and Interaction, 2021, 339(3): 1–29. doi: 10.20944/preprints202102.0349.v1. [2] 黄晴晴, 周风余, 刘美珍. 基于视频的人体动作识别算法综述[J]. 计算机应用研究, 2020, 37(11): 3213–3219. doi: 10.19734/j.issn.1001-3695.2019.08.0253HUANG Qingqing, ZHOU Fengyu, and LIU Meizhen. Survey of human action recognition algorithms based on video[J]. Application Research of Computers, 2020, 37(11): 3213–3219. doi: 10.19734/j.issn.1001-3695.2019.08.0253 [3] 钱慧芳, 易剑平, 付云虎. 基于深度学习的人体动作识别综述[J]. 计算机科学与探索, 2021, 15(3): 438–455. doi: 10.3778/j.issn.1673-9418.2009095QIAN Huifang, YI Jianping, and FU Yunhu. Review of human action recognition based on deep learning[J]. Journal of Frontiers of Computer Science &Technology, 2021, 15(3): 438–455. doi: 10.3778/j.issn.1673-9418.2009095 [4] SCHULDT C, LAPTEV I, and CAPUTO B. Recognizing human actions: A local SVM approach[C]. 2004 IEEE International Conference on Pattern Recognition, Cambridge, UK, 2004: 32–36. [5] SOOMRO K, ZAMIR A R, and SHAH M. UCF101: A dataset of 101 human actions classes from videos in the wild[EB/OL]. https://arxiv.org/abs/1212.0402, 2012. [6] KUEHNE H, JHUANG H, GARROTE E, et al. HMDB: A large video database for human motion recognition[C]. 2011 IEEE International Conference on Computer Vision, Barcelona, Spain, 2011: 2556–2563. [7] KAY W, CARREIRA J, SIMONYAN K, et al. The kinetics human action video dataset[EB/OL]. https://arxiv.org/abs/1705.06950, 2017. [8] SHAHROUDY A, LIU Jun, NG T T, et al. NTU RGB+D: A large scale dataset for 3D human activity analysis[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 1010–1019. [9] 杜浩. 基于深度学习的超宽带雷达人体行为辨识研究[D]. [博士论文], 国防科技大学, 2020: 1–5.DU Hao. Research on deep learning-based human behavior recognition in ultra-wideband radar[D]. [Ph. D. dissertation], National University of Defense Technology, 2020: 1–5. [10] PAULI M, GOTTEL B, SCHERR S, et al. Miniaturized millimeter-wave radar sensor for high-accuracy applications[J]. IEEE Transactions on Microwave Theory and Techniques, 2017, 65(5): 1707–1715. doi: 10.1109/TMTT.2017.2677910 [11] 刘熠辰, 徐丰. 基于雷达技术的手势识别[J]. 中国电子科学研究院学报, 2016, 11(6): 609–613. doi: 10.3969/j.issn.1673-5692.2016.06.009LIU Yichen and XU Feng. Gesture recognition based on radar technology[J]. Journal of China Academy of Electronics and Information Technology, 2016, 11(6): 609–613. doi: 10.3969/j.issn.1673-5692.2016.06.009 [12] DING Chuanwei, ZHANG Li, GU Chen, et al. Non-contact human motion recognition based on UWB radar[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2018, 8(2): 306–315. doi: 10.1109/JETCAS.2018.2797313 [13] KIM Y and MOON T. Human detection and activity classification based on micro-Doppler signatures using deep convolutional neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(1): 8–12. doi: 10.1109/LGRS.2015.2491329 [14] CRALEY J, MURRAY T S, MENDAT D R, et al. Action recognition using micro-Doppler signatures and a recurrent neural network[C]. 2017 51st Annual Conference on Information Sciences and Systems, Baltimore, USA, 2017: 1–5. [15] WANG Mingyang, ZHANG Y D, and CUI Guolong. Human motion recognition exploiting radar with stacked recurrent neural network[J]. Digital Signal Processing, 2019, 87: 125–131. doi: 10.1016/j.dsp.2019.01.013 [16] LI Xinyu, HE Yuan, FIORANELLI F, et al. Semisupervised human activity recognition with radar micro-Doppler signatures[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5103112. doi: 10.1109/TGRS.2021.3090106 [17] DU Hao, JIN Tian, SONG Yongping, et al. A three-dimensional deep learning framework for human behavior analysis using range-Doppler time points[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(4): 611–615. doi: 10.1109/LGRS.2019.2930636 [18] 李廉林, 崔铁军. 智能电磁感知的若干进展[J]. 雷达学报, 2021, 10(2): 183–190. doi: 10.12000/JR21049LI Lianlin and CUI Tiejun. Recent progress in intelligent electromagnetic sensing[J]. Journal of Radars, 2021, 10(2): 183–190. doi: 10.12000/JR21049 [19] LI Lianlin, SHUANG Ya, MA Qian, et al. Intelligent metasurface imager and recognizer[J]. Light:Science & Applications, 2019, 8(1): 97. doi: 10.1038/s41377-019-0209-z [20] FIORANELLI F, SHAH S A, LI Haobo, et al. Radar sensing for healthcare[J]. Electronics Letters, 2019, 55(19): 1022–1024. doi: 10.1049/el.2019.2378 [21] MENG Zhen, FU Song, YAN Jie, et al. Gait recognition for co-existing multiple people using millimeter wave sensing[C]. The AAAI Conference on Artificial Intelligence, New York, USA, 2020: 849–856. [22] ZHU Zhengliang, YANG Degui, ZHANG Junchao, et al. Dataset of human motion status using IR-UWB through-wall radar[J]. Journal of Systems Engineering and Electronics, 2021, 32(5): 1083–1096. doi: 10.23919/JSEE.2021.000093 [23] SONG Yongkun, JIN Tian, DAI Yongpeng, et al. Through-wall human pose reconstruction via UWB MIMO radar and 3D CNN[J]. Remote Sensing, 2021, 13(2): 241. doi: 10.3390/rs13020241 [24] AMIN M G, 朱国富, 陆必应, 金添, 等译. 穿墙雷达成像[M]. 北京: 电子工业出版社, 2014: 22–25.AMIN M G, ZHU Guofu, LU Biying, JIN Tian, et al. translation. Through-The-Wall Radar Imaging[M]. Beijing, China: Publishing House of Electronic Industry, 2014: 22–25. [25] 詹姆斯 D. 泰勒, 胡春明, 王建明, 孙俊, 等译. 超宽带雷达应用与设计[M]. 北京: 电子工业出版社, 2017: 54–55.TAYLOR J D, HU Chunming, WANG Jianming, SUN Jun, et al. translation. Ultrawideband Radar: Applications and Design[M]. Beijing, China: Publishing House of Electronic Industry, 2017: 54–55. [26] 孙鑫. 超宽带穿墙雷达成像方法与技术研究[D]. [博士论文], 国防科学技术大学, 2015: 16–17.SUN Xin. Research on method and technique of ultra-wideband through-the-wall radar imaging[D]. [Ph. D. dissertation], National University of Defense Technology, 2015: 16–17. [27] 金添, 宋勇平. 穿墙雷达人体目标探测技术综述[J]. 电波科学学报, 2020, 35(4): 486–495. doi: 10.13443/j.cjors.2020040804JIN Tian and SONG Yongping. Review on human target detection using through-wall radar[J]. Chinese Journal of Radio Science, 2020, 35(4): 486–495. doi: 10.13443/j.cjors.2020040804 [28] ASH M, RITCHIE M, and CHETTY K. On the application of digital moving target indication techniques to short-range FMCW radar data[J]. IEEE Sensors Journal, 2018, 18(10): 4167–4175. doi: 10.1109/JSEN.2018.2823588 [29] SONG Yongping, LOU Jun, and TIAN Jin. A novel II-CFAR detector for ROI extraction in SAR image[C]. 2013 IEEE International Conference on Signal Processing, Communication and Computing, Kunming, China, 2013: 1–4. [30] NORTON-WAYNE L. Image reconstruction from projections[J]. Optica Acta:International Journal of Optics, 1980, 27(3): 281–282. doi: 10.1080/713820221 [31] MCCORKLE J W. Focusing of synthetic aperture ultra wideband data[C]. 1991 IEEE International Conference on Systems Engineering, Dayton, USA, 1991: 1–5. [32] BOBICK A F and DAVIS J W. The recognition of human movement using temporal templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(3): 257–267. doi: 10.1109/34.910878 [33] DAS DAWN D and SHAIKH S H. A comprehensive survey of human action recognition with spatio-temporal interest point (STIP) detector[J]. The Visual Computer, 2016, 32(3): 289–306. doi: 10.1007/s00371-015-1066-2 [34] WANG Heng, KLÄSER A, SCHMID C, et al. Dense trajectories and motion boundary descriptors for action recognition[J]. International Journal of Computer Vision, 2013, 103(1): 60–79. doi: 10.1007/s11263-012-0594-8 [35] SIMONYAN K and ZISSERMAN A. Two-stream convolutional networks for action recognition in videos[C]. The 27th International Conference on Neural Information Processing Systems, Montreal, Canada, 2014: 568–576. [36] WANG Limin, XIONG Yuanjun, WANG Zhe, et al. Temporal segment networks: Towards good practices for deep action recognition[C]. 2016 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 20–36. [37] LIN Ji, GAN Chuang, and HAN Song. TSM: Temporal shift module for efficient video understanding[C]. 2019 IEEE/CVF IEEE International Conference on Computer Vision, Seoul, Korea, 2019: 7083–7093. [38] JI Shuiwang, XU Wei, YANG Ming, et al. 3D convolutional neural networks for human action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 221–231. doi: 10.1109/TPAMI.2012.59 [39] TRAN D, BOURDEV L, FERGUS R, et al. Learning spatiotemporal features with 3D convolutional networks[C]. 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 4489–4497. [40] TRAN D, RAY J, SHOU Zheng, et al. ConvNet architecture search for spatiotemporal feature learning[EB/OL]. https://arxiv.org/abs/1708.05038, 2017. [41] FEICHTENHOFER C, FAN Haoqi, MALIK J, et al. SlowFast networks for video recognition[C]. 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea, 2019: 6202–6210. -
下载:
计量
- 文章访问数:
- HTML全文浏览量:
- PDF下载量:
- 被引次数: 0
