Processing math: 100%

基于激光雷达点云补全的飞机停泊引导定位研究

魏宁 李明磊 陈广永 叶方舟

魏宁, 李明磊, 陈广永, 等. 基于激光雷达点云补全的飞机停泊引导定位研究[J]. 雷达学报(中英文), 待出版. doi: 10.12000/JR25002
引用本文: 魏宁, 李明磊, 陈广永, 等. 基于激光雷达点云补全的飞机停泊引导定位研究[J]. 雷达学报(中英文), 待出版. doi: 10.12000/JR25002
WEI Ning, LI Minglei, CHEN Guangyong, et al. Research on aircraft docking guidance localization based on LiDAR point cloud completion[J]. Journal of Radars, in press. doi: 10.12000/JR25002
Citation: WEI Ning, LI Minglei, CHEN Guangyong, et al. Research on aircraft docking guidance localization based on LiDAR point cloud completion[J]. Journal of Radars, in press. doi: 10.12000/JR25002

基于激光雷达点云补全的飞机停泊引导定位研究

DOI: 10.12000/JR25002 CSTR: 32380.14.JR25002
基金项目: 国家自然科学基金(42271343)
详细信息
    作者简介:

    魏 宁,硕士生,研究方向为三维计算机视觉、点云补全技术

    李明磊,博士,副教授,研究方向为三维计算机视觉、先进遥感技术、面向自动驾驶/无人机的三维环境感知、激光雷达数据处理等

    陈广永,硕士,高级工程师,主要研究方向为光电融合、多源环境感知

    叶方舟,硕士,高级工程师,主要研究方向为电信技术、航路算法规划等

    通讯作者:

    李明磊 minglei_li@nuaa.edu.cn

  • 责任主编:杨星 Corresponding Editor: YANG Xing
  • 中图分类号: TN958.98

Research on Aircraft Docking Guidance Localization Based on LiDAR Point Cloud Completion

Funds: The National Natural Science Foundation of China (42271343)
More Information
  • 摘要: 机场泊位引导系统对提高机场安全性和运行效率有着重要作用,为了利用激光雷达精确获取飞机停泊位置,本文提出了一种基于深度学习的点云补全网络并通过点云配准的方式定位飞机中心坐标。首先,参考真实场景中飞机停泊过程进行仿真得到模拟激光雷达点云。接着对遮挡等原因造成残缺的模拟点云进行补全,恢复出完整结构。最后将补全后的点云与飞机模型点云配准,坐标转换后计算出飞机中心点在模拟激光雷达坐标系中的准确位置。实验表明,提出的点云补全网络能够完整地恢复出模拟点云中缺失部分,从而计算出模拟点云的飞机中心坐标,实现了对飞机泊位引导过程中飞机位置的精确检测。为了便于研究人员评估和使用,文中算法可通过https://www.scidb.cn/anonymous/UXZFZkFm开源获取。

     

  • 飞机泊位引导系统(Docking Guidance System, DGS)是在飞机滑行并停泊至停机坪过程中利用激光雷达或视觉传感获取飞机当前所处的位置姿态、滑行速度、与停机坪距离等信息,引导飞行员调整飞机,准确停靠在泊位上的人机对话指挥系统,其运行过程如图1所示。飞机泊位引导系统可与机场数据中心集成,实时提供入位飞机的方位角引导、滑行速度、机位信号等。飞机泊位引导系统相较于传统的人工引导,能够有效提高飞机停泊过程的安全系数及运行效率,节省人力成本,减少事故发生,是机场现代化建设中的关键一环[1]

    图  1  飞机泊位引导系统示意图
    Figure  1.  Structure of airport docking guidance system

    目前机场常规使用的目视泊位系统依靠引导灯指示飞行员将飞机停泊至机位入位线[2],这种引导方式依赖于引导灯进行泊位引导,易受灯具老化、环境光照及气象条件干扰,存在定位偏差大、维护成本高、环境适应性差等缺陷。三维激光技术通过非接触、主动测量的激光测量方式快速获取被测物体表面的高精度空间点信息,结合毫米波测距与多维度位姿解算,显著提升了抗干扰能力、定位精度及全天候适应性。将三维激光扫描设备安装在航站楼,扫描停机坪中泊机区域,获得目标飞机的表面三维点云数据,通过激光雷达技术精准的测量、识别和定位计算,来实现泊位引导[3]

    在飞机停泊引导场景中,激光雷达扫描的角度受到机身遮挡,导致扫描点云结构残缺。针对这一问题,本文提出了一种两阶段融合检测方法:首先提出一种基于深度学习的点云补全网络PointSimCompletiton,以不同角度及不同型号的仿真飞机点云数据集为基础,实现关键特征部件的局部点云修复。接着,最小化补全点云与参考点云的位姿差异,实现飞机姿态精准解算。该方法首次将点云补全与配准技术深度融合,系统性应用于机场飞机泊位引导这一特殊场景,针对飞机停泊过程中因遮挡、角度等因素导致的激光雷达点云残缺问题,通过几何先验引导的补全算法恢复关键结构特征,并结合不同坐标系下坐标转换的配准策略优化位姿估计,显著提升了复杂环境下的定位鲁棒性与精度。

    在飞机泊位自动引导技术的发展中,早期主要依赖埋地线圈检测系统,通过感应飞机金属部件实现基础引导,但其物理接触式设计存在检测元件易损、维护需封闭机位等缺陷,促使非接触式技术成为研究重点。基于视觉的引导系统通过视频追踪飞机轨迹,利用图像识别提升飞机引导效率和安全性,但因对环境和照明要求高、算法鲁棒性不足,导致引导成功率较低,仍需人工辅助。三维激光扫描技术通过激光测距和扫描确定飞机参数,具备全天候抗干扰能力和毫米级测距精度,可调试性和可维修性好,应用前景广泛。

    三维激光测量技术的快速发展已经成功应用于基于激光扫描的机场泊位引导系统[4]。瑞典FMT公司早在1992年就申报了基于激光技术的泊位引导系统专利,并随后研制了广泛应用的飞机位置及资讯显示(Aircraft Positioning And Information System, AIPS)系统。相比之下,国内在此领域起步较晚,大多处于实验研究阶段,目前还没有生产销售具有自主知识产权的成型的泊位自动引导系统的单位或部门,一些大型机场主要引进国外研制的自动泊位系统。

    飞机在准备停泊时,以停机区域为参照的计算机视觉引导飞机着陆技术具有广阔的应用前景[5]。当前激光雷达泊位引导系统虽然能够通过高精度点云扫描获取飞机当前位置姿态,但因机身遮挡导致点云残缺,并不能很好地反映物体的完整形状,限制了其后续应用。本文提出融合深度学习点云补全与物理约束模型配准的创新方法:通过提取飞机部件拓扑关系修复遮挡区域,并结合参数化机身模型优化姿态解算,显著提升复杂场景下的补全效果与定位可靠性。

    点云补全技术的研究可依据方法差异划分为两个主要阶段:基于传统方法补全阶段与深度学习驱动补全阶段。传统方法依赖于几何和表面信息[6],如表面连续性的算法[7]利用平滑插值的方法补全点云表面的孔洞,或利用结构对称性[8]识别物体的对称轴来达到补全的目的。这类传统的点云补全方法面对遮挡严重和点云空缺大的情况效果不佳。

    随着深度学习的发展,三维形状补全的工作取得了重大进展。基于深度学习方法通过大量训练数据,利用神经网络推断出缺失部分。PointNet[9]和PointNet++[10]能够直接从无序点云中提取层次化几何特征。其中,PointNet汇聚所有点的信息,使用全局最大池化来生成点云的全局特征。而PointNet++进一步引入层级结构,使网络能够从点云的不同尺度中提取更丰富的局部信息,弥补了PointNet对局部特征结构关注不足的问题,为后续研究提供了基础。最早提出的利用深度学习进行点云补全的PCN[11]将点云表示为三维张量,通过编码器-解码器结构进行补全,并提出了PCN数据集[12]。PF-Net[13]改善了网络结构,只输出缺失部分,保留了物体的特征。

    点云配准通过将不同坐标系的点云数据变换到统一坐标系,是关联不同帧点云数据的常用手段[14]。在飞机泊位引导系统中,激光雷达坐标系的建立以及空间基准的统一是实现精确飞机定位和姿态估计的关键步骤。通过点云配准技术,可以将飞机坐标系与激光雷达坐标系对齐,从而实现空间基准的统一和几何约束的建立。Besl和Mcka[15]提出的迭代最近点(Iterative Closest Point, ICP)算法是点云配准领域的经典算法,该算法对初始位置敏感,容易陷入局部最优,且在数据量大时耗时。针对这些问题,许多学者提出了优化算法。文献[16]提出结合分层搜索和八叉树的增强ICP方法,减少了迭代次数。文献[17]提出通过KD-tree快速搜索临近点对,提高配准效率。文献[18]提出了一种二维正态分布变换算法(Normal Distribution Transform, NDT),使用点云的密度函数进行点云配准,有效提高配准效率,同时避免了ICP算法的局部最优解缺陷。文献[19]通过NDT与ICP相结合的方式快速实现点云配准,文献[20]将采样一致性初始配准(Sample Consensus Initial Alignment, SAC-IA)算法结合NDT算法以提升配准的精度。上述方法虽然可以在一定程度降低配准时间,但是仍存在局部最优问题,并且数据量较大时提升的效率有限。

    在机场泊位场景中,激光雷达点云缺失主要由三类因素导致:传感器视角限制,如雷达安装位姿与视场角导致的顶部或底部盲区;飞机自遮挡,机翼与机身等部件间几何遮挡;动态环境干扰如地勤车辆穿行造成的点云随机丢失[21]。上述因素导致飞机关键结构部分点云严重残缺,特别是飞机点云的中心可能无法直接获取。为了解决这个问题,本文首先对飞机的残缺点云进行补全。补全后的点云数据,通过配准技术与计算机辅助设计(Computer Aided Design, CAD)模型的参考点云进行对比。通过坐标转换和计算,能够预测并确定真实场景中扫描飞机点云的中心位置。这一过程不仅提高了飞机点云的完整性,也为泊位引导系统提供了更精确的位置信息。

    基于三维激光的点云补全技术能够有效地预测并生成缺失的点云部分,同时保持与采集点云的一致性和结构的连贯性[22]

    3.1.1   算法介绍

    Transformer[23]最初是为自然语言处理任务设计的,通过编码器-解码器结构和自注意力机制以及交叉注意力机制来提取特征,在处理长序列数据时非常有效。随着PCT[24]与Pointformer[25]的出现,Transformer表现出在点云处理上的强大学习能力,逐渐流行于三维计算机视觉领域[26]

    本算法采用的点云补全网络PointSimCompletiton利用Transformer的几何感知能力,其结构如图2所示。网络首先将输入点云进行采样,获取其局部特征并结合位置嵌入来保留点云的几何信息,作为Transformer编码器的输入。接着,通过 Transformer 编码器-解码器架构对点云进行处理,利用自注意力机制捕捉点云中的几何结构关系。在解码阶段,模型会逐步生成点云的缺失部分。最后通过FoldingNet进行重建得到预测的缺失点云,与输入点云拼接后得到最终的补全点云。

    图  2  PointSimCompletiton网络结构图
    Figure  2.  Architecture of PointSimCompletiton network

    要使三维点云适用于Transformer,关键在于如何有效地将点云转换为Transformer能够处理的格式。由于直接使用点云中每个点坐标作为输入会大幅增加计算成本,因此需要先将点云转换为一系列点代理。受到PointNet++的启发,首先通过最远点采样(Farthest Point Sample, FPS)从残缺的点云中提取出固定数量的中心点集合{q1q2qN},接着使用动态图卷积(Dynamic Graph CNN, DGCNN)[27]提取中心点的局部特征{F1F2FN}得到能够代表中心点周围局部特征的特征向量,用来作为Transformer的编码器输入。点代理表示为Fi=Fi+Φ(qi),其中Fi为使用DGCNN模型提取的qi点的局部语义信息,Φ()是用于捕获点代理位置信息的非线性映射,显式编码了点代理的全局位置。

    Transformer中通用的几何感知模块由Vaswani等[28]提出,输入为Q, K, V 3个向量或矩阵通过多头自注意力层和一个线性层进行残差连接。为了能够更好地利用点云中三维几何结构的归纳偏置,将局部几何关系补充到自注意力模块。应用了具有几何感知能力的Transformer模块,其结构图如图3所示。根据点代理Fi对应的三维点坐标qi,使用K近邻(K Nearest Neighbor, KNN)将空间中相邻的点代理拼接在一起,在给定查询坐标pQ情况下,根据键坐标pK查询邻近特征,通过线性层的特征聚合,然后进行最大池化,学习局部几何结构。然后将几何特征和语义特征连接并映射到原始维度以形成输出。

    图  3  几何感知的Transformer模块
    Figure  3.  Geometry-aware Transformer block

    在点云特征提取过程中,查询向量作为预测点代理的初始状态。为确保查询向量能准确反映点云的整体轮廓,采用动态查询生成模块为生成序列提供初始 “预测”。这些查询向量通过与编码器特征的交互,生成缺失部分的初步表示(点代理)。编码器提取的全局特征通过线性层映射到高维空间,并进行最大池化。将全局特征与坐标拼接,并通过多层感知器(Multilayer Perceptron, MLP)生成新的查询向量。

    该查询向量经过译码器被翻译为点云缺失部分的点代理,用来指导缺失点云的重建。利用FoldingNet[29]进行偏移坐标重建,得到预测的缺失点云,再与输入点云拼接,完成最终的点云重建。

    3.1.2   补全结果

    本文对机场常见客机类型的数据进行了补全算法的验证。如图4所示,左侧展示了仿真激光雷达采样的模型飞机,中间图是对该模型进行激光雷达仿真得到的点云,其中部分机身和右翼因结构遮挡而数据缺失,这是对复杂几何结构对象进行数据采集中常见的问题。右侧图显示了使用PointSimCompletiton网络补全后的点云,本文算法能有效预测并填补缺失部分,恢复飞机的完整结构。

    图  4  基于仿真数据的激光雷达点云补全结果
    Figure  4.  Completion result of LiDAR point cloud based on simulation data

    与扫描点云相比,补全的飞机点云在视觉上展现出了较高的完整性和细节度,有效地恢复了扫描点云中被遮挡的右机翼部分,补充了缺失的关键特征和结构信息。补全的点云还增强了数据的连贯性和一致性,这对后续进行飞机的位姿测量和分析至关重要[30]

    通过配准技术实现空间基准的统一和几何约束的建立,是飞机泊位引导系统中不可或缺的步骤。配准不仅能够消除坐标系之间的偏差,还能提高定位和姿态估计的精度,确保飞机安全、准确地停靠在指定位置。

    在机场泊位场景中,直接对原始遮挡点云进行配准存在局限。由于飞机滑行时关键结构(如机翼、起落架)常被机身自身遮挡,残缺点云会导致配准算法陷入局部最优解(例如误将扫描点云左机翼与参考点云机身对齐)。尽管补全过程可能引入微小几何误差,但其核心价值在于恢复遮挡区域的低阶几何特征,提高表面光滑性,为配准提供全局约束,避免因主要特征缺失引发配准错误。

    本文采用飞机的几何中心作为其位置的代表。对于补全后的激光雷达点云,通过配准技术将其与CAD模型的下采样点云Pt作为参考点云进行配准,将模型中心点坐标转换到激光雷达点云所在的坐标系,实现飞机的定位。将目标点云Pt中的参考点固定,将源点云Ps中的参考点转换与之匹配。本文算法结合了RANSAC(Random Sample Consensus)[31]算法进行粗配准和ICP算法进行精配准,首先使用 RANSAC 找到初始对齐,然后使用ICP进行精细优化,提高点云配准的鲁棒性和精度。

    3.2.1   点云配准

    RANSAC算法是一种鲁棒性估计算法,核心在于通过随机采样点来估计模型参数,通常用于粗配准,提供初始对齐(初始变换矩阵),以减少ICP对初始位置的敏感性。在点云配准中,RANSAC用于估计两组点云间的刚性变换。其简单流程如下:在源点云Ps和目标点云Pt中分别随机选取3个点,采用KD-Tree[32]的方式搜索最近邻点,通过最小二乘法计算变换矩阵H,源点云经过刚体变换后的点云Ps=RcPs+tcRctc分别是旋转矩阵和平移向量。计算新点云集与目标点云集之间的重合度。在指定的N次循环之后选取重合的最高的变换矩阵为粗配准的变换矩阵。

    ICP算法是最常用的点云配准方法,用于找到两个点云之间的最佳变换关系,使它们之间达到最小的对应点距离,该方法基于最小二乘的思想最小化目标点云Pt与源点云Ps之间的距离,能够在 RANSAC 提供的初始对齐基础上,进一步优化点云之间的对齐精度。

    算法流程如下:在源点云Ps中取一点piPs,接着在目标点云Pt中找出与之对应的点qiPt,使得|qipi|最小。计算Rt,使对应点之间的距离最小化。将得到的Rctc变换应用于源点云Ps,得到新的点云P。计算PPt之间对应点的平均距离,计算公式为d=1n||piqi|2。设定一个d的阈值,当小于该阈值的时候停止迭代。

    3.2.2   点云坐标转换

    通过点云配准后得到扫描点云Pc补全后的完整点云PCOM与参考点云Pt之间的转换矩阵T。由于点云补全是在Pc基础上进行重建的,PcPCOM均处于同一坐标系,因此T也代表了扫描点云Pc与参考点云Pt之间的转换关系。

    将激光雷达获取的扫描点作目标点云的点云集Pc,将参考点云作为源点云的点云集Pt。如图5所示,以激光雷达所在坐标系为基础建立激光雷达坐标系,用以管理飞机的位置和姿态。通过配准得到的转换矩阵T,将飞机坐标系下的中心点转换到激光雷达坐标系中,从而实现精确的飞机定位。

    图  5  坐标系示意图
    Figure  5.  Diagram of coordinates

    将源点云坐标矩阵转换到目标点云矩阵,即Pt=TPCOM。同样求得参考点云的中心点Ot经过转换后在激光雷达坐标系下的预测中心点:Ot=TOR

    4.1.1   数据集制作

    本文参考PCN数据集,通过对CAD模型点云进行模拟仿真,构建了一个包含部分和完整点云的大型数据集。以民用机场中常见民用飞机为例,模拟激光雷达扫描飞机滑行至停机坪的过程,覆盖停泊中可能的不同姿态。本次仿真实验中,参考Velodyne VLP-16激光雷达设置:水平角度分辨率为水平0.1°;视场角为水平视场角360°,垂直视场角30°;扫描频率为20 Hz;测距范围为100 m。并在10~100 m的距离内进行仿真,每次扫描产生13003500个点。

    在飞机泊位引导系统中,一旦检测到飞机,系统即激活并开始搜寻入位飞机。如图6所示,当飞机进入雷达扫描范围时,三维激光扫描系统被激活,并持续工作直至飞机到达指定停机位。飞机在进入机位滑行线后,以约2 m/s的滑行速度匀速前进,随即由滑行道拐入停机坪,直至停泊位。

    图  6  飞机停泊过程模拟扫描点云示意图
    Figure  6.  LiDAR simulation for aircraft docking process
    4.1.2   实验设置

    点云补全网络基于上述仿真数据集训练时采用Adam优化器,批大小为16,初始学习率为0.0001,周期为300。Transformer的编码器和解码器层数分别为6和8,DGCNN特征提取器和几何感知Transformer模块中KNN中的K设置为8。中心点个数为128,点代理个数设置为224。

    保存训练集上效果最好的模型用于测试。训练采用的设备GPU为RTX4090,操作系统Ubuntu20.0,CUDA版本为11.8,Pytorch版本为2.2.2。

    4.2.1   点云补全网络结果

    为验证所提方法的泛化能力,本文选取空客A330,A340,波音737,波音744这4种常见民航客机作为测试对象,涵盖双通道宽体机(空客A330、波音747)与单通道窄体机(空客A340、波音737)两类机型。如图7所示,在飞机从跑道以不同方向滑行至停机坪的过程中,激光雷达因视角受限与飞机自身遮挡导致点云存在局部缺失(尤以机翼、机身区域显著)。

    图  7  不同型号飞机扫描点云补全结果
    Figure  7.  Completion results of simulation point clouds for different aircraft models

    对于不同距离及遮挡率(10%~60%)的激光雷达模拟点云数据,本文提出的点云补全网络能够通过全局对称性约束与机身主轴线预测,即使在一侧机翼缺失的情况下,仍然有效预测出缺失的机体部分。补全网络不仅能够实现表面平滑性复原,而且能够针对主要的结构特征(如机身主轴、对称面),恢复出飞机的完整结构,为配准提供较强几何约束。

    4.2.2   真实世界场景实验

    真实世界中采集的点云数据如图8所示,本文使用结合了机械旋转和固态扫描的128线高分辨率激光雷达,对南京航空航天大学御风园停机坪上的真实飞机进行三维扫描,建立模拟实验数据。为方便后续点云补全操作,首先去除扫描数据中无关因素,如点云的人物、树木等。

    接着对扫描点云进行滤波预处理,主要是去除点云中的噪声点及离群点,接着进行降采样以降低点云密度。本研究采用体素滤波器进行下采样,利用体素化网格的方法减少点云数量,采用体素栅格中接近中心点的点替代体素内的全部点,同时去除一定程度的无效点。

    对停机处雷达采集的点云进行处理后,得到米格-15战斗机的飞机扫描点云如图8红色方框内点云所示,利用上文提出的点云补全网络补全和点云配准的方法得到补全后的结果,如图9

    图  8  停机处雷达扫描点云
    Figure  8.  Scanning point cloud of parking area
    图  9  停机处采集点云补全结果
    Figure  9.  Scanning point cloud and completion result

    对于雷达采集到的真实世界中的飞机点云,由于飞机机翼的遮挡,采集点云中副油箱点云信息丢失,补全网络能够根据数据集中相似机型预测并恢复出缺失的飞机副油箱结构,并且弥补了扫描点云中忽略的部分细节,较好地生成了高质量的完整点云。总的来说,本文提出的点云补全网络,不仅能有效处理激光雷达仿真点云数据,对于结构较为相似的真实采集点云依然适用,在能够实现结构的缺失区域中补全稠密完整的点云。

    4.2.3   飞机停泊引导定位

    引导系统检测到飞机,确定该飞机的大概位置后,利用补全后的点云通过模板匹配的方式定位飞机的精确位置,并把相应位置显示在引导系统的显示单元中。如图10,将生成的完整扫描点云与对应型号飞机的参考点云(配准结果中的红色点云)进行配准,利用得到的转换矩阵对中心点进行变换,从而提取飞机的精确位置信息,用图中第4列红点所示。这些信息辅助飞机泊位,同时向飞行员提供到达最终停止位置的地面距离。

    图  10  预测扫描点云中心
    Figure  10.  Predicted centroid of simulation point cloud

    将参考点云中心应用配准变换矩阵计算后的点坐标作为预测的扫描点云中心坐标,与图7中的补全结果中由扫描点云补全后的补全点云中心对比,结果如表1所示。其中,误差计算由(OPREDOCOM)2得到,OCOM为补全点云中心,OPRED为预测的扫描点云中心。误差越小,两点之间越接近,表明预测的点云中心越接近实际中飞机中心位置。

    表  1  点云中心预测误差分析
    Table  1.  Error analysis of predicted centroids
    飞机型号 预测扫描点云中心 补全点云中心 误差(m)
    A330 (–5.144 80.475 10.478) (–5.507 80.760 10.506) 0.49
    (–5.044 50.565 10.678) (–5.647 50.157 10.622) 0.56
    A340
    (–5.089 80.796 10.748) (–5.468 80.725 10.771) 0.74
    (–5.061 50.843 10.236) (–5.856 50.175 10.208) 0.42
    波音737 (12.406 –11.009 2.973) (12.625 –11.132 3.106) 0.28
    (12.473 –11.055 2.846) (12.694 –11.377 2.694) 0.41
    波音747 (10.703 –8.746 3.066) (10.795 –8.429 3.124) 0.36
    (10.215 –8.4881 3.131) (10.659 –8.737 3.207) 0.51
    下载: 导出CSV 
    | 显示表格

    通过将激光雷达模拟点云补全后的结果与参考点云进行精确配准,能够实现对飞机位置的定位估计。该方法确定的飞机中心点具有较高的精确度,能够满足飞机定位的需求。

    本文提出了一种结合点云补全和配准的方法来解决机场泊位引导系统中飞机的定位问题。首先,采用深度学习技术对激光雷达扫描的点云数据进行补全,以恢复因遮挡等原因丢失的细节。然后,通过模板匹配和坐标转换计算补全点云与飞机模型参考点云间的转换矩阵,从而得到飞机在激光雷达坐标系下的位置,进而对飞机进行定位。

    通过仿真点云和真实场景采集的激光雷达点云数据为例进行试验,结果表明,补全处理能显著提升定位精度,使得得到的中心坐标更接近实际数据。当前测试主要集中在少数飞机型号,尚未涵盖更复杂的遮挡场景和其他类型的飞机数据,未来工作将通过丰富数据类型、优化网络结构和引入迁移学习等方法,进一步提升点云补全网络的性能和迁移性,以增强其在多样化复杂场景中的适用性和从少数飞机型号到多种型号的泛化能力。

  • 图  1  飞机泊位引导系统示意图

    Figure  1.  Structure of airport docking guidance system

    图  2  PointSimCompletiton网络结构图

    Figure  2.  Architecture of PointSimCompletiton network

    图  3  几何感知的Transformer模块

    Figure  3.  Geometry-aware Transformer block

    图  4  基于仿真数据的激光雷达点云补全结果

    Figure  4.  Completion result of LiDAR point cloud based on simulation data

    图  5  坐标系示意图

    Figure  5.  Diagram of coordinates

    图  6  飞机停泊过程模拟扫描点云示意图

    Figure  6.  LiDAR simulation for aircraft docking process

    图  7  不同型号飞机扫描点云补全结果

    Figure  7.  Completion results of simulation point clouds for different aircraft models

    图  8  停机处雷达扫描点云

    Figure  8.  Scanning point cloud of parking area

    图  9  停机处采集点云补全结果

    Figure  9.  Scanning point cloud and completion result

    图  10  预测扫描点云中心

    Figure  10.  Predicted centroid of simulation point cloud

    表  1  点云中心预测误差分析

    Table  1.   Error analysis of predicted centroids

    飞机型号 预测扫描点云中心 补全点云中心 误差(m)
    A330 (–5.144 80.475 10.478) (–5.507 80.760 10.506) 0.49
    (–5.044 50.565 10.678) (–5.647 50.157 10.622) 0.56
    A340
    (–5.089 80.796 10.748) (–5.468 80.725 10.771) 0.74
    (–5.061 50.843 10.236) (–5.856 50.175 10.208) 0.42
    波音737 (12.406 –11.009 2.973) (12.625 –11.132 3.106) 0.28
    (12.473 –11.055 2.846) (12.694 –11.377 2.694) 0.41
    波音747 (10.703 –8.746 3.066) (10.795 –8.429 3.124) 0.36
    (10.215 –8.4881 3.131) (10.659 –8.737 3.207) 0.51
    下载: 导出CSV
  • [1] 韩万鹏,蒙文,李云霞,等. 机场泊位引导系统的发展现状及关键技术分析[J]. 激光与红外, 2012, 42(3): 244–249. doi: 10.3969/j.issn.1001-5078.2012.03.002.

    HAN Wanpeng, MENG Wen, LI Yunxia, et al. Development status and key technical analysis of airport docking guide system[J]. Laser & Infrared, 2012, 42(3): 244–249. doi: 10.3969/j.issn.1001-5078.2012.03.002.
    [2] 任宁,徐乃付.泊位引导系统与A-SMGCS系统运行方式探究[C] 中国计算机用户协会网络应用分会2021年第二十五届网络新技术与应用年会论文集, 北京. 2021:4. doi: 10.26914/c.cnkihy.2021.047813.

    REN Ning and XU Naifu. Study of operation mode of visual docking guidance system and A-SMGCS[C]. In Proceedings of the 25th Annual Conference on Network New Technologies and Applications of the China Computer User Association Network Application Branch (p. 4). Beijing, China, 2021: 4. doi: 10.26914/c.cnkihy.2021.047813.
    [3] 张积洪,李兴旺. 双目激光泊位引导系统[J]. 机械设计, 2015, 32(11): 88–91. doi: 10.13841/j.cnki.jxsj.2015.11.018.

    ZHANG Jihong and LI Xingwang. Binocular laser docking guidance system[J]. Machine Design, 2015, 32(11): 88–91. doi: 10.13841/j.cnki.jxsj.2015.11.018.
    [4] 魏红波. 组合精密进近着陆技术研究[J]. 现代导航, 2017, 8(01): 5–8. doi: 10.3969/j.issn.1674-7976.2017.01.002.

    WEI Hongbo. Technology Research on Integrated Precise Approach and Landing[J]. Modern Navigation, 2017, 8(01): 5–8. doi: 10.3969/j.issn.1674-7976.2017.01.002.
    [5] 南晓虎,丁雷. 深度学习的典型目标检测算法综述[J]. 计算机应用研究, 2020, 37(S2): 15–21.

    NAN Xiaohu and DING Lei. Review of typical target detection algorithms for deep learning[J]. Application Research of Computers, 2020, 37(S2): 15–21.
    [6] MITRA N J, PAULY M, WAND M, et al. Symmetry in 3d geometry: Extraction and applications[J]. Computer Graphics Forum.2013, 32(6): 1–23. doi: 10.1111/cgf.12010.
    [7] SARKAR K, VARANASI K, STRICKER D. Learning quadrangulated patches for 3D shape parameterization and completion[C]. 2017 International Conference on 3D Vision (3DV), Qingdao, China,2017, 383-392. doi: 10.1109/3DV.2017.00051.
    [8] SUNG M, KIM V G, ANGST R, et al. Data-driven structural priors for shape completion[J]. ACM Transactions on Graphics, 2015, 34(6): 175. doi: 10.1145/2816795.2818094.
    [9] QI C R, SU HAO, MO KAICHUN, et al.PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation[J]. IEEE, 2017.DOI: 10.1109/CVPR.2017.16.
    [10] QI C R, YI LI, SU HAO, et al. PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space[J]. 2017. DOI: 10.48550/arXiv.1706.02413.
    [11] YUAN WENTAO, KHOT T, HELD D, et al. Pcn: Point completion network[C]. 2018 international conference on 3D vision (3DV). Verona, Italy, 2018: 728–737. doi: 10.1109/3DV.2018.00088. IEEE, 2018:728–737. doi: 10.1109/3DV.2018.00088.
    [12] CHANG A X, FUNKHOUSER T, GUIBAS L, et al. Shapenet: An information-rich 3d model repository [EB/OL]. https://arxiv.org/abs/1512.03012, 2015.
    [13] HUANG Zitian, YU Yikuan, XU Jiawen, et al. Pf-Net: Point fractal network for 3D point cloud completion[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 7659–7667. doi: 10.1109/CVPR42600.2020.00768.
    [14] PROKOP M, SHAIKH S A and KIM K S. Low overlapping point cloud registration using line features detection[J]. Remote Sensing, 2019, 12(1): 61. doi: 10.3390/rs12010061.
    [15] BESL P J and MCKAY N D. Method for registration of 3-D shapes[C]. SPIE 1611, Sensor Fusion IV: Control Paradigms and Data Structures, Boston, USA, 1992: 586–606. doi: 10.1117/12.57955.
    [16] HAN Jianda, YIN Peng, HE Yuqing, et al. Enhanced ICP for the registration of large-scale 3D environment models: An experimental study[J]. Sensors, 2016, 16(2): 228. doi: 10.3390/s16020228.
    [17] 李仁忠, 杨曼, 田瑜,等. 基于ISS特征点结合改进ICP的点云配准算法[J]. 激光与光电子学进展, 2017, 54(11): 111503. doi: 10.3788/LOP54.111503.

    LI Renzhong, YANG Man, TIAN Yu, et al. Point cloud registration algorithm based on the ISS feature points combined with improved ICP algorithm[J]. Laser & Optoelectronics Progress, 2017, 54(11): 111503. doi: 10.3788/LOP54.111503.
    [18] BIBER P . The normal distributions transform: a new approach to laser scan matching[J]. Proc.of IEEE /RSJ Intl Conf.on Intelligent Robots & Systems, 2003. doi: 10.1109/IROS.2003.1249285.
    [19] 杨宜林,李积英,王燕,等. 基于NDT和特征点检测的点云配准算法研究[J]. 激光与光电子学进展, 2022, 59(8): 0810016. doi: 10.3788/LOP202259.0810016.

    YANG Yilin, LI Jiying, WANG Yan, et al. Point cloud registration algorithm based on NDT and feature point detection[J]. Laser & Optoelectronics Progress, 2022, 59(8): 0810016. doi: 10.3788/LOP202259.0810016.
    [20] 荆路, 武斌,李先帅. 基于SAC-IA和NDT融合的点云配准方法[J]. 大地测量与地球动力学, 2021, 41(4): 378–381. doi: 10.14075/j.jgg.2021.04.010.

    JING Lu, WU Bin and LI Xianshuai. Point cloud registration method based on SAC-IA and NDT fusion[J]. Journal of Geodesy and Geodynamics, 2021, 41(4): 378–381. doi: 10.14075/j.jgg.2021.04.010.
    [21] FEI Ben, YANG Weidong, CHEN Wenming, et al. Comprehensive review of deep learning-based 3D point cloud completion processing and analysis[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(12): 22862–22883. doi: 10.1109/TITS.2022.3195555.
    [22] 严璐, 顾昕. 激光雷达三维点云目标补全算法[J]. 电子技术与软件工程, 2022(5): 101–104. doi: 10.20109/j.cnki.etse.2022.05.025.

    YAN Lu and GU Xin. Deep learning on radar centric 3D object completion[J]. Electronic Technology & Software Engineering, 2022(5): 101–104. doi: 10.20109/j.cnki.etse.2022.05.025.
    [23] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]. The 31st International Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 6000–6010.
    [24] GUO Menghao, CAI Junxiong, LIU Zhengning, et al. PCT: Point cloud transformer[J]. Computational Visual Media, 2021, 7: 187–199. doi: 10.1007/s41095-021-0229-5.
    [25] PAN Xuran, XIA Zhuofan, SONG Shiji, et al. 3D object detection with pointformer[C]. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 7459–7468. doi: 10.1109/CVPR46437.2021.00738.
    [26] DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[C]//International Conference on Learning Representations.2021.
    [27] WANG Yue, SUN Yongbin, LIU Ziwei, et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics (TOG), 2019, 38(5): 146. doi: 10.1145/3326362.
    [28] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[J]. arXiv, 2017. doi: 10.48550/arXiv.1706.03762.
    [29] YANG Yaoqing, FENG Chen, SHEN Yiru, et al. FoldingNet: Point cloud auto-encoder via deep grid deformation[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 206–215. doi: 10.1109/CVPR.2018.00029.
    [30] 李文博, 王琦, 高尚. 基于深度学习的红外小目标检测算法综述[J]. 激光与红外, 2023, 53(10): 1476–1484. doi: 10.3969/j.issn.1001-5078.2023.10.003.

    LI Wenbo, WANG Qi, GAO Shang. A review of infrared small target detection algorithms based on deep learning[J]. Laser & Infrared, 2023, 53(10): 1476–1484. doi: 10.3969/j.issn.1001-5078.2023.10.003.
    [31] FISCHLER M A and BOLLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Comm. of the ACM, 1981, 24: 381–395.
    [32] LIU Jiang, ZHU Jiwen, YANG Jinling, et al. Three-dimensional point cloud registration based on ICP algorithm employing K-D tree optimization[C]. SPIE 10033, Eighth International Conference on Digital Image Processing (ICDIP 2016), Chengu, China, 2016: 100334D. doi: 10.1117/12.2248362.
  • 加载中
图(10) / 表(1)
计量
  • 文章访问数: 14
  • HTML全文浏览量: 8
  • PDF下载量: 3
  • 被引次数: 0
出版历程
  • 收稿日期:  2025-01-03
  • 修回日期:  2025-04-01

目录

/

返回文章
返回