1.   引言

三维成像是合成孔径雷达(Synthetic Aperture Radar, SAR)技术发展的重要前沿方向之一。SAR三维成像可以直接获得目标的三维电磁散射结构，消除SAR图像中由成像机理导致的收缩、叠掩、顶底倒置等现象，显著提升目标识别和解译能力，对全天时/全天候的三维环境构建、陡峭地形和城市测绘、目标精细化解译和灾害评估等具有重要意义。

目前国内外提出并开展研究的SAR三维成像技术体制，主要包括单通道层析成像和多通道阵列干涉，其能获得多角度观测信息来供三维成像使用。然而，目前即便是采用稀疏成像等处理方法，通常仍然需要数十次层析飞行或十余个天线阵列单元，数据采集周期长或雷达系统极其复杂，对于星载SAR的控轨要求和机载SAR的航迹控制要求均非常高，大规模推广应用难度很大。因此，亟需创新SAR三维成像的理论方法，实现自动化、高效能、低成本的SAR三维成像技术。

深入分析现有SAR三维成像处理技术，主要基于合成孔径的理论框架，利用成像观测的精确物理几何模型对雷达回波进行数学建模，基于“双/多角度”观测图像的像素点匹配、相干合成或几何求解来获得三维信息。在三维成像时仅利用了该像素点多角度图像的角度维信息，而并未利用该像素所在二维图像中所包含的物体结构、属性以及该像素的散射机制信息。

实际上，单幅二维SAR图像已经蕴含了环境与目标的结构、纹理、遮挡关系等许多可被三维空间认知利用的空间线索，如，经过一定训练的判读人员都可以通过观测二维图像，在脑海中形成粗略的“三维影像”；SAR回波的散射机制蕴含着目标的三维结构线索，通过角度/频率/极化等维度的散射机制分析，也可以挖掘出目标三维结构的一些信息。

为此，中国科学院空天信息创新研究院(下简称“中科院空天院”)牵头，联合复旦大学等单位，提出了一个新的研究思路：能否将雷达回波和二维图像中隐含的三维线索，通过微波散射机制(微波)和图像视觉语义(视觉)挖掘的方法加以提取，并引入到传统的SAR成像方法中，从而降低所需多角度观测的数据量，实现高效的三维成像，发展出全新的“SAR微波视觉三维成像理论与方法”。随后，中科院空天院、复旦大学与中科院自动化所、北京大学、北京市遥感信息研究所等单位一起进行了充分的论证，并向国家自然科学基金委员会提出了建议和申请，获得了国家自然科学基金重大项目的支持。在该项目支持下，在SAR微波视觉三维成像理论方法研究的同时，还拟研制一套小型化无人机载一发四收全极化SAR，称为微波视觉三维SAR验证系统(MV3DSAR)，进行数据获取和技术验证，并拟构建和公开发布一套典型场景和目标的SAR微波视觉三维成像数据集，为该领域的研究提供必要的基础平台，也为理论方法的应用转化提供测试数据。

本文第2小节给出SAR微波视觉三维成像数据集的构建规划；第3小节给出数据集中包含的SAR图像建筑物语义分割数据集1.0版本的的构建方法和数据信息内容；第4小结给出数据集中包含的SAR三维成像数据集1.0版本的构建方法、实验结果和包含的数据信息内容；第5小节总结全文。

2.   SARMV3D数据集构建与发布

SAR微波视觉三维成像理论方法的研究涉及三维电磁散射机理及微波视觉信息感知逆问题、SAR图像视觉三维认知理论与方法、基于微波视觉的SAR三维成像理论与方法3个关键科学问题。为了促进各个科学问题的研究，SARMV3D数据集构成如图1所示。

图  1  SARMV3D数据集构成示意图

Figure  1.  Composition of SARMV3D dataset

下载: 全尺寸图片 幻灯片

SARMV3D数据集包括三维电磁散射机制研究和SAR图像视觉三维认知研究两个辅助数据集和一个基于微波视觉的SAR三维成像研究综合数据集。其中：

(1) 三维电磁散射机制研究数据集，主要用于研究和验证典型散射机制及散射机制组合的电磁建模、表征、三维特征参数反演估计的正确性，包括典型散射机制及其组合的仿真、暗室测量和外场测量数据等，主要由复旦大学负责构建；

(2) SAR图像视觉三维认知研究数据集，主要用于研究和验证从SAR图像中挖掘和识别三维基元、三维结构和三维目标方法的有效性和正确性，包括高分辨率SAR图像以及典型建筑等目标和典型结构基元的标注结果，主要由中科院空天院和自动化所负责构建；

(3) 基于微波视觉的SAR三维成像数据集，是最主要的综合数据集，包括城镇场景、复杂地形、典型目标3个主要的类型，每个类型将包括SAR层析或阵列干涉获得的单视复图像(SLC)、相关的成像参数文件、光学摄影等获得的三维建模数据以及激光雷达获得的高精度三维点云数据，主要由中科院空天院牵头进行构建。

现阶段，MV3DSAR正在研制过程中，预计2021年年底完成，待系统研制完成后，将进行大量的数据采集工作，以完成数据集构建。目前，为了推进SAR微波视觉三维成像理论方法的研究，作者基于中科院空天院的阵列干涉SAR实验系统获取的数据，以及高分三号卫星获取的高分辨率SAR图像数据，初步构建SARMV3D的1.0版本。该版本包括了SAR微波视觉三维认知研究数据集中典型建筑物语义分割数据集的1.0版本，以及基于微波视觉的SAR三维成像数据集中城镇场景类数据的1.0版本，见图1中绿色背景部分，上述数据集已经发布在《雷达学报》网站上，具体链接见附录。下面两个小节将分别进行介绍。

3.   SAR建筑物语义分割数据集

高楼林立的建筑区域场景是SAR三维成像的一个重要应用场景，一方面通过三维成像消除建筑物之间及其与地面目标之间的叠掩，有利于场景的理解与目标的发现和识别，另一方面三维成像与时序干涉相结合，有利于建筑区域的形变监测。为此，在数据集构建方面，将城镇场景作为一类典型场景，将建筑物作为一类典型研究对象开展研究。本文SAR建筑物实例语义分割数据集(Synthetic Aperture Radar Microwave Vision 3D Imaging - Building Instance Segmentation Dataset，简称SARMV3D-BIS)与现有一些遥感图像建筑物分割数据集，如光学遥感图像建筑物分割数据集Inria Aerial Image^[1], WHU building dataset^[2]等，以及目前仅有的包含SAR图像建筑物分割的数据集SpaceNet^[3]，有如下几点显著区别：(1)本数据集面向SAR微波视觉三维成像，对建筑物的语义标注更加精细，每个建筑物都标注了建筑物的立面、屋顶和阴影3个部分，并且进行了实例标注；(2)本数据集基于单视复图像数据进行标注，从而能够与三维成像更好结合，也有利于散射特性的挖掘和SAR图像三维认知方法研究。

3.1   数据集构成

本文1.0版本的面向微波视觉三维成像的SAR建筑物语义分割数据集的构成如表1所示。

表  1  SAR建筑物语义分割数据集构成

Table  1.  Composition of SARMV3D-BIS dataset

序号	内容	文件后缀	说明
1	1B级图像切片	*L1B.jpgf	切片尺寸1024×1024 uint8量化
2	SLC图像切片	*L1A.dat	切片尺寸1024×1024，与1B图像严格对应，int16量化，实部虚部交替存储
3	叠掩次数图	*Layover.jpgf	切片每个像素对应的叠掩次数，uint8量化
4	Mask图像	*Mask.jpgf	每个切片对应的建筑物分割可视化结果图像，黑色表示地面、红色表示立面、白色表示屋顶、蓝色表示阴影，如图2所示
5	标注文件	*.json	训练、测试和验证各一个JSON文件，详见3.2.3小节

下载: 导出CSV 

| 显示表格

图  2  建筑物语义分割数据集构成示意图

Figure  2.  Composition of SARMV3D-BIS dataset

下载: 全尺寸图片 幻灯片

该数据集的原始SAR图像来自GF-3聚束模式的美国奥马哈市地区图像。现阶段选择这个区域进行数据集构建主要基于如下考虑：奥马哈地区为2019年IEEE GRSS Data Fusion大场景三维重建比赛^[4]的选定区域，该区域建筑类型丰富，并具有大量的Worldview的光学影像；本团队购买了该地区的Worldview光学立体像对和生成的高精度数字地表模型(Digitul Surface Model, DSM)，并申请了GF-3卫星该地区的影像14景用于数据集制作。在数据集后续版本中，将继续增加其他典型建筑区域的数据。

3.2   数据集构建方法

本数据集构建的难点在于建筑物的实例分割和每栋建筑物立面、屋顶、阴影的精细化语义标注。由于SAR成像几何和散射机制的复杂性，建筑区域的SAR图像人工解译也具有相当大的难度，即使请有经验的判读员也很难人工准确标注出每个建筑和建筑的立面、屋顶和阴影。为此，课题组提出了基于三维模型仿真逆投影进行标注的系统性流程和方法，方法流程如图3所示。首先进行建筑区域场景三维模型的构建；然后根据每景影像的SAR成像参数和带地理信息的三维模型数据进行SAR成像投影几何关系的计算，得到阴影、屋顶、建筑立面在SAR一级图像上的投影范围，并根据每个像素对应的来自不同部分的散射贡献数量，得到叠掩次数图；最后对SAR图像及其对应的Mask图和叠掩次数图进行标准化裁切，并按照既定的格式生成标注文件，从而形成了符合规范的数据集。下面详细介绍每个步骤的处理方法。

图  3  数据集构建流程图

Figure  3.  Flow chart of construction of SARMV3D-BIS dataset

下载: 全尺寸图片 幻灯片

3.2.1   建筑区域场景三维模型构建

首先通过开源网络资源获取建筑区域的建筑足印地图。课题组基于openstreetmap.org网站提供街道地图数据的下载服务，选择目标区域范围和输出格式后，即可下载该区域的公开地图(Open Street Map, OSM)数据，包括了路网、建筑、路灯、公共区域等多类信息，本团队根据信息类型提取其中的建筑足印信息，提取后的建筑足迹信息可视化结果如图4所示。在具体构建过程中，本团队以geojson格式存储该足印信息，并将该足印信息与该区域的参考高精度DSM进行对齐。由于两个数据的经纬度均具有较高的精度，通过人工寻找特征结构能够很好地实现对齐。然后根据对齐后每个建筑足印中心的经纬度直接提取该位置对应DSM中的高度值作为建筑物高度，从而相当于形成了建筑物的LOD1模型，无建筑物足印的部分高度直接取DSM中对应的高度。

图  4  建筑足迹信息提取

Figure  4.  Extraction of building footprint

下载: 全尺寸图片 幻灯片

3.2.2   SAR图像建筑物实例语义标注方法

通过上述步骤获取含建筑物LOD1模型的DSM数据后，需要将其投影至SAR图像以确定建筑不同面的投影范围。此处采用SAR图像产品自带的RPC(Rational Polynomial Coefficients)参数进行处理。由于SAR图像定位存在一定的误差，上述DSM数据也存在一定的定位误差。为了保证投影后能够对准，首先根据上述DSM数据及其对应的高分辨率光学影像数据，寻找SAR和光学均可见的特征点(如路灯灯柱等)作为控制点，根据这些点在DSM数据上获取的经纬高信息，修正SAR图像的RPC参数。基于修正后的RPC参数，就可得到大地坐标$({L_{{\rm{at}}}},{L_{{\rm{on}}}},H)$和影像坐标$({r_l},{r_s})$之间的对应关系，相关计算方法在SAR领域已相当成熟，可参考文献[5,6]等，在此不再赘述。

明确了投影计算关系后，还需确定能被雷达波照射和不能被雷达波照射的相交关系才能确定阴影等的范围，下面给出具体的计算步骤与方法。

(1) 屋顶：首先确定建筑物屋顶在SAR 1级图像中的投影范围。根据建筑物足印信息中存储的建筑物屋顶多边形角点的经纬度以及在DSM中获取的高度，利用RPC参数可直接计算得到这些多边形角点在1级图像中的像素号，从而可连接形成一个在1级图像中的封闭区域，如图5所示。通过判断每条边所在的像素在相同方位向的近距是否有其他边存在，可以判断该边所对应的立面能否被雷达波照射到。图5中AB和BC的立面能被照射到，而CD, DE, EF和FA所在的立面则无法被照射到。

图  5  建筑物屋顶区域示意图

Figure  5.  Schematic diagram of building roof

下载: 全尺寸图片 幻灯片

(2) 建筑立面：根据上文的判断规则，对能够照射到的立面，计算建筑立面的投影区域。方法是对该立面在足印中对应边的顶点的经度纬度和所在地面高度以及所在屋顶高度组成的4个点，利用RPC参数，求得其在1级图像中对应的像素点，形成立面区域，如图6(a)中$AA'B'B$, $BB'C'C$所示，在斜距轴上，立面为图6(b)中的蓝色区域，屋顶为黄色部分，黑色点为墙面与地面二次散射的汇聚点。由图6可见，立面和屋顶的投影范围是有重叠的，在本数据集的标注json文件中，完整记录了屋顶、立面每个区域的信息，但在Mask图像中，屋顶和立面重叠的部分取的是屋顶的标签。

图  6  SAR图像中建筑物立面投影示意图

Figure  6.  Projection of building elevation

下载: 全尺寸图片 幻灯片

(3) 建筑阴影：建筑阴影区域的计算相对复杂一些，首先根据屋顶投影时确定的未被雷达波照射的边来确定阴影的边界。例如对于FA这条雷达波无法照射到的边，先对A点和F点求关于地面的等效镜像点$\tilde A$, $\tilde F$，也即A点的经度纬度高度为$[P,L,{h_g} + {h_A}]$，则$\tilde A$为$[P,L,{h_g} - {h_A}{\tan ^2}\theta ]$，其中${h_g}$为建筑区域周边的地面高度，${h_A}$为建筑物屋顶相对于地面的高度，$\theta$为当地的入射角；然后对$\tilde A$利用RPC参数求得其在SAR 1级图像中的投影位置，如图7的$A''$所示；从图7中可见$\tilde A$与SAR的距离和阴影边界$A''$与SAR的距离是一样的，因此可以采用该等效镜像点的投影计算得到阴影边界；同理，可计算得到$F''$, $E''$, $D''$, $C''$，从而$AFEDCC'' D''E'' F''A''$形成了建筑阴影的外边界，如图8所示；将该范围除去屋顶顶面和建筑立面投影范围的交集，就是最终的阴影范围。

图  7  等效镜像点示意图

Figure  7.  Schematic diagram of equivalent mirror point

下载: 全尺寸图片 幻灯片

图  8  SAR图像中建筑物阴影投影示意图

Figure  8.  Projection of building shadow in SAR image

下载: 全尺寸图片 幻灯片

上述解释了单个建筑的投影范围计算方法，对于建筑物与建筑物之间离得比较远，没有复杂叠掩和遮挡关系的情况，就可以根据上述投影结果进行语义分割标注。然而，对于建筑物与建筑物之间离得比较近的情况，还需额外考虑相互之间的影响关系，判断的方法如下：

(1) 首先，根据建筑物足印多边形在地面上的位置和高度信息，得到其在SAR 1级图像的投影，如图9中的蓝色图像多边形所示，并根据投影多边形的斜距大小，判断哪个建筑在前、哪个建筑在后。

图  9  SAR图像中多个建筑物的投影示意图

Figure  9.  Projection of multiple buildings in SAR image

下载: 全尺寸图片 幻灯片

(2) 其次，采用上述屋顶、立面和阴影范围的计算方法，得到每个建筑的屋顶、立面和阴影在1级图像中的范围；从而对于该SAR图像的每个像素，都可以得到其对应的语义属性，对于那些存在复杂叠掩和遮挡关系的地区，每个像素都存在多个属性。

(3) 对标注的语义根据遮挡关系进行约简。如后一个建筑的立面或屋顶位于前一个建筑的阴影区域，如图9(a)所示，则该区域为阴影，在Mask图中标识为阴影；如后一个建筑的立面或屋顶位于前一个建筑的立面和屋顶区域，如图9(b)所示，则Mask图中优先标识为立面，其次为屋顶；在标注的JSON文件中则完整保留每个建筑实例的各个区域信息。

3.2.3   数据集标注规范

基于上述方法，中科院空天院基于GF-3卫星聚束模式数据构建了SARMV3D-BIS 1.0版本。需要说明的是，由于本数据集制作采用的建筑足印数据和Worldview获取的DSM数据与SAR影像数据时不相同，因此难免存在标注噪声。本团队通过人工目视判读进行了一定的筛选剔除，并综合考虑建筑物语义分割的难度和标注的置信度，将数据集分成了困难(D)、中等(M)和简单(S) 3种不同难度的子数据集。其中，困难版包含尺寸为1024×1024大小的图像1588张，涵盖建筑实例4.8万余个，其中小型建筑比较多；中等版和简单版分别包含尺寸为1024×1024大小的图像773张和234张，分别涵盖建筑实例1.5万和6000余个。为了便于研究者基于相同的数据集进行方法的比较，本团队按照6:2:2的比例，随机分成了训练集、验证集和测试集，每个子集的标注规范是完全一致的。SARMV3D-BIS 1.0数据集的构成已在表1中明确，下面重点给出标注JSON文件的信息格式。

为了与国际已有的图像语义分割数据集保持一致，便于研究者应用，本数据集的标注JSON文件格式参考了微软发布的MSCOCO数据集^[7]。JSON文件包含的结构体类型有info, images和annotations 3种，info数组只有一组，在文件起始处描述文件整体的基本信息，而images数组、annotations数组的数量均等于图像切片的数量，对每个图像切片进行分别描述。JSON文件的字段及含义如表2和表3所示。

表  2  SARMV3D-BIS数据集的标注文件

Table  2.  Annotation file of SARMV3D-BIS dataset

层级1字段	层级2字段	说明
info	description	描述数据集基本信息
	url	数据集的网络链接
	version	数据集版本
	contributor	数据集贡献的单位和团队等信息
images	file_name	对应图像切片的文件名，包含切片编号
	height	图像切片的高度尺寸
	width	图像切片的宽度尺寸
	date_captured	标注信息生成时间
annotations	instance_id	建筑实例的唯一编号
	segmentation	实例分割信息，见表3
	area	建筑物投影于图像上所占的像素面积(不含阴影区域)
	image_id	该建筑实例对应的图像切片编号
	bbox	包括[X,Y,W,H]四个数值，[X,Y]为该建筑实例的外接矩形在对应图像切片中的左上角像素，[W,H]为外接矩形的宽度及高度

下载: 导出CSV 

| 显示表格

表  3  segmentation字段信息

Table  3.  Information of ‘segmentation’ field

层级2字段	层级3字段	说明
segmentation	category_id	1；表示立面
	mask	[X1,Y1], [X2,Y2], ···, [Xn,Yn]，为立面多边形的角点像素坐标
	category_id	2；表示屋顶
	mask	[X1,Y1], [X2,Y2], ···,[Xn,Yn]，为屋顶多边形的角点像素坐标
	category_id	3；表示阴影
	mask	[X1,Y1], [X2,Y2], ···, [Xn,Yn]，为阴影多边形的角点像素坐标

下载: 导出CSV 

| 显示表格

3.3   实验结果与分析

实例分割不仅要正确找到图像中的目标，还要对其进行精确的语义分割，分割任务与检测、分类任务是同时进行的。目前，计算机视觉中实现SOTA的实例分割神经网络主要有Mask RCNN^[8], SOLOv2^[9], Yolact^[10]等。其中，Mask RCNN具有极高的实例分割性能和较好的泛化能力。Mask RCNN通过感兴趣区域像素到像素的对齐(RoI Align)，保留真实确定的空间位置，很好地解决了感兴趣区域池化(ROI Pooling)操作中两次量化造成的区域不匹配的问题，同时为每个感兴趣区域增加一个和边界框回归平行的分支区预测目标的掩膜，实现了掩码预测和类别预测的解耦。为此，本文选择Mask RCNN来进行本数据集的测试，验证数据集的可用性。

Mask RCNN能够检测SAR图像中的建筑物，同时为每个建筑物实例生成高质量的分割掩膜。由于当前实例分割研究的主流方法均认为一个实例中只有一个语义类别，因此本团队将SARMV3D-BIS 1.0数据集中的叠掩和屋顶之和(不计阴影)作为SAR图像建筑物的实例掩膜，使用Mask RCNN进行初步实验，并给出该数据集的实例分割性能基准。

Mask RCNN训练SARMV3D-BIS 1.0分为两阶段。第1阶段为头部训练，学习率为0.001，训练轮数为500，第2阶段为对网络所有层的微调，训练轮数为300，学习率为0.0001。实验平台为pytorch 1.4，硬件为RTX 8000 GPU，以ResNet-101-FPN为骨干的Mask RCNN在SARMV3D-BIS 1.0数据集中的训练速度为3.3 fps。

Mask RCNN的损失函数^[8]包括分类损失、回归损失和掩码损失。使用Mask RCNN在SARMV3D-BIS 1.0(S)上的训练过程中验证集损失变化曲线如图10所示，最终的各类实例分割损失^[7]如表4所示。评价标准方面，采用均值平均精度(mAP)来衡量检测及分割性能，实验结果如表5和表6所示，其中，第3列为MSCOCO评价标准^[11]，评估在共10个不同的交并比(IoU)[0.5:0.05:0.95]下的平均mAP，第4列为Pascal VOC^[12]评判标准，评测IoU在阈值为0.5下的mAP值，第5～8列为符合MSCOCO评价标准^[11]中的其余几项指标。SARMV3D-BIS 1.0(S)数据集的建筑物实例分割结果如图11所示。

图  10  使用Mask RCNN在SARMV3D-BIS 1.0(S)上的训练过程中验证集损失变化曲线

Figure  10.  Loss curve in the train process on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

下载: 全尺寸图片 幻灯片

表  4  使用Mask RCNN在SARMV3D-BIS 1.0(S)验证集上的实例分割损失

Table  4.  Loss of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

backbone	LOSS	${\rm{LOSS}}_{{\rm{mrcnn}}}^{{\rm{bb}}}$	${\rm{LOSS}}_{{\rm{mrcnn}}}^{{\rm{cls}}}$	${\rm{LOSS}}_{{\rm{mrcnn}}}^{\rm{m}}$	${\rm{LOSS}}_{{\rm{RPN}}}^{{\rm{bb}}}$	${\rm{LOSS}}_{{\rm{RPN}}}^{{\rm{cls}}}$
ResNet-50-FPN	0.3785	0.0478	0.0405	0.1890	0.0667	0.0346
ResNet-101-FPN	0.3473	0.0422	0.0359	0.1856	0.0498	0.0338

下载: 导出CSV 

| 显示表格

表  5  使用Mask RCNN在SARMV3D-BIS 1.0(S)验证集上的检测框mAP

Table  5.  mAP of bounding box on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

backbone	APbb	${\rm{AP}}_{{\rm{50}}}^{{\rm{bb}}}$	${\rm{AP}}_{{\rm{75}}}^{{\rm{bb}}}$	${\rm{AP}}_{{\rm{S}}}^{{\rm{bb}}}$	${\rm{AP}}_{{\rm{M}}}^{{\rm{bb}}}$	${\rm{AP}}_{{\rm{L}}}^{{\rm{bb}}}$
ResNet-50-FPN	16.9	29.2	17.4	23.9	23.2	15.9
ResNet-101-FPN	19.1	30.4	22.5	27.4	28.2	16.1

下载: 导出CSV 

| 显示表格

表  6  使用Mask RCNN在SARMV3D-BIS 1.0(S)验证集上的掩膜mAP

Table  6.  mAP of mask on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

backbone	APm	${\rm{AP}}_{{\rm{50}}}^{\rm{m}}$	${\rm{AP}}_{{\rm{75}}}^{\rm{m}}$	${\rm{AP}}_{{\rm{S}}}^{\rm{m}}$	${\rm{AP}}_{{\rm{M}}}^{\rm{m}}$	${\rm{AP}}_{{\rm{L}}}^{\rm{m}}$
ResNet-50-FPN	14.4	27.0	14.7	23.7	18.8	13.7
ResNet-101-FPN	16.8	29.5	18.6	28.6	24.1	14.5

下载: 导出CSV 

| 显示表格

图  11  使用Mask RCNN在SARMV3D-BIS 1.0(S)验证集上的实例分割结果

Figure  11.  Results of instance segmentation on the SARMV3D-BIS 1.0(S) validation set by using Mask RCNN

下载: 全尺寸图片 幻灯片

由结果可见，直接采用当前SOTA方法进行本数据集的实例分割达到的精度尚较低，与光学数据集分割精度指标相比存在较大差距。原因是SAR图像与光学图像存在很大的差别，例如SAR图像中建筑物轮廓往往不够明显，屋顶等平坦表面大多呈现弱散射，不易与地面区分。这说明SAR图像建筑物实例分割具有很大的挑战性，还有很大的研究空间。SARMV3D-BIS 1.0作为首个公开高精度标注的SAR图像建筑物实例分割数据集，能够为本领域研究提供良好的支撑，具有较高的可用性和研究价值。

4.   SAR三维成像数据集

目前，国际上发布的可用于三维成像研究的数据集还非常少，仅有的是美国空军实验室发布的GOTCHA数据集^[13]。其为X波段圆迹SAR模式获取目标全方位角的观测数据，并通过改变轨道高度获取了8个不同俯仰角的观测，所用的极化方式为全极化，带宽640 MHz。该数据场景范围为100 m×100 m左右，场景中的主要目标为车辆，叠掩情况相对而言不是很严重，如图12所示。

图  12  GOTCHA数据集幅度图像

Figure  12.  Amplitude image of GOTCHA dataset

下载: 全尺寸图片 幻灯片

2015年，中科院空天院成功研制了国际上第一部高分辨率分布式阵列干涉合成孔径雷达三维成像实验系统^[14]，该系统采用侧视成像模式，天线等效相位中心沿交轨向分布，利用阵列天线结合MIMO技术，通过一次飞行获取三维观测数据，相干性好、时效性强，具备单次航过实现三维成像的能力，图13为该阵列干涉SAR系统。

图  13  阵列SAR飞行平台及天线

Figure  13.  Array InSAR

下载: 全尺寸图片 幻灯片

为促进SAR三维成像领域的技术发展，中科院空天院基于该系统获取的数据，首次于《雷达学报》网站上发布了机载阵列干涉SAR三维成像数据。

4.1   数据集信息

本文发布的1.0版本SARMV3D Imaging数据集，选用2015年和2019年阵列干涉SAR系统在山西运城和四川峨眉山开展飞行试验获取数据中的部分数据，数据信息如表7所示。数据集中两个区域主要包含的地物均为叠掩较为严重的建筑物，如图14和图15所示。数据集的构成如表8所示。

表  7  SARMV3D Imaging数据集信息

Table  7.  Information of SARMV3D Imaging dataset

地区	通道数	带宽	图像尺寸	极化
山西运城	8	500 MHz	3100(方位)×1220(距离)	HH
四川峨眉山	12	810 MHz	3600(方位)×1800(距离)	HH

下载: 导出CSV 

| 显示表格

图  14  运城区域数据影像

Figure  14.  Data of Yuncheng area

下载: 全尺寸图片 幻灯片

图  15  峨眉山区域SAR图像

Figure  15.  Data of mount Emei area

下载: 全尺寸图片 幻灯片

表  8  SARMV3D Imaging数据集构成

Table  8.  Composition of SARMV3D Imaging dataset

文件夹名	文件名后缀	说明
运城、峨眉山	*.jpg	1B级SAR图像，uint16量化
	*ch1～chN.dat	SLC数据，float32格式，实部虚部交替存放
	*3Dresult.dat	三维成像结果数据，float32格式，5个一组，记录每个散射点(X, Y、高度、散射系数实部及散射系数虚部)
	*Layover.jpg	叠掩次数图，uint8格式
	*AuxPara.dat	三维成像所需辅助数据，数据格式见辅助数据说明文件
	*readme.pdf	说明文件，包括各个通道天线相位中心相对位置等处理所需要的信息

下载: 导出CSV 

| 显示表格

4.2   数据集构建方法

为了便于本领域研究人员应用该数据集开展研究，本团队对机载阵列干涉SAR数据进行了一系列预处理，从而规避系统误差带来的影响。下面简要给出处理方法。

4.2.1   幅相误差估计补偿方法

受工艺水平等的限制，阵列天线多通道回波信号之间难免存在幅度和相位误差，而由于SAR成像主要利用了多通道回波信号之间的相位关系，通道间的幅相误差将会严重影响三维成像的质量。图16展示了通道间幅相误差对于三维重建结果的影响。因此，通道间幅相误差需要高精度的估计和补偿。

图  16  幅相误差补偿前后的三维点云结果对比

Figure  16.  Comparison of 3D point cloud results

下载: 全尺寸图片 幻灯片

课题组采用基于定标器估计和基于场景三维图像熵优化估计两种方法相互验证的策略，获取准确可靠的幅相误差估计结果来进行补偿。

首先基于场景中的定标器的幅相误差估计方法^[15]，通过精确测量定标器的三维位置结合飞行平台的差分GPS信息，可以计算SAR图像中定标点的理想幅度与相位。通过比较定标点的理想相位历程和真实图像相位，结合地面建筑结构先验知识，可以迭代估计通道间幅相误差。

定标器数量非常有限，并且由于摆放误差等原因，也存在一定的可靠性风险。为此课题组提出基于三维图像熵约束的估计方法。假设不存在通道相位误差的情况下，传统的层析SAR三维成像模型如式(1)所示：

如果考虑到通道间的相位误差，则上述表达式转化为

其中，${\delta }_{1},{\delta }_{2},··· ,{\delta }_{N}$为每个通道的相位误差，如以第1个通道为基准，则存在N–1个未知量。针对上述模型，本团队提出以重建三维点云的三维图像熵为优化准则的相位误差估计方法，以式(3)中的相位误差$\delta$作为待优化变量，在重建三维模型的同时对通道间的相位误差进行了估计补偿，具体实现方法可参考团队前期工作^[16]。

图17展示了本方法对整幅图像分块处理后10个区域估计的结果，可见估计得到的通道间相位误差基本一致，侧面说明了估计的可靠性；其中有1个区域的误差估计结果与整体结果有些偏差，经检验该区域对应图像为水体，信噪比较低，因此应用时将其剔除。图18给出了基于三维图像熵估计的相位误差平均结果和基于定标点估计结果差值的曲线，去除因采用参考高程不一致带来的线性偏差后，两者的差异在8°以内，验证了两种估计方法的可靠性。

图  17  通道间相位误差估计结果

Figure  17.  Results of phase error estimation between channels

下载: 全尺寸图片 幻灯片

图  18  两种相位估计结果的比较

Figure  18.  Comparison results of two phase estimation methods

下载: 全尺寸图片 幻灯片

基于上述相位误差估计方法，本团队对运城区域和峨眉山区域的数据进行了相位误差补偿，同时采用幅度比值法进行了通道幅度误差估计和补偿，从而减小了系统误差的影响。

4.2.2   三维成像方法

利用上述经过幅相误差补偿的三维成像数据，采用团队近期提出的基于邻域约束的稀疏重建算法^[17]进行三维成像。传统SAR三维成像算法逐像素孤立求解，不考虑像素邻域信息，重建结果杂散点多、信杂比低。为此本团队引入了与语义相关的概率约束，在每个像素的8-邻域内通过相邻像素高程位置的相关性对杂散点位置进行约束。研究发现，通常散射系数相关性越大，空间分布聚集性越强，基于此结论，采用局部高斯-马尔可夫随机场对邻域高程分布进行建模，对相邻像素的高度进行联合求解，有效提升了重建精度并减少了杂散点数量。处理得到的三维成像结果如图19所示，图中颜色代表了散射点的海拔。

图  19  SARMV3D Imaging数据集三维成像结果

Figure  19.  3D imaging results of SARMV3D Imaging dataset

下载: 全尺寸图片 幻灯片

4.2.3   叠掩次数图生成方法

在获得三维成像结果的同时，为了给SAR微波视觉三维成像研究提供额外的辅助参考信息，本团队同步生成了一个叠掩次数图。研究表明，受限于图像信噪比等原因，SAR三维重建得到的点云往往存在大量的杂散点。为了滤除杂散点，可以通过幅值检验或广义似然比检验来判断重建的散射点是否为真实散射点。若某个散射点判断为虚假散射点，则将其从三维点云中剔除。本数据集中提供的Layover.jpg文件包含了图像中每个像素包含的真实散射点个数，即叠掩次数。本团队采用基于幅值检验的方法生成上述叠掩次数图，将散射系数幅值小于事先设定阈值的散射点剔除后，统计二维图像每个像素经三维成像后分离出来的有效散射点个数，作为参考叠掩次数。图20为运城和峨眉山两块区域的叠掩次数图。

图  20  SARMV3D Imaging数据集区域叠掩次数图

Figure  20.  Overlay times map of SARMV3D Imaging dataset

下载: 全尺寸图片 幻灯片

5.   结束语

本文介绍了SAR微波视觉三维成像数据集的构建规划，并介绍了本次发布的1.0版本数据集(SARMV3D-1.0)的构成信息和构建方法。SARMV3D-1.0数据集包括了SAR建筑物实例语义分割数据集1.0版本(SARMV3D-BIS 1.0)和SAR三维成像数据集1.0版本(SARMV3D-Imaging 1.0)。目前在SAR三维成像领域，国际上公开可用的数据集非常稀缺，本文在国际上首次发布了机载阵列干涉SAR三维成像数据集，希望为SAR三维成像研究提供急需的测试和验证平台。

在国家自然科学基金重大项目的支持下，项目团队后续将持续致力于该数据集的构建和发展，并将根据数据集的应用反馈持续改进完善。

致谢 本数据集的构建得到了国家自然基金委重大项目的支持和指导专家组的指导，得到了项目组课题承担单位复旦大学、中科院自动化所、北京市遥感信息研究所等的帮助，构建本数据集的GF-3卫星图像数据由国家卫星海洋应用中心无偿提供，在此一并表示感谢。

附录

SAR微波视觉三维成像数据集公开共享将依托《雷达学报》官方网站进行，数据于每次更新后上传至“SAR微波视觉三维成像数据集1.0”页面中，如附图1所示，具体网址为http://radars.ie.ac.cn/web/data/getData?dataType=SARMV3D，数据将根据SAR微波视觉三维成像相关飞行试验的开展和数据集的制作进度不定期更新。

1  SAR微波视觉三维成像数据集发布网页

1.  Release webpage of Synthetic Aperture Radar Microwave Vision 3D Imaging Dataset

下载: 全尺寸图片 幻灯片