密集的图像匹配

使用致密图像匹配的3D重建是热门话题，它可以自动提取3D城市模型，特别是来自空中倾斜图像。然而，由于大规模变化，照明变化和许多闭塞，将DIM算法应用于倾斜图像是具有挑战性的。在这里，作者提出了一种评估DIM算法性能的方法，并显示来自四个暗淡封装的初始结果：Agisoft Photoscan，Leica Xpro SGM，OpenCV StereoSGBM并确定。

致密图像匹配（DIM）旨在计算图像的每个和每个像素的深度值。这有助于产生准确和高度详细的数字型号（DSM）。到目前为止，对Dim的研究已经主要限于Nadir Imagery，只有一些关于倾向于图像的研究。我们开发用于评估应用于倾斜图像的DIM解决方案的方法包括从图像空间的完整性和差异到密度和与物体空间中的参考几何形状的偏差的性能测量。与贴片拟合的平面的偏差导致单点云的指示器，而暗点和参考点或配置文件之间的偏差表示多点云的性能，通常来自不同的源。

昏暗的软件

测试的四个DIM解决方案主要基于Hirschmüller（2008）引入的半全局匹配（SGM）算法，包括：

-光扫描图由Agisoft LLC实现了一个完整的基于计算机视觉算法的摄影测量处理链

-Xpro SGM来自Leica Geosystems，最初为来自广告推荐数据和后来采用的帧传感器而开发的DSM生成，尚未完全针对倾斜图像进行全面优化

-Stereosgbm.从开源库OpenCV由SGM算法的简化变体组成，限制为8位的辐射分辨率

-当然来自斯图加特大学，现在分发了它的分拆nframes。

从立体图像到DSM的工作流程可细分为五个阶段:(1)图像校正;(2)图像匹配与深度图提取;(3)点云生成;(4) DSM计算;(5) DSM纹理化。这两个DIM包Agisoft PhotoScan和SURE执行了所有这些任务，因此在工作流方面是最完整的(表1)。

任务	光扫描	Stereo-SGBM	当然	Xpro SGM
图像整流	V.		V.
图像匹配	V.	V.	V.	V.
点云的一代	V.		V.	V.
DSM计算	V.		V.
DSM纹理	V.		V.

表1，由测试的四个包执行的任务。

网站和数据

测试区占地5公顷的苏黎世西（图1）。城市地区已被徕卡RCD30斜门，由五个摄像头，一个看一个看Nadir和其他期待，向后，向左向左，左侧，倾斜角度为35度。每个头的传感器尺寸为60mp，像素尺寸为6微米，辐射分辨率为14位。在飞行高度为520米的情况下，Nadir重叠的图像被捕获。具有53mm的焦距为53mm，Nadir图像的地面采样距离（GSD）为6cm，并且倾斜图像的GSD为6cm至13cm。在匹配之前，图像精确地展现了。参考数据包括来自地面激光扫描（TLS）的点云和源自Leica ADS100数据的DSM。

完整性和深度差异

完整性是软件分配深度值和总像素总数的像素之间的比率。植被和阴影所涵盖的区域特别具有挑战性。对于整个测试区域，肯定会显示78％的最高完整性，并且60％Leica Xpro SGM显示最低。图2示出了对测试区域的0.5ha裁剪找到匹配点的空间分布。虽然Xpro SGM的深度图显示了比Photoscan或StereosgBm更少的孔，但百分比较低，因为Xpro SGM的匹配区域中的点密度通常较低。图3描绘了地图，直方图和值的形式 - 从左视图暗淡和TLS点产生的构建外墙的深度差异。系统误差范围为21到30cm，根均方误差（RMSE）达到高达50厘米。当然显示最佳结果。

散射和密度

散点可以通过一个点云子集拟合一个平面来计算，并通过确定点与拟合平面之间的RMSE来计算。此处水平、倾斜和垂直面积约10米²如图1所示选择，并且计算RMSE用于分别由ADS100传感器和TLS捕获的昏暗点和参考点。对于前瞻性视图，街道（水平）和屋顶（倾斜）贴片除阴影区域外，显示了大约1 GSD的RMSE（图4）。对于外墙，即垂直区域，获得了1-2 GSD的较大RMSE。其他倾斜视图产生了类似的结果。进一步的措施是点云密度，其定义为投影点到每平方米的平面上。

概要文件和分

参考文件是一种经过验证的方法，用于分析匹配分辨率，潜在的系统误差和准确性。图5显示了从倾斜视图捕获的屋顶细节的档案和来自倾斜视图的暗淡简档相应良好。建筑阴影区域（围绕轮廓位置40m）的区域发生较大的差异。比较不同点的3D坐标是具有挑战性的，因为参考数据应该与点云产生的点，线条和形状都是同源的。因此，穿过相应的点云并相交三个邻接平面。为了获得可靠的结果，散射应低，每平面的点数就足够了。表2显示了同源点的绝对坐标差异的精度。平均而言，每个匹配器和观看方向的坐标差异纳入精度计算。3D点坐标的RMSE在水平和垂直的距离为1至1.5GSD，最大约为2GSD。

结束语

当摄像机头朝向飞行方向时，俯仰和斜向成像的水平和垂直绝对点精度约为1 GSD，俯仰和向后斜向成像的绝对点精度约为1 - 2 GSD。评估和比较DIM性能的方法已被证明是有效和实用的，适用于不同的图像匹配器、不同的斜视几何和复杂的城市场景，包括façades建筑和其他垂直结构。该方法的部分内容将用于即将到来的高密度图像匹配的ISPRS基准，用于DSM计算。

致谢

感谢徕卡地理系统公司(Leica Geosystems AG, Heerbrugg, Switzerland)提供的精确的地理参考倾斜图像和参考DSM。

进一步阅读

• Cavegn，S.，Nebiker，S。和Deuber，M。（2014）密集图像匹配麻省理工学院斜灯泡兰德布林·斯莫特·弗莱奇·梅里奇·麻省理工学院Aufnahmen der Leica RCD30斜坡。在：DGPF Tagungsband 23 / 2014, DGfK, DGPF, GfGI和GiN，汉堡
• Deuber，M。（2014）斜光摄影 - 密集图像匹配MITSchrägluftbildern。硕士论文。瑞士西北艺术学院FHNW大学
• Gerke，M。（2009）高分辨率斜空降图像中的密集匹配。在：CMRT09，INT。拱。摄影师。远程敏感。空间INF。SCI。， Vol. xxviii, Part 3/W4, Paris, pp. 77-82
• Haala，N。（2013）致密图像匹配算法的景观。在：摄影测量一周的13，《斯图加特》，271-284页
• Hirschmüller, H.(2008)基于半全局匹配和互信息的立体图像处理。图案分析和机器智能的IEEE交易， 30(2)，第328-341页