来自点云的现实虚拟现实环境

低成本的头戴式显示器的出现标志着沉浸式虚拟现实(VR)的新时代，并在工程、科学和教育领域引发了广泛应用。任何虚拟现实应用程序的组成部分都是虚拟环境。虽然有些应用程序可能有一个完全虚构的虚拟环境，但其他应用程序需要一个站点或建筑的真实再现。相关的例子可以在游戏、遗址保护和建筑信息模型中找到。本文讨论了如何使用点云技术来创建一个逼真的虚拟环境，用作沉浸式和交互式测量实验室。

创建基于物理站点的虚拟环境需要高度详细的几何信息。无人机(UAS)和地面激光扫描(TLS)等技术可以生成密集而精确的3D点云。每一种方法的优点和缺点都是相互补充的。例如，无人机在一个高度与向下看的视角，而扫描仪被设置在有利位置的视线障碍限制。识别数据差距并合并它们的点云可以创建更完整的点。为了研究的目的，我们重建了宾夕法尼亚州立大学威尔克斯-巴利校区的一部分。我们使用低空成像进行了无人机飞行，并从多个地点收集了TLS扫描，主要是在建筑物周围，并通过自定义合并算法合并点云。图1显示了sUAS和TLS数据集中的数据差距示例。例如，在这种情况下，UAS点云在树木区域周围有间隙，不能捕捉到建筑的垂直墙壁。另一方面，TLS数据集不能捕获建筑物的顶部(由UAS数据集捕获)，但可以捕获建筑物的垂直墙壁。 The TLS dataset was used as the reference and consisted of 180 million points. The sUAS point cloud had 70 million points, and 25 million points were kept to fill gaps in the TLS dataset.

地形和结构建模

地形和任何人造建筑都可以基于合并的点云进行建模。利用现有的分割算法，比较容易将点云分为地面和非地面，并从地面点创建地形网格。虽然可以创建数百万个人脸的细节网格，但这给经常用于创建虚拟环境的游戏引擎(如Unity和Unreal)带来了挑战。为了获得愉快的虚拟体验，重要的是始终保持至少60帧每秒(FPS)，而其他虚拟现实硬件制造商通常建议至少90帧每秒。这意味着，在不影响地形精度的情况下，需要将数百万个面的详细网格简化为几千个。例如，在我们的实现中，最初的地形网格有400万个面;然而，当玩家接近复杂区域(如建筑周围)时，FPS便会下降至60 FPS以下。我们简化了地形，使用了50000个面，均方根误差(RMSE)相差5cm。图2(左)显示了这个简化的地形。然后，地形网格被转换为Unity地形，以利用Unity的遮挡剔除渲染过程，即呈现只在用户视野中可见的对象，从而确保始终保持90帧每秒的帧数。

它对几何模范人造结构（如建筑物和路缘）耗时。虽然存在一些自动形状检测算法，但它们检测原始形状，如盒子，球形，圆筒等。虽然这些足以用于不需要高级别的建模细节的应用，但这对沉浸虚拟环境不可接受。考虑到建筑物具有复杂的窗户和门结构，拱形人行道，扶手，停车场条纹，沥青的字母标记（例如'停止'），等等。在我们的案例中，我们用手云使用艰苦的云来设计人造物体。图2（右）显示了3ds Max中的这些3D模型的示例。我们将我们建模3D结构的准确性与建筑角落和停车场条纹的93个检查点进行了比较，这在10-20厘米范围内进行了一致。改进的形状检测算法未来将增强从点云的结构提取的自动化，使其变得更加容易。对于树木，遵循不同的方法。我们使用了树随机生成器（来自Unity的资产存储），并将它们放在相应的位置，从合并点云识别。

纹理

纹理是虚拟环境的重要组成部分。创建和应用看起来像他们的物理同行的纹理会产生一种现实感。虽然点云给出了重要的几何信息，但从UAS和TLS拍摄的图片没有足够的分辨率来创建纹理。由于用户可以在虚拟现实中非常接近3D对象，因此它们将能够看到来自空中图像的像素。如果它们是足够的，可以使用游戏开发软件中的内置材料，这可能是一个简单的解决方案。这是沥青和草纹理的情况。但是，一些物理对象具有独特且复杂的模式，因此需要从头开始开发纹理。例如，外部建筑墙通常具有独特的模式。要创建此类纹理，我们使用特写镜头摄影和创建了类似于Photoshop中的物理的模式。重要的是，这些纹理伴随着在虚拟现实中发出深度的幻觉的常规地图。 From these textures, we created materials that were then applied to the 3D objects. Figure 3 shows a top view of the virtual environment we created, while Figure 4 shows close-up examples of our textures. Of note are the custom textures in the buildings and the surrounding environment. For instance, in Figure 4 (top left), the windows were made reflective and in Figure 4 (bottom left), the parking lot sign was faithfully recreated. In addition, we added ambient sounds such as birds and the movement of tree branches with wind and rustling leaves. These add a sense of realism, which are important to create a sense of immersion.

研究成果

本文介绍了如何利用点云技术来创建逼真的虚拟环境的工作流程。我们计划在测量实验室中使用这种逼真的环境，进行沉浸式和交互式虚拟现实。合并不同采集方法生成的点云可以获得完整和高细节的几何信息。3D建模和纹理是使环境逼真的重要步骤，但这些过程需要时间和精力。虚拟现实技术正在迅速发展，并迅速在测量和工程中找到它的方法，增加了对将物理环境复制到虚拟环境的需求，并为新的专业努力打开了大门。

确认

本项目由以下机构资助:宾夕法尼亚州立大学施瑞尔卓越教学研究所;宾夕法尼亚州立大学工程技术与联邦工程;宾州威尔克斯-巴利大学的校长捐款。学生John Chapman, Vincent F. Pavill IV, Eric Williams, Joe Fioti, Donovan Gaffney, Malcolm Sciandra, Courtney Snow和兼职Brandi Brace参与了这项研究。

参考

Bolkas，D.，Chiampi，J.，Chapman，J.，＆Pavill，V. F.（2020）。创建虚拟现实环境，具有融合SUA和TLS Point-Clouds。国际影像与数据融合杂志, 1-26。

Bolkas, D.， Chiampi, J.， Chapman, J.， Fioti, J.， & Pavill IV, V. F.(2020)。在虚拟现实中创建身临其境的交互式测量实验室:一个差速升级的例子。摄影测量、遥感与空间信息科学年鉴5(5)。