在游戏引擎中可视化点云

在虚拟世界中直接使用密集的彩色点云有很多原因。点云本身可以用3D映射方法高效地生成。新的VR技术提供的沉浸式可视化非常适合几何复杂的数据集，如室内点云。随着与点云兼容的计算机硬件解决方案和游戏引擎的发展，VR中的点云可视化变得越来越容易实现——因此也与测绘学相关。

由于3D制图技术的不断进步，获取3D点云的效率从未如此之高。彩色点云可以使用测量等级系统（如车载移动激光扫描）和消费类技术（如移动设备中的激光雷达传感器）获取。同时定位和地图绘制平（大满贯）除了室外，系统还使室内三维测绘成为可能。现代室内SLAM系统可以在几何复杂的环境中运行，具有很高的测绘效率。除了激光扫描系统外，摄影测量软件的持续发展不仅为市场带来了更先进的专业工具，而且还带来了为摄影测量3D重建开发了更多用户友好的开源软件。这在无人机（UAV或“无人机”）的使用中尤为重要毕竟，对于3D地图而言，相机仍然是最重要的传感器有效载荷。如今，即使是消费级微型无人机也配备了陀螺稳定的高分辨率相机。

在消费技术方面，深度摄像机和最近的激光雷达传感器已经集成到手持设备中，实现了近实时的3D重建。它们也被用于3D扫描仪和自主机器人设备。由于这些发展的结合，大多数日常生活中遇到的环境现在可以数字化成三维。

从映射到沉浸式体验

因此，3D传感技术的使用面临的挑战正在从数据采集转向数据利用。由于点云仍然是3D传感中的最低公分母，因此它们是最有吸引力的应用数据类型。可以利用点云的解决方案与多种传感技术兼容最简单的应用形式是点云可视化。在台式计算机和传统显示器上，这可以通过多种商用和开源软件解决方案来实现。同样，基于浏览器的点云可视化也可以通过许多公开可用的Javascript库和在线se来实现服务。

在过去的10年里，使用头戴式显示设备(HMDs)的虚拟现实(VR)可视化技术已经成熟为一项消费技术。设备可以由多个制造商提供，但发布应用程序的商业生态系统集中在少数几家主要厂商。以类似的方式，可以支持多种VR hmd的开发工具和开放标准(如OpenXR)已经出现，简化了应用程序的开发。对于构建交互式VR应用和体验而言，不仅仅是数据可视化，商业游戏引擎是事实上的标准环境。在这里，虚拟现实社区受益于大量开发者，他们可以将自己的游戏开发经验和热情转移到商业游戏引擎上。对于游戏开发者来说，进入虚拟现实领域相对容易，而且有充分的文件证明。

虚拟现实和点云

由于大多数用于hmd的VR应用都是使用游戏引擎构建的，所以这些游戏引擎能够支持点云非常重要。幸运的是，通过内置功能或可用插件，点云已经成为许多游戏引擎中直接使用的数据类型。然而，对于渲染的严格性能要求，尤其是对帧率的要求，使得VR中的点云可视化更加复杂。在通过普通监视器研究的交互式可视化中，低帧率是最烦人的。在VR中，渲染速度的降低会导致渲染后的图像与人的感官系统不匹配。这会让使用者感到不适，在极端情况下还会导致恶心等身体症状。

点云的虚拟现实可视化需要高效的空间索引系统，细节级别处理和拒绝不可见点的渲染(剔除)。这些系统允许引擎确定虚拟摄像机实际看到的点云的哪些部分，并且只渲染这些部分的足够细节。此外，渲染必须操作，以便从云的更遥远的部分绘制更少的点，只需最少的处理。要渲染的点的总数可以通过结合空间索引和剔除和多级细节(由距离决定)以及调整栅格化点的大小来保持在限制范围内。

由于VR可视化本身也提供了第一人称视角，因此密度变化通常会带来潜在的透视效果和问题，特别是在无结构的室内点云中。因此，必须进行点尺寸的动态调整。在游戏引擎中，这与实际绘制点的方法有关。最常见的是，点可以直接作为像素集绘制，也可以通过几何对象(如方形或圆形)来代替点，并通过引擎的传统三角形渲染管道进行渲染。

动态资产启用丰富的交互

虚拟环境与用户之间丰富的交互往往是游戏引擎可视化的关键驱动因素。传统的游戏引擎场景是由一组网格模型、摄像机、灯光、演员等组成的。有了动态的、脚本化的交互，场景就从静态呈现变成了交互环境。为了尽量减少计算资源的使用，虚拟场景通常被组装起来，这样只有用户可以交互的对象才会对模拟碰撞、重力和更复杂的照明模型做出响应。简化的几何图形，如原始形状和凸包被用来模拟碰撞和检测重叠。

如果点云的使用要超越简单的可视化，那么点云还必须与游戏引擎应用程序中常用的功能兼容，如实时光照、模拟冲突和交互对象。在这里，照明主要是渲染问题，与可视化系统相连。然而，实现分离的对象也对点云本身提出了要求。

因此，将密集点云转化为有用的游戏引擎场景需要将点云分离为可交互的对象，并与其简化版本相结合，以允许动态模拟。同时，所使用的索引和渲染解决方案必须与场景中移动的对象兼容。

结论

在研究文献和软件开发中，已经提出了许多解决方案，将源自3D映射的密集点云转化为有用的游戏引擎场景。许多游戏属性，如可交互对象和动态照明，已经通过点云完成。然而，一些专题研究问题仍然存在。要将点云应用于游戏引擎中，仅将点分类为建筑物或植被等简单对象类型是不够的。制作交互式游戏引擎场景需要更精细的、面向对象的分割和语义理解。关于点云中物体的分类和分割，还需要更多的研究和更复杂的解决方案。

在现有的研究中，对不同三维测绘技术获得的点云质量的评价大多集中在其几何精度上。然而，VR应用也需要足够好的点着色，以实现作为3D传感的一部分。这强调了点云的辐射质量，因为这在它们的可视化中起着重要的作用。

从计算角度来看，纹理网格模型是目前游戏引擎可视化中表示几何体最有效的方法。然而，点云的使用有许多潜在的好处，例如简化了不同地图系统的数据集成，提高了数字化现实环境的效率。此外，虚拟现实提供了一种自然的方式，可以探索具有六个自由度的几何复杂数据集，身临其境地进行导航，甚至可以与点进行交互。因此，点云的虚拟现实可视化实验仍然是地理信息学界的热门话题。

进一步的阅读

(2020).国家自然科学基金项目:国家自然科学基金项目。游戏引擎中的交互式密集点云。摄影测量与遥感学报，163, 375 - 389。https://doi.org/10.1016/j.isprsjprs.2020.03.007

Virtanen，J.P.，Julin，A.，Handolin，H.，Rantanen，T.，Maksimainen，M.，Hyppä，J.，和Hyppä，H.（2020）。虚拟现实中的交互式地理信息——观测和未来挑战。摄影测量学、遥感和空间信息科学国际档案馆，44(4 / W1)。https://doi.org/10.5194/isprs-archives-XLIV-4-W1-2020-159-2020

朱林，A.， Kurkela, M.， Rantanen, T.， Virtanen, J. P.， Maksimainen, M.， Kukko, A.，…& Hyyppä， H.(2020)。TLS点云着色质量评估。遥感，12(17), 2748年。https://doi.org/10.3390/rs12172748