如何在VR头显中创建、查看NeRF体验

你可能通过视频看过NeRF，但实际上，你可以把它们带到VR头显，并通过控制器进行移动，从而体验进一步的沉浸感。

当然，目前只有一种方法可以通过VR头显（英伟达的Instant-NGP app for Windows）查看NeRF体验。但由于NeRF技术可以快速地使用逼真虚拟对象填充元宇宙，这种情况在未来可能会发生改变。

什么是NeRF？

NeRF神经辐射场是一种面向三维隐式空间建模的深度学习模型，并主要用于Novel View Synthesis新视角合成。它们可以在场景中的任何一点重建光线的样貌，使得在VR中穿行神经辐射场成为可能，令你有一种仿如置身其中的感觉。

创建NeRF：从Instant-NGP开始

首先，你需要一个支持OpenXR的VR或AR头显，以及一台支持下列英伟达显卡的Windows PC：

• RTX 3000&4000系列、RTX A4000–A6000和其他Ampere&Ada显卡
• RTX 2000系列、Titan RTX、Quadro RTX 4000–8000和其他Turing显卡
• GTX 1000系列、Titan Xp、Quadro P1000–P6000和其他Pascal显卡

然后，请按照以下步骤测试Instant NGP：

• 从GitHub下载与GPU类型匹配的Instant NGP版本并提取文件。
• 打开Instant NGP文件夹并运行Instant NGN。
• 你可能会看到Microsoft Defender警告。单击More Info更多信息，然后选择Run anyway继续运行。
• 在Windows资源管理器中，打开data/nerf文件夹，然后将fox文件夹拖到Instant NGP应用程序的窗口。
• 训练模型时，请等待数秒钟。
• 在Instant NGP窗口中单击并拖动以在计算机屏幕查看狐狸头的3D效果。你同时可以滚动缩放，然后单击鼠标中键在窗口中拖动NeRF。
• 一分钟后，模型可能不会进一步提升。单击Stop Training停止训练按钮，这可以提高帧率。
• 单击左上角的小箭头以关闭选项菜单并查看更多信息。

通过视频创建自己的NeRF

如果您可以使用iPhone，Record3D应用程序可以更轻松地捕获视频，以及创建NeRF所需的camera路径数据。遗憾的是，它没有Android版本。

在iPhone安装Record3D应用程序后，将你希望在VR中查看的对象的视频录制为NeRF。最好缓慢移动，并将目标对象保持在取景器的中心。导出为R3D文件并将其传输到计算机。

其余过程在计算机上进行：

• R3D实际上是一个zip存档。将扩展名改为.zip，单击鼠标右键，然后选择“全部提取…”
• 这时将创建一个包含metadata文件和rgbd文件夹的新文件夹。
• 你需要安装Python。
• 在Windows资源管理器中打开Instant NGP文件夹，右键单击文件夹名称，然后选择复制地址。
• 点击Windows键，开始键入命令提示符并打开应用程序。
• 键入cd
• 轻按空格键，然后粘贴文件夹的地址并按Enter键。
• 在Windows资源管理器中，找到Record3D视频文件夹并复制其地址。
• 在命令提示符中，键入python scripts/record3d2nerf.py –scene
• 粘贴Record3D文件夹的地址，然后按Enter键。
• Python脚本会快速处理相关数据，并创建一个名为transforms.json的新文件。
• 打开Instant NGP并将Record3D文件夹拖到窗口中，从而开始训练。
• 按照以下说明完善NeRF并在虚拟现实中查看。

裁剪并居中NeRF视图

NeRFs通常边缘看起来模糊。你可以对其进行裁剪。这同时可以将你想在VR中看到的对象居中。另外，裁剪可以提高性能，所以如果你发现帧速率太低，这是一个有用的选择。

以下是如何在Instant NGP中裁剪NeRF：

• 在选项菜单中向下滚动，然后单击World transform & Crop世界变换和裁剪选项框旁边的箭头以查看更多选项。
• 拖动标记为Min最小和Max最大的六个滑块，从而进行裁剪和居中，并移除杂波。
• 你同时可以通过选择Rotate world旋转世界，然后拖动出现的三个圆圈来旋转NeRf。

裁剪、居中和旋转后，你应该可以在屏幕看到NeRF。

查看VR中的Instant NGP NeRF

如果你觉得电脑屏幕显示的效果可以，这时你可以在VR中进行浏览：

• 启动VR头显或兼容的AR头显/眼镜。
• 在PC端的Instant NGP应用程序中，单击Connect to VR/AR headset连接到VR/AR头显。
• 戴上VR/AR头显，环顾四周。这时你应该能够看到NeRF。
• 使用控制器，单击并拖动以在场景中移动。

如果你在VR头显中什么都看不到，可能是没有设置为默认OpenXR设备。在大多数情况下，你可以在SteamVR或PC端的Oculus应用程序中选择OpenXR设备。Quest 2和Quest Pro，以及大多数支持SteamVR和WMR头显都兼容。

使用图像生成NeRF

你同时可以使用照片创建NeRF，这允许对用于训练模型的图像进行更多控制。由于需要安装多个软件包，所以这个方法更为复杂，更多操作是在Windows命令提示符中完成。

具体教程请访问The Decoder，他们介绍了根据图像创建NeRF的无代码方法。

无论你使用哪种方法创建NeRF，如果可能，你都应该在VR头显中查看，并体验一种身临其境的感受。

来源：映维网
投稿：tougao@arinchina.com
稿件/商务合作： Vicky（微信 ARC-vicky）电话：18700987744
创始人：张明军（微信 13720775110）
更多精彩内容，请关注ARinChina微信公众号(ID:X增强现实)