你可能通过视频看过NeRF,但实际上,你可以把它们带到VR头显,并通过控制器进行移动,从而体验进一步的沉浸感。
当然,目前只有一种方法可以通过VR头显(英伟达的Instant-NGP app for Windows)查看NeRF体验。但由于NeRF技术可以快速地使用逼真虚拟对象填充元宇宙,这种情况在未来可能会发生改变。
什么是NeRF?
NeRF神经辐射场是一种面向三维隐式空间建模的深度学习模型,并主要用于Novel View Synthesis新视角合成。它们可以在场景中的任何一点重建光线的样貌,使得在VR中穿行神经辐射场成为可能,令你有一种仿如置身其中的感觉。
创建NeRF:从Instant-NGP开始
首先,你需要一个支持OpenXR的VR或AR头显,以及一台支持下列英伟达显卡的Windows PC:
- RTX 3000&4000系列、RTX A4000–A6000和其他Ampere&Ada显卡
- RTX 2000系列、Titan RTX、Quadro RTX 4000–8000和其他Turing显卡
- GTX 1000系列、Titan Xp、Quadro P1000–P6000和其他Pascal显卡
然后,请按照以下步骤测试Instant NGP:
- 从GitHub下载与GPU类型匹配的Instant NGP版本并提取文件。
- 打开Instant NGP文件夹并运行Instant NGN。
- 你可能会看到Microsoft Defender警告。单击More Info更多信息,然后选择Run anyway继续运行。
- 在Windows资源管理器中,打开data/nerf文件夹,然后将fox文件夹拖到Instant NGP应用程序的窗口。
- 训练模型时,请等待数秒钟。
- 在Instant NGP窗口中单击并拖动以在计算机屏幕查看狐狸头的3D效果。你同时可以滚动缩放,然后单击鼠标中键在窗口中拖动NeRF。
- 一分钟后,模型可能不会进一步提升。单击Stop Training停止训练按钮,这可以提高帧率。
- 单击左上角的小箭头以关闭选项菜单并查看更多信息。
通过视频创建自己的NeRF
如果您可以使用iPhone,Record3D应用程序可以更轻松地捕获视频,以及创建NeRF所需的camera路径数据。遗憾的是,它没有Android版本。
在iPhone安装Record3D应用程序后,将你希望在VR中查看的对象的视频录制为NeRF。最好缓慢移动,并将目标对象保持在取景器的中心。导出为R3D文件并将其传输到计算机。
其余过程在计算机上进行:
- R3D实际上是一个zip存档。将扩展名改为.zip,单击鼠标右键,然后选择“全部提取…”
- 这时将创建一个包含metadata文件和rgbd文件夹的新文件夹。
- 你需要安装Python。
- 在Windows资源管理器中打开Instant NGP文件夹,右键单击文件夹名称,然后选择复制地址。
- 点击Windows键,开始键入命令提示符并打开应用程序。
- 键入cd
- 轻按空格键,然后粘贴文件夹的地址并按Enter键。
- 在Windows资源管理器中,找到Record3D视频文件夹并复制其地址。
- 在命令提示符中,键入python scripts/record3d2nerf.py –scene
- 粘贴Record3D文件夹的地址,然后按Enter键。
- Python脚本会快速处理相关数据,并创建一个名为transforms.json的新文件。
- 打开Instant NGP并将Record3D文件夹拖到窗口中,从而开始训练。
- 按照以下说明完善NeRF并在虚拟现实中查看。
裁剪并居中NeRF视图
NeRFs通常边缘看起来模糊。你可以对其进行裁剪。这同时可以将你想在VR中看到的对象居中。另外,裁剪可以提高性能,所以如果你发现帧速率太低,这是一个有用的选择。
以下是如何在Instant NGP中裁剪NeRF:
- 在选项菜单中向下滚动,然后单击World transform & Crop世界变换和裁剪选项框旁边的箭头以查看更多选项。
- 拖动标记为Min最小和Max最大的六个滑块,从而进行裁剪和居中,并移除杂波。
- 你同时可以通过选择Rotate world旋转世界,然后拖动出现的三个圆圈来旋转NeRf。
裁剪、居中和旋转后,你应该可以在屏幕看到NeRF。
查看VR中的Instant NGP NeRF
如果你觉得电脑屏幕显示的效果可以,这时你可以在VR中进行浏览:
- 启动VR头显或兼容的AR头显/眼镜。
- 在PC端的Instant NGP应用程序中,单击Connect to VR/AR headset连接到VR/AR头显。
- 戴上VR/AR头显,环顾四周。这时你应该能够看到NeRF。
- 使用控制器,单击并拖动以在场景中移动。
如果你在VR头显中什么都看不到,可能是没有设置为默认OpenXR设备。在大多数情况下,你可以在SteamVR或PC端的Oculus应用程序中选择OpenXR设备。Quest 2和Quest Pro,以及大多数支持SteamVR和WMR头显都兼容。
使用图像生成NeRF
你同时可以使用照片创建NeRF,这允许对用于训练模型的图像进行更多控制。由于需要安装多个软件包,所以这个方法更为复杂,更多操作是在Windows命令提示符中完成。
具体教程请访问The Decoder,他们介绍了根据图像创建NeRF的无代码方法。
无论你使用哪种方法创建NeRF,如果可能,你都应该在VR头显中查看,并体验一种身临其境的感受。
评论