如何在VR头显中创建、查看NeRF体验

lhw 2023年3月20日09:24:12
评论
摘要

你可能通过视频看过NeRF,但实际上,你可以把它们带到VR头显,并通过控制器进行移动,从而体验进一步的沉浸感。

你可能通过视频看过NeRF,但实际上,你可以把它们带到VR头显,并通过控制器进行移动,从而体验进一步的沉浸感。

当然,目前只有一种方法可以通过VR头显(英伟达的Instant-NGP app for Windows)查看NeRF体验。但由于NeRF技术可以快速地使用逼真虚拟对象填充元宇宙,这种情况在未来可能会发生改变。

什么是NeRF?

NeRF神经辐射场是一种面向三维隐式空间建模的深度学习模型,并主要用于Novel View Synthesis新视角合成。它们可以在场景中的任何一点重建光线的样貌,使得在VR中穿行神经辐射场成为可能,令你有一种仿如置身其中的感觉。

创建NeRF:从Instant-NGP开始

首先,你需要一个支持OpenXR的VR或AR头显,以及一台支持下列英伟达显卡的Windows PC:

  • RTX 3000&4000系列、RTX A4000–A6000和其他Ampere&Ada显卡
  • RTX 2000系列、Titan RTX、Quadro RTX 4000–8000和其他Turing显卡
  • GTX 1000系列、Titan Xp、Quadro P1000–P6000和其他Pascal显卡

然后,请按照以下步骤测试Instant NGP:

如何在VR头显中创建、查看NeRF体验

  • 从GitHub下载与GPU类型匹配的Instant NGP版本并提取文件。
  • 打开Instant NGP文件夹并运行Instant NGN。
  • 你可能会看到Microsoft Defender警告。单击More Info更多信息,然后选择Run anyway继续运行。
  • 在Windows资源管理器中,打开data/nerf文件夹,然后将fox文件夹拖到Instant NGP应用程序的窗口。
  • 训练模型时,请等待数秒钟。
  • 在Instant NGP窗口中单击并拖动以在计算机屏幕查看狐狸头的3D效果。你同时可以滚动缩放,然后单击鼠标中键在窗口中拖动NeRF。
  • 一分钟后,模型可能不会进一步提升。单击Stop Training停止训练按钮,这可以提高帧率。
  • 单击左上角的小箭头以关闭选项菜单并查看更多信息。

通过视频创建自己的NeRF

如果您可以使用iPhone,Record3D应用程序可以更轻松地捕获视频,以及创建NeRF所需的camera路径数据。遗憾的是,它没有Android版本。

在iPhone安装Record3D应用程序后,将你希望在VR中查看的对象的视频录制为NeRF。最好缓慢移动,并将目标对象保持在取景器的中心。导出为R3D文件并将其传输到计算机。

如何在VR头显中创建、查看NeRF体验

其余过程在计算机上进行:

  • R3D实际上是一个zip存档。将扩展名改为.zip,单击鼠标右键,然后选择“全部提取…”
  • 这时将创建一个包含metadata文件和rgbd文件夹的新文件夹。
  • 你需要安装Python。
  • 在Windows资源管理器中打开Instant NGP文件夹,右键单击文件夹名称,然后选择复制地址。
  • 点击Windows键,开始键入命令提示符并打开应用程序。
  • 键入cd
  • 轻按空格键,然后粘贴文件夹的地址并按Enter键。
  • 在Windows资源管理器中,找到Record3D视频文件夹并复制其地址。
  • 在命令提示符中,键入python scripts/record3d2nerf.py –scene
  • 粘贴Record3D文件夹的地址,然后按Enter键。
  • Python脚本会快速处理相关数据,并创建一个名为transforms.json的新文件。
  • 打开Instant NGP并将Record3D文件夹拖到窗口中,从而开始训练。
  • 按照以下说明完善NeRF并在虚拟现实中查看。

裁剪并居中NeRF视图

NeRFs通常边缘看起来模糊。你可以对其进行裁剪。这同时可以将你想在VR中看到的对象居中。另外,裁剪可以提高性能,所以如果你发现帧速率太低,这是一个有用的选择。

如何在VR头显中创建、查看NeRF体验

以下是如何在Instant NGP中裁剪NeRF:

  • 在选项菜单中向下滚动,然后单击World transform & Crop世界变换和裁剪选项框旁边的箭头以查看更多选项。
  • 拖动标记为Min最小和Max最大的六个滑块,从而进行裁剪和居中,并移除杂波。
  • 你同时可以通过选择Rotate world旋转世界,然后拖动出现的三个圆圈来旋转NeRf。

如何在VR头显中创建、查看NeRF体验

裁剪、居中和旋转后,你应该可以在屏幕看到NeRF。

查看VR中的Instant NGP NeRF

如果你觉得电脑屏幕显示的效果可以,这时你可以在VR中进行浏览:

  • 启动VR头显或兼容的AR头显/眼镜。
  • 在PC端的Instant NGP应用程序中,单击Connect to VR/AR headset连接到VR/AR头显。
  • 戴上VR/AR头显,环顾四周。这时你应该能够看到NeRF。
  • 使用控制器,单击并拖动以在场景中移动。

如何在VR头显中创建、查看NeRF体验

如果你在VR头显中什么都看不到,可能是没有设置为默认OpenXR设备。在大多数情况下,你可以在SteamVR或PC端的Oculus应用程序中选择OpenXR设备。Quest 2和Quest Pro,以及大多数支持SteamVR和WMR头显都兼容。

使用图像生成NeRF

你同时可以使用照片创建NeRF,这允许对用于训练模型的图像进行更多控制。由于需要安装多个软件包,所以这个方法更为复杂,更多操作是在Windows命令提示符中完成。

具体教程请访问The Decoder,他们介绍了根据图像创建NeRF的无代码方法。

无论你使用哪种方法创建NeRF,如果可能,你都应该在VR头显中查看,并体验一种身临其境的感受。

 

来源:映维网
投稿:tougao@arinchina.com
稿件/商务合作: Vicky(微信 ARC-vicky)电话:18700987744
创始人:张明军(微信 13720775110)
更多精彩内容,请关注ARinChina微信公众号(ID:X增强现实)
weinxin
我的微信
这是我的微信扫一扫
广告也精彩
lhw
  • 本文由 发表于 2023年3月20日09:24:12
  • 转载请注明:https://www.arinchina.com/18559.html
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: