NVIDIA Research 实现瞬间2D照片转化3D场景

lhw 2022年6月24日11:12:47
评论

即时NeRF是一种神经渲染模型,可以在几秒钟内学习一个高分辨率的3D场景,并可以在几毫秒内完成该场景的图像渲染。

75年前,宝丽来相机拍摄了第一张快照,它开创性地以逼真的二维图像快速捕捉三维世界。如今,人工智能研究人员正在进行相反的工作:在几秒钟内将一组静态图像转化为数字3D场景。

这一过程被称为逆渲染,它使用人工智能来模拟现实世界中相似的光线表现,研究人员从不同角度拍摄的2D图就能重建一个3D场景。英伟达(NVIDIA)研究团队已经开发出一种方法,几乎可以在瞬间完成这项任务,构建了首个将超快神经网络训练和快速渲染相结合的模型。

NVIDIA将这种方法应用于名为神经辐射场(neural radiance fields,NeRF)的流行新技术,一起被称为即时NeRF,是迄今为止最快的NeRF技术,在某些情况下可以将速度提升至1000倍以上。这个模型只需要几秒钟就能训练几十张静止的照片,加上拍摄它们的相机角度的数据,然后可以在几十毫秒内渲染出最终的3D场景。

NVIDIA图形研究副总裁David Luebke说:“如果把多边形网格这样的传统3D图看作矢量图像,那么NeRF就像位图图像:它们密集地捕捉光线从物体或场景中辐射的方式。从这个意义上说,即时NeRF对3D的重要性不亚于数码相机和JPEG压缩对2D图片的重要性,它极大地提高了3D捕捉和共享的速度、易用性以及应用范围。”

即时NeRF是在本周召开的AI 和深度学习领域顶级盛会NVIDIA GTC会议上展示的,它可以用来为虚拟世界创建虚拟人物或场景,以用3D的方式捕捉视频会议参与者及其环境,或者为3D数字地图重建场景。

为了向早期的宝丽来图像致敬,NVIDIA Research重现了安迪·沃霍尔拍摄的一张标志性照片,并使用即时NeRF将其变成3D场景。

NeRF是什么?

NVIDIA Research 实现瞬间2D照片转化3D场景

NeRF使用神经网络来表示和呈现基于2D图像输入集合的逼真3D场景。

NeRF收集数据的过程类似于红毯摄影师试图从各个角度捕捉盛装出席的名人,神经网络需要从场景周围的多个位置拍摄几十张照片,以及记录每个镜头的相机位置。

在包含人或其他移动元素的场景中,这些镜头捕捉得越快越好。如果在二维图像捕捉过程中运动过多,会导致AI生成的三维场景模糊不清。

NeRF基本上填补了这一空白,训练小型神经网络,通过预测从3D空间的任何一点向任何方向辐射的光的颜色来重建场景。这项技术甚至可以解决遮挡问题,如一些图像中的物体被其他图像中的障碍物(如柱子)挡住时也能重建场景。

即时NeRF让速度提升1000倍

虽然根据局部视角估计物体的深度和外观是人类的一项自然技能,但这对人工智能来说是一项要求很高的任务。

NVIDIA Research 实现瞬间2D照片转化3D场景

根据可视化的复杂性和分辨率,用传统方法创建一个3D场景需要数小时或更长时间。让人工智能进入画面可以加快速度。早期的NeRF模型在几分钟内渲染出没有伪影的清晰场景,但仍然需要几个小时的训练。

然而,用即时NeRF可以将渲染时间缩短几个数量级。它依赖于NVIDIA开发的一种称为多分辨率哈希网格编码技术(multi-resolution hash grid encoding)。该技术经过优化,可以在NVIDIA GPU上高效运行。通过使用一种新的输入编码方法,研究人员可以使用快速运行的微小神经网络获得高质量的结果。

该模型是使用NVIDIA CUDA Toolkit和Tiny CUDA Neural Networks库开发的。由于它是一个轻量级的神经网络,它可以在单个NVIDIA GPU上训练和运行,在带有NVIDIA核的显卡实现最快的运行速度。

这项技术可以用来训练机器人和自动驾驶汽车,通过捕捉二维图像或视频片段来了解真实世界物体的大小和形状。在建筑和娱乐行业,该技术可以快速生成真实环境的数字场景,创作者可以在此基础上进行进一步修改和构建。

除了NeRF之外,NVIDIA的研究人员还在探索如何使用这种输入编码技术来加速多个领域AI技术的进步与发展,包括强化学习、语言翻译和通用深度学习算法。

 

投稿:tougao@arinchina.com
稿件/商务合作: Vicky(微信 ARC-vicky)
创始人:张明军(微信 13720775110)
更多精彩内容,请关注ARinChina微信公众号(ID:X增强现实)
版权申明:本文为.ARinChina原创,任何第三方未经授权不得转载。如需转载请注明转载来源、不得擅自更改内容,违规转载法律必究
weinxin
我的微信
这是我的微信扫一扫
广告也精彩
lhw
  • 本文由 发表于 2022年6月24日11:12:47
  • 转载请注明:https://www.arinchina.com/13776.html
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: