FBEC2021 | 英伟达 中国区资深产品经理周锡健: Omniverse通过5G和CloudXR连接虚拟世界,将改变元宇宙体验

arinchina 2021年12月14日13:44:11
评论

2021未来商业生态链接大会暨第六届金陀螺奖颁奖典礼(简称“FBEC2021”)于2021年12月10日在深圳市大中华喜来登酒店盛大召开,本次大会由广东省游戏产业协会、广东省虚拟现实产业技术创新联盟、深圳市科学技术协会、深圳市互联网文化市场协会指导,陀螺科技主办,以“迎风破局 · 守正创新”为主题,聚焦游戏、电竞、XR、元宇宙等互联网前沿领域,探讨行业热门话题。岁末年关,聚锦鹏城,我们与无数互联网从业者同舟,共同探讨未来商业生态链接的创新和变革!

 

在FBEC2021“Let's Metaverse · 2021元宇宙峰会”上,英伟达 中国区资深产品经理周锡健以“深入了解英伟达Omniverse及CloudXR”为主题发表了演讲。Omniverse平台是为了解决协同的工作和设计遇到的问题。周锡健认为物理世界和物联网的关系,中间的纽带是HTML5,通过5G可以把高精度的模型和现实结合。

 

以下为演讲实录:

FBEC2021 | 英伟达 中国区资深产品经理周锡健: Omniverse通过5G和CloudXR连接虚拟世界,将改变元宇宙体验

大家可以关注一个公众号,就是英伟达企业解决方案,现在就可以关注。

 

在这个公众号里面,有一篇11月25号的文章,就是我们的CEO黄先生接受访问谈对元宇宙的看法。

 

我今天分享的主题是英伟达的Omniverse和CloudXR。

 

这是热门的内容,是多元化全能宇宙视觉体验,有平面的,有环绕的,也有曲面的,也有AR、VR,包括裸眼3D的,棱镜的,球目的,都有了很好的应用。包括右下方全系投影,也有很多类似的场景。

 

今天稍微集中一些,把它放在一些小型化的设备,就像VR、AR,它非常小型化,我们就可以把它带出去。

 

我不再叙述什么是AR或者是VR,到了2021年,给大家讲一下,我们还有另外一种大家忽略的AR的展现方式,就是TabletAR。一些调研报告显示,以中国为例,支持AR功能的手机和平板,活跃用户2.5亿台,这是非常庞大的数据。

 

什么是手机AR?很多朋友以前都有体验过,先给大家看一段小的视频。

 

这个就是手机的AR,大家可以看到,它有摄像头拍摄到的现实的部分,也有渲染的部分,而且这个渲染的部分,黑豹不是像纸片人直接贴上去,它可以跳到体育馆的上面扯下旗,还可以在运动场上走,那个黑豹是具备空间感知能力,所以它是个AR。

 

后面我们可以看到,这样的场景非常多。

 

还有一个,我们用一个比较历史的方法,从2015年开始,像VR,一定程度上,有一段时间大家觉得有一定程度的泡沫。现在这个时间点,我们可以复习一下,在这段时间,VR、XR、元宇宙体验会有一些新的变化。

 

从2015年看,我们有两个关键词:

1.OCULUS DK2。

2.NVIDIA VR WORKS。

 

2015年的头显,在座很多都是VR界的老朋友,那个时候的感觉是这样的(PPT图示),很多人会觉得头晕、晕眩,哪怕购物中心有很多VR,但很多人还是接受不了,所以2015—2016年解决的是体验问题,就是眩晕感。

 

这是很经典的六角星,我们解决哪一个行业都用类似的方法,因为它不是孤立的,它是生态系统的解决方案,这个生态系统里面有很多的伙伴,有硬件的合作者,比如说头显,也有软件的合作者,比如ISV等,还有追踪定位的、串流的、平台的等等。我们都是用这样的方法去解决一些系统的问题。

 

这是VR WORKS,这一页PPT是我2016年的PPT,现在这页PPT,还有很多伙伴在使用,如果要把这些SDK讲完估计要讲很久,所以我讲简单一些。

 

这是一个简单的功能,叫Direct Mode,做头显的都知道直连模式。如果没有这个直连模式,把VR的头显插到一台工作站,或者是笔记本里面,会看到Windows扩展的桌面,这会影响体验,也增加延迟。

 

通过这个直连模式,和NVIDIA合作之后,这个头显是插在NVIDIA的GPU,我们了解它的参数,进入它的DID里面,并且进入驱动的白名单,这样插入任何一个跟我们合作的头显,就可以呈现正确的渲染方式。这解决了体验和延迟的问题。

 

这是CONTEXT PRIORITY,Time warp异步时空扭曲。左边的框有一个投影,XR头显、VR头显全称叫HMD,就是戴上在头上的显示器,它有白色和绿色,为什么?因为显示器是戴在你的头上的,你的头运动变化很快,我们的GPU在渲染VR的时候,无论多快,头部运动都更快,这会导致一个情况,无论多快,我在看到的这一帧和实际的情况永远不一致,所以就会头晕。

 

怎么解决?我们有一个优先级别的CONTEXT提供给头显的制造商,他们只需要在输出的时候,把头部位置做一个调整,刚好和新的头部位置匹配,就不会头晕。在2016年,很多头显厂商就解决了这个问题,大幅提升了体验。

 

经过SDK或者是生态系统的优化,到了2018年,已经比较完善,各行各业都有一些场景的落地,包括游戏。现在很多做项目的人都知道,项目里面或多或少都有AR、VR部分,虽然不占很大一部分,但是这说明不是泡沫。

 

2019年的时候,有三大关键词:

 

1.5G。

2.DLSS。

3.CloudXR。

 

2019年是国家5G的元年,这里不多讲。

 

重点讲广受人民群众喜爱的DLSS,它是基于AI的实时插分辨率的技术,很多网友根据它首字母起了一个名字“大力水手”。这个技术解决了什么问题?它用了AI的技术,比如我要输出一个4K的画面,我做渲染的时候,并不需要4K的,我只要渲染一个1080p就好,然后经过一个神经网络,用GPU进行推理,脑补后得出接近原来分辨率的体验。为什么会提起这个?因为它跟现在的5G、云计算有关。

 

2019年我们接触了很多的客户,DLSS游戏支持在全球范围有150个,但行业应用更多,因为DLSS在游戏行业解决的是体验跟接受的问题,行业应用解决了成本的问题。

 

大家只要记住一个关键点,最低实现100%提升。为什么要记得这个100%?例如我们做云计算的时候,5G网络非常好,比如用了DLSS有两个选择,一是性能更好,跑4K120没有问题,那用户就得到更好的体验;二是节省成本,如果跑60,就可以跑两个4K60,TCO成本就减半,这就诞生出后面SDK,就是CloudXR SDK。

 

我们也有很多的合作伙伴,瑞云科技也用了我们很多的技术。这个技术很简单,有很多XR内容,这些都是用我们的VRWorks、DLSS去加速和体能性能。中间的部分,有NVIDIA的GPU,它有公有云,也有私有云的,也有工作站的,也有笔记本的。

 

右边的就是刚才提醒过大家,它的装机数量,有各种各样的便携式设备。中间就是我们的基础网络。这些就可以串联起来。

 

以前一个VR头显需要一两根线,用来传信号,我们把这条线减掉就可以放在云上。如果我们剪掉这条线,不改变开发者的习惯,原来用Unity就能继续用Unity,你用什么引擎没有问题,只要支持Steam VR就行。这条线,相当于绿色的部分,包括服务器端跟客户端,使得开发者没有不适的感觉,原来怎么开发就怎么开发。

 

这些是一些成果,已经在全国五大公有云做了部署,中国的伙伴可以用阿里云和腾讯云来做。

 

这一页很关键,我们是作为案例来做,有各种各样的XR体验对延迟有要求。左边的是Design review,Design review的关键在哪里?你给你老板看你的作品,你设计了一辆车,一定要准确,它是低交互的,它可能不动;另外一个相反的是云游戏,或者是Gaming;中间就是最大的部分,我们叫Training,这个英文字母包含了很多(企业服务、学校教育等都在里面),它的需求很简单,就是我们也需要准确,我们也有一定的交互,但我们没有像游戏那么强的交互,所以对延迟的要求就没有那么高。

 

但像我们这样的公有云厂商和运营商,给大家一个说法,如果是在同一个省份,纯网络的延迟大概可以做到6—8毫秒,如果像北京、广州,大概是38毫秒左右,中间去上海或者是武汉,就大概是十几毫秒。

 

这些是我们的一些应用场景,给大家看一些我们的实际案例。

 

这是我们的合作伙伴,它原来的设备是基于骁龙835,我相信没有人愿意用骁龙835的手机,因为有点慢。但用了我们云端串流方案CloudXR,这一台是一比一的空客A320,高17米,长37,宽34,就可以处理很多复杂的事情,它的部署得非常的方便,用一台笔记本在本地就可以部署,在阿里云和腾讯云也能做。

 

手机AR,我们在深圳白石洲做了一个数字孪生案例,这是很典型的数字沙盘,不用再做实体沙盘,做数字沙盘就可以,可以用横排或者是实体扫描的办法把这些东西进行建模,用云端上链的方法就可以恢复这个城市的原貌,而且它是AR的体验,可以叠加很多附加的信息。想告诉大家,这类的案例很多,包括新零售,卖车、家居等用AR体验方式会非常好。

 

到了2021年,就是很热门的Omniverse,我们这个平台是为了解决协同的工作和设计遇到的问题。具体的产品大家可以到我们的官网上看。

 

今天主要是和大家分享一个理念,这是我们的物理世界和物联网的关系,中间的纽带是HTML5,我们把虚拟世界放进来,就是Omniverse(元宇宙),它跟互联网的连接还是HTML5,但物理世界和虚拟世界相连是用了一个头显,就是XR的方式。下边的部分,就是150个SDK,或者是各种各样的技术,我们叫全家桶,在这个平台可以用所有的技术。

 

物理世界只有一个,但是虚拟世界可以有很多个,连接虚拟世界是USD,这个系统有虚有实,有体验,有所有的技术,这就是我们的Omniverse。

 

最后一个视频,给大家看一下目前在做的相关技术。大家可以看到,通过5G可以把高精度的模型和现实结合。

 

我今天的分享就到这里,谢谢大家!

 

来源:vr陀螺

weinxin
我的微信
这是我的微信扫一扫
广告也精彩
arinchina
  • 本文由 发表于 2021年12月14日13:44:11
  • 转载请注明:https://www.arinchina.com/11057.html
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: