Meta「否定」全身追踪,VR交互何去何从?

关于选择Inside-Out和Outside-In定位技术的争论似乎随着一款款Inside-Out头显推出而告一段落。但随着用户需求的变化、技术对虚拟世界的探索,Inside-Out技术仍旧留下一些「无法解决」的问题,比如,全身追踪。

Meta「否定」全身追踪,VR交互何去何从?

乃至Quest——使用Inside-Out技术VR一体机的佼佼者,也一直受到「Avatar没有腿」的调侃困扰。同时Meta也一直在寻找解决办法,在此前的Quest 2 SDK中也泄露了关于全身追踪的相关开发选项。

那么,全身追踪对于Inside-Out当道的今天是否成为一个问题?未解决的问题会造成什么影响?未来的VR交互走向何方呢?

Meta XR高管:Inside-Out头显可能无法实现全身追踪

日前,Meta XR部门副总裁、现任CTO(首席技术官)Andrew Bosworth在其个人INS的快问快答环节谈到了全身追踪的问题。

Meta「否定」全身追踪,VR交互何去何从?

他表示,全身追踪的问题非常棘手。

“头显前置的摄像头受限于角度,无法很好地捕捉用户腿部。同时,我们又想缩小头显尺寸,这就导致全身追踪的问题难度更大。摄像头的角度甚至很难看到用户的脸颊和上半身。现在可以很好地呈现上半身,因为摄像头能够捕捉手臂、肘部、手部,并且我们也了解背后人体骨骼肌肉的运行原理,但脚(由于不能捕捉也不够了解)就显得很僵硬。”

“所以说,我们看到一些全身追踪的案例,也不得不选择Outside-In而不是Inside-Out,这也是我们正在研究的事情之一。”

Meta「否定」全身追踪,VR交互何去何从?

“之前就媒体泄露过关于Quest全身追踪技术的事情,我个人认为这为时尚早。这项技术背后没有任何实质性的东西,不过它仍然是我们投入精力并关注的重点。”

作为CTO,Andrew Boswort从摄像头角度和捕捉技术两方面,讲清楚了他认为无法使用Inside-Out实现全身追踪的原理。随后,他也站在用户的角度指出目前实现VR全身追踪的不合理之处(或者说Quest短期内不会加入全身追踪的原因)。

首先,额外的成本。

Andrew Boswort谈到:“准确地追踪用户的腿是非常困难的,并且仅从物理的角度来看,使用现有的Inside-Out头显基本上是不可行的。不过,你可以使用Outside-In进行身体追踪——但这需要额外的配件、额外成本还需要花精力配置,这是一笔不小的开销。”

Meta「否定」全身追踪,VR交互何去何从?

其次,糟糕的用户体验。

他表示,如果用户看到腿,但它不是很合适,表现很畸形,“这是一种非常糟糕的体验。”

不过,他也提出了一些个人想法(或者说Meta的做法):“你可以没有腿,但其他人看到你时,你是有腿的。也就是说,假装有腿,(在虚拟世界里)没有人知道其中的区别。这是一个更好的方向。”

Meta「否定」全身追踪,VR交互何去何从?

“如果我们在腿部空缺补上某种东西,让它看起来很合理,用户的感受就会是,腿就应该在这里。”

某种程度上这代表着Meta对全身追踪的态度,即便Inside-Out头显无法实现全身追踪、在游戏中可能也不会专门支持,但有下半身有合理的「腿」,对交互和用户社交体验是有所提升的。

简单来说,Andrew Boswort认为Inside-Out不可能实现全身追踪主要考虑到技术本身、成本和用户体验三方面问题。而这也不仅仅是Meta的「一家之言」。

国内专注于VR交互技术的厂商NOLO告诉93913,“主要是摄像头FOV的限制,以及即使在FOV内,也是视距传播,不能遮挡。以上限制了通过Inside-Out的Camera方案,无法实现全身追踪。”

面向C端的爱奇艺奇遇也表达了类似的看法:“(不能实现全身追踪)因为摄像头没办法覆盖人的腿,人一走路或者一抬头的时候,可能看不到腿了。导致摄像头没办法准确的定位到腿的姿态,所以不太好实现。另外,VR设备呈现越来越薄的趋势,摄像头其实离人眼会更近,这样的话,能拍到腿的概率就会更低了,所以这个技术会越来越难。”

国内外的相关技术厂商看法结论都比较一致,主要还是由于技术限制,Inside-Out头显实现全身追踪的课题暂时无法实现。无法实现就诞生了新的问题:不能全身追踪,是否会限制VR体验的提升?

VR全身追踪,是「伪需求」吗?

关于没有全身追踪是否限制VR体验的提升,要从这一问题的提出开始讨论。

Andrew Boswort最开始也不仅仅是回答具体的某一个问题,而更像是直面社区内比较热门的讨论——为什么Quest社交里虚拟形象都是「下半身失踪」,直白点说,头显加入全身追踪来源于用户的需求。从这个角度看,最初的问题应该是,现阶段VR头显有没有必要配备全身追踪呢?

Meta「否定」全身追踪,VR交互何去何从?

▲社区中关于全身追踪的讨论

NOLO方面表示全身追踪「非常有必要」:“在VR社交、健身、协作等场景中使用全身追踪技术,人的肢体动作可传达的信息更多,更丰富。”

爱奇艺奇遇方面认为,这个问题需要分场景看待:“如果是那种体感类的游戏,包括腿部运动的游戏,以及《Horizon》这种社交类的,那肯定是需要全身追踪。如果像《Beat Saber》、《乐动未来-音计划》这样的游戏,可能就没有必要。”

Meta「否定」全身追踪,VR交互何去何从?

二者与前文提到Meta的态度有些相似,作为头显开发商,如果在头显中加入某个功能可以提升用户体验,它就是值得去挖掘的。

但奋战在国内一线的游戏开发者,则持有一些不同的意见。

来自合金猫互动的瞿嘉向93913表示,全身追踪对目前主流游戏品类的影响非常有限。他说:“全身动捕的技术,可以让玩家在VR世界中获得一个更加真实可信的Avatar形象。尤其是对于一些联机或MMO游戏全身动捕的效果将让玩家角色在他人视野中更加真实可信。”

Meta「否定」全身追踪,VR交互何去何从?

“目前大部分游戏中开发者会通过IK反向动力学技术,让头显和双手柄构建一个上半身的身体形象。而下半身则通过动画来处理,亦或是没有下半身。对于大部分游戏来说,这样的配置是足够构建一个可信的虚拟角色的。如果没有这样的技术支持,一些需要下半身参与的游戏则无法构建基本游戏玩法,例如:跳舞游戏、足球游戏等方向的尝试就相对困难。但就目前主要的热门游戏来看,全身动捕技术的使用场景还是很小。

“如果确实需要有全身动捕的需求,玩家一般会选择额外购买设备的方式。比如基于惯性的传感器,或者类似Kincet一类的额外外设来单独处理。但是前提是游戏和硬件本身要对其支持(比如一体机就无法接受一些特殊外设的数据)。也可以通过类似跑步机这样的外设来对双脚情况进行感知,从而反算腿部姿态。”

Meta「否定」全身追踪,VR交互何去何从?

▲Xbox Kincet

“算法层的话解决方案也有很多,例如之前有了解过用AI学习的方式来计算IK ,通过大量数据计算人在头双手处于各种状态下下半身的姿态来反算。形成一个姿势库来补充腿部姿势。”

“但总体来说,投入汇报比不高。除非一些特殊游戏,大部分情况下VR游戏在这阶段对全身的动捕的需求度其实不高。”

同时,瞿嘉表示,“作为游戏开发者,根据以往的经验说来说,(没有全身追踪)负面影响相对较小。我们认为目前阶段普通玩家其实并不会特别在乎全身动作的效果。”

“其主要原因在于,一,玩家大部分的自身视野是在手臂和胸口附近。几乎没有太多机会看到腿部。二,需要脚来交互的游戏类型几乎没有,并且如果游戏采用摇杆移动的方式,动捕的加入反而会让玩家角色看起来非常奇怪。脚的动捕并没有动,但是玩家却会高速移动。三,如果引入一个额外的交互设备,势必增加玩家的硬件成本。注定让这部分的玩家处于一个小众状态,那么游戏开发者更不太容易做出这样服务小众玩家的主要玩法。因为大部分体验会是锦上添花的存在。”

Meta「否定」全身追踪,VR交互何去何从?

▲博主DIY的身体追踪

也就是说,如果一些游戏要加入全身追踪,不仅没有太大的市场需求,而且无论对于用户还是开发者来说,都是一笔额外的成本,这一点与Meta所提到的成本问题思路一致。

经过一些了解和采访,可以明显感觉到,无论硬件厂商、游戏开发者甚至是论坛上的用户,对VR全身追踪这件事情态度比较游离,属于「有也行、没有也罢」的状态。更深一层,从技术的角度看,目前要在VR一体机上加入全身追踪的能力,不仅会增加整体重量,还会带来额外的成本,与我们追求的轻薄、价廉相悖。

由此可以看出,正如Andrew Boswort所言,Inside-Out头显可能无法实现全身追踪,甚至可以说目前还没有必要实现全身追踪。

VR交互,先从做好「把玩感」开始

无论是用户对全身追踪的需求,还是对手势识别的讨论,最后落脚点都在于如何完善VR交互上。

瞿嘉在讨论时,从游戏开发者的视角提出了一个关键问题:怎么把手的交互做好?

Meta「否定」全身追踪,VR交互何去何从?

他说:“「把玩感」是VR中一个非常重要的体验,双手IK的链接、分量感的体验、触觉力反馈及压成本等等,这才是重点。”

爱奇艺奇遇方面表示:“交互这一块基本上就是手势识别、眼动、脑机接口、语音控制,以及表情识别等等。”

双方看似举例的内容不同,但是核心思想是一样的,即在现有的基础上把交互做到相对完美,再去考虑加入更多部分的体验。就像瞿嘉所说:“我觉得对游戏来说,在统一交互模式的基础上先能把品类都发展开来,然后解决完美的手和视觉体验,再下一个阶段才会轮到脚。”

 

文章来源:93913.com

weinxin
我的微信
这是我的微信扫一扫
广告也精彩
arinchina
  • 本文由 发表于 2022年3月3日16:26:38
  • 转载请注明:https://www.arinchina.com/12429.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: