关于选择Inside-Out和Outside-In定位技术的争论似乎随着一款款Inside-Out头显推出而告一段落。但随着用户需求的变化、技术对虚拟世界的探索，Inside-Out技术仍旧留下一些「无法解决」的问题，比如，全身追踪。
乃至Quest——使用Inside-Out技术VR一体机的佼佼者，也一直受到「Avatar没有腿」的调侃困扰。同时Meta也一直在寻找解决办法，在此前的Quest 2 SDK中也泄露了关于全身追踪的相关开发选项。
那么，全身追踪对于Inside-Out当道的今天是否成为一个问题？未解决的问题会造成什么影响？未来的VR交互走向何方呢？
Meta XR高管：Inside-Out头显可能无法实现全身追踪
日前，Meta XR部门副总裁、现任CTO（首席技术官）Andrew Bosworth在其个人INS的快问快答环节谈到了全身追踪的问题。
他表示，全身追踪的问题非常棘手。
“头显前置的摄像头受限于角度，无法很好地捕捉用户腿部。同时，我们又想缩小头显尺寸，这就导致全身追踪的问题难度更大。摄像头的角度甚至很难看到用户的脸颊和上半身。现在可以很好地呈现上半身，因为摄像头能够捕捉手臂、肘部、手部，并且我们也了解背后人体骨骼肌肉的运行原理，但脚（由于不能捕捉也不够了解）就显得很僵硬。”
“所以说，我们看到一些全身追踪的案例，也不得不选择Outside-In而不是Inside-Out，这也是我们正在研究的事情之一。”
“之前就媒体泄露过关于Quest全身追踪技术的事情，我个人认为这为时尚早。这项技术背后没有任何实质性的东西，不过它仍然是我们投入精力并关注的重点。”
作为CTO，Andrew Boswort从摄像头角度和捕捉技术两方面，讲清楚了他认为无法使用Inside-Out实现全身追踪的原理。随后，他也站在用户的角度指出目前实现VR全身追踪的不合理之处（或者说Quest短期内不会加入全身追踪的原因）。
首先，额外的成本。
Andrew Boswort谈到：“准确地追踪用户的腿是非常困难的，并且仅从物理的角度来看，使用现有的Inside-Out头显基本上是不可行的。不过，你可以使用Outside-In进行身体追踪——但这需要额外的配件、额外成本还需要花精力配置，这是一笔不小的开销。”
其次，糟糕的用户体验。
他表示，如果用户看到腿，但它不是很合适，表现很畸形，“这是一种非常糟糕的体验。”
不过，他也提出了一些个人想法（或者说Meta的做法）：“你可以没有腿，但其他人看到你时，你是有腿的。也就是说，假装有腿，（在虚拟世界里）没有人知道其中的区别。这是一个更好的方向。”
“如果我们在腿部空缺补上某种东西，让它看起来很合理，用户的感受就会是，腿就应该在这里。”
某种程度上这代表着Meta对全身追踪的态度，即便Inside-Out头显无法实现全身追踪、在游戏中可能也不会专门支持，但有下半身有合理的「腿」，对交互和用户社交体验是有所提升的。
简单来说，Andrew Boswort认为Inside-Out不可能实现全身追踪主要考虑到技术本身、成本和用户体验三方面问题。而这也不仅仅是Meta的「一家之言」。
国内专注于VR交互技术的厂商NOLO告诉93913，“主要是摄像头FOV的限制，以及即使在FOV内，也是视距传播，不能遮挡。以上限制了通过Inside-Out的Camera方案，无法实现全身追踪。”
面向C端的爱奇艺奇遇也表达了类似的看法：“（不能实现全身追踪）因为摄像头没办法覆盖人的腿，人一走路或者一抬头的时候，可能看不到腿了。导致摄像头没办法准确的定位到腿的姿态，所以不太好实现。另外，VR设备呈现越来越薄的趋势，摄像头其实离人眼会更近，这样的话，能拍到腿的概率就会更低了，所以这个技术会越来越难。”
国内外的相关技术厂商看法结论都比较一致，主要还是由于技术限制，Inside-Out头显实现全身追踪的课题暂时无法实现。无法实现就诞生了新的问题：不能全身追踪，是否会限制VR体验的提升？
VR全身追踪，是「伪需求」吗？
关于没有全身追踪是否限制VR体验的提升，要从这一问题的提出开始讨论。
Andrew Boswort最开始也不仅仅是回答具体的某一个问题，而更像是直面社区内比较热门的讨论——为什么Quest社交里虚拟形象都是「下半身失踪」，直白点说，头显加入全身追踪来源于用户的需求。从这个角度看，最初的问题应该是，现阶段VR头显有没有必要配备全身追踪呢？
▲社区中关于全身追踪的讨论
NOLO方面表示全身追踪「非常有必要」：“在VR社交、健身、协作等场景中使用全身追踪技术，人的肢体动作可传达的信息更多，更丰富。”
爱奇艺奇遇方面认为，这个问题需要分场景看待：“如果是那种体感类的游戏，包括腿部运动的游戏，以及《Horizon》这种社交类的，那肯定是需要全身追踪。如果像《Beat Saber》、《乐动未来-音计划》这样的游戏，可能就没有必要。”
二者与前文提到Meta的态度有些相似，作为头显开发商，如果在头显中加入某个功能可以提升用户体验，它就是值得去挖掘的。
但奋战在国内一线的游戏开发者，则持有一些不同的意见。
来自合金猫互动的瞿嘉向93913表示，全身追踪对目前主流游戏品类的影响非常有限。他说：“全身动捕的技术，可以让玩家在VR世界中获得一个更加真实可信的Avatar形象。尤其是对于一些联机或MMO游戏全身动捕的效果将让玩家角色在他人视野中更加真实可信。”
“目前大部分游戏中开发者会通过IK反向动力学技术，让头显和双手柄构建一个上半身的身体形象。而下半身则通过动画来处理，亦或是没有下半身。对于大部分游戏来说，这样的配置是足够构建一个可信的虚拟角色的。如果没有这样的技术支持，一些需要下半身参与的游戏则无法构建基本游戏玩法，例如：跳舞游戏、足球游戏等方向的尝试就相对困难。但就目前主要的热门游戏来看，全身动捕技术的使用场景还是很小。”
“如果确实需要有全身动捕的需求，玩家一般会选择额外购买设备的方式。比如基于惯性的传感器，或者类似Kincet一类的额外外设来单独处理。但是前提是游戏和硬件本身要对其支持（比如一体机就无法接受一些特殊外设的数据）。也可以通过类似跑步机这样的外设来对双脚情况进行感知，从而反算腿部姿态。”
▲Xbox Kincet
“算法层的话解决方案也有很多，例如之前有了解过用AI学习的方式来计算IK ，通过大量数据计算人在头双手处于各种状态下下半身的姿态来反算。形成一个姿势库来补充腿部姿势。”
“但总体来说，投入汇报比不高。除非一些特殊游戏，大部分情况下VR游戏在这阶段对全身的动捕的需求度其实不高。”
同时，瞿嘉表示，“作为游戏开发者，根据以往的经验说来说，（没有全身追踪）负面影响相对较小。我们认为目前阶段普通玩家其实并不会特别在乎全身动作的效果。”
“其主要原因在于，一，玩家大部分的自身视野是在手臂和胸口附近。几乎没有太多机会看到腿部。二，需要脚来交互的游戏类型几乎没有，并且如果游戏采用摇杆移动的方式，动捕的加入反而会让玩家角色看起来非常奇怪。脚的动捕并没有动，但是玩家却会高速移动。三，如果引入一个额外的交互设备，势必增加玩家的硬件成本。注定让这部分的玩家处于一个小众状态，那么游戏开发者更不太容易做出这样服务小众玩家的主要玩法。因为大部分体验会是锦上添花的存在。”
▲博主DIY的身体追踪
也就是说，如果一些游戏要加入全身追踪，不仅没有太大的市场需求，而且无论对于用户还是开发者来说，都是一笔额外的成本，这一点与Meta所提到的成本问题思路一致。
经过一些了解和采访，可以明显感觉到，无论硬件厂商、游戏开发者甚至是论坛上的用户，对VR全身追踪这件事情态度比较游离，属于「有也行、没有也罢」的状态。更深一层，从技术的角度看，目前要在VR一体机上加入全身追踪的能力，不仅会增加整体重量，还会带来额外的成本，与我们追求的轻薄、价廉相悖。
由此可以看出，正如Andrew Boswort所言，Inside-Out头显可能无法实现全身追踪，甚至可以说目前还没有必要实现全身追踪。
VR交互，先从做好「把玩感」开始
无论是用户对全身追踪的需求，还是对手势识别的讨论，最后落脚点都在于如何完善VR交互上。
瞿嘉在讨论时，从游戏开发者的视角提出了一个关键问题：怎么把手的交互做好？
他说：“「把玩感」是VR中一个非常重要的体验，双手IK的链接、分量感的体验、触觉力反馈及压成本等等，这才是重点。”
爱奇艺奇遇方面表示：“交互这一块基本上就是手势识别、眼动、脑机接口、语音控制，以及表情识别等等。”
双方看似举例的内容不同，但是核心思想是一样的，即在现有的基础上把交互做到相对完美，再去考虑加入更多部分的体验。就像瞿嘉所说：“我觉得对游戏来说，在统一交互模式的基础上先能把品类都发展开来，然后解决完美的手和视觉体验，再下一个阶段才会轮到脚。”
文章来源：93913.com
评论