Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

lhw 2023年2月17日10:02:46
评论
摘要

Meta在Connect 2022大会为Quest Pro推出了基于眼动追踪的注视点渲染功能Eye Tracked Foveated Rendering(ETFR)。

Meta在Connect 2022大会为Quest Pro推出了基于眼动追踪的注视点渲染功能Eye Tracked Foveated Rendering(ETFR)。这种全新的图形优化可以利用眼动追踪,以高像素密度渲染注视点区域,并以低像素密度渲染外围区域,从而为开发者节省了大量的GPU算力。同时,ETFR的设计可以允许你在Unity和Unreal中轻松集成。

例如,《Red Matter 2》的开发者表示:““集成ETFR是一个无缝的过程,激活就像拨动开关一样简单。然后,我们的团队专注于最大化像素密度。结果令人印象深刻,像素密度增加了33%,相当于光学中心渲染的像素增加了77%。ETFR和Quest Pro的Pancake透镜组合提供了非常清晰的图像。ETFR真正提升了游戏体验。”

下面这篇博文将进一步介绍ETFR的工作原理,最佳实践和常见问题解答,从而帮助你优化Meta Quest应用的图形。

什么是ETFR?

固定注视点渲染Fixed Foveated Rendering(FFR)固定地在屏幕中心(又称为注视点区域)渲染全像素密度,并在屏幕边缘渲染低像素密度。至于ETFR,它可以利用眼动追踪数据来移动需要渲染全像素密度地注视点区域。由于低像素密度区域始终隐藏在外围视觉中,所以可以基于眼睛注视数据应用更大胆的策略,相对较FFR节省更多的GPU算力。

工作原理

ETFR通过首先从眼动追踪摄像头图像计算用户的注视方向,然后使用注视方向在应用渲染管道中移动高像素密度的注视点区域。

Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

为了做到这一点,Meta的Unity和Unreal集成实现了一个新的Vulkan扩展:Tile Offset (VK_QCOM_fragment_density_map_offset)。通过指定像素偏移值,它允许重复使用相同的foveation map并平滑地移动。如下面的动画所示,Tile Offset在移动注视点区域时提供了更精细的控制,并避免了传统方法中的闪烁伪影:

Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

有Tile Offset

Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

没有Tile Offset

API架构

相关的OpenXR API是从现有的XR_FB_foveation框架(FFR使用的框架)扩展而来。Meta的Unity和Unreal集成在后台调用API,所以你不需要处理细节。原生VR应用程序可以遵循相同的步骤来支持ETFR。

延迟优化

在ETFR管道中,摄像头传感器和处理以与显示器相同的帧速率运行,并与渲染管道完全同步,以最小化眼睛运动和显示时间之间的延迟。特别是,团队抵消了眼动追踪摄像头的捕获时间,从而最小化“眼动追踪器产生新的注视输出”和“用于更新foveation map的注视输出“之间的差距,如下面红色框中显示:

Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

根据当前渲染负载,UE4测试应用程序中测得的端到端管道延迟在46到57毫秒之间。如果在logcat(adb logcat -s VrApi)中读取类似的ETFRLat度量,你应该会得到类似的结果。

限制和最佳实践

ETFR是一个强大的工具,但它不是万能药,可能不适合所有类型的应用。如果你的应用程序属于fragment-heavy片段密集型(例如,使用复杂的材质或以非常高的分辨率渲染),ETFR会有巨大的帮助,因为它会减少给定渲染过程中的片段着色执行。所以如果你的程序属于vertex bound,所述工具不会提供太大的帮助。

另外,ETFR目前仅适用于你的眼睛缓冲区(主层),这意味着如果你使用其他合成器层,渲染和合成相关层的GPU成本将不会随着ETFR而提高,仅会降低眼睛缓冲区的成本。

最终,你应该决定如何以及何时使用这个工具,并确保彻底测试应用程序。就像FFR一样,低像素密度的外围区域会导致闪烁,尤其是对于高对比度和复杂的几何结构。所以,你应仔细选择最大的foveation level,从而平衡性能和视觉质量。

额外的GPU算力节省

Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

Meta建议使用ETFR的额外GPU增益来增加渲染目标大小,从而获得更清晰和更塑形的图像。以下是UE4测试应用程序中以默认和增加眼睛纹理大小渲染的FFR/ETFR的GPU渲染时间示例:

Meta分享:Quest Pro眼动注视点渲染的原理、实践和应用

如上表所示,如果你的应用程序现在正在使用FFR-3进行渲染,你可以尝试切换到ETFR-2,从而提高眼睛纹理分辨率,并使用MSAA-2以获得更清晰的图像。其中,GPU时间成本大致相同。

ETFR的GPU算力节省将取决于应用程序的内容,所以请确保以不同的foveation level和渲染目标大小来配置应用程序。

Dynamic Foveated Rendering动态注视点渲染

Meta同时建议启用Dynamic Foveated Rendering动态注视点渲染,以便根据当前GPU渲染负载自动调整foveation level。最大foveation level可由“Foveated Rendering level”指定。在启用这个选项之前,开发人员应确保在最大foveation level下充分测试渲染质量(例如,外围视觉中的视觉伪影不能太多)。

开发人员工具包

ETFR现已支持SDK v49(Unity和Unreal)。

最后的想法

ETFR主要降低了像素吞吐量,并可能为未来的头显实现高PPD(像素/度)渲染。当然,你最终需要平衡应用程序的图形复杂性、分辨率、MSAA和foveation level,在性能节省和视觉质量之间进行权衡。

Meta致力于为你提供更简单的图形优化和性能提升方法,而发布ETFR只是这一旅程的开始。下面是关于ETFR的常见问题解答。

ETFR是否需要OpenXR?

是的,只支持OpenXR,因为Meta完全致力于支持未来的OpenXR API。例如在UE4中,请确保在“XR API”设置下选择了“OpenXR OVRPlugin”。

ETFR是否需要Vulkan?

对于Meta的UE4/Unity ETFR集成,仅支持使用Vulkan+Multiview的应用程序。由于缺少fragment density map和Tile Offset扩展的支持,ETFR无法支持GLES。Meta建议所有UE和Unreal开发者在Quest应用程序中使用Vulkan。

ETFR是一个‘要么用要么不用’的功能吗?

不是,你可以在游戏引擎脚本level的任何时候打开/关闭ETFR或切换到FFR。例如,你可以尝试在游戏主菜单中完全关闭ETFR,并仅在进入游戏场景时打开ETFR。

如何处理眼动追踪许可?

用户第一次使用ETFR打开应用程序时,系统将显示一个权限提示,请求用户接受眼动追踪权限。如果权限被拒绝,应用程序将回退到FFR渲染,但是,你可以选择在游戏引擎脚本level以不同的方式处理回退逻辑。

请注意,用户可以随时选择在通用菜单中暂停眼动追踪,在系统设置中禁用眼动追踪,或取消眼动追踪权限。

 

来源:映维网
投稿:tougao@arinchina.com
稿件/商务合作: Vicky(微信 ARC-vicky)电话:18700987744
创始人:张明军(微信 13720775110)
更多精彩内容,请关注ARinChina微信公众号(ID:X增强现实)
weinxin
我的微信
这是我的微信扫一扫
广告也精彩
lhw
  • 本文由 发表于 2023年2月17日10:02:46
  • 转载请注明:https://www.arinchina.com/17822.html
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: