Meta reality labs开发了一个原型VR头部显示器,可以呈现真实的虚拟化身

Meta reality labs开发了一个原型VR头部显示器,可以呈现真实的虚拟化身

据RoadtoVR报道,Meta Reality Labs研究人员创建了一个原型VR头显,该头显配置了设计用于AI处理的定制加速器芯片,从而使该公司逼真的用户虚拟化身(Codec Avatars)在VR一体机上的呈现成为可能。

早在更名Meta之前,Meta(Facebook)就一直致力于其“Codec Avatars”项目,该项目旨在使近乎逼真的虚拟化身成为现实,该系统整合了头显传感器功能(如眼动追踪和嘴部追踪)与AI处理功能,以实时呈现用户虚拟化身。

基于NVIDIA Titan X GPU强大功能支持,Meta“Codec Avatars”研发得以突飞猛进,如今,Meta已开始研究如何在低功率VR一体机上制作Codec Avatars,正如上个月2022 IEEE CICC会议期间Meta发表的一篇论文证明,Meta创建了一个采用7nm工艺构建的定制芯片,以作为Codec Avatars的加速器。

Meta reality labs开发了一个原型VR头部显示器,可以呈现真实的虚拟化身

研究人员表示,该芯片远未上市,团队在设计时考虑了Codec Avatars处理管道的重要组成部分——分析传入的眼动追踪图像、并生成Codec Avatars模型所需的数据,该芯片基底面仅为1.6mm²。

“该测试芯片采用7nm技术节点制造,具有神经网络(NN)加速器,由1024乘积(MAC)阵列、2MB片内SRAM和32位RISC-V CPU组成。”

反过来,Meta基于芯片特定架构,还重建了部分Codec Avatars AI模型。

“通过重构基于卷积(神经网络)的注视提取模型并为硬件量身定制,使模型适配芯片,以减轻片外存储器访问的系统级能耗和延迟成本,”Reality Labs研究人员指出,“通过电路级别有效加速卷积运算,该原型芯片在低外形尺寸下实现了每秒30帧的性能和低功耗。”

Meta reality labs开发了一个原型VR头部显示器,可以呈现真实的虚拟化身

通过加速Codec Avatars密集部分的工作负载,该芯片不仅加快了效能,还降低了所需的功率和能耗,另外由于芯片采用定制设计,它比通用CPU更加有效。

通常而言,头显通用CPU(Quest 2 Snapdragon XR2芯片)以全功耗运行,而自定义芯片则处理Codec Avatars编码过程、XR2管理解码过程并呈现化身实际视觉效果。

Meta reality labs开发了一个原型VR头部显示器,可以呈现真实的虚拟化身

令人印象深刻的是,Meta Codec Avatars可以兼容于VR一体机(即使需要专门芯片),但我们尚不清楚Codec Avatars的视觉渲染处理效果。

这项研究代表了新计算架构的实际应用,Reality Lab首席科学家Michael Abrash最近将其描述为实现XR科幻愿景的必经之路,Michael Abrash表示,从高度集中的处理转向更分布式的处理,对于这类头显的功率和性能需求至关重要。

可以想象,XR特有的一系列功能将受益于专门设计用于加速效能的芯片,例如,基于位置跟踪和手部跟踪功能将能提升XR体验(这也是将硬件和算法结合设计以优化功率和速率的优势之处)。

文章来源:91913
投稿:tougao@arinchina.com
稿件/商务合作: Vicky(微信 ARC-vicky)
创始人:张明军(微信 13720775110)
更多精彩内容,请关注ARinChina微信公众号(ID:X增强现实)
weinxin
我的微信
这是我的微信扫一扫
广告也精彩
arinchina
  • 本文由 发表于 2022年5月5日10:55:47
  • 转载请注明:https://www.arinchina.com/13102.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: