Meta“Codec Avatars”支持基于iPhone扫描生成

arinchina 2022年6月15日09:50:18
评论

Meta“Codec Avatars”支持基于iPhone扫描生成

据UploadVR报道,Meta“Codec Avatars”现在可以通过iPhone扫描生成。

Facebook于2019年3月首次展示了“Codec Avatars”,其基于一个配置有5个摄像头(2个摄像头内部观察、3个摄像头外部观察)的原型VR头显构成的多神经网络而驱动,而经过多次例如“更逼真的眼睛”、“支持眼动追踪和麦克风输入”等优化改进,Codec Avatars 2.0版本已接近具备完全真实感。

Meta“Codec Avatars”支持基于iPhone扫描生成

以往,生成一个单独的“Codec Avatar”需要通过“MUGSY”专用捕获设备和171个高分辨率摄像机共同完成,如今,Meta的最新研究摆脱了这一要求,基于配备了前置深度传感器的智能手机(例如带有FaceID的iPhone),用户扫描面部后便能生成虚拟化身(可同时复制65个面部表情)。

研究人员称,面部扫描过程平均只需3分半钟,而实际生成具有完整细节的虚拟化身则需要6个小时,不过Meta“Codec Avatars”虚拟化身生成过程或通过云端执行,而无须通过用户设备。

那么,过去需要100多个摄像头的捕获成像,现在是如何做到只需要一部手机就能达成呢?这其中的诀窍在于“超网络”(hypernetwork、权重神经网络),为此研究人员通过采用先进的捕获设备(类似于MUGSY,但只有90个摄像头)扫描255个不同个体的面部以训练“UPM超网络”。

尽管已有其他研究人员展示了基于智能手机扫描的虚拟化身,但Meta声称其结果是最先进的,目前,该系统还无法处理眼镜及长发,并且仅限于扫描面部。

当然,要达到产品交付的保真度,Meta还有很长的路要走,今天的“Meta Avatars”具有鲜明的卡通艺术风格,且虚拟角色的真实性实际上会随着时间的推移而降低,这使得其可能更适合通过Quest 2驱动的「Horizon Worlds」等大型社交应用。

最终,“Codec Avatar”会成为一个单独的选项,而不是当今卡通化身的直接更新,在接受Lex Fridman采访时,Meta首席执行官扎克伯格描述了这样一个未来,你可能会在休闲游戏中采用“表现主义”化身,而在工作会议中采用“现实主义”化身。今年4月 ,“Codec Avatar”负责人Yaser Sheikh曾表示,暂且无法预测该系统的具体推出时间。

 

来源:93913
投稿:tougao@arinchina.com
稿件/商务合作: Vicky(微信 ARC-vicky)
创始人:张明军(微信 13720775110)
更多精彩内容,请关注ARinChina微信公众号(ID:X增强现实)
weinxin
我的微信
这是我的微信扫一扫
广告也精彩
arinchina
  • 本文由 发表于 2022年6月15日09:50:18
  • 转载请注明:https://www.arinchina.com/13671.html
资讯

需求 | 某公司数字人业务寻求少量股权投资

类别 某公司数字人业务寻求少量股权投资 详情 某元宇宙科技公司已经完成早起投资,建有元宇宙数字人大脑的元宇宙基础平台,可为元宇宙产品提供语音交互等,已开发上千问答机器人,数字人能够实现...
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: