请选择 进入手机版 | 继续访问电脑版
首页 首页 资讯 行业快讯 查看内容

迪斯尼研究语音动画新方法,让3D化身更加逼真

2017-8-17 11:22| 发布者: Allen

摘要: 在VR社交里,这个方法的应用会更加广泛,它可以根据语音自动生成嘴部动画 。

Disney Research


迪士尼研究所(Disney Research)和几所大学的研究人员撰写的一篇新论文,其描述了一种基于深度学习的程序语言动画的新方法。该系统对人类语音的录音进行采样,并使用它自动生成匹配的口型动画。该方法的应用范围十分宽广,比如提高动画管道的效率,以及通过实时绘制用户讲话时的虚拟化身口型动画来使社交VR交互更具说服力。
  
迪斯尼研究院,东安格利亚大学,加拿大东加利福尼亚理工大学和卡内基梅隆大学的研究人员撰写了题为“A Deep Learning Approach for Generalized Speech Animation(广义语音动画深度学习方法)”的论文,已经用“深度学习/神经网络”方法训练的系统,通过单个扬声器的参考片段(2543句)来教导系统在各种语音单元(音素)期间应该形成的形状及其组合,时长达8小时。
  
经过训练的系统可用于分析来自任何扬声器的音频,并自动产生相应的口形,然后将其应用于自动语音动画的面部模型。研究人员表示,该系统独立于扬声器,可以“近似计算其他语言”。
  

自动语音动画的面部模型


“我们使用了一种简单有效的深度学习方法来自动生成与输入语音同步的自然寻像语音动画。这个方法是使用滑动窗口预测器,其可以准确地捕获自然运动和视觉共同效应的方式学习从音素标签输入序列到口部运动的任意非线性映射。它有几个特性:实时运行,需要最少的参数调整,很好地推广到新颖的输入语音序列,易于编辑,可创建风格化和情感化的语音,并且与现有的动画重定向方法兼容。
  
创建与CGI角色音频记录相匹配的语音动画通常由熟练的动画师手工完成。尽管这个系统不能满足大型CGI制作对高保真语音动画的需求,但是可以应用于一些低预算项目,可以用于这种制作中的自动1PASS,或者是在特定情况下添加可接受的语音动画,例如大型角色扮演游戏中NPC对话,或者是从语音动画中受益的低预算项目没有办法聘请动画师的学术项目,如教学/培训视频,学术项目等。

  

而在VR社交里,这个方法的应用会更加广泛,它能让3D化身更加生动逼真。真正的口型追踪(光学或其他)是制作虚拟化身语音动画的最准确方法,但在口型追踪硬件变得普遍之前,这样的程序语音动画系统可能是一种有效的权宜之计。
  
一些社交VR应用已经在使用各种系统实现语音动画,比如Oculus为Unity提供了一个唇形同步插件,基于音频输入来制作虚拟化身的口型动画。然而,这种基于深度学习的新系统似乎提供了非常高的准确性和细节度。
分享至:
| 人收藏

相关阅读

最新活动
  • 第2届中国(武汉)国际人工智能应用博览会将于2020年3月召开
  • “中国首届沉浸产业发展论坛”10月底召开
  • 我的天科技将联合承办首届“中国AR核心技术产业联盟”理事会暨标准研讨会 ...
  • 倒计时9天,2019WAIC各大展区介绍及展品亮点呈现

Copyright © 2013-2019 ARinChina增强现实   All Rights Reserved.陕ICP备13003260号