请选择 进入手机版 | 继续访问电脑版
首页 首页 资讯 行业快讯 查看内容

微软“黑科技”Holoportation实现全息影像通话,但是有点贵?

2017-1-17 17:47| 发布者: admin |原作者: admin

摘要: 微软Holoportation系统实现全息影像通话,你不来看看?

昨天,我们的翻译小白在体验HoloLens的时候,突然感慨——这玩意要是能像电影里全息影像通话一样,戴上头显就可以开全息会议,那该多高大上啊!针对小白提出的这个问题,我们随后做了调查,发现微软在2016年就已经发布了全息影像通话的Demo视频。下面我们来聊一聊关于全息影像通话的事情。

Holoportation

全息影像通话

视频上传于9个月前,内容是微软雷蒙德研究院的前研究员Shahram lzadi介绍微软的全息影像通话系统Holoportation。

HoloLens

全息通话

一组Pod有两个深度摄像头、一个RGB摄像头和结构光传感器组成

全息通话

Shahram lzadi通过HoloLens与自己的朋友Sergio全息影像通话

全息通话

Shahram lzadi通过HoloLens看到全息影像的自己

全息通话

Shahram lzadi通过HoloLens与自己的女儿全息影像通话

全息通话

Shahram lzad通过HoloLens观看与女儿的全息影像通话录像,HoloLens可以通过手势识别功能将全息影像缩小。

通过查阅第29届ACM UIST 2016(2016国际计算机用户界面软件和技术研讨会)论文集中的《Holoportation: Virtual 3D Teleportation in Real-time》论文,我们得知——Holoportation全息影像通话系统通过8组Pod结合4台PC对人进行实时3D重建,每组Pod单独从特定角度捕捉人的模型和动作,每两组Pod的数据传输到PC后,4台PC同时处理数据后就可以得到一个即时的3D模型。这个即时的3D模型通过WiFi或其他数据通道传输到HoloLens上(传输数据所需带宽为10Gbps),从而完成全息影像通话。

Holoportation

研发团队和产品现状

研发团队

Shahram Izadi

perceptiveIO公司联合创始人兼CTO。2005 年 5 月 – 2016 年 5 月就职于微软雷蒙德研究院,交互式3D技术(I3D)研究组的管理者之一。

Sergio Orts Escolano

就职于阿利坎特大学计算机科学专业(博士后)和微软研究院。曾参与微软研究院的交互式3D技术(I3D)项目,主要负责3D图形、计算机视觉、机器学习、新型硬件、增强现实和NUI。

Christoph Rhemann

维也纳大学计算机科学博士。目前就职于perceptiveIO公司,曾就职于微软,维也纳科技大学。从事实时计算机视觉、应用机器学习、新型显示、感应和人机交互,重点是深度估计和图像/视频分割。曾在微软雷德蒙德研究院和剑桥研究院工作,是交互式3D技术(I3D)项目的研究员,获得十多项专利,发表过多篇研究文章。

Sean Ryan Fanello

微软雷蒙德研究院交互式3D技术(I3D)小组的文档研究员。目前就职于perceptiveIO公司,是perceptiveIO公司的高级科学家和创始团队成员。曾就职于微软研究院、意大利技术学院和伦敦帝国学院。致力于研究计算机视觉、机器学习、3D重建、机器人和深度学习等。在意大利理工学院获得了机器人、认知和交互技术博士学位。在博士期间,为iCub人形机器人开发了计算机视觉和机器学习技术。

David Kim

纽卡斯尔大学的计算机科学博士。目前就职于perceptiveIO公司,是PerceptiveIO的高级技术科学家,从事实时计算机视觉、应用机器学习、新颖显示、传感和人机交互的交叉前沿研究和产品。

Sameh Khamis

马里兰大学博士。目前就职于perceptiveIO公司,是PerceptiveIO的高级技术科学家和创始团队成员。致力于研究和开发用于现实世界计算机视觉和机器学习问题的大规模实时解决方案,交互式3D技术(I3D)小组的研究员。

Adarsh Kowdle

康奈尔大学电气与计算机工程博士。目前就职于perceptiveIO公司,是PerceptiveIO创始团队成员。致力于计算机视觉和机器学习,重点是实时计算机视觉应用。

产品现状

Holoportation系统被微软研究院Ben Cutler、Jeff Kramer、Spencer Fowers、Wayne Chang四位研究员于2016年11月优化成功。他们将Holoportation系统安装到移动的车辆中,并在图像质量不变的情况下将传输数据所需带宽降低了97%(所需带宽降低到了30-50 Mbps),他们将之称为“Mobile Holoportation”。Mobile Holoportation最少需要两组Pod,当然Pod越多影像质量越高。

Holoportation

成本分析

我们先从硬件方面简单分析一下Holoportation这套系统的成本。

Holoportation系统需要以下设备:

HoloLens(接收系统),微软官方售价3000美金,中国还未上市。当然,论文中提到也可以使用HTC Vive这样的VR头显设备作为接收系统。(Trump哥告诉我们HTC Vive优质供应商报价6500元。)

Pod由两个深度摄像头、一个RGB摄像头和结构光传感器组成。

论文和视频中均未提及具体用的什么深度摄像头和结构光传感器,只是说所用的深度摄像头和结构光传感器性能远强于Kinect,RGB摄像头用的是PointGrey公司(加拿大灰点相机公司)的Grasshopper3系列相机,像素达2440万。

Grasshopper3系列相机国内报价均超过1000美元;整套系统需要8组Pod,所以只是RGB相机成本就达到了8000美元。

8组Pod需要4台PC来处理数据,每台PC配置论文中提到处理器为酷睿I7 3.4Ghz频率、16G内存、两个NVIDIA Titan X 显卡。

酷睿I7可以达到3.4Ghz的型号在美国某逊的售价平均不低于300美元。

NVIDIA Titan X 在美国某逊的售价平均不低于1600美元。

加上其他配置,保守估计每台PC价格4500美元;4台PC的成本达到18000美元左右。

根据我们上面的极为粗略的计算,Holoportation系统的硬件成本已经在四五万美元左右,这还没有加上算法、软件开发成本。所以这套系统即使是面向商业用户,其成本也略显高昂。这就有了后来的Mobile Holoportation系统,这套系统简化到可以只使用两组Pod,带宽要求也“仅需”30-50 Mbps。

论文中还提到了这套系统的几个缺点:

1.成本太高。

2.传输数据的带宽要求太高。(当然这个问题基本上已经被后来做Mobile Holoportation系统的几个研究人员解决了。

3.较小几何体(如手指)在快速变化时3D重建会产生伪像,例如丢失或合并了图像。(视频45秒时Sergio的手部3D重建模型就比较模糊

3D自由视角拍摄系统

Holoportation的国内竞品

就在我们准备完工的时候,Trump哥过来了,他告诉我们——国内也有做类似系统的优质供应商,也可以做这样的实时3D建模。随后,我们和该供应商进行了沟通,得知——这套3D自由视角拍摄系统硬件部分包括4台深度相机,4台图像采集终端,1台服务器和相应的网络和显示设备;软件部分包括视频采集软件和播放软件。

其中深度相机采用Kinect2.0,整套系统也可以扩展到6台相机;由一台服务器作为图像数据处理终端,配置GTX980Ti显卡;目前整套系统还不支持网络VIP通话,通话功能正在开发中;3D图像数据压缩和传输也在开发中;在3D实时性重建方面效果较好,但图像质量还有待提高。

他们还介绍到,这套系统和Holoportation一样也存在场景快速变化导致的图像重建失败问题,这个领域在将来还有很大的发展进步空间。

最后,我们再对比以前讨论过的RoomAlive系统,这套Holoportation系统的硬件成本基本上已经达到了RoomAlive系统的10倍。不过RoomAlive系统微软后来很快就将其开放SDK,且发布了应用RoomAlive技术的HoloLens。不知道微软什么时候开放Holoportation系统的SDK并发布应用这套系统的产品?

特别鸣谢浪走科技为本文提供信息支持

分享至:
| 人收藏

相关阅读

最新活动
  • 双十二,不用剁手!!!VR九轴游戏手柄+VR眼镜免费送~
  • 2018 年福建省“亿鑫海杯”AR职业技能竞赛决赛圆满落幕
  • 加速想象力联合弈恩现实免费定向培养AVR高技能人才​
  • 耐德佳成功举办未来显示与交互技术高峰论坛

Copyright © 2013-2017 ARinChina增强现实中国   All Rights Reserved.