|
虽然问题是：现在世界上有较为成熟的MR（混合现实）设备吗？我其实回答的是下面的问题，但我觉得也算是一个靠谱的答案：如何在2017年的今天在$30内自己动手制作一个比HoloLens效果还好的混合现实眼镜呢？（就像HoloLens或者Magic Leap声称的效果）
现在是2017年6月，距离上次我发知乎的Magic Leap & Hololens的异同的揭秘答案(Magic Leap 和微软的 HoloLens 相比有哪些异同点？) 有了1年半，混合现实(Mixed Reality)的世界似乎有点变化，变得更火了。然而从一个普通的消费者角度来讲没有什么实质性进展： (a) Magic Leap依然还是个迷，流出来的信息也就是一张背包图，和我1年前猜的一样，是个背包prototype。 (b) Hololens还是非消费者版，现在这个版本我2年前就用过了，东西是不错，感知部分 inside out tracking 做的很棒，显示部分一般（视场角只有34度），要价$3000，消费者买不起。 (c) 李嘉诚先生投资的Meta 2开始预订，还没有发货，我在上个月斯坦福的Workshop on Augmented and Mixed Reality的会议上，用了demo，发现inside out tracking巨差，latency > 100ms，显示部分清晰度一般，而且还需要一台PC连着，最重要的是我预定等了一年半还是没有拿到！ (d) 其他的MR公司的眼镜也都停留在展会demo阶段。 但1年半内，变化的是：现在谁都号称自己在搞混合现实增强现实了。每天 AR/MR 融资新闻不断，或者就是牵强扯上MR的概念，就是不见干货。连Pokemon, Snapchat, Facebook这些公司，非要挂上MR的概念，卖着带相机的眼镜，或手机相机叠加特效的老梗。 AR/MR/VR/XR 这个领域定义很乱，名称从来没有统一过。为了大家没有歧义，在这篇文章中，我武断的下个定义： Mixed Reality 是特指直接通过肉眼看到虚拟图像的在现实中叠加，并且现实部分应该是直接看到的（ see-through）。Augmented Reality是个泛指，所以很多用手机屏幕做的东西都被称为了AR，但我们这篇文章只关注Mixed Reality这个特定的话题。 总之，我们等了1年半，泡沫变更大了，不见干货。至少消费者觉得不给力啊。这都2017年了！ 下面是干货。 既然等不到，那我们自己来做一个呗 ！我今天来给大家示范一下做一个纸盒版的混合现实眼镜，加上你手上的iPhone就好了。 我没有搞笑，很严肃的。我保证这货是work的，效果还很好，而且有黑科技加持。 显示部分，这货视场角比HoloLens大的多，对角线达到95度，HoloLens只有34度，选择正确的镜片后还更加清晰。 感知部分，我们有基于视觉和惯性传感器融合的由内向外定位的黑科技(inside out tracking)。不需要特殊硬件，只需要你的iPhone哦。同时也支持Tango，反正你要用啥都可以。 我给它命名：HoloKit 。 它长这样： 
先看效果： 先来看一些我们自己做的例子（均为拿Sony A7Sii相机实拍，没有特效，都是动图）：在纽约大中央车站里的太阳系。
在纽约大中央车站里的初音MMD （以下模型的版权所有: Unity Chan）
在纽约大中央车站的Vanderbilt Hall 的宠物小精灵对战（以下模型的版权所有: Nintendo）
站在波波后面控制波波的是我。
在纽约大中央车站里漂浮的大鲸鱼 （Failwhale, aka, Lifting a dreamer, 以下模型的版权所有：Yiying Lu）。
在纽约世贸中心车站里漂浮的Failwhale
在纽约地铁里的吉他band的全息 (Volumetic Capturing)（以下模型的版权所有：Owlii, Ltd. ）。
展示我们的内向外定位(inside out tracking)的黑科技：
总共三步：第一步：首先你需要一张瓦楞纸，按着我这个设计图的形，拿剪刀或激光切割出来。黏上三张镜片：一张全反镜子，一张半透半反，一张菲涅尔透镜。大淘宝上搜，一大堆，我在github的开源文档中给出你购买这些原件的Amazon链接。按照这个设计图黏上双面胶。
第二步：双面胶撕开，把他们卷起来（像墨西哥鸡肉卷一样）。
塔哒！完成啦！
谷歌tango项目的创始人老大 Johnny Lee 在斯坦福大学的混合现实研讨会上使用 HoloKit (2017年5月11日）
美国最大网红Casey Neistat 在纽约使用 HoloKit （2017年5月24日）：
下面是分析比较
显示部分 1. 视场角：明显的好处是HoloKit大，对角线视场角95度（估算），比Hololens的34度大多了，也比Meta的90度大。 2. 清晰度：可以从我们实拍的视频中看出，HoloKit清晰度非常高（我们用了比较好的材料但比起屏幕来说不贵）。实际体验的话，你会被惊艳到的。清晰度比Hololens和Meta都高很多。 3. 一体机：是的，HoloKit不需要线连着，它只用了你的手机，它就是一个一体机。有Wifi 有GPS，所有手机能干的，它都能干，并且有了混合现实的感知和显示。 交互部分 1. 交互外设支持：你能想到的能连上手机的东西，都能做交互 a.比如说一个蓝牙耳机的音量键 + 你头部指向中心的光标，就可以做几乎等价于HoloLens 主要交互模式。 b. 比如说任意一个蓝牙控制器（$10以下），都能做交互。
2. 手势识别最简单的方式：我们可以装个$70 leap motion上去也实现了黑科技手势识别。黑科技的方式：利用现有普通手机的单目摄像头做手势识别，不需要额外硬件。这个目前有很多库都能用，一个比较好的是 manomotion哈哈是不是觉得一台手机把Hololens做的都搞定了呢？
手机上的语音识别早就很发达了，所以手机上的常用的语音识别库都是可用的。 感知部分 我们的感知部分是这个项目中最高科技的部分。 1. 由内向外定位跟踪：HoloKit采用基于手机惯性传感器和相机的传感器融合的里程计定位(VINS)。目前采用了香港科技大学沈老师领导的实验室今年最新的论文的技术。这个黑科技是真实的。我们的文章提交到今年的ISMAR会议上，有兴趣去读我们的paper。请cite我们。 Comment: a. Meta 2 的tracking烂到我已经不想说什么了。我们跳过。 b. HoloLens 比我们的效果好些，延时低，鲁棒，因为它有很多相机（4个）+ 一个HPU专用电路做定位。但正是由于特殊的芯片导致其成本居高不下的原因。 c. Tango 的效果不错，所以我们做了认真对比。下面是我们和Tango的对比。
下图可以看出我们的loop closure可以把偏移自动修回来，你看他pia一下就回来了。
下图可以看出在办公室跑了几圈以后，Tango的飘移已经修不回来，我们还能修正回来。
d.HoloKit vs ARKit Apple 6月5日，发了 ARKit ，我们事前都不知道。看报道觉得很吊，但是骡子是马拿出来溜溜。所以昨天下载了iOS 11 beta，做了一个简单对比。 下图中，上面的iPhone 7plus跑的是HoloKit的VINS，下面的iPhone 7plus手机跑的是Apple ARKit，可以看到ARKit完全没有办法把方块定在地上，飘走。而HoloKit的VINS还稳的。ARKit我们直接用的Apple官方的Demo App，我们啥没有改哦。
2. 平面检测。我们的算法可以告诉开发者平面位置。所以可以将虚拟物体置放于桌子和地板上。 3. 我们是支持Unity的，所以不需要你懂黑科技和c++，普通程序员艺术家也能使用Unity，来开发基于HoloKit的App。 为什么HoloKit长这样？
但其实仔细想想这种潜望镜设计，其实并不难。而且李嘉诚爷爷投资的Meta的设计其实也就差不多：你看下图眼镜里那个屏幕，明白了吧？就是一个潜望镜设计，放块屏幕哈哈，哈哈是不是很简单，没有那么黑科技。
--------------END-------------- 此文章转载自知乎，原作者Botao Amber Hu，因为这个项目的目的，只是希望更多的人能更快的用上混合现实，让这个世界加速点进入未来。所以他们将这款HoloKit的硬件设计和背后的主动定位的软件黑科技开源了，送给世界当一个礼物。Botao Amber Hu说如果大家将这个项目看成一个学术加艺术的社会性实验项目： Mixed Reality概念从HoloLens和Magic Leap出来两年，还没有 Killer App。如果能通过这种纸盒型的产品，将试错成本极大的降低，他很期待聪明的有创意的艺术家和黑客会诞生什么样的Killer app来验证这个行业。一起来贡献代码。也欢迎各种艺术家，博物馆和黑客在HoloKit的基础上做App和艺术，开脑洞，搞大事情，他会将大家的video链接到他们的网站上的。 对于想合作的厂商们，他期待着大家的回复 ([email protected])，他希望将这个开源的项目推广起来，让更多人的体验到mixed reality，目前他们的官方已经授权了一个厂商生产了官方版。 他说，设计稿的开源协议是非商业的授权（具体见开源文档），只要不做商业用途，随便自己玩。要注意，开源不意味着随便炒，生产需要他们的书面许可，他们不希望随意生产的眼镜毁掉很多人的第一次混合现实体验，其实这东西看似简单其实不容易做对，镜片的位置关系有一点误差图像都会不重合，而且需要他们开源软件部分调参。他们的源码是开源的GPLv3的，意味着要修改他们的软件，修改方的源码也要开源。 只要你使用或参考了他们的代码和设计（不管是硬件还是软件），他们的基本诉求是必须清晰的注明是来自 HoloKit 这个项目，给足credit，论文要cite。而对于具体的注明方法，可参见他们的章程Term of Use (https://holokit.io/terms ) 和源代码里的说明。 在文章中他还专门表明软件有什么Bug，什么不稳定，很正常，因为他们也就是几个学生和爱好者发起的开源项目。不要光来黑，这也是他们要开源的意图，因为自己的力量很小，需要更多人完善它。反正开源，是大家一起搞，一起来贡献代码，让未来来的快点。 Botao Amber Hu说，他不是一个人在战斗，HoloKit 是由Amber Garage工作室，香港科技大学沈劭劼教授的研究团队和纽约大学ITP学生朱逢源合作研发。Amber Garage负责项目的设计和技术研制，HoloKit的算法来自香港科技大学沈劭劼教授的研究团队。HoloKit的光学原型是来自纽约大学ITP学生朱逢源的课程项目，硬件设计和研制来自歌航电子，经个团队半年的打磨，才形成目前的产品设计和开源代码。 想要具体了解这个项目，了解此开源技术注明方式的亲，上面也说了可参见他们的章程Term of Use (https://holokit.io/terms ) 和源代码里的说明哦！以上内容由ARinChina为您分享！ |
Copyright © 2013-2019 ARinChina增强现实 All Rights Reserved.陕ICP备13003260号-1
