FBEC2021 | 傲意科技总经理倪华良:详解下一代XR交互生物肌电手环技术应用

arinchina 2021年12月16日09:43:59
评论

2021未来商业生态链接大会暨第六届金陀螺奖颁奖典礼(简称“FBEC2021”)于2021年12月10日在深圳市大中华喜来登酒店盛大召开,本次大会由广东省游戏产业协会、广东省虚拟现实产业技术创新联盟、深圳市科学技术协会、深圳市互联网文化市场协会指导,陀螺科技主办,以“迎风破局 · 守正创新”为主题,聚焦游戏、电竞、XR、元宇宙等互联网前沿领域,探讨行业热门话题。岁末年关,聚锦鹏城,我们与无数互联网从业者同舟,共同探讨未来商业生态链接的创新和变革!

 

FBEC2021分会场“变现之道·XR行业应用论坛”邀请到傲意科技总经理倪华良带来主题为“下一代XR交互——生物肌电手环技术应用详解”的精彩分享。倪华良介绍了傲意科技的发展历程以及相关技术。在他看来,生物电技术和VR的结合越发紧密并迎来了快速发展阶段,而傲意科技也在深耕其中,专注于肌电、心电、脑电生物电传感器,AI以及仿生机械等领域。

 

以下为演讲实录:

FBEC2021 | 傲意科技总经理倪华良:详解下一代XR交互生物肌电手环技术应用

 

大家好,很高兴有机会参加这一VR、AR相关的会议。我看到会场上有很多老朋友,大家都在坚持,很不容易。我们傲意科技也是行业老兵,我是公司的创始人倪华良。傲意科技是一家底层技术科技公司,在过去六年时间里,我们看到了未来应用场景的核心东西,而傲意科技也深耕其中。

 

在这里,我也给大家介绍下傲意科技,傲意是做跟人体生物电信号相关的公司,涉及脑电、心电以及肌电等底层传感器技术,人机交互如非接触式的手势控制等。此外,傲意也专注于神经康复,包括虚拟场景神经康复系统、仿生义肢、智能外骨骼等,这是我们公司这几年正在做的方向。

 

我们公司的核心技术被我们称之为感、知、动。“感”是传感器的技术,这一技术,我们做了很多年,有多种产品形态,包括能够满足于不同应用场景的脑电、心电、肌电的传感器。“知”是我们针对于应用的AI相关算法,即生物电识别AI及算法训练平台APP;“动”是复杂仿生机械、微型电机模组和电控。早前我们的电机模组高度依赖于进口,如今都是自研自产,我们已拥有微型电机模组和电控的技术。

 

说到肌电应用,跟元宇宙、VR、AR、XR相关,可能大家更关注的是在人机交互领域,这也是我们从2015年成立以来,公司一直在做的技术。基于肌电的手势识别技术这个产品gForce在2016年的时候已经推出过,当时也与行业诸多企业有过合作。

 

大家可以看一下PPT的左边是我们肌电手环的APP界面,APP主要是完成信号采集和手势的人工智能训练。在APP这里通过信号录入、AI学习,生成动作模型,然后可以识别相应的动作。

 

右边的视频是我来之前从官网上翻出来的,是2016年的一段视频。当时,是用大朋的VR头显,肌电手势控制技术做了适配, 用非接触式的方式,在VR下进行手势互动。基于肌电的手势识别方向,行业里出过三家公司,一家是加拿大的Thalmic Labs,一家是美国的Ctrl-labs、一家是我们傲意。现在在产品的落地上,只有我们一家公司坚持。虽然量不大,但是一直在往行业里持续发布产品,并且对外发售了五年,国内外很多高校和研究机构采购了我们的产品进行肌电方向的研究。

 

我们觉得肌电作为人机交互的方向是有价值的,当然技术什么时候爆发、应用在什么应用场景还需要探索,每一种技术都有缺点和优点,强行用单一技术解决所有问题是非常困难的。在肌电手势方向最近有一个比较利好的消息,2019年Facebook收购了我们的竞争对手Ctrl-labs,包括最近小扎的演讲,提到他们可能会以肌电EMG方式作为人机交互的方式,肌电技术有可能是未来AR眼镜的标配控制方式,我们期待行业里的大拿什么时候能进来引领一把。

 

很多新的科技来源于于小的创新团队,但是发扬光大光靠创新团队来做技术是远不够的,需要大的资本投入和行业大拿的引领。我们在肌电手势技术等了五六年的时间,现在看来,有可能即将迎来新的机会点。

 

在2017年以后,受限于当时VR AR行业发展进入低谷,我们也做了一些应用方面的调整。我们在已有的肌电手势识别技术上,又进一步地做了更重的产品,也是非常有价值的实体产品,就是肌电仿生手。

 

在PPT上大家可以看到,左边的这个照片就是我们做的这台手,下方是肌电传感器阵列,这边是人工智能模式识别模块,所有的电机都集成在这手里。中间这个波形是在做不同动作的时候,在手臂上所反映出来的电信号,这些电信号是由大脑发过来的神经信号,到达肌肉里后,在肌肉里反映出来的一种称为EMG肌电的信号。

 

通过采集和分析这些信号,可以反推我们在做什么动作。当然,不光是说手势,如果是安装在腿上,也可以检测腿的动作意图,比如智能的仿生下肢也是有很多论文是用这个肌电的方式做。

 

这个肌电控制的智能仿生手,我们落地的产品,先前央视科教频道找到我们,拍摄了这个影片。

 

我们的产品有它的特殊性,主要服务的用户群体是截肢残疾人群体,传统上这样的产品非常昂贵,我们通过技术手段进行了创新,实现了国产化,把价格从先前国外大概30多万人民币的价位远远拉下来。

 

除了落地这样一个仿生手,总的来说,我们一直没有离开过VR、AR、虚拟情景。我们在做的其他应用,包括神经康复。在神经康复里,肌电是神经信号非常好的表现形式。因为真正的中枢神经信号采集下来之后非常微弱,同时是非常难分解和理解的,肌电是代表人神经传导和运动能力非常好的指标。

 

此外,我们也关注其他神经类疾病,每一种疾病群体是比较大的,像癫痫,小朋友的自闭症和多动症,都是属于神经类的,还有比如阿尔兹海默症等,都可以采用虚拟情景互动和生物电结合的方式,结合医学上神经重塑性的支持理论,进行神经和肢体能力的提升和改善。

 

这个是我们基于肌电在开发VR情景互动的肌力康复产品,看上去是非常简单、卡通的小游戏,但对于肌无力、神经受损、大脑受损所造成肢体功能伤害修复非常有价值,而且可以在家里使用。右边的是智能的矫形器,在上面可以叠加多种传感器。我们在这里做的是把人体数值化,因为人体包含很多信号,如内在的心律、血氧、肌肉、神经传导,非常多维。只用摄像头很难全面描述一个人的情况,这是我们结合VR技术应用做成的康复训练系统。在展现形式里可以是电脑,也可以是平板,可以是VR、AR。技术的本体对我们而言,它是一个载体,VR,AR的沉浸式技术使得康复过程更加真实和有趣。

 

我们也给医生做评估系统,也是结合这样的方式进行。另外,我们公司在研发脑电系统,脑电系统比肌电更加要到高一级的位置,我们主打两个方向,一个是癫痫疾病痫波形侦测上,另外一个不是很好做但是很有价值的,小朋友的自闭症、多动症,采用脑电生物电反馈的方式结合虚拟场景的调控对由于某种异常原因所造成的神经问题进行治疗。

 

同时,我们也和合作伙伴在探索基于VR、生物电、姿态反馈等技术的运动健身系统,我们觉得非常有意思,也是未来在落地场景下比较好的方向,希望大家可以关注。

 

谢谢大家!

weinxin
我的微信
这是我的微信扫一扫
广告也精彩
arinchina
  • 本文由 发表于 2021年12月16日09:43:59
  • 转载请注明:https://www.arinchina.com/11131.html
资讯

高通XR业务负责人司宏国宣布离职

主要负责高通XR业务的司宏国日前宣布离职。实际上,他供职高通已有20年之久,并在六年多的时间里担任XR业务副总裁。不过,司宏国没有透露下一步的动向。
广告也精彩
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: