uSens凌感发布新版手势SDK,双手交互动作很给力啊!

最新演示视频,效果不错


8月24日,三维人机交互公司uSens凌感发布了新版Fingo SDK,在手势算法低层实现了突破性改进,新增一系列双手交互动作,如握拳、手心写字、十指交叉等,在同类产品中,率先实现对大面积遮挡的双手交叠类手部动作的识别,并可实现对十个手指的灵活细微运动的追踪。


Fingo是uSens凌感于今年2月正式公开发售的手部追踪解决方案,集成软硬件为一体,硬件上通过两个红外摄像头及三个红外辅助灯追踪手部动作,软件上基于计算机视觉及深度学习等算法,实现对双手骨骼的识别,大部分常用手势均可实现精准低延迟识别。


经过半年的优化改进,本次发布的新版SDK在手势的整体稳定性、精确度以及多样化方面大幅提升,对常用手势动作进行了深度优化。



uSens凌感联合创始人、CTO费越博士介绍:“我们的手部追踪指的是实现双手的自然交互,不是识别几种固定的手势,也不是跟踪五个指尖,而是通过对手部26个自由度的追踪,通过深度学习等算法,对手部骨骼进行识别。人是主动性的,不是被动的受限交互,这就不可避免的出现大家生活中常用的双手交互的动作,比如鼓掌、握手、双手交叉换位等。为了给用户创造自然沉浸的三维交互体验,我们认为这部分虽然难度高,但有必要突破,其他方案目前还没有涉及这部分,或者效果不佳。我们先行启动了在这个方向的研发和尝试。” 


uSens凌感高级技术总监毛文涛主导手势开发,他表示:“这次版本迭代,我们以实用、可用、好用为目标。我们发现在行业实际应用中,手势操作有些痛点问题一直没得到很好地解决,如:聋哑人沟通用的手语中有大量双手交叉或交叠在一起的动作,这类动作目前市面上产品无法做到或表现不佳。VR社交、VR课程中,希望有一些类似小键盘的操作,学生或用户长时间手势悬空操作会比较辛苦。针对这些问题,我们做了一些尝试,在算法层进行了改进,比如实现了在手心上写字、左右手交叉等一系列双手触碰的动作,这样既有力反馈又无需悬空操作,用户体验大幅提升。”


Fingo推出后,uSens凌感已经跟国内外AR/VR类头显厂商进行深度合作,部分厂商已在规划集成Fingo的交互头显,预计今年底或明年初将有产品面世。随着Fingo的注册开发者不断增加,该产品将覆盖游戏、房地产、教育、汽车、展览展示等诸多行业。


魔多,最专业的VR媒体,有料更有趣



// share