Google混合现实新技术,让VR头盔下的表情重见天日



最近 Google 开发出了一项新技术,也就是将原本被 VR 设备遮挡的用户表情重新呈现,让 VR 体验影片更加的逼真。




这项技术由Google Research部门、Daydream Labs和YouTube Spaces团队共同研究。其结合了面部摘取程序、眼球追踪和计算机视觉技术,一分钟之内可以建立用户的 3D 面部模型,同时还会建立眼球视线数据库,让不同的面部图像可以对应特定的眼球视线和眨眼动作。




他们将VR头盔改造成可追踪眼球,在结合“摘掉头盔”技术、透过VR头盔搜集来的眼球追踪数据、以及可和头盔同步的外部摄影机,便能将最初设定的脸部模型合成和真实世界的行为合成,让影片更为逼真。



不过,这项模拟人类表情的技术,由于过于拟人,就算和真人仅有微妙差异,也会让人觉得很不自然,这即是恐怖谷理论。因此,为了避免恐怖谷现象,Google选择模拟浅水面镜的效果,不完全移除VR头盔、而是用半透明的效果呈现头盔,减少观众对表情不自然的地方的注意。

Google指出,希望这项技术可提升VR在各种应用中的沟通和社交互动能力,如VR视讯会议、多人玩家VR游戏,以及和好友和家人共同在VR世界中探险等。未来,他们将在特定YouTube Space开放这项技术,让各地创作者使用、提升他们的VR体验影片。

via bnext

魔多,专注VR/AR和AI,有料更有趣


// share