一家创业公司,把面部表情捕捉做到电影级别,该有多厉害

上周,MindMaze 公司推出了一个面部表情捕捉方案 Mask,设备简单到魔多君要报警啦!




只要在移动 VR 头显上放 8 个小传感器,每个传感器成本不到 1 美元。就能检测到你的肌肉电信号,然后用软件来搞清楚,你是在皱眉、微笑还是小忧郁。




MindMaze 已经把表情捕捉做到非常低的成本了,把人的虚拟社交形象卡通化,但看起来精度有限。


在 VR 行业里,除了需要捕捉戴着 VR 头显用户的表情,还需要一些精度能够媲美电影级别的表情捕捉,而且更需要低成本化。




今天魔多君就跟大家聊聊 Faceshift,这是一家专门针对电影和游戏做面部表情捕捉的技术公司。


Faceshift 的杀手锏是一款动画表情制作软件:Faceshift Studio。


我们平时看 3D 动画的时候,其中的动物人物角色总会有各种丰富的表情,而 Faceshift Studio 可以从真实人物获取表情动作并添加到 3D 模型头像上,非常神奇。


怎么个神奇法呢?


在专业的动画电影制作时,不再需要给演员脸上打 mark 点,只要用 Kinect 捕捉演员的 3D 模型。然后,Faceshift Studio 把捕捉到的面部表情实时反应到动画角色上面。




简直神同步!




委屈的表情。




我就笑笑不说话的表情。



甚至,人狗同步的表情。




更厉害的是,《星球大战:原力觉醒》也用到了 Faceshift Studio。




可以看出,Faceshift 捕捉的精确度非常之高,即使是最轻微的肌肉抽动也能捕捉,而且过程几乎没有任何明显的延迟。


那么,Faceshift Studio 是怎么做到的呢?


主要有 3 个步骤:




其中,train 主要是指进行各种面部表情训练,并建立个人表情模型库。capture 和 animation 表现的是实时追踪和叠加动画的功能。


我们首先来看看如何进行训练(train)。


第一步是建立基本面部轮廓和表情。面对 Kinect 或者Realsense 深度摄像头,你“面无表情”的把脸从左转到右,来回转几次,就可以建立基本的面部轮廓和表情,当然还可按需进行调节眼部和眼球,达成更加自然的效果。




在此基础上,录入其他面部表情,嘟嘴、皱眉等。




那么建立基本的表情库后,就需要进行实时追踪表情。




在这张图片里,主显示区左边是真实人物表情,右边是实时叠加的 Avatar 表情,这款产品被冠以游戏变革者的称号不是没有道理。


Faceshift 的整套解决方案主要面向开发者和专业的公司,Faceshift Studio 一年的软件使用费是 1500 美元,如果你是非商业用途,只要 150 美元。而且,它的插件可以让捕捉到的数据在 Unity 和 Maya 上面直接使用。(感兴趣的开发者可以下载了试试)


硬件用是消费级的深度摄像头,比如微软的 Kinect 或英特尔的 RealSense,价格是 200-300 美金。




硬件和软件加起来,对于专业人士而言,不超过 2000 美金,已经是低成本解决方案了。


聊了这么多  Faceshift 的产品,魔多君也跟大家介绍一下这家公司。Faceshift 原来位于瑞士苏黎世,公司成立于 2011 年,最初诞生于瑞士联邦科技学院的计算机图形与几何实验室。


它可是一家被苹果收购的公司啊!相信大家都听说过的。只不过时间有点久远,是在 2015 年的 11 月。Faceshift 所拥有的技术在很多领域都有不可估量的潜力,特别是 VR/AR 行业。这也是大家猜测苹果收购它的重要原因之一。


魔多君也顺便说一下苹果收购 Faceshift 的重要作用。


今天魔多君看到了 iPhone 8 最新设计图&尺寸草图,的确有传说中的 3D 摄像头。看来对于 VR/AR 的布局, iPhone 8 起了一个开头作用。




苹果在收购 Faceshift 之前,就做了多笔投资,目标直指 VR/AR 领域。


2010 年,2900 万美元收购瑞典面部识别技术公司 Polar Rose。

2013 年,3.45 亿美元收购以色列 3D 感知技术公司 PrimeSense。

2015 年,3200 万美元收购德国 AR 技术公司 Metaio。


魔多君就说一点,PrimeSense 是第一代 Kinect 的技术提供方,它的 3D 扫描技术已经被应用于全球 2000 多台设备上。如果,未来的苹果设备都搭载了 PrimeSense 深度传感器,再配上 Faceshift 或其他技术,比如苹果的 VR/AR 设备,也会像 Hololens 那样用到 Kinect 技术,像 Oculus 那样用到面部表情捕捉技术。那么,应该是相当有竞争力的!


魔多,专注VR/AR和AI,有料更有趣



// share