仅用1张照片就生成写实3D化身,这家新公司有啥厉害的?

伴随上周三星发布会的召开,VR行业有个大事件,卡马克重新设计了 Gear VR 版的 Oculus Home,让 Gear VR 的显示比Oculus还清晰,简直太牛逼啦!


但是,让魔多君更感兴趣的是,Oculus Avatar 支持 Gear VR 啦。就是说,在移动版的Oculus Home里,会有一个Avatar (你的虚拟化身)编辑器,你可以通过选择面部轮廓、发型、衣服、眼镜和帽子创建自己的VR身份。




而且你的虚拟化身可在 Gear VR 和 Oculus Rift 里通用。是不是很神奇,不过现在创建的虚拟化身很简单,没有面部表情,动画风格,细节很少。



Oculus Avatar 是2016年12月6日推出的应用,很明显,服务于 Facebook 的VR社交大计,同时 Oculus 还开放了 Oculus Avatar SDK,现在已经更新到1.12.0版本。




那么除了Oculus Avatar,其它的虚拟化身公司技术如何,已经做到何程度了呢?


终于讲到今天的主角- Loom.ai,这家公司很牛掰,能用单张照片生成写实风格3D化身,并且支持动画表情。先来看看根据伊隆马斯克照片做的3D虚拟化身。


是不是还挺像的,你看虚拟马斯克左右瞟眼神,嘴巴“噗噗”的,还挺生动的。



马斯克委屈、惊讶的表情



值得注意的是,所有这些效果只要一张2D照片(如上图右上角的马斯克照片),就能生成3D的头像,并伴有丰富的表情动画效果。


他是如何做到的呢?


使用 Loom.ai 公共的 Avatar API,就能把单张图片变成3D头像效果,这些工作在云端全自动部署。


同时,这些表情动画是使用预定义面部动画来循环实现。


那么使用 Loom.ai 的 Avatar API 能做什么呢?


首先,使用 Avatar API 能针对用户照片定制出工业级别的 FACS facial rig (就是面部建模的意思),并可以导入任何主流的游戏引擎来创建富有创意的数字内容。


我们就看眼睛区域的效果,就能看出 Loom.ai 能生成复杂的眼睛动作,伴随着眉毛、眼睑的变化就较好的表现出不同的表情。

(魔多君仔细看,瞳孔是没有变化的,看来要让瞳孔变化还是太难啦)




使用 Avatar API 不仅可以生成写实风的3D化身,也可以根据需要生成卡通化的虚拟化身,并且具有全局的保真度,就是大体上还是相似的。




那么这家技术公司如何挣钱呢?


Loom.ai目前主要是B2B2C模式。


Loom.ai 已经开发了一套云端API和SDK,给企业用户提供一整套的解决方案,而企业用户则利用他们的系统提供服务给开发者,Loom.ai希望通过技术授权等方式来盈利,目前已经开放商家内测中。


其实 Loom.ai 是一家非常年轻的公司,2016年成立,并在当年12月获得了 Danhua Capital, Y Combinator, Presence Capital, Anorak Ventures等 135 万美元种子轮投资。魔多君查看 Loom.ai 的twitter就是在2016年12月注册的。




但是他们公司成员的资历都很老,在相关领域都有超过10年的工作经验。





Kiran Bhat, Loom.ai 的CTO ,在电影行业的高端VFX领域有12年的计算机视觉算法经验。Lucasfilm电脑视觉研发团队的负责人。


Mahesh Ramasubramanian,Loom.ai 的CEO,在电影行业的高端VFX领域有12年的计算机视觉算法经验。曾就职于梦工厂,主管动画视觉效果,大家熟知的《马达加斯加3》视觉效果就出自他手。


Akash Garg,Loom.ai 的首席工程师,具有超过15年的软件开发经验,并拥有哥伦比亚大学博士学位。


这里重点说下 Kiran Bhat,他是一个获得过奥斯卡的程序员。




其实奥斯卡奖是美国电影艺术与科学学院奖的别称,正式名称叫“学院奖”( Academy Awards)。

 

Kiran Bhat 获得的是奥斯卡科技成果奖(Academy Scientific and Technical Awards),是由美国电影艺术与科学学院颁发的一项科学技术奖,颁发对象为在科技成就上对电影产业进步有杰出贡献的个人或公司。在今年2月份举行。


Kiran Bhat毕业于卡耐基梅隆大学机器人系,后在著名的电影特效公司-工业光魔ILM领导特效相关的工作。


就是由于在工业光魔建立脸部表情捕捉系统的突出成就,他才获得了此奖。




电影《复仇者联盟》和《加勒比海盗》这两部电影面部效果的研发负责人就是 Kiran Bhat,比如绿巨人的面部表情。



后来,Kiran Bhat 离职并拉着 Loom.ai 现在的CEO Mahesh一起创业,魔多君认为不仅因为 Kiran Bhat 自身丰富的经验和牛逼的技术,还有现在VR/AR行业的发展,特别是VR社交领域对于虚拟3D化身具有很强的需求,而且现在没有一个成本低、效果好、部署快的解决方案,所以他们切入这个痛点,即使在2016年,也是投资人认可并投资。


从 Loom.ai 的方案(使用云端处理+手机客户端、单张照片速成3D化身)中就表明了 Loom.ai 的产品是针对社交的。


好了,看到这里,魔多君明白了为啥 Loom.ai 刚成立公司就拿到了135万美元的种子轮,为啥一个小公司就想切入VR社交,我们静看 Loom.ai 的3D化身什么时候能出现在流行的VR社交软件里。




本文由魔多原创,转载请联系sarah@moduovr.com

魔多,专注VR/AR和AI,有料更有趣


// share