第一款消费级4D全息图App,动态人物捕捉逼真到哭!

3 月 28 号,Google Play 和 Apple Store 上线了一款名叫 4DViews 的 App,不用挂“喂片”就能免费下载玩了!好奇的魔多君赶紧下了。


里面的内容简单到不行,分为 VR 和 AR 两个模块,而且只有 3 个模型(占了魔多君 707 MB 的内存):


篮球运动员

比基尼模特

独奏电吉他手



虚拟和现实无缝切换


东西虽少,但精致,耐人寻味!不像一些打着“资源大厂”的骗子,用户进去后内容粗糙的不行,严重影响体验和身心健康。


魔多君先给大家看一下效果如何?


VR模式


打篮球的动作流畅,注意白天黑夜的光影变化。




魔多君还是个孩子!!!




乐手神态逼真极了!




注意!打光前后的环境变化。




AR模式


魔多君打开摄像头,虚拟人物并没有出现,因为没有 AR 卡片。




从他们的宣传视频中可以看出,需要特定的卡片才行。估计就指着这卡片挣钱了。




那么,把动态人物捕捉做的如此逼真到底是哪家公司呢?


它是 4DViews,成立于 2007 年,位于法国格勒诺布尔。


这支团队最初形成于一个实验室的研究项目,而且是理论研究,主要针对计算机视觉、成像、摄影和视觉特效领域。从 2007 年到 2017 年,在这 10 年间,他们开发了好多的视觉效果项目,包括 VR 和 AR 的。


理论和实战经验都有了之后,4DViews 创建了一个动态三维捕捉系统。它能够在大型捕捉区域里面,拍摄动作演员的动作,然后通过软件为虚拟环境生成逼真的全息图。




整个系统由一台装有动态三维捕捉系统软件包的计算机控制:它负责采集频率,录像,设置相机,数据管理,导出和存档。




他们的系统全部基于 Linux,并且提供了一个用于访问数据流的 SDK。此外,它还可以和其他技术同步,比如基于 TTF 或视频同步信号的传统动捕系统。


那么,4DViews 的系统可以应用在哪些方面呢?


1、虚拟现实和增强现实


通过三维捕捉的镜头,增加虚拟和增强现实内容生产的深度,比如把有名的人带到虚拟世界,或创造真正的下一代应用:VR 电影、AR 广告以及全息图。


实际案例已经出来了,就是魔多君前面提到的 4DViews 应用。


4DViews 通过绿幕把真实人物的运动状态拍摄下来。根据需要,周围会摆多个摄像头,每个摄像头拍摄一组画面,然后所有摄像头进行校准和同步,就像一个球形摄像机一样工作。




因为 4DViews 捕捉的不止是人的表情或身体模型,而是整个环境,光和阴影都存在,所以也可以称作 4D。


2、视觉效果


通过拍摄 4D 镜头和演员来加快视效生产,以供整个电影使用。创建一些比较惊人的视觉效果,比如虚拟相机运动,人群效应,或者冻结的时刻。


法国 ARTE 电视台制作的纪录片《罗马的命运》中用到了 4DViews 的系统。里面涉及到古罗马时代的军队,士兵数量庞大。


4DViews 预先录制好单个士兵,然后直接拼接进视频。




从绿幕拍摄到模型制作再到栩栩如生、神态动作各异的人物形象,量产速度特别快。




3、科学和研究


把你从艰苦的系统工程工作中解放出来,更专注于研究。它是一个现成的工具,已经被世界各地的许多计算机视觉实验室所试验和测试。


比如瑞士洛桑联邦理工学院。这所大学的新研究大楼在去年夏天建成后,里面安装了 4DViews 的系统,用于计算机视觉研究目的。




该系统由 32 台摄像机组成,已经安装了两层以上,覆盖了从建筑入口到出口的区域。同步采集的视频流使研究小组获得了跟踪和识别的图像测试基础数据。


看到 4DViews 动态三维捕捉系统广泛的应用场景,大家是不是很好奇这家公司用了什么技术?


其实它们的技术并不特别,跟目前 VR/AR 领域做动态人物捕捉的公司(比如百度投资的 8i )都一样,用的是 Volumetric Capture 技术。


不过,4DViews 在其中算是做的很不错的。


8i 的一个绿幕摄影棚要用到 50 个以上的摄像机,虽然采集了巨量的视频,但最终输出的是体素(体积元素)的模型,比较简单。因为没有使用 polygon(多边形),很多成熟的实时渲染技术没办法使用,很难处理阴影和光照等信息,导致渲染的人物画面很难和其他部分融合。




而 4DViews 生成的动态模型会把体素数据,最终转换成多边形的模型。这样,渲染的时候,就可以用到所有的主流实时渲染技术。魔多君前面提到的光照和阴影就是有了这个基础才能做到的。


此外,4DViews 在人物边缘处理、容量上做了更多的改善,所以你看到的人物非常精细,模型在运行时也一点也不会卡,虽然 4DViews 这款应用比较占内存,但据说 154MB 对应时间是 9.27 秒,相对其他的产品,已经小很多了。




魔多君不禁感叹,在 VR 和 AR 火了之后,对于虚拟化身的需求变得如此强烈。谁能把它们做到既精致容量又小,而且还能在移动端稳定、流畅的运行,已经很牛逼了!果然,技术的积累需要时间,更要耐得住寂寞。


魔多,专注VR/AR和AI,有料更有趣



// share