又一大技术突破!Adobe的算法赋予360度视频6DOF


最近几个星期,一些高端的VR视频摄像机频繁现身,比如 Facebook 在 F8 大会上推出的两款商用全景相机 x24 和 x6,还有谷歌联手小蚁推出的下一代 Jump 相机 Yi Halo。这些拍摄硬件能为沉浸式体验带来巨大飞跃,不过也是贵的一笔。


有没有可能不用这么贵的相机,就能让拍出的 360 度视频实现 6 自由度(6DOF)的 VR 视频效果呢?


这周在拉斯维加斯的 NBA 上,Adobe 研究负责人加文·米勒(Gavin Miller) 推出了一种技术,能让消费级全景相机拍摄的 360 度视频转变为沉浸式 VR 视频,也就是我们常说的 6 自由度视频。


对于高端头显用户来说,Oculus Rift 和 HTC Vive 本身具备房间追踪功能,6 自由度对它们来说十分重要,因为用户可以向前倾斜或前后左右转动头部来观看周围的环境。


一般 6 自由度的 VR 体验都是通过计算机建模而成的,这并不难。但是实拍的视频就不简单了,需要高端相机的助力,比如像 Lytro 那样的光场相机,可能要花费数十万美元。


而 Adobe 研究人员推出的技术就能很好的解决这个问题,通过一种叫做“structure-from-motion”(运动结构)的算法来分析相机运动中所收集的视频,找出场景中关键信息,然后通过算法把这些数据生成新的用户观看视角,让观众真正融入视频当中。该技术可用于稳定 360 度视频,或生成不同版本的视频。


视频中展现了如何将 360 度视频转变成 VR 视频



不过,这个技术还有一个很重要的前提:想在 360 度视频中添加 6 自由度,相机拍摄过程中必须移动。


米勒说:“我们通过相机移动来推算深度,如果相机只是旋转但没有移动,我们就无法计算深度,但可以让旋转拍摄的视频稳定播放。”


看来,要拍摄沉浸式 VR 视频并不一定非要用搭建复杂的摄像机,也可以用计算机视觉算法解决。米勒认为,生成完整的身临其境的VR视频可能根本不需要使用昂贵的硬件。如果有,很好。如果没有,这也不是没辙了。


via variety


魔多,最专业的VR媒体,有料更有趣



// share