在Facebook十年计划里,VR/AR的未来构想是怎样的?


本文转载自极客公园,作者 Rubberso,原标题:在 Facebook 眼中,关于 AR 和 VR 的未来构想是怎样的?文中有删减。


在今年 F8 开发者大会上,扎克伯格重新强调了 AR 将成为 Facebook 最主要的议题,其中第一步就是让相机成为承载 Facebook VR 战略最为主要的载体。


Facebook 发布了相机特效平台(Camera Effects Platform),帮助开发者和艺术家将 AR 特性快速落地。还有 Facebook Spaces VR 社交平台,基于 Oculus Rift + Touch 运行,它第一次真正将其立身的「社交」与 VR 联系在了一起。




8 月 6 日,Facebook 技术布道师 & 工程师濮冠楠在极客公园 Rebuild 2017 大会上进行了演讲,我们得以进一步了解 Facebook 关于 AR 与 VR 的未来构想。


大家好,我是濮冠楠,大家叫我冠楠就好了。我在 Facebook 亚太区负责开放平台以及开发者关系合作,主要负责的地区是东亚地区。非常高兴今天可以来到这里跟在座各位分享 Facebook 关于 AR 和 VR 的一些想法,以及我们未来可能做的一些事情。


对我个人来说,尤其是今天开始演讲之前是比较失落的,为什么呢?大家可能在手机上都用过一个 app,比如打开自己的手机可以拍一张相片,然后知道自己的年龄和自己长得像的明星是谁。我记得五年之前我用这个 app 的时候,我的年龄是 25 岁,我像的明星是刘德华。我刚刚在演讲等待室用同样一个 app,发现这个算法已经更新了,已经变得非常非常准确,我的年龄是 45 岁,同时我像的明星也变成了黄渤。


所以我这边想说的是,除了我们非常准确的 AI 和识别算法之外,如何把这些知识用于怎么把我们的生活变得更美好。比如对我自己来说我可能想变回去,变成五年前自己的样子。




大家在这个页面看到的是 Facebook 关于未来十年的一个初步展望,我们可以简单的划分为三个主要的时间图。这个页面是我们在去年 4 月 30 日 F8 大会上推出的。可以看到,目前我们围绕 Facebook、Instagram 已经拥有一个比较完整的开发者社区,在未来的五年之内我们也希望把这个开发者平台拓宽到我们更多的产品线上。


今天,我会着重讲一下在整个解决方案里, Facebook 关于 AR 和 VR 的一些进展,以及我们未来的一些想法。


基于相机的 AR 开放平台


在这个页面里,大家可以看看到关于「AR 是如何使用的」有三个不同的场景。最左边的这个例子,这个其实是罗马的斗兽场。正常情况下我们拍摄的是一张普通的静态照片,AR 可以在静态的图片上放置一个标签化的信息,让用户可以得到除了像素之外更多的信息。




第二个我们希望尝试的方向是,在一个具体的照片场景内放置一些 3D 的物体,即在现实空间中会有一个虚拟的投影。例如我们可以放一个棋盘,在虚拟空间中下棋。最后一个是,我们也可以拍一张普通照片,在进行后期的强化。


这就是我们思考的三个方向。实际上,这三个方向其实都不是新的技术,可以说是非常成熟的技术。最近几年我们可以看到,手机相机基本可以完成对照片的信息化处理、添加标签,或者对照片进行强化。


对于 Facebook 来说,我们需要一个更加优化的平台,一个开放式的平台,可以让每个开发者都可以设计出优秀的 AR 产品,而且不需要自己去搭建完整的开发环境,也不需要花费很多精力去吸引自己的用户。


纵观目前市场上的相机产品,可能还没有一个完整的平台化解决方案。所以,Facebook 想把相机打造成第一个开放的 AR 开发者平台。


目前在 Facebook 的移动版 app 中,大家向左滑的时候就会把相机打开。我们可以看到一些基本的特效会出现在相机里面,包括面妆或者一些风格的转换,还有艺术画框等。



目前在这个开放的平台里,底部会出现 10-20 个基础的特效。Facebook 长远的目标是希望把这个做成一个平台化的产品——未来不仅仅只有 10 几个特效,而是有成千上万个特效。更重要的是,这些特效可以融入不同地区的不同文化,增加自己的风格。


Facebook 今年年初 3 月份的时候推出了相机特效管理工具,我要介绍的第一个工具叫做 Frame Studio,它可以让那些没有编程经验的创意人士可以用更加简单的方式为粉丝和客户做出创意产品。



目前在全世界各地的艺术家,已经根据当地城市的风格设计出了不同的相框,比如说芝加哥、伦敦、多伦多和东京。未来我们也希望越来越多的艺术家可以加入这个平台,帮助当地的社群创建各种不同的效果框。



除了这个静态的图案之外,我们也做过一些其它的尝试。Facebook 希望打造出一种沉浸式的 3D 体验,希望用户可以更简单地把自己的真实世界和虚拟世界融合在一起,这就是 AR Studio


我今天也非常高兴介绍第一个例子:来自中国的美图公司成为 Facebook 公测版 AR Studio 的首批合作伙伴之一。美图使用前置摄像头在 Facebook 相机平台上做出了一个名为「明目自拍」的效果。在这个效果里面,借助 AR 技术「机器人眼镜」会检测人脸的移动,然后会生成不同的效果。



在推出 AR Studio 之前,我相信若要做出这种类似的特效,可能需要搭建一个比较完整的团队。现在 Facebook 可以帮助大家省过这一步,或者节约很多人员。


EA 公司的《质量效应:仙女座》,利用 AR Studio 做一些尝试作出了比较沉浸式的体验。用户会在 Facebook 相机里可以直接带上《质量效应》里这个宇航员的面具,而且也是有头部追踪的。这些是怎么做到的呢?



AR Studio 目前提供了面部追踪、制作脚本、使用摄像头、3D 渲染、触发音频等功能。我想说,这些只是 AR Studio 早期阶段的一些展示,目前已经快要完成公测了。



AR 和 AI 结合可以从 2D 影像里得到更多的信息,这也是 Facebook 做的一些尝试,我们希望帮助用户了解他对周围环境的一些认知。大家打开自己的相机和手机,就可以发现关于当地一些更加详细的信息和指示,甚至我们可以给我们的好友留言。比如说,我们可以放一盆花,放在他需要打开相机的地方。


(点击查看视频演示)


上面介绍的就是 Facebook 关于 AR 的想法,包括我们目前 AR 平台的一些现状。但是我想说,我们也仅仅完成了其中的 1%,未来的路还是很漫长的。我们希望跟所有的开发者、合作伙伴一定要做成这件事情。


在虚拟世界和朋友们聚会


我们目前在 VR 领域的最新尝试,就叫 Facebook Space,这是在今年 4 月份发布的一个全新的体验,大家可以在 Oculus 商店体的验区下载这款产品。


Facebook Space 可以让我们和好友一起聚集在 Facebook 的 Oculus AR 世界里面。同时,它有个比较有趣的地方是,用户本身也可以访问自己或者好友在 Facebook 内部的这些照片、视频,以及好友的一些内容,把它投射到虚拟世界里面。


但做第一步之前,我们需要有一个虚拟的化身。对于这个虚拟形象大家可以有一些可选项,比如可以添加眼镜、胡须,改变眼睛和头发的颜色。这可能是目前来说最简单的一种方式,让用户最快速的进入 VR 世界,得到一个比较完整体验的方式。



当我们去创造自己的形象之后,下一步就是如何邀请好友,因为跟好友的互动可能会促进我们获得更多的有沉浸式的体验。目前 Facebook Space 最多支持三个好友共同参加一个对话。通过简单的操作就能把一位好友拖到我们共同的对话里。


当我们有一个群体之后,这些群体的人到齐之后,我们也可以通过各种互动方式,比如说使用虚拟的 3D 画柄,画出一些 3D 服装,去做一些游戏,这些其实都是可以做得到的事情。



与此同时它也可以跟 Facebook 自身 Oculus 商店内部的 360 度视频整合到一起,我们也可以跟好友一起探索太空,玩一个太空自拍,这类的事情都是可以做得到的。


(点击查看视频演示)


但是,我们也可能知道,现在对于 VR 来说还是一个比较初级的阶段,如果我们的好友并没有这种 VR 设备,那我们如何跟他们沟通呢?这也是我们最近一个新的尝试,就是如何把 Facebook Space 跟「传统」的 Facebook Message 相结合,即使我们的好友并没有 Facebook Space 这款应用, 也可以通过视频的方式跟 VR 世界里的人进行沟通。


魔多,最专业的VR媒体,有料更有趣


// share