SMI 展示 Foveated Rendering 技术与全新 250Hz 视线追踪工具包


Foveated Rendering 是一款通过模拟人类视线来帮助 VR 加速更上一层楼的技术,即使是在现在的科学技术水平下,这项技术仍是天方夜谭,不过现在不是了。


SensoMotoric Instruments(SMI)公司是最早研究视线追踪技术的公司之一,也是规模最大的,他们计划在下周的 CES 大会上展示 Foveated Rendering 技术以及他们利用该技术为头戴式设备新研发的 250Hz 视线追踪工具包。



对于那些还没有欣喜若狂的读者,简单科普一下:Foveated Rendering 技术对于虚拟现实来说意义非凡,因为它能利用当今的 GPU 图像处理器和 CPU 技术提供写实渲染体验。同时,Foveated Rendering 技术也能利用人眼视线的特性来降低屏幕图像渲染比例。当人们看一个物体时,只有视线的中心,也就是视网膜中凹处的图像是非常清晰的,而这个清晰度从这个中心向外会逐步降低直至外围区域。Foveated Rendering 技术就是利用了这一点,通过低延迟视线追踪技术来确定眼球视网膜中凹的位置并只在用户的视线中心提供完全渲染的图像。而这样做的好处是可以大幅降低电脑需要渲染的范围,只需完全渲染用户所看的区域,因而不改变当前的硬件设备也能大幅提升性能。




那么到底能提升多少性能呢?根据 SMI OEM 原设备制造总监 Christian Villwock 的说法,“现在可以轻松把渲染系数从 2 提升到4,但是再努力一下的话更高系数的改进也并非不可能。”


有了这种程度的性能提升,使现代计算机系统来渲染即将到来的 4K,8K 乃至 11K 屏幕都将成为可能。而这对使渲染像素达到现实像素级别来说至关重要,因为根据 Oculus 的首席科学家 Michael Abrash 的说法,至少要为每只眼睛提供 8K 的横向解析度才行。


“我们已经在着手开发它的后续项目,而且也联合了一些电脑和手机公司加入。”


SMI 能够实现这个技术主要结合了软件方面的诸多优化和与图像传感器公司 OmniVision 的紧密合作。早先对于 Foveated Rendering 的尝试破坏了沉浸感,因为它不足以跟上视线的快速移动,使得用户可以看到一个高清晰度的小圈追着视线移动。而SMI 的“低延迟算法”与 OmniVision 的 250Hz 刷新率相机协力合作后就可以达到 Foveated Rendering,而且根据 Villwock 的说法是“神不知鬼不觉的渲染”。


Villwock 还说:“经过 10 多年的研究后我们发现了 240Hz 这个神奇刷新率,达到这个刷新率之后就可以衡量扫视眼部动作了,而这至关重要。”



他所指的是双眼注视单一点后快速同步移动,因为即使我们在凝视某一点的时候,我们视线的注视点其实也很少会固定不动,相反双眼始终在不自觉地以一种相当快的速度移动。以上视频就显示了在看面前的显示器时的眼部动作。对这些小动作的测量总体来说有助于更精准的视线实际焦点测量,最终使 Foveated Rendering 成为可能。




目前为止,SMI 只是把视线追踪集成作为 Oculus Rift DK1 和 DK2 软件开发包升级包的一部分,但是这个可能以后会改变。


Villwock 告诉外媒 Upload VR :“我们已经在着手开发它的后续项目,而且也联合了一些电脑和手机公司加入。”但是他拒绝进一步透露相关项目的具体消息,但是也说:“也许两个月后我们可以透露更多。”


根据 Oculus 创始人 Palmer Luckey 的说法,视线追踪技术对于 VR 技术的未来来说是重中之重。它不仅可以实现 Foveated Rendering 技术,而且可以辅助创造真正的层次感,更好的用户交界面乃至参与度更高的虚拟空间内社交活动。这也就是为什么包括 Oculus 在内的那么多公司都在积极研发该项技术。


Villwock 说他的个人见解是所有版本的二代头戴式设备都会具有视线追踪功能。SMI 将会在 CES 大会上展示这个潜在的视线追踪技术革命性突破。


VIA 虚拟现实游戏


关注魔多VR微信公众号:moduovr


// share