谷歌新技术:提高全景视频画质,开源成行业标准


现在很多的 VR 全景视频都是用等距圆柱投影法,来进行平面与全景的格式转换。但是这种方式的缺点是像素密度分布不均,浪费有效储存,视频大小都一样,但画质看起来却很低。


现在,谷歌研究了一项新技术,通过 EAC 投影法可以改善像素密度,让VR全景视频的画质提升一个档次。


传统投影的缺陷:空间浪费


用全景相机拍完视频之后,需要先把视频平摊成世界地图那样,缝合成平面状态后才能进行编辑或储存。其中最简单的方式就是等距圆柱投影法Equirectangular Projection),YouTube 开始提供全景视频服务时,用的就是这种方法。


但因为像素密度分布不均,会造成高品质的视频区域集中在“南、北极”等顶端部分,而“赤道”周围则是画质最差的部分,这跟我们的观影习惯相悖。如果我们将拍摄的主题放在画面正中央的话,会造成主题部分模糊,天空与地板等无关紧要的部分反而更清晰。


另一方面,在储存3D全景视频时,会把视频上下切割为 个部分,分别储存左、右眼的的画面,所以会让垂直的解析度被砍半。


而且在这种投影法之下,原本直线移动的物体在投影后会变成非直线移动,造成影片压缩的困难(降低动态补偿的可行度),导致档案容量变大。



▲利用等距圆柱投影法缝合全景影片,会让顶、底部的像素密度偏高,而中间部分则偏低。



▲等距圆柱投影法的画质分布示意图,绿色部分为最佳的情况,代表像素密度与理想状态接近。黄与橘则是密度不足,画质较差。蓝色则是密度过剩,浪费储存容量。



▲透过等距圆柱投影法缝合后,影片中央水平线的画质较差,且直线会被扭曲为弧线。


EAC让视频更清晰,容量也更小


这次 Google 提出的等角方块映射投影法Equi-angular Cubemap,简称EAC),其方式是先将球状视频变形为正方体,再将正方体摊平成为由 个正方型组成的平面,并且在投影的过程中,调整每个区段对应的角度,让每个投影后的区段具有接近的像素密度。


如此一来就能让画面“赤道”周围的画质更加清晰,也能避免“南、北极”部分像素过剩的情况,节省储存空间。相较于单纯使用方块映射投影法(Cubemap),EAC 因为多了调整区段角度的手续,能够让像素密度更加平均。


Google希望这项新的技术,推广成为行业标准,也已将代码上传至GitHub。目前Android设备已经可以播放利用EAC处理的全景影片,iOS和电脑还需要等待一段时间才会支持。



EAC会先将球状影片变形为正方体,再将正方体摊平成为由6个正方型组成的平面。



▲并且在投影的过程中,调整每个区段对应的角度。图片左方为纯粹的方块映射投影法,会造成像素分布不均,右方的EAC则可避免这种情况。



▲采用EAC缝合的画质分布示意图,可以看到像素分布相当均匀,密度不足的情况也较轻微(黄色代表状况比橘色轻微)。



▲比较3种不同投影法,可以看到EAC表现最理想。



▲在使用等距圆柱投影法时,画面中央区域画质较差。



▲改用EAC则可改善这种情况。



2种方式的比较,可以看到EAC在细节呈现上较为清晰。


via techbang


魔多,专注VR/AR和AI,有料更有趣


// share