为什么虚拟现实视频看上去那么粗糙？

分辨率

Gear VR 可以支持超高分辨率(UHD) 的播放。在像素方面，UHD视频每一帧有 3840 像素宽 x 1920 像素高的大小。视频经常播放 30 帧每秒 （较低的分辨率也支持高帧率）。Galaxy S6 手机显然是能够轻松地播放 4k 视频的。但这分辨率实在太低，看不到太清的图像。
 要明白个中原因，我们需要回答关于分辨率的两个不同的问题。我们看这个Galaxy 屏幕的显示分辨率是多少呢？ 让我们把它叫做屏幕分辨率。第二个问题是，在头显中我们可以看到多大的UHD图像 ？我们把它叫做视场分辨率。
 Galaxy S6 的屏幕分辨率为 2560 x 1440 像素。所以每只眼睛可以看到 1280 x 1440 像素的图像，通过Gear VR的单个透镜进行查看。
 [题外话 ︰ Gear VR 镜头会扭曲图像，实际分辨率是 1280 x 1280。每只眼睛可以看到 1280 x 1280 的图像。还不算太糟糕，但这并不是全屏。但在超过 500 像素 / 英寸的图像下，这应该足够使图像变得清晰。]
 让我们回到视场分辨率上。记得视频的每一帧是 3840 × 1920 像素，但是这个视频的每一帧都需要填补 360 ° 的水平视图和 180 ° 的垂直视图。对于Gear VR来说 ，视场是 96 ° — — 超过 360 ° 视图的四分之一多点。当我们查看图像时，我们只会看到一个小方形截面。我们移动头的方向的时候，视野图像就需要更新， 而软件显示的这小部分视图正是我们在某一特定时刻所能看到的图像。这个小方框就被叫做视场。
 视场只是完整的 360 ° 全景视频的一小部分
 简单的数学运算显示，每一度的视图对应 10.6667 的像素 (1920像素/180 度 = 10.6667 像素/度)。乘 10.6667 x 96的话，你得到的是 1024。
 所以我们透过头显看到的图像是 1024 x 1024 像素 （最多），但显示的大小是 1280 x 1280 像素。还有为什么视频看起来那么粗糙呢。 用软件剪切出来的这一小段视频比显示的分辨率要小。因此软件需要拉伸图像来达到视场所需的分辨率。这还是以较低的标准来衡量的，因为Galaxy 手机需要同时解压图像并把图像投射到屏幕上。这样的结果是，图像会有一点点的粗糙。但 20%的程度不算什么大问题。

立体使它变得更糟

 到目前为止讨论的显示问题都只和单源视频有关 （每只眼睛都看到相同的图像）。若要增加沉浸感，立体显示是首选， 每只眼睛看到的偏移图像将会欺骗你大脑的深度感知。对于Gear VR ，立体显示能真正提高现实感。立体图像看起来更加逼真，这是因为偏移量有助于区分场景中的物体。对Gear VR来说， 一些 3D 游戏可以在立体环境中操作，使玩家觉得更加真实。
 每只眼睛在理想情况下应该得到高分辨率的 360 ° 视图。这就要求我们在一维空间把分辨率加倍，例如垂直情况，每只眼睛都要单独看到图像。
 如果一般的 UHD 视频是 3840 × 1920，每一帧提高一倍分辨率图像将会变成 3840 x 3840的超大图像，这需要硬件支持。但是我们只能将此超大的视频打包在 3840 × 1920 框架上。左眼和右眼共享同一帧的画面，每只眼睛将获取 3840 × 960 像素的图像， 想要覆盖完整的视图，就必须垂直拉伸。
 立体图像从头到脚打包在 3840 x1920 像素里。视场会被垂直挤压 50%。”Image Credit的 鲍勃达斯表示 （Bob Dass） — — Flickr
 两个图像视图打包成一帧的结果是每只眼睛得到的分辨率要小得多。缩放比例 20%不是最好的。但缩放 150%（512 像素垂直拉伸到 1280像素） 会导致分辨率感知损失。无论你的格式填充在哪里， 你都会失去一半的分辨率。

流媒体使其变得更小

 当我们看着流式视频的时候，情况会变得更糟。 YouTube 360 ° 和其他流式视频服务的分辨率会比4k分辨率低， 这是因为很少有观众有足够大的宽带来观看UHD视频。 因为播放的视频是从互联网上的一个服务器下载观看而不是在本地设备上直接观看，所以他们降低分辨率来保持稳定的流媒体体验。通常， 图像会在 2048 x 1024 的分辨率上上显示。使用上面的公式计算的话，YouTube 每帧 540 x 540 像素的视场分辨率就足够了。360 ° 视频流媒体播放高清分辨率的视频时候， 真的像在看一台只有 720 x 480 或 720 x 576分辨率的旧电视 ，而且它必须拉伸 230%才能全屏播放，这就是为什么播放立体声 VR 视频的时候， 会看起来会很粗糙。
 越大越好
 对于目前的播放设备例如 Galaxy S6 （甚至是即将发布的Oculus Rift ），略大于显示器分辨率的视场分辨率会有帮助。把稍大的图像缩减一下会使图像看起来更加平滑并将减少失真和噪点。
 1536 × 1536 像素分辨率会是一个好的分辨率。这比显示器分辨率大 17%左右，在我们的测试中，它的体验有了很大的改善。我们继续使用上面提到的公式， 如果我们想要用1536像素来覆盖 96 ° 视场的话，我们需要 16 像素/度的分辨率。乘以360 ° × 180 °，你将得到 5760 x 2880 的分辨率。结果显示我们需要近 6000 像素以获得更高覆盖率的图像。
 那立体声呢？记住，对于立体图像，理想的情况是每只眼睛都能看到高分辨图像 （一个聪明的办法是把左眼和右眼钉在一起） 。粗糙的计算，这至少需要 5760 像素宽 5760 像素高的视频文件。这相当于 3千3百万像素的视频。即使有千兆位网速或 5 G 无线网络和更好的压缩， 制作能播放3千3百万像素视频的头显将会成为一个巨大的挑战。