在移动终端上实现沉浸式的VR体验

摘要：为了使头显VR达到沉浸式效果，需要在视觉、听觉以及用户体验上提高，这对处理器及工具软件提出了挑战，高通已有相关的解决方案。

VR时代正在到来

VR(虚拟现实)是划时代的革命产品，可以给人们带来真实的感受，可以让你去一些你无法去的地方，让你身临其境地感受到现实生活中无法感受到的一些体验，比如观看美国大峡谷的日落，可以360°欣赏景色，还可以听到真实的鸟鸣和瀑布声。

　　上个世纪90年代曾掀起过VR热，但那时仅仅是昙花一现，因为当时无论从生态链的内容角度还是从技术角度，都没有达到一个可以使VR进入到平常百姓家的能力。VR今天已经是时候爆发了，日本等地已经把2016年看作是VR元年，而且VR很可能成为继电脑和手机之后的下一个热潮。

　　移动手机业对于未来最被看好的VR主流形态——一体机VR有巨大的推动作用。现在很多做VR设备的人是做手机和平板的设备厂商，不管从硬件系统架构还是从生态链和供应链上，跟手机的关系是非常紧密的。手机拥有很大的体量，拥有大规模效应，可以极大拉低从芯片到外围器件的成本。手机还有非常快的迭代周期，大部分厂商一年甚至不到一年就能替代一代产品。可见，手机和VR打通管道之后，能够被大众接受的难度就大大降低了。

　　从设备体验看，需要从三个角度来提供手机的沉浸式体验的感受(如图1)。首先，视觉方面，需要有超高分辨率的支持，需要在芯片前端做图像转换的功能;声音侧也会提供真实的分辨率声音、高清声音以及3D声音的一些算法;在交互上，高通也会针对目前所提供的用户调查报告以及人体工程学的数据，从头部运动到画面随动上面，从用户交互、手势跟踪、眼球跟踪等方面，以及用户头部旋转和运动移动的位置跟踪上，优化移动VR的体验。

视觉

　　*视觉处理

　　视觉是体验感最关键的因素。如果我们把目前的2K手机插到VR盒子里看，可以明显地看到三格效应。因为人的视角非常广阔，有超过180°的视角，但真正能感受到比较多信息的视角约在50°~60°(如图2)。当视角超过100°、120°的情况下，目前的手机或者电脑的最高分辨率也无法达到目前我们对VR的需求。目前手机4K被普遍认为是没有必要的，只是额外增加手机功耗。但对于VR来说，4K、8K远远没有达到要求，有可能到10K以后才能达到视网膜屏幕的解析度。

　　目前市面上已经出现了眼球跟踪技术及产品发布。所谓眼球跟踪技术，因为人真正能注意到的视角很窄，可能只有20°、30°，余光看到50°、60°以外是获取不到太多信息的。根据人体功能学的这一特点，我们可以在画面渲染时增加眼球跟踪技术，这样就可以知道目前用户的眼睛盯在什么地方，并在眼睛盯着的范围之内重点做100%的全景渲染，而在周边区域可以慢慢降低渲染程度，比如只渲染一半的像素，另一半像素只需要通过一些其他算法做一些模糊效果即可。所以当眼球跟踪技术的时延达到一定程度，人的眼睛是完全感觉不到的。此技术最大的好处是大大减少了CPU图形渲染的工作量，同时提高了渲染效果以及CPU运行的效率。

　　另外，目前VR领域因为镜片的简单造成了图片的畸变。因为现在的VR眼镜不可能像传统的专业单反相机或专业镜头，可以用多组镜头实现。现在的VR基本上是一组凸透镜，这是无法达到中间和边缘都一致的效果。所以如果一个正方形的图像显示在VR屏幕上，且仅通过一组透镜到达人眼的效果，会发现四个角会被明显拉长(如图3右上)。所以在CPU侧的前端要做一些补偿。

　　CPU怎么补偿?我们会在显示上做一个桶形的图像(如图3左下)，如果你看手机上一些这种类型的VR，看的时候把手机摘下来，你会发现左右的形状是桶形，但是最后通过凸透镜可以变成正方形。

　　还有一点也是目前VR没法改变的情况，就是在边缘处，由于可见光的不同颜色的光的波长不一样，会通过透镜边缘出现色散的问题(如图4上)，这需要色彩校正。方法是做反向处理，将原来一个点变成三个点，通过凸透镜折射之后，形成一个方向的曲线，这样可以看到边缘和中间一样清晰。所有这些技术都需要在送到显存的时候就要做优化。

　　*360°全景

　　VR宣称可以360°看到图像，所以从源端到设备端都需要整个产业链共同推进。我们看到源端360°采集是多种多样的，从大而笨重的设备去采集，到现在由于算法升级，所以摄像头的相机数量可以减少到三四个、两个鱼眼镜头，所以我们可以不断地推进，包括采集设备、360°全景照片的编码格式等，都需要整个业界做促进和统一。

　　而在VR设备端，需要针对目前没有达到统一的360°视频形式做各种适应的编/解码，甚至需要左、右眼区别对待。

　　*3D效果

　　3D带来景深效果。当我们看3D电影或者玩3D游戏时，可能需要CPU分辨左、右眼，让大家感受到景深/3D效果。原理众所周知，因为人的左、右眼之间有距离，不同景深对应人的左、右眼的图像不一样。当图6中一个红点遮挡汽车时，左、右眼不仅在视网膜上投影有位移，同时汽车的位置也有位移。所以我们在很多全景游戏和3D游戏方面，需要在CPU上做左、右眼的渲染。

听觉

　　目前VR的听觉虽然没有视觉那么被重视，但是在整个VR的沉浸式体验中也是非常重要的，其中包括高分辨率的声音以及基于3D的定位声音。目前如果我们用手机或者电脑来听音乐、看电影，如果要分辨声音从什么地方传过来，通常是通过声音的强度来判断的：如果来自左声道，你会发现左声道声音大，右声道声音小，但是这远远达不到3D的效果。我们还需要声音达到左、右耳时有微小的时延，而且不仅是左右，还有上下、前后，以及斜前方、斜后方等位置。我们还要通过算法，体验到声音已到我们面前了;我们也可以随时改变这个函数，达到最真实的效果。

　　另外，当声源开始移动时，这时也一样可以通过传输的函数计算出来，在任何一个时刻它传到左、右耳的效果是什么样。而且还有根据人体工程学和耳道模型做的耳道传输函数，会考虑人的耳廓、外耳、中耳和内耳的人体工程学结构，考虑到你的反射，以达到最好的效果。

　　还有一些声源在不同的室内环境，诸如浴室、卧室、客厅，或者在展馆、室外，会产生不同的反射和效果，这是游戏开发者在做游戏时需要重点考虑的方面。目前PC游戏基本可以达到令人满意的效果，但是在VR上要考虑人的头部转动和声源变动，因此变量复杂得多，计算过程也更复杂。

　　目前高通领先的手机芯片骁龙820会支持音频的功能，像高分辨率的音频及噪声技术，以及同时进行音频和视频的处理。

用户交互体验

　　时延被认为越短越好。关于头部的运动，目前市面上看到的大部分一体机或者分体机，基本有三个维度的头部运动：X轴、Y轴和Z轴(如图7)，手机陀螺仪就用于此，只不过VR上把陀螺仪频率提高了一点，提高到1000Hz或者800Hz。

　　但是实际上，当考虑三个维度时，陀螺仪已无法达到准确控制了，因为会有很多漂移。但是我们有一种技术——结合摄像头技术，摄像头可以放在VR前端，这样摄像头再结合陀螺仪的感应器一起工作，再通过复杂的算法，就不需要任何外界设施，只需要安装两个可以发出可见光或者不可见光的扫描设备做移动的检测，利用周围静止的物体作为参考，再结合陀螺仪就达到头部转动、垂直和平移的跟踪。

　　*延迟

　　很短暂的延迟是让用户没有任何感觉的，但是当延迟达到一定程度后，用户会感觉到有明显的眩晕感觉。时间是多少比较合适?20ms是目前VR不感到头晕的时间点。

　　为此我们主要做三件事情，1.头部运动旋转一个角度时，需要感应头部的运动。目前手机是在100Hz，采样周期10ms，但这么低的频率是没法满足要求的。我们考虑高频方案，在三个采样上只浪费了不到1ms。2.图像处理之后，我们需要根据运动随时产生新的图像，同时需要根据特殊情况产生左右眼分别两幅图像，然后再进行渲染，以及做到色差的校正。3.送到显存，再通过TFT显示让用户感觉到图像随着头部在做运动。

　　如上所述，我们需要在每一件事情上做优化，VR显示技术是用了响应时间较短的屏幕刷新来实现较高的刷新率，例如90Hz、100Hz，这也是大大减少VR延迟的好办法。所以中间这部分就留给高通等芯片厂商做GPU或者CPU的处理。

VR对处理器芯片的需求特点

　　在移动VR设备当中有一个很艰难的挑战，它不像目前的PC的VR可以通过PC来取电，因而比较轻便。但是移动VR设备的工作量却没有降低，完全不输于PC的CPU，而电源功耗要求会比PC的VR严格很多。在系统端，从CPU到屏幕，整个系统的功耗决定了VR设备的体验。

　　这两个需求是相悖的，但是又是相互关联的。当芯片显示技术做到较好的省电技术，这时留给工程师做设计的空间就大了很多。所以高通立志在芯片端提高电池效率，包括眼球跟踪技术可以极大提高CPU效率，这样让VR设备厂商在VR设计时可以有更大的自由度，设计出更加轻便、省电、漂亮的VR设备。

　　目前VR对于芯片端的功能模块的需求是非常高的，因此高通主推高端手机芯片—骁龙820。骁龙820里面有DPU、DSP、GPU以及CPU等。此外，高通也发布了针对于游戏和视频开发者的SDK(开发者套件)，包含很多东西，有针对用户交互体验以及视觉、听觉优化出来的用户接口，可以供开发者去调用，比如有DSP的技术以降低时延，也有色差校正来提高边缘的效果，还有双眼的渲染，单显存的机制。

小结

　　视觉、听觉和交互提高了移动式一体机的体验。我们坚信一体机最终会成为市场的一个主流，可以替代目前移动不便的PC的VR，也可以替代目前为了追求低成本而制造出来的插卡式手机VR，而达到一个理想的沉浸式体验。高通骁龙820将把领先的技术集成到VR当中去。

本文来源于中国科技期刊《电子产品世界》2016年第5期第15页，欢迎您写论文时引用，并注明出处。