1、 Cloud VR 黑边与网络时延关系研究白皮书 1. 黑边介绍 1.1 什么是黑边？ 1.2 黑边是如何产生的？ 1.2.1 Cloud VR云渲染核心技术：端云异步渲染技术 1.2.2 端云异步渲染引入黑边现象，影响用户体验 1.3 黑边主要受时延和转头角速度影响 03 04 04 06 07 前言 目录01 Cloud VR 黑边与网络时延关系研究白皮书 2. 黑边与用户体验的关系研究 2.1 如何量化黑边对用户体验的影响？ 2.1.1 针对真实业务内容特点，构造黑边可量化的体验样本 2.1.2 测试人员对黑边样本进行主观体验评价 2.1.3 关联量化黑边与用户主观体验 2.2 黑边与用

2、户体验的映射关系 目录02 09 10 10 11 11 3. 黑边与网络时延的关系研究 3.1 测试环境 3.1.1 测试组网 3.1.2 云渲染系统参数设置 3.1.3 Wi-Fi环境 3.2 测试与分析方法 3.3 测试结果：保障好的体验要求网络时延在20ms以内 12 12 13 13 14 15 前 言 黑边是 Cloud VR 强交互业务体验中常见的现象， 是影响用户体验的关键要素。 基于产业现状， 本白皮书希望与产业共同探讨保障 Cloud VR 良好体验对黑边及网络时延的要求。 白皮书阐述了黑边现象及其产生原理，黑边大小主要受时延和转头角速度影响，因此此次研究基于 真实业务的内

3、容特点， 选择具有典型转头体验需求的强交互业务类型， 量化黑边对用户体验的影响， 研究黑边大小与网络时延的关系， 进而给出保障 Cloud VR 好的体验的网络时延建议。 黑边介绍03 用户在体验 Cloud VR 强交互业务 （如游戏） 时， 经常有左右转头观看画面的需求， 在转头过程中， 视场角范围的边缘处 常常出现黑色区域或类似 “拖影” 的区域， 即为 “黑边” 现象， 如下图所示。 图 1-1 黑边示意图 无黑边无黑边 黑边（ “拖影”形式）黑边 图片来源：VR 游戏滑雪 2 1.1什么是黑边？ Cloud VR 黑边与网络时延关系研究白皮书 黑边介绍04 1.2.1 Cloud V

4、R 云渲染核心技术：端云异步渲染技术 （1） Cloud VR 方案的关键约束是 MTP20ms 与本地 VR 一致， 晕动症是 Cloud VR 需要面临的首要难题。 晕动症是由于用户视觉与前庭系统感知的运动状态不一致 引发的症状。 当前业界主流观点认为， VR 终端的 MTP （Motion to Photon， 动作至显示） 时延不超过 20ms， 即人的头部 发生运动到双眼所见的图像发生变化的时间差在 20ms 以内时，可以较好地避免晕动症的产生。 因此，实现 MTP20ms 成为了 Cloud VR 方案的关键约束。 （2） 端云异步渲染方案：使 VR 上云后 MTP20ms 成为可

5、能 Cloud VR 处理主要包含动作捕捉与上报、云渲染及流化、终端屏幕刷新与显示等几个过程。 其中云渲染及流化是指 Cloud VR 终端动作信息从终端经过网络传到云端， 云端完成逻辑计算、 实时渲染及编码压缩后， 将视频流通过网络传输至终 端进行解码的过程。 Cloud VR 强交互业务通过端云异步渲染技术来缓解晕动症难题， 但却引入了在转头时易产生的黑边现象， 影响了画面 质量和用户的转头体验。 图 1-2 Cloud VR 流程示意图 动作捕捉与上报 信令传输视频传输 终端解码 云渲染与流化 逻辑计算 基础渲染 编码压缩 头动渲染 屏幕刷新 屏幕显示 1.2黑边是如何产生的？ Clou

6、d VR 黑边与网络时延关系研究白皮书 黑边介绍05 本地 VR 在终端进行动作捕捉、 逻辑计算、 画面渲染及屏幕刷新显示等一连串处理， 要满足 MTP 时延要求已经是不小的 挑战。 Cloud VR 如果按照云渲染及流化和终端刷新显示串行处理的思路， 由于云渲染及流化过程引入了网络传输、 编解码等 环节， 将难以实现 MTP20ms。 端云异步渲染技术的核心思想是将云渲染及流化、终端刷新显示过程从串行处理分离成并行处理：云端进行基础渲染， 根据终端实时上送的姿态与位置信息进行逻辑计算、 渲染基础画面；同时， 终端进行头动渲染， 根据实时的姿态和位置信息， 对本地已有的基础渲染画面进行旋转、

7、平移、 扭曲等二次渲染生成实时显示画面。 此时 MTP 由终端来决定， 不再依赖于云端 渲染来完成对终端显示画面的刷新， 使 MTP20ms 成为可能。 图 1-3 MTP 完全无法保障的方案 云端 网络 串行处理 终端 动作捕捉与上报 姿态与位置第 N 次 刷新显示 画面第 N 帧 终端 解码 编码 压缩 逻辑 计算 基础渲染 画面第 N 帧 指令传输视频传输 图 1-4 MTP 可以保障的方案端云异步渲染技术原理图 云端 网络 并行处理 终端 动作捕捉与上报 姿态与位置第 N 次 基础渲染 画面第 N 帧 刷新显示 画面第 N 帧 终端 解码 编码 压缩 逻辑 计算 基础渲染 画面第 N

8、帧 头动 渲染 基础渲染 画面第 (N-n) 帧 指令传输视频传输 说明： 二次渲染， 指利用过去时刻姿态与位置信息触发形成的渲染画面， 根据当前最新与过去时刻的姿态与位置变化， 对渲染画 面进行画面旋转、平移、扭曲等处理，形成当前最新姿态与位置相应的显示画面。 典型的二次渲染算法包括异步时间扭曲 （Asynchronous Time warp， ATW） 、 异步空间扭曲 （Asynchronous Space warp， ASW） 等， 其中 ATW 技术主要解 决头部姿态的变化， ASW 技术主要解决头部位置变化。 Cloud VR 黑边与网络时延关系研究白皮书 黑边介绍06 在端云异步

9、渲染技术中， VR 终端根据头部姿态的变化， 使用头部渲染将基础渲染画面扭曲到新视角时， 新增的视角范围 内将没有画面， 则会形成黑边现象， 如下图所示。 当 VR 终端采用的头部渲染算法不同， 黑边的呈现形态也会有所不同， 除了典 型的黑色区域， 有些算法会对黑边部分进行像素点填充， 比如使用黑边与画面间的像素点填充， 则会形成类似图1-1的 “拖影” 的现象。 黑边现象会影响用户转头时 Cloud VR 画面质量， 从而影响用户体验。 为减小黑边对体验的影响， VR 云端基础渲染可以进行超视角画面的渲染， 即增大渲染画面的角度， 确保转头过去的视角 也有画面。 但超视角画面渲染将增加渲染和

10、编码的成本，增大云渲染与流化时延。 如果 FOV=101时，云端基础渲染画面每 个方向都增加 5进行渲染， 此时对云端资源消耗将增加 21%， 因此超视角画面增加渲染的角度一般很小。 头动视角差值 黑边 原始 FOV 1.2.2 端云异步渲染引入黑边现象，影响用户体验 图 1-5 黑边原理图 FOV 传输 画面 Cloud VR 黑边与网络时延关系研究白皮书 黑边介绍07 根据端云异步渲染原理， 终端的显示画面始终是基于一个 （动作捕捉与上送 + 云渲染与流化 + 头动渲染） 时延周期前的 姿态信息， 触发云端渲染生成的基础渲染画面， 进行头动渲染后生成的， 如下图所示， 因此当前姿态和一个

11、（动作捕捉与上送 +云渲染与流化+头动渲染） 时延周期前的姿态的差值， 决定了基础渲染画面需要偏移的角度， 即黑边的视角大小。 黑边角度， 本质上就是用户在一个（动作捕捉与上送 + 云渲染与流化 + 头动渲染） 时延周期内的转头角度。 在此次研究中，使用一款固 定的头盔， 动作捕捉与上送时延以及头动渲染时延基本固定且相对较小， 因此研究将重点关注云渲染与流化时延。 如果云端做 了超视角画面渲染， 则黑边角度需要减去单个方向超出渲染的角度。 综上， 黑边角度主要受到了云渲染与流化时延和用户的转头角速度影响， 理论上有： 黑边角度云渲染与流化时延 用户转头角速度 - 超视角渲染增加的角度 （单方向

12、） 目前业界方案云端渲染画面的 FOV 与终端的 FOV 一般是相同的， 没有增加渲染的角度。 1.3 黑边主要受时延和转头角速度影响 图 1-6 Cloud VR 各环节发生时刻的关系 动作捕捉时刻 姿态与位置信息 上送时刻 基础渲染画面 在终端完成解码的时刻 头动渲染开始时刻 终端刷新与显示时刻 动捕 N 基础渲染画面 N-2 头动渲染 N+1 头动渲染 N+2 显示画面 （头动渲染） N+2 显示画面 （头动渲染） N+3 基础渲染画面 N-1 姿态与位置 N+1 姿态与位置 N+2 姿态与位置 N+3 动捕 N+1 动捕 N+2 动捕 N+3 姿态与位置 N 动作捕捉与上送时延 头动渲

13、染时延 基础渲染画面 N 头动渲染 N+3 云渲染与流化时延 Cloud VR 黑边与网络时延关系研究白皮书 黑边介绍08 云渲染与流化时延由云端处理时延、 网络传输时延和终端处理时延组成。 本白皮书将重点研究网络时延对黑边的影响， 网 络时延影响指令与视频传输时延， 进而影响云渲染与流化时延。 为了研究网络时延与黑边的关系， 在研究中将尽量使云端处理 时延和终端处理时延保持稳定， 以当前业界 Cloud VR 云渲染方案的能力， 在网络传输时延几乎可忽略不计的情况下， 云渲 染与流化时延约为 5060ms。 图 1-7 云渲染与流化时延及其组成 网络传输时延 指令传输逻辑计算基础渲染编码压缩

14、视频传输终端解码 云端处理时延 云渲染与流化时延 网络传输时延终端处理时延 Cloud VR 黑边与网络时延关系研究白皮书 黑边与用户体验的关系研究09 华为 iLab 一直致力于 Cloud VR 用户体验研究， 前期经过系统的研究发现， 画面的花屏及卡顿、 操作响应与运动感知的 迟滞感以及转头黑边等现象， 是影响强交互业务体验的主要因素。 其中， 黑边现象对时延的增加最为敏感， 容易引起用户体验 的劣化。 本白皮书研究黑边与网络时延的关系， 需要给出保障好的体验的网络时延需求， 本质上是探讨用户业务体验与网络时延 的关系， 因此本章将首先研究、 量化黑边程度与用户业务体验的对应关系。 量化

15、黑边对用户体验的影响， 是将主观体验通过客观指标 数据呈现出来的过程，参考业界人因工程研究方法，本次研究 思路如下： 图 2-1 黑边与用户体验关系研究思路 2.1 如何量化黑边对用户体验的影响？ 用户 关联分析 不同黑边大小的样本 客观指标主观体验 黑边与用户体验对应关系 主观体验评价 体验测试 Cloud VR 黑边与网络时延关系研究白皮书 黑边与用户体验的关系研究10 由于黑边大小与用户转头角速度相关， 在构造量化黑边的样本之前， 需要综合考虑真实业务的内容特点， 选择具有典型转 头体验需求的内容。 Cloud VR 强交互业务有多种内容类型， 从转头体验需求的维度来看， 主要有以下两种

16、典型类型： 慢转头类：以正对前方进退或站在原地不动为主、 伴有小幅度且慢速转头的内容， 比如虚拟滑雪游戏等。 快转头类：以经常转头或环顾四周寻找目标进行射击或躲避的内容， 往往需求用户快速、 敏捷、 较大幅度地转动头部， 是有典型转头体验需求的内容， 比如射击类游戏黑盾等。 结合真实业务的特点， 此次将重点选择一款趣味性足、 颇受 Cloud VR 用户欢迎、 场景较激烈的快转头、 射击类游戏来展 开研究。 针对该款游戏， 构造出不同黑边占比的录屏内容， 作为不同程度黑边场景下的体验样本。 黑边占比测量方法：播放录屏内容，对黑边画面进 行截屏， 在黑边画面高度的中线处， 水平测量单眼画面总 宽

17、度和黑边宽度，黑边宽度除以单眼画面总宽度作为黑 边占比。 图片来源：VR 游戏 黑盾 。 2.1.1 针对真实业务内容特点，构造黑边可量化的体验样本 黑边占比为 20% 的情形 黑边占比为 10% 的情形 黑边占比为 30% 的情形 游戏黑边样本示例 在此次分析测试中， 共有五位测试人员对黑边样本进行体验， 每位测试人员在体验后， 进行主观体验评价。 2.1.2 测试人员对黑边样本进行主观体验评价 Cloud VR 黑边与网络时延关系研究白皮书 经过人因工程测试分析后， 结论如下： 最优的业务体验要求零黑边。 良好的用户体验对黑边可以有一定的容忍度， 要求黑边占比不大于 15%。 说明： 1)

18、 业务体验评价是通过用户主观测试得到的， 具有很强的个体主观性。 2) 不同的内容场景， 黑边被用户感知的程度也可能会有所不同。 3) Cloud VR 业务的发展仍处于早期阶段， 体验仍有很大的提升空间。 同时， 不同的体验要素也会相互制约、 共同影响用 户的体验。 测试中的业务体验评价是相对的， 随着业务体验的不断提升， 用户对体验的需求将被逐步激发， 要求会越来 越严苛， 该表中的黑边数值、 体验评价等都将会发生变化。 综合测试人员的主观体验评价结果， 与测试样本的黑边占比进行关联， 最终给出黑边占比与业务体验的对应关系。 2.1.3 关联量化黑边与用户主观体验 2.2黑边与用户体验的映

19、射关系 黑边与用户体验的关系研究11 体验评价 优秀 良好 较差 无黑边 黑边占比15% 黑边占比15% 黑边占比 Cloud VR 黑边与网络时延关系研究白皮书 3.1.1 测试组网 3.1测试环境 黑边与网络时延的关系研究12 角色 Cloud VR 云渲染系统 AP VR 头盔 RH2288 V3 服务器、M60 显卡 HN8255Ws Pico Neo（6DoF） 设备型号 VR 头盔 Pico Neo Cloud VR 云渲染系统 RH2288 V3+Tesla M60（8G） AP HN8255Ws 交换机 网络损伤仪 （设置网络时延） 距离 35 米 网络损伤仪 图 3-1 测试

20、组网 Cloud VR 黑边与网络时延关系研究白皮书 黑边与网络时延的关系研究13 3.1.2 云渲染系统参数设置 3.1.3 Wi-Fi环境 参数 游戏 分辨率 黑盾 2880*1600 50fps H.264 设置 编码方式 码率（编码模式） 传输协议 40Mbps（CBR） TCP 参数 频段 信道（频宽） CU（空载时） 5GHz 36-50（80MHz） 4% 以下（尽量无干扰） 设置 / 记录 帧率 Cloud VR 黑边与网络时延关系研究白皮书 黑边与网络时延的关系研究14 1. 分析用户测试典型转头体验需求游戏时的转头行为： 用户转头角速度测试方法：将安装了陀螺仪数据统计软件的

21、手机绑在 VR 头盔上，测试者佩戴头盔后体验强交互 业务 （游戏） ， 利用手机陀螺仪记录头部转动角速度数据。 经测试数据分析发现，测试者在体验具有典型转头体验需求的强交互业务时，头部转动幅度大约在 100120 度之 间， 转头角速度大约在 160220 度 / 秒之间。 2. 在不同网络时延条件下， 测试并记录数据： 通过网络损伤仪， 设置不同的网络时延。 测试者进入游戏进行体验测试， 在测试者体验过程中， 通过 VR 头盔录屏， 采集测试者实际观测画面。 3. 分析测试结果： 通过录屏， 识别出每次转头测试中的最大黑边画面， 并计算黑边占比， 给出黑边与网络时延的关系。 结合黑边与用户体

22、验的映射关系， 给出保障好的体验的网络时延要求。 3.2测试与分析方法 图 3-2 用户体验真实强交互业务的转头角速度监测数据 用户体验真实强交互业务的转头角速度转头角速度（/s) Cloud VR 黑边与网络时延关系研究白皮书 黑边与网络时延的关系研究15 针对具有典型转头体验需求的游戏， 保障好的体验要求黑边占比在 15% 以内， 网络时延在 20ms 以内。 从测试结果来看， 随着网络时延的增大， 黑边占比与网络时延并不严格遵循线性关系。 这主要是由于所使用的传输协议引 起的， 随着网络时延的增大， 会加剧对指令与视频传输时延的影响。 3.3测试结果：保障好的体验要求网络时延在20ms以

23、内 12.00% 14.00% 16.00% 18.00% 10ms12ms14ms16ms18ms20ms22ms24ms26ms 网络时延 黑边占比 黑边占比与网络时延的关系 图 3-3 黑边与网络时延的关系 Cloud VR 黑边与网络时延关系研究白皮书 黑边与网络时延的关系研究16 图 3-4 用户体验与网络时延的关系 网络时延 10ms12ms14ms16ms18ms20ms22ms24ms26ms 用户体验 优秀 良好 较差 用户体验与网络时延的关系 Cloud VR 黑边与网络时延关系研究白皮书 华为技术有限公司 深圳龙岗区坂田华为基地 电话：+86 755 28780808 邮编：518129 免责声明 本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因 素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺，华为不对您在本文 档基础上做出的任何行为承担责任。华为可能不经通知修改上述信息，恕不另行通知。 商标声明 是华为技术有限公司商标或者注册商标，在本手册中以及本手册描述 的产品中，出现的其它商标，产品名称，服务名称以及公司名称，由其各自的所有人拥有。 ，