1、 华为 iLab 极致体验 VR 技术白皮书 面向 VR 业务的承载网络需求白皮书(2016) 华为 iLab 发布 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 1 1 VR 业务和应用概述业务和应用概述 虚拟现实(VR)被誉为“下一代互联网”和“下一代计算平台” 。根据业界的共识，VR 是计算机构造出虚拟环境（Virtual Environment） ，这一环境可以来自复制的真实世界，也可以是想象的灵境，人在这一具备立体空间信息的虚拟环境之中进行实时的互动。 VR 具有多感知性（Multi-Sensory） ，根

2、据 J.J.Gibson 提出的概念模型：人的感知系统可划分为视觉、听觉、触觉、嗅/ 味觉和方向感等 5 部分。因此 VR 应当在视觉、听觉、触觉、运动、嗅觉、味觉向用户提供全方位的表现， MPEG 研讨会议上，也认为 VR是一种不同于视频和音频的新媒体类型。 根据这一定义，VR 的概念覆盖了很多种关键技术和应用形态。例如 VR 涉及的关键技术包括： 360 全景视频； 自由视角技术(Freeview-point)； 计算机图形学(Computer Graphics)； 光场技术(Light Field ) 等 基于上述关键技术，VR 可以衍生出很多应用形态(application)。例如基于

3、 360 全景视频技术的在线点播和事件直播，基于自由视角技术的在线点播和事件直播，基于计算机图形学的 VR 单机游戏、VR 联网游戏、VR 仿真环境等。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 2 这些应用形态也会对应到不同的市场场景(scenarios)， 例如高盛将 VR 的市场领域分为游戏、事件直播、娱乐视频、医疗保健、房地产、零售、教育、工程和军事。 VR 的三要素是： Spatial用户感知到的虚拟环境信息是立体空间的，蕴含着海量信息。 Interact用户能够和虚拟环境中的空间数据以及其他用户进行信

4、息互动， 信息在用户间形成连接与流动。 Real-Time用户在虚拟环境中的信息互动是实时的，要求信息连接的实时性。 根据 VR 的三要素，无论是哪一种 VR 应用，在变为网络在线应用时都涉及海量信息的实时连接和流动，都会不可避免地对网络架构产生新的影响和挑战。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 3 2 VR 360 视频是最先繁荣的在线视频是最先繁荣的在线 VR 业务业务 2.1 VR 360 视频产业发展趋势分析 VR 360 视频提供了观察者所在物理位置上水平方向（经度）360 度、垂直方向（纬度）

5、180 度全包围的物理空间视域，用户可以通过改变头部的位置、或者通过鼠标、遥控器等输入设备实现视角的切换，从而带来身临其境的体验。 结合对用户、技术、硬件、内容、标准等产业要素的分析，我们认为在 VR 的诸多关键技术和应用形态中，基于全景视频(Panoramas)技术的 VR 360 视频将成为最先繁荣的在线(Online)VR 应用。 根据高盛 2016 年发布的 VR/AR 产业报告，基于 360 全景技术的 VR 事件直播和 VR 视频娱乐到 2020 年将拥有 5200 万用户，其中事件直播 2400 万，视频娱乐 2800 万，占VR 应用领域全部预期用户（1 亿 3 千万）的 40

6、%，而到了 2025 年，VR 360 视频的用户群将达到 1 亿 7 千 4 百万，其中事件直播 9500 万，视频娱乐 7900 万。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 4 单位：万 目前，在互联网行业的率先布局带动下，VR 360 视频的内容源和用户群已初具规模： 近一年来的在线近一年来的在线 VR 360 视频内容源视频内容源增长迅速增长迅速。Youtube 设置了 360 视频专区，新上传的VR 360视频达8000多部;为Samsung Gear和Oculus CV1提供内容的Oculus 3

7、60 Video市场片源数量已达 1000 部以上;Vrideo 是专注于 360 视频的内容平台，为 HTC Vive、Oculus 和 Samsung Gear 提供高质量的 360 视频在线内容，其中全视角 4K 分辨率的 360视频已达 400 多部，占其总量的 70%；国内传统的互联网视频公司优酷、乐视和爱奇艺也已设置 360 视频专区，专注于内容生态的建设，片源多为自制的综艺类节目，数量也已有数百部；Next VR 的在线业务包括 VR 360 直播/回放、VR 360 电影和纪录片点播，已成功地为 NBA、 美国高尔夫球公开赛、 国际冠军杯等知名赛事进行了高质量的 VR 360直

8、播。 VR 360 视频消费同样飞速增长视频消费同样飞速增长。VR 视频的用户群和点击量也颇为可观，特别是热门视频。Youtube TOP N 的热门 360 视频日均点击可达 20.5 万，优酷 VR 频道热门 360 视频日均可达点击 4 万，Samsung Gear 也已拥有 100 万月活跃用户。 2.2 VR 360 视频用户行为趋势分析 2.2.1 用户业务渗透率预测 VR 360 视频业务的用户渗透率及其带来的流量趋势，对分析其对承载网架构的影响至关重要。 2016 年互联网女皇玛丽米克尔发布的互联网趋势报告显示，2015 年底全球互联网用户已达 30 亿，增长率呈稳定下降趋势，

9、连续四年维持在 10%9%之间。我们结合历史数据和咨询公司分析报告数据， 使用几种常用方法得到的全球互联网用户趋势数据如下： 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 5 年份 2015 2018 2020 2025 线性趋势预测 (9%8%之间) 30 亿 38 亿 44 亿 58 亿 二项式趋势预测 30 亿 38 亿 44 亿 62 亿 分析师报告 / 36 亿(eMarketer) / 47 亿(微软) 结合上述数据，我们可取 2020 年和 2025 年的全球互联网用户数的预测值为 44 亿和 60亿。

10、根据高盛报告给出的 VR 360 视频用户数预测，届时用户渗透率如下： 应用业务渗透率 2020 年 2025 年 VR 娱乐视频 0.55% 1.32% VR 事件直播 0.65% 1.58% 2.2.2 用户观看习惯和平均流量预测 如前文所述，在 2016 年现有的 VR 技术下，由于终端和内容的体验问题，用户单次观看时长很难超过 20 分钟。在 VR 360 视频普及的过渡期，业界会采用传统终端和 HMD互补的折衷方案。而随着终端和内容的体验的改善，用户单次观看时长也在不断增加。我们预测到 2020 年，用户单次观看时长最长可达到 60 分钟，到 2025 年，用户单次观看时长最长可达到

11、 120 分钟以上，与现在的传统长视频观看习惯相仿。 （1）视频娱乐视频娱乐 中国 VR 用户行为调查(2016)指出，目前 VR 用户的日均使用时间是 34 分钟，用于观看 VR 360 视频的时间约为 10 分钟。高盛报告则认为，VR 娱乐视频的潜在用户群与今天的 Netflix 在线视频用户类似。 从长期角度讲， 这也是 VR 视频内容的目标市场， 2025年 VR 娱乐视频应当达到 Netflix 传统视频用户的收视水平。而据 TDG Research 在 2015年的研究表明 Netflix 全球范围内的订阅用户日平均观看时长达到 93 分钟，这也是我们预测在 2025 年 VR 3

12、60 娱乐视频用户的日均观看时长。 考虑到终端的特点，我们认为 VR 360 娱乐视频的更多应用场合是家庭客厅，在用户在晚间休闲时段（19:00-23:00）和其他时段的使用时间占比为 8:2，也就是说，晚间休闲时段平均每小时用户观看时长可以视为日均观看时长的 20%。 由于一个用户群在并发使用业务时流量的削峰填谷效应， 可以视作用户使用业务产生的总流量在一小时内是均匀分布的，基于这个推论我们可以近似得到观看娱乐视频的用户产生的平均流量。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 6 年份 2016 2020 2

13、025 日均观看时长（分钟） 10 52 93 晚间休闲时段(19:00-23:00)比例 80% 80% 80% 晚间休闲时段(19:00-23:00)每小时每用户产生业务时长（分钟） 2 10.4 18.6 晚间休闲时段(19:00-23:00)流量 B:VR 360 视频码率 N1:网内 VR 娱乐视频用户数 2*60*B*N1/3600 10.4*60*B*N1/3600 18.6*60*B*N1/3600 （2）事件直播事件直播 根据高盛 2016 年报告，最初用户每年将观看 2 场事件直播。随着内容的丰富，观看数量会越来越多，2025 年将达到近 4 场。演唱会的时间长度多在 1.

14、5 小时到 2 小时之间；一场 NBA 篮球赛的直播时间长度在 22.5 小时之间；一场足球赛的直播时间长度在 2小时左右。综合取一场事件直播长度为 2 小时。考虑到事件直播的收视具有极其明显的潮汐效应，使用日均观看时长无法合理反映事件直播的用户习惯，应引入收视率来衡量其对网络的影响。收视率是指某一时段内收看某一节目的人数占观众总人数的百分比，我们认为一个直播事件可根据其影响范围和关注度，分为重大事件（如奥运会开幕式，抗战 70 周年阅兵） 、热点事件（如美国总统大选）和一般事件（如演唱会、综艺节目只有特定兴趣和偏好的用户会关注） 。 我们将获取到的历史上这些事件的直播收视率数据，作为分析的参

15、考。同时由于公知性常识，我们认为某个量级的事件收视率不会随着时代变迁而发生巨大变化，影响不同年代事件直播流量的因素更多取决于 VR 360 视频的码率和事件直播用户总数。 重大事件 热点事件 一般事件 收视率 R 8%-15% 2%-8% 0.5%-2% 事件直播期间流量 B:VR 360 视频码率 N2:网内 VR 事件直播用户数 N2*R*B （3）叠加情况）叠加情况： 年份 2016 2020 2025 直播事件发生在晚间休闲时段(19:00-23:00) 2*60*B*N1/3600+N2*R*B 10.4*60*B*N1/3600+ N2*R*B 18.6*60*B*N1/3600+

16、 N2*R*B 直播事件发生在其他时段 N2*R*B(其他时段的点播流量和晚间休闲时段相比较小，可忽略) 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 7 3 VR 360 视频的业务原理和网络要求 3.1 全视角和 FOV 用户在虚拟环境中的视野可以认为是一个空间球，左右横向全视角展开是 360 度，上下纵向展开是 180 度。用户在使用终端时，单眼实际看到的视觉信息只是全部球面数据的一部分，这部分面积由终端提供的视场角决定(Field of View，即 FOV)。 如 FOV 为 90 度，则单眼可视信息仅为球

17、面信息的 1/8；FOV 为 120 度，单眼可视信息仅为球面信息的 2/9 。如果在电视/Pad/Phone 等传统终端上使用 VR，视场角远小于 90度，则不涉及这一概念。 3.2 画质体验和交互体验 VR 面临的体验问题可分为感官体验问题和生理体验问题，业界迫切需要克服生理体验问题以加速 VR 普及。目前生理体验主要有四类问题，业界也在探索这些问题的改进方向。 问题问题 1：视觉信息质量。根据众所周知的常识，过低的画面质量引发的视觉疲劳会带来眩晕感。业界近几年的重点努力方向是 VR 360 视频的内容质量优化，提升分辨率和画质效果。 问题问题 2：头动和视野延迟（ Motion-to-P

18、hotons Latency, MTP） 。业界的主流观点认为，MTP 延迟不能超过 20ms， 否则会引起眩晕感。 目前领先的 VR 终端厂商如 Oculus、 HTC Vive 已经通过提升端到端软硬件性能，从传感追踪元件、显示屏技术、GPU 入手，已经将 Motion-to-Photons Latency 本地化削减至了 20ms。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 8 问题问题 3：运动感知冲突。如果运动反馈输出缺失，导致人的身体运动与眼睛看到的虚拟信息不匹配，因而产生眩晕感。要解决这个问题，需要

19、业界丰富 VR 终端的多感知性，提供包括视觉、听觉、触觉和动作反馈的融合能力，充分发挥 VR 新媒体的作用。 问题问题 4：视觉辐辏调节冲突（vergence-accommodation conflict） ：即调焦冲突，存在于利用双目视差原理的显示终端上。由于屏幕发出的光线并没有深度信息，眼睛的焦点就定在屏幕上，眼睛的焦点调节与视觉景深不匹配，从而产生眩晕。这一体验问题需要新技术解决，即通过光场记录和投影技术，记录并还原光从空间立体中的点发射的强度和角度，让人眼的视觉辐辏和焦点匹配。这一技术将在未来发展的更为成熟。 本章节主要对业界近年重点突破的两个问题进行阐述，视觉信息质量对应画质体验，头

20、动和视野延迟对应交互体验。 画质体验 由于虚拟现实中存在视觉全视角和 FOV 的区别，传统意义上描述 OTT 视频的分辨率对应于 VR 360 视频的球面全视角分辨率， 真正决定 VR 360 视频画质体验的是单眼分辨率(FOV 分辨率)，可换算为在 FOV 区域中每个角度可见的像素数量(Pixels per degree, PPD)。PPD 数值越高，视场的像素密度越高，画质体验就越好。正常视力的用户可分辨的 PPD 是 60，如果 PPD 大于等于 60，普通人眼将无法分辨像素点的间隔。 以 Youtube 的在线 VR 360 视频为例，4K 分辨率的片源，使用 H.264 编码最高等级

21、的平均码率约20Mbps， 但球面全视角4K分辨率在单眼下的实际可视分辨率为仅为960*960，对应到 90 度视场角的仅有每度 10 个像素， 远远低于正常视力视网膜要求的 60 个 PPD，实际视频体验比在传统 TV/PC/Pad 上看 SD 视频还差。 屏幕类型 屏幕大小(英寸) 观看距离(米) 宽度(米) 高度(米) 水平分辨率 垂直分辨率 PPD FOV TV 60 1.5 0.98 0.55 360 240 10 36 PC 24 0.6 0.39 0.22 360 240 10 36 Pad 10 0.25 0.16 0.09 360 240 10 36 由上述例子可知，由于 V

22、R 的沉浸性终端(HMD)拥有远高于传统终端(TV/PC/Pad/Phone)的视场角，决定了要达到同样等级的画质体验，相同的 PPD 要求 VR 360 视频具有更高的单眼分辨率和全视角分辨率。全视角的 4K 分辨率远不能达到满意的视频质量，加大分辨率到 8K 及以上是必须的。以 FOV=90 为例，全视角分辨率达到 8K 时，单眼分辨率为 1920*1920，对应 PPD=22；全视角分辨率升级 12K 时，单眼分辨率为 2880*2880，PPD 仅提高到 32。在后文中，我们会对 VR 360 视频的画质体验演进路线进行阐述。 交互体验 根据学术界的研究成果，从用户和虚拟环境（VE）之

23、间的交互体验角度进行分类，VR应用可分为弱交互式 VR(Weak-Interactive VR)和交互式 VR(Interactive VR)。VR 360 视频属于弱交互式 VR 的一种，用户只能被动体验虚拟环境中预先拍摄好的内容，用户可以通过转头等方式改变视点，但用户无法和虚拟环境之间发生实质性交互行为。 由此可知，VR 360 视频的交互体验主要反映在头动和视野延迟（ Motion-to-Photons Latency，MTP）上，业界的主流观点认为，在使用沉浸式终端时，MTP 不能超过 20ms， 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保

24、密信息 版权所有 华为技术有限公司 9 否则会引起眩晕感。也就是说，用户在通过转头等方式改变视角时，终端、网络和云端处理的整体时延应保证头动和 FOV 画面改变的一致性，FOV 画面的更新延迟不应超过20ms 的现象，也不应出现全部/部分视野无画面信息的现象。 3.3 投影技术和编码技术 投影技术和编码技术决定了 VR 360 视频的媒体文件以何种格式生产和组织，及其包含的媒体信息量。这对量化达到某个用户体验要满足的网络要求至关重要。 投影技术 VR 360 视频需要解决如何将用户看到的空间球信息转变为平面的媒体格式，这就用到了传统视频没有涉及的投影技术。 目前，Equirectangular

25、 projection(ERP，等角投影) 是当前 VR 360 视频主流格式，但画质存在失真，压缩效率存在瓶颈。这种投影方式使用了一种经典的地图经纬线投影的思想，将球面展开为平面矩形。等角投影的经纬线正交成 90，没有角度变形，但面积变形最大， 主要依靠增大面积变形而达到保持角度不变， 球面赤道部分投影展开后失真小，越向两极失真越大。由于球面两极区域展开后，靠增大面积保持角度不变，引入了更多的无效冗余像素， 导致视频文件编码压缩效率不佳。 国外 Youtube、 Oculus、 Samsung Gear，国内优酷、爱奇艺均采用此种投影格式生产 VR 360 媒体文件。 Platonic so

26、lid projection(PSP，多面体投影) 是业界关注的新方向，具有失真小、压缩效率高的特点。它利用了另一大类经典的地图投影思想，按相等经差与纬差的经纬线将球面划分为许多球面梯形，投影到某种多面体上，此处的多面体可以为四面体、立方体、金字塔、12 面体等。由于每个梯形单独投影，因此失真极其微小。在 2016 年 5 月的MPEG 会议上，Samsung 提交了关于 PSP 投影格式的提案。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 10 Projections 3D Model 2D Projection

27、 Vertexes Area Ratio Tetrahedron (4 faces) 4 3.31x 2.11x Cube (6 faces) 8 1.91x 1.22x Octahedron (8 faces) 6 1.65x 1.05x Dodecahedron (12 faces) 20 1.32x 0.84x Icosahedron (20 faces) 12 1.21x 0.77x 编码技术 VR 360 视频可以采用普通视频的编码技术进行压缩。目前应用最多的视频编码技术是H.264，业界公认的下一代编码技术是 HEVC 和 VP9。根据业界的测试结论，在保证同 面向 VR 业务的承

28、载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 11 等画质的前提下，HEVC 和 VP9 的压缩效率大约比 H.264 的最新版本提升 30%左右。MPEG 等标准组织的最新研究进展表明，对应于 HEVC 的下一代编码技术(H.266)的压缩效率最多能比 HEVC 再提升 30%。 对于具有景深（3D）效果的 VR 360 视频，是通过左右眼具有双目视差的两个图像进行合成，形成立体效果。体现在媒体格式上，是将左右眼对应的两幅画面编码到同一帧，可以为左右排列或上下排列格式。从无压缩的信息量上看，3D 效果的 VR 360 视频是2D 效果

29、的两倍，由于 3D 左右眼内容具有较高的相关性，达到同等的画面质量，压缩效率可以进一步的提升。根据业界的测试结果显示，使用相同的编码技术版本，3D 效果的 VR 360 视频压缩效率最多可以比 2D 效果的 VR 360 视频再提升 25%。 3.4 网络传输技术路线 VR 360 视频的在线传输有两种主要的技术路线：全视角传输方案和 FOV 传输方案。 全视角传输方案全视角传输方案 所谓的全视角传输方案就是将 360 度环绕的画面都传输给终端， 当用户头部转动需要切换画面时，所有的处理都在终端本地完成。VR 全景视频在相同单眼可视分辨率情况下，由于帧率、 位深、 360 度等原因， 码率要比

30、普通平面视频大很多， 前者一般是后者的 5-10倍，以单眼 8K 的极致全景 VR 视频为例，观看时要求的带宽达到 5G，这对于网络来说是个极大的挑战，成本也大大增加。 虽然整个全景视频是 360 的，但是观看者在观看时，实际只能看到当前视野部分，看不到的部分只是占了网络带宽，而没有真正用到，对网络资源造成了比较大的浪费。针对这种情况，业界提出了基于视角进行有差别传输 VR 视频的 FOV（Field of View）传输方案。 FOV 传输方案传输方案 而 FOV 传输方案则主要传输当前视角中的可见画面。一般都是将 360 度全景视野划分为若干个视角，每个视角生成一个视频文件，只包含视角内高

31、分辨率和周围部分低分辨率视觉信息，终端根据用户当前视角姿态位置，向服务器请求对应的视角文件。当头部转动视角发生变化时，终端向服务器请求新视角对应的视角文件。 Facebook 公布的基于 FOV 方式传输的方案中，一共划分了 30 个视角，每个视角文件大小，只有原始文件的 20%，传输码率也相应的只有原来的 20%，大大降低了观看 VR 视频的带宽要求，并且提高带宽的有效利用率。这种方案也存在不足，就是所有视角的视频文件大小总和是原始文件的 6 倍， 在服务器上会占用比较多的存储空间， 但相对来说，带宽资源更加宝贵。 下文将对这两种方案展开阐述。 3.4.1 全视角传输方案 在全视角传输方案中

32、， 终端接收到的一帧数据中包含了用户可看到的空间球对应的全部视角信息。用户改变视角的交互信号在本地终端完成处理，终端根据视角信息从已缓存到本地的帧中解出对应的 FOV 信息，在播放器中进行矫正还原，使用户看到正常视角的视觉信息。因此交互体验要求的 20ms 由终端来保证，不涉及网络时延和云端时延。这种方案对带宽的要求较高，时延要求较低。属于“带宽换时延”的传输方案。这种传输方案可以直接利用现有的主流视频传输技术如 MPEG.DASH、HAS、HLS、HPD 等， 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 12 主

33、要在终端播放器增加了从全视角帧中投影还原出 FOV 信息的功能，本文不再对其流程进行冗述。 3.4.2 FOV 传输方案 在 FOV 传输方案中， 终端接收到的一帧数据中不再包含空间球的无差别全部视角信息，而是根据用户的视角姿态构造对应的帧数据， 一帧数据中只包含等于或大于视场角的部分视觉信息，终端需要判断用户转头改变视角的姿态位置，并将交互信号发向云端，请求新的姿态对应的帧数据。因此交互体验要求的 20ms 既包含终端处理时延，也包含网络传输时延和云端处理时延。这种方案的带宽要求降低，时延要求变高（E2E20ms） ，属于“时延换带宽”的传输方案。这种方案可以利用现有的主流视频传输技术如MP

34、EG.DASH、HAS、HLS、HPD 等，但对媒体文件的生成机制、云端和终端的处理机制都有相应要求，形成特有的流程。下文将对其流程展开阐述。 (1) 姿态定义：定义枚举用户在空间球中的视角姿态位置，并进行 1N 的编号，每个编号 i 对应一个视角范围，视角范围可以正好等于 FOV，也可以大于 FOV。 (2) 媒体生成：根据视角姿态位置编号， 生成对应的 N 个媒体文件， 存放在云端服务器。并在云端服务器上编制对应的媒体描述文件(MPD)。 (3) 终端播放 VR 360 视频，首先向云端请求获取媒体描述文件(MPD)，得到用户视角姿态位置和媒体文件的对应关系。 (4) 终端根据用户当前视角

35、姿态位置 i，请求对应的媒体文件 i，以及 VR 360 视频开始播放的时间点 t0。云端接收到请求后，寻址到对应的媒体文件 t0 时刻开始传输。终端接收到可支持播放的最小缓冲数据量 b0 时开始播放，并继续向云端获取后续媒体文件内容。 (5) 在时间 t1，用户改变视角，对于每一个约定的视角改变度，终端识别出对应的视角姿态位置为 j，位置 i 和位置 j 为连续相邻的两个位置。终端请求对应的媒体文件 j，以及 VR 360 视频开始播放的时间点 t1+t。终端接收到可支持播放的最小缓冲数据量b0，并在播放完媒体文件 i 剩余的t 时长后，开始播放媒体文件 j，并继续向云端获取后续媒体文件内容

36、。 Facebook 在 2016 年初公布了一种基于金字塔投影的 FOV 传输方案。金字塔投影属于PSP 投影技术的一种，可减小媒体文件的平均码率到 ERP 投影原画质的 20%。同时牺牲部分画质体验来降低对 E2E 20ms 交互的要求，属于一种改良后的折中 FOV 方案。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 13 如图所示，将用户在虚拟环境中的视觉信息对应的全部球面数据放入金字塔投影。用户视点正前方的平面为 FOV 平面，使用高分辨率编码；其余四个平面为非 FOV 平面，分辨率从与 FOV 平面相交的

37、边到视角反方向的顶点逐渐降低。 将金字塔展开后加以调整，可将全部 360 度的球面视觉信息置入到矩形中。这种矩形帧格式编码压缩效率很高，金字塔投影的码率可减小到 ERP 投影原画质的 20%。 在传输技术上，Facebook 使用与现有技术兼容的网络传输技术以存储换时延，并牺牲部分画质体验保证交互体验。要点如下： (1) 对用户头部平均分布的不同姿态位置进行编号， 预生成对应的 30 个锥形全视角文件存放在服务器（存储换时延） ，和现有的 MPEG-DASH 流化方案兼容. (2) 在用户头部姿态未改变时，默认解码高分辨率的 FOV 平面。 (3) 当用户头部位置交互变化未超过请求阈值时， 用

38、户看到的视场信息由大部分 FOV 平面（高分辨率）和小部分非 FOV 平面（低分辨率）组成，牺牲部分画质体验保证交互体验。 (4) 当用户头部位置变化超过请求阈值时， 用户看到的视场信息暂时由小部分 FOV 平面（高分辨率）和大部分非 FOV 平面（低分辨率）组成，同时请求新的姿态对应的锥形全视角文件，待 Buffer 获得足够数据后将视场信息更换为 FOV 平面（高分辨率） ，牺牲短时间内的部分画质体验保证交互体验。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 14 除 Facebook 外，其他相关公司也在进行

39、 FOV 传输方案的相关研究，华为公司也开始了几种 FOV 方案的研发。目前业界还没有形成统一标准，各家公司的方案细节、对网络需求也存在具体的差异。 3.5 网络要求分析 3.5.1 在线点播 VR 360 视频在线点播基于 TCP 传输，其网络要求由三个因素决定：即时加载、流畅播放和视角交互。其中全视角传输方案的视角交互在终端侧完成，不涉及网络要求。 （1）即时加载）即时加载 即时加载是指用户开始点播 VR 360 视频时，需要等待多久可以看到虚拟环境信息的呈现。即时加载主要分为三个阶段，即即时加载信令交互阶段（X1） 、最小解码缓冲媒体报文下载阶段（Y） ，以及播放器播放加载准备阶段（Z）

40、 。如果用户对即时加载时间的要求为 T1，那么应满足 X1+Y+ZT1。 如果设定 Ratevr为 VR 360 视频的平均码率，Buffertime为终端最小解码缓冲媒体报文时长，Ds 为 TCP 慢启动阶段的数据量， ，X1*RTT 为即时加载信令交互阶段往返时延，S*RTT 为 TCP 慢启动时延，Z 为终端播放器加载准备时延。那么端到端 TCP 吞吐量需求应满足： 如果设定 P 为丢包率（PLR，Packet Loss Rate） ，BW 为物理带宽，MSS 为最小传输单元，RTT 为终端到服务器时延。根据经典 TCP 吞吐量公式有： 面向 VR 业务的承载网络白皮书 文档版本 01

41、(2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 15 综上所述，可得到公式： （2）流畅播放）流畅播放 用户在观看 VR 360 视频的过程中， 端到端 TCP 吞吐量应始终满足大于平均码率倍数 N，即： 此处暂取 N=1.5。 （3）视角交互视角交互 视角交互的要求是指用户在发生视角姿态位置变化时， 网络要求应满足何种条件才能使头动和视野延迟（ Motion-to-Photons Latency, MTP）小于目标值，同时将用户对视场信息劣化(出现黑屏、部分画面无信息或者部分画面质量下降)的察觉程度减小到最少。视角交互主要分为三个阶段，即视角变化信令交互阶段（X2）

42、 、最小解码缓冲媒体报文下载阶段（Y） ，以及播放器播放加载准备阶段（Z） 。 如果用户对 MTP 的要求为 T2，T2 通常取 20ms；用户对转头过程中视场信息劣化的时间要求为 T3，那么应满足 X2+Y+Zmin(T2,T3)。本文以 Facebook 基于金字塔投影的FOV 传输方案为实例进行分析，由于 Facebook 方案通过牺牲短时间内的部分画质体验来保证交互体验， T2的要求也在终端侧得到满足， 只需满足T3要求即可。 如果设定Ratevr为 VR 360 视频的平均码率，Buffertime为终端最小解码缓冲媒体报文时间，Ds 为 TCP 慢启动阶段的数据量， ，X2*RTT

43、 为视角变化信令交互阶段往返时延，S*RTT 为 TCP 慢启动时延，Z 为终端播放器加载准备时延。那么端到端 TCP 吞吐量需求应满足： 如果设定 P 为丢包率（PLR，Packet Loss Rate） ，BW 为物理带宽，MSS 为最小传输单元，RTT 为终端到服务器时延。根据经典 TCP 吞吐量公式有： 综上所述，可得到公式： 根据上述分析，我们将在线点播的网络要求概括如下： 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司 16 传输方案 带宽要求 时延和丢包率要求 全视角传输方案 FOV 传输方案 (Face

44、book) 3.5.2 在线直播 VR 360 视频在线直播的网络要求由三个因素决定：即时加载、流畅播放和视角交互。其中全视角传输方案的视角交互在终端侧完成，不涉及网络要求。此处讨论基于 UDP传输的 VR 360 视频直播网络要求，基于 TCP 传输的直播网络要求同在线点播。 （1）即时加载）即时加载 即时加载是指用户加入 VR 360 视频直播频道时，需要等待多久可以看到虚拟环境信息的呈现。即时加载主要分为三个阶段，即即时加载信令交互阶段（X1） 、1 个完整的 I帧下载阶段（Y） ，以及播放器播放加载准备阶段（Z） 。如果用户对即时加载时间的要求为 T1，那么应满足 X1+Y1+Z1T1

45、。 为加快直播频道切换速度， 一般都会部署 FCC （Fast Channel Change） 方案， 为保证 FCC方案可正常工作，还需要保证每用户带宽平均码率的 1.3 倍。 如果设定 Ratevr为 VR 360 视频平均码率，GopTime 为 Gop 报文时长，T1 为频道切换目标值，X1*RTTjoin为信令交互（通常为加入组播组）阶段往返时延， Tload为终端播放器加载准备时延。那么端到端 UCP 吞吐量需求应满足： 由于基于 UDP 的直播业务本身对时延并不敏感， 但是从上面公式可以看出分母必须要大于 0，RTT 一般是不小于 RTTjoin，又有： （2）流畅播放）流畅播放

46、 用户在观看 VR 360 视频直播的过程中，应满足全程播放无黑屏、无花屏。参考 TR-126的标准要求，4K 分辨率直播无花屏要求的网络丢包率60 分钟 4. 点播网络要求点播网络要求： 流畅播放带宽需求：4.93Gbps(基于全视角传输方案) 987Mbps(基于 Facebook 方案，本阶段主流) 即时交互带宽需求：2.35Gbps(基于 Facebook 方案，本阶段主流) 5. 直播网络要求直播网络要求： 流畅播放带宽需求：4.277Gbps(基于全视角传输方案) 856Mbps(基于 Facebook 方案，本阶段主流) 即时交互带宽需求：2.35Gbps(基于 Facebook

47、 方案，本阶段主流) 3.6.5 演进路线小结 在入门体验阶段，由于 Entry-Level 级 VR 画质体验不高，业界会优选全视角传输方案，以保证良好的交互体验。在这一阶段，VR 用户的渗透率和绝对数量不会很高，从用户端到端网络带宽要求看，满足 8K 视频流畅播放的带宽也可满足 VR 360 视频的要求。 在进阶体验阶段，由于 Advanced 级 VR 的画质体验得到提升，继续全视角传输方案对网络带宽要求变高，在网络带宽 Ready 的条件下仍可保证良好交互体验。 面向 VR 业务的承载网络白皮书 文档版本 01 (2016-09-20) 华为专有和保密信息 版权所有 华为技术有限公司

48、21 Ultimate 级 VR，单眼画质达到视网膜级，全视角传输对网络带宽的要求太高，必须采用 FOV 传输，对网络低时延提出一定要求。如使用 Facebook 的折中 FOV 方案，那么牺牲一部分画质体验，同时降低了对网络带宽和时延的要求。 在入门体验阶段和进阶体验阶段，由于用户可接受的连续体验时间不长，和其他传统业务相比，一个家庭用户的巨大的带宽需求是短时的；而在极致体验阶段，FOV 传输方案在转头时触发的突发带宽需求，也远高于未转头时稳定观看的带宽需求。由此可见，在VR 360 视频演进的各个阶段，都将存在短时按需的高带宽要求。 综上所述，我们对 VR 360 视频演进路线的判断可小结

49、如下： Standard Pre-VR Entry-Level VR Advanced VR Ultimate VR 连续体验时间连续体验时间 20 分钟 60 分钟 预计时间预计时间 Now2 年 Now2 年 35 年 510 年 视频分辨率视频分辨率 全视角 4K 2D 视频(Youtube) （全画面分辨率3840*1920） 全视角 8K 2D 视频 （全画面分辨率7680*3840） 全视角 12K 2D视频 全画面分辨率11520*5760 全视角 24K 3D 视频 全画面分辨率23040*11520 单眼分辨率单眼分辨率 960*960通过眼镜观看， 视场角 90 度 192

50、0*1920 通过眼镜观看，视场角 90 度 3840*3840通过专业头显观看，视场角 120 度 7680*7680通过专业头显观看，视场角120 度 PPD（注（注 1） 11 21 32 64 等效传统等效传统 TV 屏屏分辨率分辨率 240P 480P 2K 4K 色深色深(bit) 8 8 10（HDR） 12 压缩率（注压缩率（注 2） 165：1 165：1 215:1（注 2） 350:1(3D) （注 2） 帧率帧率 30 30 60 120 典型视频码率典型视频码率 16M 64M 279M 3.29G 典型网络带宽需典型网络带宽需求（注求（注 3） 25Mbps 100