1、虚拟（增强）现实白皮书虚拟（增强）现实白皮书中国信息通信研究院中国信息通信研究院华为技术有限公司华为技术有限公司京东方科技集团股份有限公司京东方科技集团股份有限公司2021年年3月月版权声明版权声明本白皮书版权属于中国信息通信研究院本白皮书版权属于中国信息通信研究院、华为技术有限公、华为技术有限公司和京东方科技集团股份有限公司司和京东方科技集团股份有限公司，并受法律保护。转载、摘，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明编或利用其它方式使用本白皮书文字或者观点的，应注明“来来源：中国信息通信研究院源：中国信息通信研究院、华为技术有限公司和京东方科技集、华为技术有
2、限公司和京东方科技集团股份有限公司”团股份有限公司”。违反上述声明者，编者将追究其相关法律。违反上述声明者，编者将追究其相关法律责任。责任。编制说明编制说明在工业和信息化部电子信息司的指导下，本白皮书由中国信息通信研究院与华为技术有限公司、京东方科技集团股份有限公司联合撰写。在编写过程中得到了中国联合网络通信集团有限公司、中国移动通信集团终端有限公司、中国移动通信研究院、中国电信号百控股股份有限公司、参数技术有限公司、舜宇光学科技有限公司、兰亭数字科技有限公司、 七鑫易维信息技术有限公司、 凡聚科技有限公司、 贝壳找房 （北京）科技有限公司、南京睿悦信息技术有限公司、海尔工业智能研究院、广州映
3、维科技有限公司、上海影创信息科技有限公司、亮风台（上海）信息科技有限公司、上海紫乾网络科技有限公司、青岛小鸟看看科技有限公司、北京易智时代数字科技有限公司、百度在线网络技术（北京）有限公司、北京凌宇智控科技有限公司、北京视博云科技有限公司、北京灵犀微光科技有限公司、好未来教育集团、聚好看科技股份有限公司、虚拟现实产业推进会（VRPC）、5G应用产业方阵等广大伙伴的专业支持。在修订反馈过程中也得到了北京邮电大学、深圳创维新世界科技有限公司、泰豪创意科技集团有限公司、国开金融有限责任公司、上海乐相科技有限公司、 平行云科技 （北京） 有限公司、 视辰信息科技 （上海）有限公司等的宝贵意见。限于编写
4、时间、项目组知识积累与产业尚未完全定型等方面的因素，内容恐有疏漏，烦请不吝指正。前前言言在全球经济形势复杂多变和新冠疫情的影响下，人类社会生活和生产方式面临新的挑战，作为新一代信息技术融合创新的典型领域，虚拟现实迎来新机遇。继 2016 年产业元年与 2019 年 5G 云 VR 元年过后，虚拟现实产业开始进入起飞阶段。虚拟现实用户体验对融合创新的需求迅速提升，技术体系初步成型：Micro-LED 与衍射光波导成为近眼显示领域探索热点；云渲染、人工智能与注视点技术引领 VR 渲染 2.0；强弱交互内容多元融合，内容制作支撑技术持续完善；自然化、情景化与智能化成为感知交互发展方向；5G 与 F5
5、G 双千兆网络构筑虚拟现实应用基础支撑。此外，以应用服务、终端器件、网络平台和内容生产为重点领域的产业生态初具规模，云化虚拟现实触发产业链条融合创新，对传统业务流程的解构重组催生视频内容上云、图形渲染上云与空间计算上云新业态， “虚拟现实+”创新应用向生产生活领域加速渗透，云 AR 数字孪生描绘人机交互深度进化未来蓝图。当前，我国 VR/AR 产业发展取得了积极成果，但也存在一些问题与挑战。我国应紧抓 5G 与人工智能机遇期， 突破业界惯有展厅级、 孤岛式、 小众性、 雷同化的发展瓶颈，聚力融合创新与规模应用，实现产业级、网联式、规模性、差异化的虚拟现实普及之路。目目录录一、发展背景. 1二、
6、关键技术趋势. 4（一）融合创新驱动虚拟现实用户体验持续进阶. 4（二）近眼显示：Micro-LED 与衍射光波导成为当前探索热点. 8（三）渲染计算：云渲染、人工智能与注视点技术引领 VR 渲染 2.0. 13（四）内容制作：交互性体验和支撑工具快速发展. 19（五）感知交互：自然化、情景化与智能化为前行之路点亮灯塔. 24（六）网络传输：5G+F5G 构筑虚拟现实双千兆网络基础设施支撑. 30三、产业发展趋势. 36（一）虚拟现实终端出货量与市场规模稳步增长. 36（二）云化虚拟现实触发端网边云产业链条融合创新. 41（三）终端、行业应用与增强现实孕育投融资市场新机遇. 47（四）国家部委
7、及地方政府积极推动虚拟现实产业发展. 51四、创新应用分析. 56（一）虚拟现实+商贸会展：后疫情时代的未来会展新常态. 56（二）虚拟现实+工业生产：企业数字化转型的新动能. 58（三）虚拟现实+地产营销：行业差异化竞争必由之路. 60（四）虚拟现实+医疗健康：传统医学手段的有效补充. 62（五）虚拟现实+教育培训：教学模式由被动接受向自主体验升级. 64（六）虚拟现实+文娱休闲：新型信息消费模式的新载体. 65五、我国发展虚拟现实产业面临的问题及建议. 67（一）国内外发展现状. 67（二）面临的问题. 70（三）发展建议. 72附录 缩略语. 1图图目目录录图 1 虚拟现实终端发展部分里
8、程碑事件 . 3图 2 虚拟现实沉浸体验产业发展阶段 . 4图 3 虚拟现实关键技术体系（2020） . 6图 22 虚拟现实技术成熟度曲线（2020） . 6图 4 虚拟现实近眼显示部分代表性技术路线 . 13图 5 基于时延不确定性的云渲染情况示意 . 16图 6 各类注视点技术基本情况 . 17图 7 全光网络组网结构示意 . 34图 8 面向虚拟现实业务的网络传输技术供需匹配情况 . 35图 9 全球虚拟现实终端出货量及结构占比 . 37图 10 全球虚拟现实市场规模 . 38图 11 虚拟（增强）现实产业地图（2020）. 40图 12 虚拟现实产业生态协同关系网络 . 41图 13
9、 虚拟现实终端形态分类演进 . 44图 14 云化 XR 解决方案架构（Nvidia）. 46图 15 全球虚拟现实风险投资市场情况 . 47图 16 全球虚拟现实风险投资规模（左）、频次（右）占比 . 48图 17 全球虚拟现实风险投资规模、频次占比（按投资领域划分） . 50图 18 近年来全球虚拟现实风险投资热点事件 . 51图 19 我国各部委虚拟现实领域相关政策 . 54图 20 我国各地市虚拟现实产业政策情况 . 56图 21 虚拟现实+商贸会展业务场景划分. 58虚拟（增强）现实白皮书1一、发展背景一、发展背景在全球经济形势复杂多变和新冠疫情的影响下， 人类社会生活和生产方式面临
10、新的挑战， 信息消费与产业数字化转型也随之迎来新的机遇。作为新一代信息技术融合创新的典型领域，虚拟现实关键技术日渐成熟，在大众消费和垂直行业中应用前景广阔，产业发展正逢其时。新型基础设施建设驱动虚拟现实产业发展提档升级。 新型基础设施建设已成为拉动投资、促进消费、稳定就业和提升综合实力的重要抓手，如何加载高质量的业务生态成为释放新基建发展动能的关键。当前，以虚拟现实为代表的未来视频，正在成为工业数字孪生、沉浸式教学等传统行业转型升级与长短视频领域的重点发展路径。 在今年新冠疫情的影响下，视频社交、视频会展等虚拟现实创新应用市场逆势增长，表现出对新型基础设施更加迫切的需求，并对通信基础设施的带宽
11、、时延等网络传输能力、对算力基础设施的计算、存储能力提出了不断进阶支撑要求。虚拟现实引领新一代人机交互平台发展。 虚拟现实是个老的新概念，自上世纪 50 年代首款 VR 设备出现直至 2016 年产业元年的到来，虚拟现实兴起主要源自软硬件成本门槛大幅降低、产业资本与政策集聚、大众不断进阶的视听交互需求等背景动因。随着产业发展的持续演进，互动视频、无界办公、智慧教育、沉浸会展、工业互联网虚拟（增强）现实白皮书2等应用场景的多样化、 用户需求的多级化与数据类型的多元化亟需新一代人机交互平台的发展。 业界对虚拟现实的研讨不再拘泥于其是否有望取代手机等偏狭议题，而是从技术、产业与应用多角度探讨以虚拟现
12、实为代表的未来人机交互平台发展。从广义来看，虚拟现实（Virtual Reality，VR）包含增强现实（Augmented Reality，AR），狭义而言彼此独立，如无特别区分说明，本白皮书采用工信部印发关于加快推进虚拟现实产业发展的指导意见中的广义界定。虚拟现实产业发展开始进入起飞阶段。 虚拟现实旨在使用户获得身临其境的沉浸体验，通过对虚拟（增强）现实白皮书（2018） 中分级标准进行修订， 可将虚拟现实划分为五个发展阶段，不同发展阶段对应相应体验层次， 继 2016 年虚拟现实产业元年、 2018年云 VR 产业元年、2019 年 5G 云 VR 产业元年过后，2020-2021 年将
13、成为虚拟现实驶入产业发展快车道的关键发力时窗， 目前全球处于部分沉浸/成长培育期。其中，在终端设备方面，开始规模上量，适配场景与功能定位体系日益清晰完备，例如华为 VR Glass、Focal 等轻量级 VR/AR 终端通过强化通信连接能力，以及摄像头提供虚拟助手等功能进而变身为手机伴侣，微软 Hololens2 等高性能一体式 AR 终端可在一定程度上取代 PC，作为新兴生产力平台，Facebook Quest 2等高性能VR终端可作为电视与游戏机等传统文娱平台的产品演进形态。在内容应用方面，题材形式日益丰富，内容与特定终端平台加速解耦，内容开发、调试与营销工具渐趋成熟，可自给、能盈利的内容
14、虚拟（增强）现实白皮书3生态开始成型，例如，标杆企业 Facebook Quest 平台内容收入已达到1.5 亿美元，35 款游戏收入达到百万美元，沉浸声、手势识别与虚拟化身等特色内容制作 SDK 陆续发布。在网络平台方面，2020 年成为5G 创新业务从 0 到 1 实现跨越的关键窗口，作为 5G 时代首要的创新业务，一方面，VR 为 5G 这一国家新型基础设施提供了普适典型的应用场景，另一方面 5G 有望打破单机版 VR 小众化的产业发展瓶颈。2019 年期间，成都、福州、杭州、青岛、南昌、上海、北京、沈阳、广州等地方政府已将 5G 云 VR 提上工作日程，相继编制或正在实施专项政策与相关
15、工程。来源：与中国联通联合课题虚拟现实终端热点分析研究报告图 1 虚拟现实终端发展部分里程碑事件虚拟（增强）现实白皮书4来源：根据虚拟（增强）现实白皮书（2018 年）修订图 2 虚拟现实沉浸体验产业发展阶段二、关键技术趋势二、关键技术趋势（一）融合创新驱动虚拟现实用户体验持续进阶（一）融合创新驱动虚拟现实用户体验持续进阶虚拟现实存在单机智能与网联云控两条技术路径。当前，多数企业基于单体智能的发展轨道，聚焦近眼显示、感知交互、渲染计算与内容制作领域的研发创新、技术产业化及成本控制等相关工作，网联元素主要体现在内容上云后的流媒体服务。未来，虚拟现实发展的演进形态不是两者简单叠加，而是有机融合：在
16、云、网、边、端、用、人等融为一体的创新体系下重构现有系统架构，触发产业跃迁，进而在这一深度融合创新的框架下，重新界定并迭代优化一批新技术、新产品、 新标准、 新市场与新业态。 结合虚拟现实跨界复合的技术特性，对虚拟（增强）现实白皮书（2018）所提出“五横两纵”的技术框架与发展路径更新完善， 其中， “五横” 是指近眼显示、 感知交互、虚拟（增强）现实白皮书5网络传输、渲染计算与内容制作，“两纵”是指 VR 与 AR，各技术点发展成熟度具体如下。近眼显示方面，快速响应液晶屏、折反式（Birdbath）已规模量产，Micro-LED 与衍射光波导成为重点探索方向。渲染计算方面，云渲染、人工智能与
17、注视点技术等进一步优化渲染质量与效率间的平衡。内容制作方面，WebXR、OS、OpenXR 等支撑工具稳健发展，六自由度视频摄制技术、虚拟化身技术等前瞻方向进一步提升虚拟现实体验的社交性、 沉浸感与个性化。 感知交互方面，内向外追踪技术已全面成熟，手势追踪、眼动追踪、沉浸声场等技术使能自然化、情景化与智能化的技术发展方向。网络传输方面，5G+F5G 构筑虚拟现实双千兆网络基础设施支撑，传输网络不断地探索传输推流、编解码、最低时延路径、高带宽低时延、虚拟现实业务虚拟（增强）现实白皮书6AI 识别等新兴技术路径。图 3 虚拟现实关键技术体系（2020）来源：、VRPC 整理图 4 虚拟现实技术成熟
18、度曲线（2020）虚拟（增强）现实白皮书7现阶段虚拟现实技术演进轨道尚未定型， 技术供需面临多重挑战，存在超长的产业链条致使创新投入力不从心， 现实效果与用户预期存在落差等问题。根据虚拟现实产业推进会（VRPC）产业分析与体验调优平台数据统计，对用户体验痛点清单按优先级排序可归纳为“用贵笨视晕传知”，即高品质爆款内容缺乏；高性能终端存在一定价格门槛；外观形态吸引力不足，佩戴不够轻便；分辨率、视场角等方面的画面视觉质量有限； 由头动响应 （MTP） 时延、 辐辏调节冲突 （VAC）及晕动症等引发的晕眩感；因缺少适配虚拟现实业务的云网优化，致使网络感知不佳；缺乏令人耳目一新的使用体验与受众渠道，大
19、众认知程度尚待提高。为应对上述问题，参考马斯洛需求层次理论，分析用户需求与技术供给的潜在关联， 将虚拟现实用户需求自下而上划分为经济性、舒适性、沉浸性、互通性四个层次。其中，经济性是指涉及终端、配件、内容与流量等软硬件在内的用户购置费用以及开机调配所须的时间精力成本。 舒适性涉及佩戴、 视觉与社交等方面， 例如，佩戴可摆脱线缆羁绊，显著提高移动性，通过网络传输大幅降低本地处理负载，头显体积小、重量轻、发热少、透气好，终端重心靠近头部； 支持较宽的瞳距 （IPD） 调节， 注视点中心区域每度像素数 （PPD）较高，无较低 PPD 与开口率产生的纱窗效应；显示亮度可调节，无Mura 效应； 具备蓝
20、光控制， 可在一定程度上缓解 VAC； 在视场角 （FOV）与眼动框范围内的颜色精准且均匀一致等。沉浸性可归纳为视觉、听觉、 触觉、 运动与嗅觉的临场感， 例如， 视场角、 高动态范围图像 （HDR） 、虚拟（增强）现实白皮书8MTP、注视点显示、动态沉浸声、触觉反馈、眼动/手势/姿态/脑电感知等因素。互通性既包含头显平台与交互外设、内容间的互联互通，也涵盖虚拟现实应用中多用户间的社交互动元素。虚拟现实技术创新的难点与焦点在于需求指标间的权衡优化。 对于诸多阶梯化、多层次与分场景的细分需求（参见沉浸体验阶梯与用户需求层次视图），往往出现“按下葫芦浮起瓢”的研发窘境。如何求解用户需求这一多目标函
21、数， 即不以牺牲或最低限度牺牲某方面需求来满足其他，成为业界技术创新过程中所面临的共性挑战。例如，沉浸性与舒适性需求层次中的部分技术指标存在潜在冲突， 两者与经济性指标亦存在潜在互斥， 因此特定单一指标的局部最优难以支撑虚拟现实用户体验所需的全局最优。在这一背景下，融合创新与以人为中心成为解决上述难题的参考原则。 相比单机版的发展路径， 基于云、网、边、端、用等多领域间的技术组合进一步释放了融合创新的潜在空间。此外，相比传统的智能终端与移动互联网业务，虚拟现实作为下一代人机交互平台， 日渐强调以人的生理及心理特质为技术创新的出发点。（二）近眼显示：（二）近眼显示：Micro-LED 与衍射光波
22、导成为当前探与衍射光波导成为当前探索热点索热点近眼显示受限于核心光学器件与新型显示的发展， 整体发展相对迟缓。 2020 年随着市场需求日渐清晰， 业界对近眼显示领域表现出更高的期待。虚拟（增强）现实白皮书9在显示领域，快速响应液晶与硅基 OLED（OLEDoS）作为主流的显示技术， 处于实质规模量产阶段， 微型发光二极管 （Micro-LED）有望迅速发展。快速响应液晶被广泛用于 2020 年发布的新一代代表性 VR 终端，如 Facebook Quest 2 即采用一块改良后的 Fast-LCD 替换了上代产品中的两块 AMOLED。 当前快速响应液晶屏成为多数 VR终端的常用选择，主要表
23、现为以超高清（如 5.5 英寸 3840*2160 分辨率）、轻薄（2.1 寸 1600*1600）、成本（5.5 寸 2160*1440）为设计导向的三类技术规格；硅基液晶（LCoS）作为 AR 终端常用的显示技术得到了一定发展与认可， 但其较高功耗与较低对比度的不足限制了该技术的发展地位；OLEDoS 可显著改善 LCOS 在对比度、功耗与响应时间等方面的性能表现，成为新近发布 AR 终端的主流技术选择，2019 年底京东方在昆明量产；LBS 激光扫描显示已用于微软等部分行业巨头的相关产品，亮度、功耗与体积等方面的优势使得该技术获得业界关注，但须搭配较为复杂的光学架构实现功能，短期内市场预
24、期有限； Micro-LED 成为继 LCD 和 OLED 后业界期待的下一代显示技术， 广阔市场前景致使诸多行业巨头加速战略布局， 苹果 （LuxVue） 、脸书 （InfiniLED）、谷歌（Glo、Mojo Vision）、英特尔（Aledia）等纷纷投资或收购该领域初创公司，业界正在规划的规格以 1.3 寸4K*4K 为主。虽然 Micro-LED 具备低功耗、高亮度、高对比、反应速度快、厚度薄与高可靠等虚拟现实应用方面的性能优势，但现阶段由于 LED 外延成本较高，巨量转移的速度和良率尚未达到可量产的虚拟（增强）现实白皮书10水平， 当前 Micro-LED 显示技术正处在量产突破的
25、前夕， 梳理晶元光电股份有限公司、友达光电股份有限公司、镎创显示科技股份有限公司、 三星等重点企业的发展进度可知， 预计其规模量产时间在 2022 年左右；智能隐形眼镜尚处于萌芽状态，旨在最大程度缩小近眼显示系统与眼球间的距离，2020 年 Mojo Vision 发布了首款内置 Micro LED的 AR 隐形眼镜。未来，近眼显示系统有望由当前眼球外安置（头显终端）向眼球上（隐形眼镜）、眼球内（晶状体、视网膜）乃至视觉皮层转移。在光学领域，作为下一代人机交互平台，虚拟现实呼唤以人为中心的光学架构，视觉质量、眼动框范围、体积重量、视场角、光学效率与量产成本间的权衡取舍、 优化组合成为驱动技术创
26、新的主要动因。超薄 VR （Pancake） 利用半透半反偏振膜的双透镜系统折叠光学路径，将头显重量降至 200g 以内，体积缩减至传统终端的三分之一，缓解了 VR 头显尺寸重量与便携性的痛点， 且可保证较好的显示效果及更大的视场角； 折反式 （Birdbath） 得益于设计难度与量产成本的优势，触发了消费级 AR 终端的规模上量， 基于这一传统技术路径的光学模组体积较大厚度减薄困难，眼动框范围受限，其光学系统须搭配算法缓解畸变， 且光效难以高于 15%，效果和成本较大程度受限于微显示器的发展， 高亮的 OLEDoS 成为最优搭配， 目前我国已有厂商采用该技术大量出货；自由曲面在早期得到业界认
27、可，其显示效果、光效表现较好，但量产加工难以保持较高精度，局部精度下降可导致图像局虚拟（增强）现实白皮书11部扭曲和分辨率降低，存在产品一致性难题。此外，通过厚棱镜观察真实世界会出现一定程度扭曲和水波纹样畸变， 这些因素影响了自由曲面的发展潜力；光波导在 AR 领域的技术发展前景明确，可进一步分为阵列和衍射光波导两大技术路线。相比其他光学架构，光波导外观形态趋近日常眼镜， 且通过增大眼动框范围更易适配不同脸型用户，有助于推动消费级 AR 产品显著升级。其中，阵列光波导采用传统光学冷加工技术，连续多层半透半反镜面阵列镀膜、贴合、切割等复杂多步工艺对产品良率提升提出较大挑战，量产成本难以降低。此外
28、，基于阵列光波导的二维扩瞳方案对加工工艺的挑战极大， 短期难以商用；衍射光波导依循光学元件从毫米级到微纳级、从立体转向平面的技术趋势，采用平面的衍射光栅取代传统的光学结构。衍射光波导利用经过两次两个方向的扩瞳光栅或二维光栅以实现二维扩瞳， 从而给以人为中心的光学设计与用户体验优化留有更大的容差空间。 衍射光波导理论上具有较高的可加工性，成本可控，批量生产难度显著低于阵列光波导，现已成为国内外标杆企业研发创新的活力区。此外，为了改善色散问题，针对 FOV 和动眼框内的“彩虹效应”，如何用一层光栅作用于 RGB 三色且实现最大的 FOV 成为重要的技术挑战。 目前， 衍射光波导根据光耦合器的差异可
29、分为利用纳米压印技术制造的表面浮雕光栅波导（Surface Relief Grating，SRG）及基于全息干涉技术制造的全息体光栅波导 （Volumetric Holographic Grating， VHG） 等。其中，微软、Magic Leap 等多家 AR 明星企业的规模量产证明了 SRG虚拟（增强）现实白皮书12这一技术路线在经济成本上的可行性， 当前国内有条件建设该产线的厂商相对有限。全息体光栅由于受到可利用材料的限制，致使其在视场角、光效率、清晰度等方面尚未达到表面浮雕光栅的水平，但因其在量产经济性等方面的发展潜力，业界对此方向的探索未曾停歇；可变焦显示成为当前解决辐辏调节冲突（
30、Vergence AccommodationConflict, VAC） 的重要技术， 继 2018 年脸书发布基于可变焦显示的第一代原型机 Half Dome 后，于 2020 年开始了第三代原型机实验室外场景环境下的集成验证，Half Dome 3 通过电子变焦取代了此前的移动式机械变焦，极大程度的优化了头显体积重量与系统可靠性，有望开启可变焦显示技术产业化的量产之路； 全息显示通过全息方式显示多个焦面，可作为未来解决辐辏调节冲突的技术路径。目前，由于光相位调制器（SLM）价格昂贵、全息图生成算法尚不完善、所须计算量大且难以实时完成等因素致使该技术短期内难以推广应用。虚拟（增强）现实白皮书
31、13来源：、VRPC 整理图 5 虚拟现实近眼显示部分代表性技术路线（三）渲染计算：云渲染、人工智能与注视点技术引领（三）渲染计算：云渲染、人工智能与注视点技术引领VR 渲染渲染 2.0不同于影视工业中离线渲染技术对视觉保真度的极致追求， 实时渲染主要用于无预定脚本的游戏等强交互应用， 为保证渲染速度而在一定程度上对渲染画质做出权衡妥协。 虚拟现实渲染领域的主要技术虚拟（增强）现实白皮书14挑战在于面向传统游戏的上述权衡范式难以直接套用于虚拟现实应用，表现为相比游戏画面的主流渲染要求（如 FHD 分辨率所须每秒渲染六千万像素且不高于 150 毫秒的用户交互时延），虚拟现实渲染负载与 MTP 时
32、延须提升十倍量级才可达到初级沉浸的入门体验。此外，手机式/一体式 VR 与 AR 移动平台的渲染功耗预算尤为有限。当前，针对虚拟现实渲染所面临的“小马拉大车，既要马儿吃得少，又要跑得快”的技术挑战，业界先后发展出异步时间扭曲（ATW）、异步空间扭曲（ASW）、多视图渲染（MultiView）、多分辨率渲染、畸变补偿渲染等一系列优化算法， 旨在弥合传统游戏与虚拟现实渲染间的技术断点。此外，在跨越了沉浸体验的初始门槛后，渲染质量与效率间的平衡优化成为时下驱动虚拟现实渲染技术新一轮发展的核心动因，即用户需求的持续进阶放大了渲染画质、速度、成本、带宽等多目标规划的求解难度。在智能云控与以人为本的创新架
33、构下，云渲染、人工智能与注视点技术触发虚拟现实渲染计算 2.0 开启。云渲染聚焦云网边端的协同渲染， 时延不确定性成为关键技术挑战。将虚拟现实交互应用所须的渲染能力导入云端，有助于降低终端配置成本， 帮助用户在移动头显平台获得媲美高价 PC 级的渲染质量。在云化架构的引领下， 各类内容应用可更便捷地适配差异化的终端设备，也有助于实施更严格的内容版权保护措施，遏制内容盗版，缓解用户体验痛点清单中的部分问题。相比虚拟现实单机版的发展思路，部分企业对云渲染这一网联式技术路径存在发展定见。 云游戏平台厂虚拟（增强）现实白皮书15商认为网络状况难以预测，因而向网络中“倾泻”数据，最终造成网络资源浪费，客
34、户端接收到无序数据，致使端侧须为此付出额外的计算成本。事实上，本地渲染与云渲染并非处于相互独立的发展轨道，亦非非此即彼的替代关系，相比单机版渲染依赖终端完成，云渲染并非完全依靠云侧进行，而是聚焦云网边端协同分工，旨在实现“不要让终端补缺云网协同落下的课”。当前，针对时延、带宽、丢包、抖动等技术挑战，业界通过调节 CPU 与 GPU 协同编码、前向纠错率、缓冲区大小等方式实现 QoS 保障。需要指出的是，比之时延因素本身，网络、算力等导致的时延不确定性对虚拟现实云渲染用户体验影响尤甚，不同于传输环节的丢帧，因时延不确定性产生的弃帧主要是由帧未能及时到达，致使在终端显示环节丢弃（不显示）某些帧，在
35、虚拟现实用户感受上表现为画面卡顿、跳跃与拖尾，有测试表明，对于 1080P144 帧的云渲染体验，7ms 网络抖动是大众用户的感知边界。除流媒体 QoS 视角外，ATW/ASW 成为虚拟现实渲染标配的“弃帧保险” ， 由于 ATW 导致视觉黑边， 可通过扩大渲染面积予以解决。此外，在虚拟现实体验过程中用户即便没有位移，眼睛亦会发生位置改变，因而引入 ASW，前者适用于远景静物，后者侧重近景动画。虚拟（增强）现实白皮书16来源：中国移动 5G 联合创新中心5G 云 XR 端到端能力需求研究报告图 6 基于时延不确定性的云渲染情况示意注视点技术入选业界标配， 基于眼球追踪的注视点渲染与注视点光学成
36、为热点技术架构。 由于提供高分辨率与色彩视觉的视锥细胞集中分布在人眼最中心区域 （Fovea） ， 眼球中央向外的区域视觉感知加速模糊 （30内每远离 2.5视觉分辨率降低一半） ， 业界据此提出注视点渲染技术，通过对视场角内各部分画面进行差异化渲染，显著节省算力开销，据 VRPC 统计，注视点渲染已成为 2018 年虚拟现实渲染领域专利数量最为富集的细分技术。 2020 年10 月脸书发售第二代VR一体机 Quest 2，新增动态固定注视点功能（Dynamic Fixed FoveatedRendering, DFFR），系统可根据 GPU 帧率高低自动决定是否触发固定注视点渲染，内容开发者
37、无须延续 Oculus Quest/Go 平台上手动配置 FFR 的经历，也无须为 Quest 2 DFFR 修改既有内容应用。鉴于眼球运动致使注视点区域随之改变， 基于眼球追踪的可变注视点渲染成为业界热点，在日常扫视（Saccade）过程中，眼球运动速度高达每秒900 度，因而精准化的眼球追踪成为了技术挑战。此外，作为注视点虚拟（增强）现实白皮书17技术路径的新生分支， 注视点光学通过组合低分辨率/大 FOV （60+）与高分辨率/小 FOV（20）两个显示系统，且以手机面板与微显示器或两个不同分辨率的微机电（MEMS）扫描显示系统为常见搭配，旨在实现用户体验分辨率不因渲染算力与显示像素数减
38、少而降低。 当前，注视点渲染与注视点光学日益成为支撑上述目标的焦点性技术架构，业界对此积极布局，且两者具备潜在的结合空间。通过梳理各类注视点技术与相关量产终端可知， 基于眼球追踪的可变注视点渲染与注视点光学已成为时下技术产业化的主攻方向， 且后者对渲染算力及显示像素数要求较低。来源：、VRPC 整理图 7 各类注视点技术基本情况人工智能将成为虚拟现实渲染质量与效能的倍增器与调和剂。 当前，业界日益聚焦深度学习渲染这一热点领域，以期针对多样化的业务场景，解锁平衡质量、速度、能耗、带宽、成本等多维渲染指标间的技术定式。在渲染质量方面，比之基于传统渲染软硬件架构的超采虚拟（增强）现实白皮书18样（S
39、SAA）、多重采样（MSAA）、快速近似（FXAA）、子像素增强（SMAA）、覆盖采样（CSAA）、时间性抗锯齿（TXAA）等抗锯齿技术，在 2018 年英伟达发布 GeForce RTX 20 系列显卡中，推出了包含深度学习超采样 （DLSS） 功能的驱动程序， 通过以较低分辨率渲染图像再经 AI 算法填充像素的方式，显著提升了画面精细程度。得益于独立的 AI 计算单元，DLSS 运算基于 Tensor Core 完成，无须占用显卡 CUDA 通用运算单元，释放了传统抗锯齿技术对渲染计算资源的负载压力。2020 年英伟达推出 DLSS 2.0，通过持续优化深度学习算法， 从而以较低渲染分辨率
40、进一步提升了体验分辨率与帧率的性能表现。在渲染效能方面，为在移动终端平台加载高质量的虚拟现实沉浸体验，业界结合深度学习与人眼注视点特性，积极探索在不影响画质感知的情况下，如何进一步优化渲染效能的技术路径。脸书提出一种基于AI的注视点渲染系统DeepFovea， 利用生成对抗网络 （GAN）的新近研究进展， 通过馈送数百万个真实视频片段模拟注视点外围像素密度降低来训练 DeepFovea 网络，GAN 的设计有助于神经网络根据训练视频的统计信息来补缺细节， 进而得到可基于稀疏输入生成自然视频片段的渲染系统。 测试显示该方案可将渲染计算负载降低约十倍，且能够管理外围视场的闪烁、锯齿和其他视频伪影。
41、在图像预处理方面，预先对图像进行降噪处理有助于提升后续图像分割、目标识别、边缘提取等任务的实际效果，与传统降噪方法相比，深度学习降噪可获得更优的峰值信噪比（PSNR）与结构相似性（SSIM），如英虚拟（增强）现实白皮书19伟达 OptiX 6.0 采用人工智能加速高性能降噪处理，从而减少高保真图像渲染时间。在端云协同架构方面，随着电信运营商云化虚拟现实发展推广，针对多样化的应用场景与网络环境，人工智能有望成为渲染配置自优化的重要探索。（四）内容制作：交互性体验和支撑工具快速发展（四）内容制作：交互性体验和支撑工具快速发展从用户与内容应用间的交互程度看， 虚拟现实业务可分为弱交互与强交互两类。前
42、者通常以被动观看的全景视频点播、直播为主，后者常见于游戏、互动教育等形式，内容须根据用户输入的交互信息进行实时渲染，自由度、实时性与交互感更强。在弱交互领域，虚拟现实视频的社交性、沉浸感与个性化特质日益凸显，强弱交互内容界线趋于模糊。由于体育赛事、综艺节目、新闻报道与教育培训等直播事件受众群体明确， 商业落地相对成熟， VR直播成为丰富虚拟现实内容的利器，可较大程度上缓解目前高品质VR 内容匮乏、“有车没油”的问题。对于手机式、一体单目/多目、阵列式、光场式等内容采集设备的技术选型，VR 直播呈现两极化趋势， 即满足专业生产内容 （PGC） 高质量、 多格式与用户生成内容 （UGC）操作便捷、
43、成本可控的发展要求。此外，作为 VR 直播相比传统直播独有的关键技术，图像拼接可基于特征、光流等多种不同的处理域进行拼接，其中，图像配准涉及特征空间、相似性度量、搜索空间和搜索策略的选择，图像融合须考虑拼接处过渡自然和整体画面协调，因摄像机和光照强度的差异，图像间亮度和色度不统一，缝合后的图像虚拟（增强）现实白皮书20会出现明暗交替或有明显接缝的问题， 因而需要进行亮度和色度的均衡处理。当前，VR 直播可分为表演区与观众区，在观众区引入以用户为对象的虚拟化身，有助于进一步增强视频社交性。同时，通过Unity、 Unreal 等开发引擎进行虚拟现实拍摄与制作， 而后传至头显终端，可避免基于用户交
44、互信息的本地渲染负载。未来，随着 VR 直播的常态化，制作上云将成为简化虚拟现实内容摄制流程的关键技术。另外，参考诸如不眠之夜等代表性沉浸式演出的创意设计思路，业界对观众间、 观众与演员间的互动探索有望进化出VR直播新形式；根据交互体验自由度划分，虚拟现实视频可分为基于视野转动的3DoF、 面向狭小空间内有限移动的 3DoF+、 房间级一定空间内 6DoF-及多房间或超大开放空间中的6DoF视频。 与现阶段3DoF视频相比，六自由度视频摄制技术（3DoF+及以上）可大幅提升虚拟现实用户体验沉浸性，2018 年流媒体标杆企业 NextVR（2020 年被苹果收购）推出采用该技术的 VR 点播服务
45、，并在 2019 年世界移动通信大会上展示了通过 5G 手机播放的高分辨率 6DoF VR 视频，网络带宽在100Mbps 水平。预计未来三年，可适配高质量六自由度的内容采集系统、摄制表现手法、云网端支撑环境、场景表示与编解码算法等细分领域将成为潜在挑战及有关标准工作的推进方向。 此外， 2020 年业界提出了一种可实现虚拟现实六自由度沉浸体验的低成本光场视频解决方案，该方案采用消费级相机阵列进行内容采集，通过基于深度学习的视角插值网络，生成基于稀疏输入视角的多球体图像，开发了能虚拟（增强）现实白皮书21够有效编解码 6DOF 视频的算法， 显著降低了网络传输与终端渲染要求；个性化虚拟现实视频
46、技术通过采集用户实时心率、眼动、语音、微表情等多元化生理指标， 建构出根据用户偏好反馈的定制化内容叙事线。相比传统无交互视频中单视角单结局、既往轻交互 VR 视频中多视角单结局的表现形式，个性化 VR 视频除呈现多视角多结局、叙事线进程可变的特点，即“你在看视频，视频也在看你”。在强交互领域，VR 社交成为游戏以外的战略高地，虚拟化身正在拉开虚拟现实社交大幕。虚拟化身技术由来已久，在传统游戏中用户可见能够控制的整体人物形象（第三人称）或看到模拟手和身体等部分形象（第一人称射击游戏），受限于 2D 视频、狭窄视野及有限追踪感知能力，虚拟化身难以被视为用户本人。相比之下，VR 用户对虚拟化身的感知
47、与控制构成了不再脱钩的交互闭环， 即追踪采集的用户数据被实时投射于虚拟化身外观及行为表现。得益于 3D 沉浸视频、超大视角及进阶追踪能力，位置、外貌、注意力、姿态、情绪等日益多元精细的身态语汇激活了虚拟化身潜藏的社交表现力。 通过营造多人共享的临场感，VR 社交进一步放大了虚拟现实强交互业务的互动程度，并结合日常交流所须的适宜间距、注视转头、手势表情等潜藏的通识准则来优化虚拟化身。此外，一味追求照片画质级的虚拟化身存在“恐怖谷”效应，过高拟真度的外貌表现大幅拉升了用户对虚拟化身行为举止拟人化的心理预期， 从而降低了虚拟化身总体可信性。如何持续提高虚拟化身真实感，同时精准调和外貌与行为拟真度虚拟
48、（增强）现实白皮书22间的配伍关系，成为 VR 社交虚拟化身的主要技术挑战与发展方向。在技术实践上，虚拟化身跨 VR 终端平台的兼容性不断提高，相关内容制作 SDK 开始向游戏引擎中集成迭代，体育赛事、综艺活动与会议展览等 VR 直播业务解锁了虚拟化身自定义的市场需求，用户在Venue 等代表性虚拟现实内容直播平台中， 可根据发型、 服饰、 妆容、配饰等配置组合，个性化定制亿万种虚拟化身。由于 VR 社交领域存在诸如多达数百人同时加载虚拟化身等性能挑战， 针对不同的场景功能，可通过降低 Drawcall 频次、设置渲染优先级、匹配差异化的顶点数目与纹理精度等技术实践，梯度调整虚拟化身视觉质量，
49、优化性能表现。在技术选型上，基于口、眼、表情、上肢拟真等的虚拟化身技术初步成熟，现已开始用于 VR 社交应用。口型方面，依托三维扫描人类发声时对应的面部拓扑特征，构建包含广谱语音口型的模型库，借助机器学习训练音画同步网络，通过语音实时驱动面部动画。由于虚拟化身发音口型复位速度快于真实情况， 且特定发音对应的极端位置与后续口型间存在平滑过度的难题， 业界通过解构不同语音对各面部肌群的协同牵引关系，旨在发展出更加自然可信的音画同步技术。眼动方面， 虚拟化身可精细模拟一系列眼动眼神行为， 如下意识眨眼、交谈间注视、移动物体追视、多物体快速扫视、饱含情感凝视及特定情况下瞳孔放大、视野舒适区外转头等情景，进而极大程度地丰富了VR 社交的表现力与真实感。预计未来三年，除现有口型、眼动、微表情、手势肢体等上半身虚拟化身细分领域的优化迭代外，全身型虚虚拟（增强）现实白皮书23拟化身有望兴起。在内容相关的其他支撑性技术上，WebXR、OS、OpenXR 等重点领域稳健发展。作为电脑、手机、平板等智能终端用户交互窗口的延续，据统计，约有 2/3 虚拟现实头显用户使用浏览器。WebXR 推动了虚拟现实内容与各类终端平台、操作系统间的解耦，提供了更加便捷的网页 VR/AR 应用开发环境，将成为下一代 Web 沉浸体验的基石。2020 年 7 月
sgpjbg002
工作日 8:30 - 17:30
会员动态：
报告分类
新质生产力
ChatGPT
新能源汽车
大模型
Sora
机器人
微短剧
芯片
薪酬
白皮书
低空经济
数据要素
创新药
人工智能
AI产业
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医药健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
扫码登录
手机快捷登录
账号登录
