1、附件 25G5G 高新视频高新视频沉浸式视频技术白皮书（沉浸式视频技术白皮书（20202020）国家广播电视总局科技司2020 年 8 月I前前 言言当前，移动信息技术飞速发展，5G 技术已经成为国际通信科技巨头竞争的新焦点，世界各国纷纷将 5G 建设视为重要目标。5G 技术具有“大带宽、低时延、广连接”等特点，在 5G 众多应用场景中，视频被公认为是 5G 时代最重要和最早开展的业务。在 5G、超高清、虚拟现实等新兴技术催生下，广电行业传统视听内容的生产和传播，已难以满足新时代人民群众对美好视听的新需求。国家广播电视总局顺应技术革命浪潮，抢抓 5G 发展机遇，深入推进 5G 条件下广播电视供
2、给侧结构性改革，推动构建 5G 视频新业态，提出了“5G 高新视频”概念。5G 高新视频是指 5G 环境下具有“更高技术格式、更新应用场景、更美视听体验”的视频。其中， “高”是指视频融合 4K/8K、3D、VR/AR/MR、高帧率（HFR） 、高动态范围（HDR）、广色域（WCG）等高技术格式；“新”是指具有新奇的影像语言和视觉体验的创新应用场景，能够吸引观众兴趣并促使其产生消费。在 5G环境下，广电行业将发挥在视音频内容创意、生产、制作和传播方面的丰富资源和天然优势，以文化创意为牵引，以科技创新为支撑，培育孵化 5G 高新视频的新技术、新应用、新产品、新模式、新业态和新消费，为观众带来更美
3、的视听体验，更好地满足人民群众日益增长的精神文化新需求和新期待。沉浸式视频作为高新视频业态的重要组成部分， 是指一种采用裸眼观看方式获得身临其境感受，呈现画面覆盖人眼至少 120（水平）70（垂直）视场角的视频系统及具备三维声的音频系统。沉浸式视频通过播放器、投影幕或 LED自显屏、多声道扬声器、播控系统等构建出超大视角、超高沉浸感的视听呈现系统， 使观众能够同时获得周围多方位的视听信息，带来单一平面视频无法展示出的强大沉浸感，让观众真正有身临其境的感觉，应用场景丰富且形式多样。为更好地推动沉浸式视频的发展，引导和规范沉浸式视频行业应用，国家广播电视总局科技司下达任务，由中广电广播电影电视设计
4、研究院牵头，组织相关机构、企业等，开展沉浸式视频技术研究工作，编制5G 高新视频-沉浸式视频技术白皮书（2020 版）（以下简称白皮书）。本白皮书分析了沉浸式视频的发展现状，探讨了沉浸式视频的核心要素、关键技术，梳理了沉浸式视频应用场景，总结了沉浸式视频应用面临的挑战，提出了沉浸式视频端到端解决方案。 希望本白皮书能为各单位应用沉浸式视频提供参II考和借鉴，为推动广播电视行业转型升级注入新动能、激发新活力，促进广播电视和网络视听行业高质量创新性发展。本白皮书指导单位：国家广播电视总局科技司本白皮书牵头单位：国家广播电视总局中广电广播电影电视设计研究院本白皮书参与单位：国家广播电视总局广播科学研
5、究院、北京广播电视台、北京天文馆、北京邮电大学、四川传媒学院、华为技术有限公司、北京歌华有线电视网络股份有限公司、北京万达文旅规划设计院有限公司、北京未来媒体科技股份有限公司、 深圳岚锋创视网络科技有限公司、 上海腾斯帝信息科技有限公司、苏州光魔软件科技有限公司、北京澜景科技有限公司、北京汇融视景科技有限公司、杜比实验室、Fraunhofer 研究所、北京东方佳联影视技术有限公司、中科雷欧尼斯（北京）信息技术有限公司、天津凡创科技有限公司、Fulldome Pro、安恒集团、利亚德光电股份有限公司、南京洛普股份有限公司、深圳光峰科技股份有限公司、 北京鸿合科技股份有限公司、 紫科智控 （北京）
6、 智能科技有限公司、北京光影创意科技有限公司。1目目 录录缩略语. 51.概述. 91.1 沉浸式视频的定义. 91.2 沉浸式视频的发展现状.101.3 沉浸式视频的应用机遇.102.沉浸式视频核心要素.122.1 画面包围感. 122.1.1 球幕.132.1.2 环幕.132.1.3 沉浸屋 CAVE.142.1.4 其他异形呈现形式.142.2 画质.152.2.1 分辨率.152.2.2 动态范围.162.2.3 色域.172.2.4 帧率.182.2.5 色深.182.3 沉浸式声音. 192.4 沉浸式视频核心要素表.193.沉浸式视频关键技术.203.1 全景视频拍摄技术. 2
7、03.1.1 多机组合拍摄.203.1.2 全景相机拍摄.213.2 视频图像缝合技术. 223.2.1 模板缝合.223.2.2 光流缝合.223.3 三维图像映射技术. 233.3.1 鱼眼映射.233.3.2 等距圆柱映射.243.3.3 正六面体映射.253.3.4 等角方块映射.253.4 计算机图像制作技术.263.5 三维声技术. 273.5.1 基于声道的技术.273.5.2 基于对象的技术.273.5.3 基于场景的技术.283.6 编码及传输技术. 293.6.1 沉浸式视频的码流.293.6.2 沉浸式视频的编码.293.6.3 沉浸式视频的传输.303.7 媒体播控技术
8、. 3123.7.1 视频解码播放.313.7.2 投影拼接融合.313.7.3 自动校准技术.323.7.4 透视校正技术.323.7.5 环境特效控制.323.8 投影呈现技术. 333.8.1 投影几何校正技术.333.8.2 异形边沿融合技术.343.8.3 球面投影亮度均一化技术. 343.9 LED 屏呈现技术. 353.9.1 异形无缝拼接技术.353.9.2 透声及吸声技术.363.9.3 图像球形矢量变换技术. 374.沉浸式视频端到端解决方案.384.1 总体工艺架构. 384.1.1 直播工艺流程.394.1.2 点播工艺流程.404.2 沉浸式视频的拍摄. 414.2.
9、1 拍摄设备的选择.414.2.2 与传统视频拍摄的差异. 424.2.3 常用拍摄方式.444.3 沉浸式视频的制作. 454.3.1 实拍类视频的制作.454.3.2 计算机图像制作.474.4 沉浸式视频的传输. 474.4.1 有线电视网络.474.4.2 5G 无线网.494.4.3 互联网.504.5 沉浸式视频的呈现. 514.5.1 视频播放系统.514.5.2 投影系统.524.5.3 动感系统.534.5.4 周边系统.534.6 沉浸式视频的声音方案.544.6.1 基于对象的三维声方案. 554.6.2 基于场景的三维声方案. 564.7 呈现空间的音视频指标要求.57
10、4.7.1 亮度.574.7.2 对比度.574.7.3 声道数量.574.7.4 扬声器布置.584.7.5 声压级.584.7.6 频率响应.584.8 呈现空间的环境指标要求.5834.8.1 声学环境要求.584.8.2 照明技术要求.604.8.3 暖通技术要求.614.9 沉浸式视频系统小结.614.9.1 拍摄制作.614.9.2 编码.624.9.3 传输.624.9.4 终端呈现.635.沉浸式视频的应用场景.655.1 重大活动应用. 665.1.1 项目概述.665.1.2 整体架构.665.1.3 部署方案.675.1.4 应用效果.675.2 游艺场馆应用. 685.
11、2.1 项目概述.685.2.2 整体架构.685.2.3 部署方案.685.2.4 应用效果.695.3 展陈场馆应用. 695.3.1 项目概述.695.3.2 整体架构.705.3.3 部署方案.705.3.4 应用效果.715.4 教育培训应用. 715.4.1 项目概况.715.4.2 整体架构.725.4.3 部署方案.725.4.4 应用效果.735.5 家庭终端应用. 735.5.1 项目概述.735.5.2 整体架构.745.5.3 部署方案.745.5.4 应用效果.755.6 虚拟拍摄应用. 755.6.1 项目概述.755.6.2 整体架构.755.6.3 部署方案.7
12、65.6.4 应用效果.776.沉浸式视频应用的挑战与前景.786.1 存在的问题. 786.1.1 内容制作域.786.1.2 传输分发域.796.1.3 终端显示域.7946.2 发展前景展望. 80参考文献.815缩略语缩略语缩略语缩略语英文名称英文名称中文全称中文全称ARAugmented Reality增强现实ARQAutomatic Repeat-reQuest自动重传请求AVSAudio Video Coding Standard音视频编码标准CAVECave Automatic Virtual Environment沉浸屋（洞穴状自动虚拟系统）CBAChannel-based
13、Audio基于声道的音频CDNContent Delivery Network内容分发网络CMTSCable Modem Terminal Systems电缆调制解调器终端系统CMSContent Management System媒资管理系统CGComputer Graphics计算机图形学CMPCube Map Projection正六面体映射CUDACompute Unified Device Architecture通用并行计算架构DD+Dolby Digital Plus杜比数字DTSDigital Theater System数字影院系统（公司名）DCIDigital Cinema
14、 Initiatives数字电影倡导联盟DIGSSDigitalImmersiveGiantScreenSpecifications沉浸式数字影院规范DLPDigital Light Processing数字光处理技术DOCSISData Over Cable Service InterfaceSpecifications有线电视双向数据传输系统DMX512Digital Multiple X 512一种数据调光协议EACEqui-Angular Cubemap Projection等角方块映射eMBBEnhanced Mobile Broadband增强移动宽带eMTCEnhancedMac
15、hineTypeCommunications增强机器类通信E2EEnd-to-End端到端ERPEqui-Rectangular Projection等距圆柱映射6FOVField of View视野FPSFrames Per Second每秒的帧数FTTxFiber To The x各种光纤通讯网络的总称GPUGraphics Processing Unit图形处理器HDRHigh Dynamic Range高动态范围HFRHigh Frame Rate高帧率HINOCHigh-performance Network over Coax高性能同轴网络HLGHybrid Log Gamma混合
16、对数伽马HLSHTTP Live Streaming基于 HTT 的流媒体网络传输协议（苹果公司技术）HOAHigher Order Ambisonic高阶声场信号HFCHybrid FiberCoaxial混合光纤同轴网络IMAXImage Maximum一种巨幕电影放映系统IPSInternational Planetarium Society国际天文馆协会ITUInternational TelecommunicationUnion国际电信联盟I/OInput/Output输入/输出IPTVIPTV交互式网络电视lxLux勒克斯（照度单位）JOCJoint Object Coding传输
17、对象音频的编码方式（杜比公司技术）LEDLight Emitting Diode发光二极管MECMobile Edge Computing移动边缘计算MPEGMoving Picture Experts Group动态图像专家组MP4Moving Picture Experts Group 4一种用于音频、视频信息的压缩编码标准MPEG-HMoving Picture Experts Group-H动态图像专家组所开发的一组标准MRMixed Reality混合现实MVCMultiview Video Coding多视角视频编码7NTSCNationalTelevisionStandardsC
18、ommittee美国国家电视标准委员会NRNoise Rating Number噪声评价曲线OBAObject-based Audio基于对象的音频ODNOptical Distribution Network光分配网OTNOptical Transport Network光传送网OTTOver The Top通过公共网络向用户提供内容分发业务（电视）P2MPPoint-to-Multipoint Connection点到多点连接PQPerceptual Quantization感知量化PCBPrinted Circuit Board印制电路板PONPassive Optical Networ
19、k无源光纤网络QoSQuality of Service服务质量RISTReliable Internet Stream Transport可靠的互联网流传输协议RTMPReal Time Messaging Protocol实时消息传输协议RTTRender to Texture渲染到纹理SDRStandard Dynamic Range标准动态范围SBAScene-based Audio基于场景的音频SLAService Level Agreement服务级别协议SMPTESocietyofMotionPictureandTelevision Engineers电影和电视工程师协会SRTS
20、ecure Reliable Transport安全可靠传输协议TSTransport Stream用于传输的数据流UDPUser Datagram Protocol用户数据报协议URLLCUltra-reliableLowLatencyCommunications超高可靠超低时延通信VRVirtual Reality虚拟现实VODVideo on Demand视频点播系统WCGWide Color Gamut广色域8WDMWavelength Division Multiplexing波分复用XRExtended Reality扩展现实91.1.概述概述人的视觉系统是一个高度精密的光学系统，
21、 双眼立体视觉的重要基础是空间深度感。 达芬奇在文艺复兴时期最早指出， 相比于平面透视， 采用曲面透视方法，图像视点不会出现扭曲，如图 1-1 所示。根据这一原理，影视制作人通过拍摄或渲染与曲面屏幕几何图形相匹配的透视影像，创造出一种沉浸式的视觉体验，模仿人们在现实世界中的视觉体验。 曲面屏幕能够真实地再现现实世界中的视觉体验，现今技术发展阶段，最符合这种视觉特点的呈现形式是球幕，沉浸式视频利用了这一原理。图 1-1（a） 平面透视（b） 曲面透视1.1.1 1 沉浸式视频的定义沉浸式视频的定义沉浸式视频指的是一种采用裸眼观看方式获得身临其境感受， 呈现画面覆盖人眼至少 120（水平）70（垂
22、直）视场角的视频系统及具备三维声的音频系统。沉浸式视频通过视频、音频及特效系统，构建具备大视角、高画质、三维声特性， 具备画面包围感和沉浸式声音主观感受特征的视听环境，使观众能够在所处位置同时获得周围多方位的视听信息， 让观众体验到单一平面视频无法实现的高度沉浸感，呈现形式包括但不限于球幕、环幕、沉浸屋 CAVE 等异形显示空间。101.21.2 沉浸式视频的发展现状沉浸式视频的发展现状沉浸式视频源生于特种电影领域。心理学研究表明，就虚拟场景而言，当观察者的余光被场景全部包围后，观察者会自然地产生一种身临其境的感觉。电影制作人利用人眼视觉这一特点， 采用大尺寸屏幕以及播放处理设备的图形建构能力
23、，将大视场视景显示在观众面前，从而能够使观众完全沉浸在虚拟场景之中。随着电影技术不断创新，出现了 3D 电影、动感电影、特效电影、球幕电影等不同类型的电影形式，呈现形式也由单一的平面幕发展成弧幕、环幕、球幕等。数字技术时代，电影与电视行业出现融合，沉浸式视频得到进一步发展。随着超高清 4K/8K 技术日趋成熟以及三维声的推广应用， 沉浸式视频也进入了一个新阶段。相对于 2K 高清视频标准，超高清视频在高分辨率、高帧率、高色深、广色域、高动态范围上实现了突破：4K/8K 高分辨率为观众提供了更为丰富的画面层次和更为精致的画面细节；高帧率技术能够提升影像的细腻度和流畅感；高色深、 广色域提升了画面
24、颜色的丰富程度；高动态范围技术的使用大大地提高了画面的对比度，能更好地展现亮部和暗部的细节；技术标准上的全面提升将革新观众的视听体验， 呈现更加逼真的视听场景。 在三维声方面， 杜比全景声、 MPEG-H、AVS2-P3 和 DTS-X 等技术的应用，将音频扩展到三维空间，进一步强化沉浸式视频的空间表现力和临场感，为用户带来了全新的音频体验。在沉浸式视频呈现方面，投影融合技术已趋于成熟，高分辨率、高亮度、广色域的工程投影机已大规模使用在球幕影院、展览展示、大型演出及光影秀中；各种形式的 LED 自显屏也越来越多地应用到影院和游乐场所的环幕、球幕中。沉浸式视频通过多媒体艺术、装置艺术、人机交互、
25、VR/AR/MR 等技术融合，将实体空间营造成沉浸式场景，在游艺、消费领域的应用越来越广泛；同时，沉浸式视频还用于一些大型的虚拟仿真项目，如虚拟战场仿真、数字城市规划、三维地理信息系统等大型场景仿真环境。1.31.3 沉浸式视频的应用机遇沉浸式视频的应用机遇随着用户收看体验日趋个性化和多样化，特别是内容丰富化的需求，沉浸式视频在家庭端的应用将出现更为广阔的空间，催生更具沉浸感的家庭影院终端。11基于超大拼接屏、球幕屏或环幕屏的沉浸式视频呈现设备或装置，将呈现更高清晰度和更大的画面；结合三维声效果，可给予观众身临其境的视听感受。快速产业化应用的 5G 技术与沉浸式视频的融合，更会衍生出新的使用模
26、式和场景。沉浸式视频对传输带宽提出更高的要求。在某些存在实时性、移动性要求的应用场景中，如大型赛事/活动/事件直播、远程现场实时展示等，4G 网络己无法满足 4K、8K 视频传输对网络流量、回传时延等技术指标的要求，5G 网络以其良好的承载力正成为解决该场景需求的有效手段。利用 5G 大带宽、低时延特性可以对高质量的视音频数据进行实时采集，实时传输至后端信息处理中心，通过服务端的信息处理分析，最后分发给用户，高保真还原每一个细节，让用户在沉浸式的呈现终端得到身临其境的视听体验。此外，沉浸式视频与高新视频的其他应用，如 VR 视频，既存在一定的技术共通性，也存在一定区别：沉浸式视频更偏向于对电影
27、和影院观影方式的扩展，而 VR 更偏向于个人独立观影体验的扩展。部分题材的 VR/360全景视频可以直接或通过截取、变换等手段供沉浸式视频使用；针对全球幕摄制的沉浸式视频理论上也可以直接在 VR 体验场景中播放；视频制作的相关技术手段也是相通的。但是，沉浸式视频更强调利用屏或幕构成的沉浸式空间，而 VR 更强调的是面向个体的虚拟全景视野，这使得二者在视频题材、剧本、拍摄手段等方面并不能完全通用，画面和声音品质要求不同，且在编解码和传输处理等具体技术应用方面也有明显差异。122.2.沉浸式视频核心要素沉浸式视频核心要素沉浸式视频的核心要素包括以下三个方面： 画面包围感、 画质、 沉浸式声音。图
28、2-1 沉浸式视频核心要素2.12.1 画面包围感画面包围感画面包围感是沉浸式视频的核心要素。根据人眼视觉特性，当影像能更多地覆盖人的视野，形成画面在人眼中的水平视场角大于 120，垂直视场角大于70，就可以使人感受到一种身临其境的沉浸式效果。图 2-2 双眼水平视野、垂直视野示意图13为了实现上述的画面包围感， 沉浸式视频可采用的呈现形式包括球幕、 环幕、沉浸屋 CAVE 等异形显示空间，显示方式可采用投影+反射式幕或 LED 等自显屏。2.1.12.1.1 球幕球幕球幕是以球形恒曲率屏幕全方位包围观众，达到沉浸体验感的一种呈现形式。球幕可以分为全球幕和半球幕，如图 2-3 所示。根据观看方
29、式的不同，球幕又可以分为穹顶式、倾斜式和垂直式。穹顶式球幕，观众一般仰躺着观看，如天文馆星象厅里的球幕；倾斜式球幕，观众一般坐在阶梯座椅上观看，如 IMAX 球幕影院；垂直式球幕，观众一般坐在悬挂座椅上或站立在观景平台上观看，如飞行影院。图 2-3（a）全球幕模型（b）半球幕模型2.1.22.1.2 环幕环幕环幕是以柱面环形屏幕在水平方向上包围观众， 实现沉浸式体验的一种呈现形式。为了满足沉浸式视频所需的包围感，环幕的弧度可以从 120到 360，观众站立或坐在环内侧观看，如图 2-4 所示。14图 2-4 环幕案例2.1.2.1.3 3 沉浸屋沉浸屋 CAVECAVE沉浸屋 CAVE 是以多
30、面屏幕（或墙面作为影像显示介质）组成的像屋子（洞穴）一样，具有高度沉浸感的呈现形式。沉浸屋通常由三至六个显示面组成，如图 2-5 所示。除了直角的 CAVE 外，还有圆角的 CAVE（将显示面相交处做弧状处理），使其视觉上更柔和，有利于衔接处画面的连贯和完整。图 2-5 沉浸屋案例2.1.2.1.4 4 其他异形呈现形式其他异形呈现形式其他异形呈现形式包括折幕、 碗幕、 胶囊影院等形式。 碗幕多为双曲面屏幕，观众坐在悬空座椅里或者站立在平台上进行观看，模拟飞行状态俯瞰大地的感觉，视点着重于斜下方向，观众沉浸在大范围的影像中，再配合座椅的运动，营15造出独具特色的沉浸式体验。近年来在主题公园里兴
31、起的飞行影院就属于这一类，如图 2-6 所示。图 2-6 飞行影院模型示意2.22.2 画质画质沉浸式视频追求画面的高质量。分辨率、对比度、色域、帧率、色深等多方面是体现画质的重要指标。分辨率决定了图像的清晰度，动态范围决定了图像明暗对比度，色域决定了颜色的丰富度，帧率决定了图像的流畅度，色深决定了颜色渐变的平滑度。2.2.12.2.1 分辨率分辨率分辨率是决定沉浸式视频技术质量的一个重要参数， 由画面内容及呈现端系统的像素数决定。高分辨率带来了更为丰富的画面层次和更精致的画面细节，超高清视频 UHD 定义了 4K 和 8K 两种分辨率。而沉浸式视频作为一个系统，在分辨率选择上， 需综合画面分
32、辨率与人眼的水平视场角、 人眼视敏角三者的关系确定。基于人眼的生理特性，2004 年，国际天文馆协会（IPS）对球幕的分辨率给出了建议，指出观众观看天象的要求应达到介于“模糊感知”和“精确辨别”之间的“辩知”水平，此时银幕面上相邻两个像素与视点连线夹角应不低于 3 弧分（Arcminutes）；若要达到“精确辨别”，这个指标对应的像素夹角为 1.5 弧分。基于以上，球幕呈现形式下需要满足的水平方向最低分辨率计算公式如式（2-1）所示，计算用表如表 2-1 所示。假定观看点在球心，式（2-1）中 Y 为水16平方向最低分辨率，为水平视场角，为银幕面上相邻两个像素与视点连线夹角。式（2-1）表 2
33、-1 球幕呈现方式下水平方向最低分辨率要求表视点夹角最低分辨率 Y水平视场角=1.5 弧分=3 弧分360144007200如上述表中显示：以满足水平视场角为 180的球幕为例（一般采用半球球冠的球幕来实现），若要达到精确辨别的需求，分辨率对应的像素数为 7200，相当于 8K； 若要达到模糊辨别的需求， 分辨率对应的像素数为 3600， 相当于 4K。对于相同的水平视场角，环幕的弧长均比球幕要短，所以可以认为，只要满足了球幕的分辨率要求，就可以满足环幕的分辨率要求。而对于沉浸屋需要的分辨率，则需针对具体的项目分别计算。与超高清视频 UHD 采用的画
34、幅比 16:9 不同，沉浸式视频节目具有特殊画幅比（Aspect Ratio）。如半球幕节目的画幅比是 1:1，环幕和沉浸屋的画幅比需要根据幕的比例或房间的尺寸来确定。2.2.22.2.2 动态范围动态范围传统电视中所使用的标准动态范围（SDR）的亮度范围比较有限，无法有效还原画面中光线和颜色的渐变和层次，大量细节丢失。高动态范围（HDR）是一种能够显著提升图像对比度的技术，其核心在于提高高光画面的亮度，控制暗部画面的亮度，以此强化对比度，表现出画面中的光线和颜色的渐变和层次细节。目前主流的 HDR 技术有 HDR10、 HDR10+、 SL-HDR1、 杜比视界和 CUVA-HDR 等。HD
35、R 有两种转换曲线，分别是 PQ 曲线和 HLG 曲线，由于曲线特性的差异，它们对显示兼容和适配的支持也不一样。PQ 曲线在所有的回放端都需要做映射17处理， 以便适配不同显示设备的显示能力， 这种映射一般需要借助元数据来实现。PQ 在制作、传输和回放环节均需引入元数据，根据不同的终端实现相对准确的调整，适配效果较好。而 HLG 曲线是一条相对曲线，如果回放设备亮度等于制作监看亮度，则无需在回放端进行映射，即可正确回放；如果回放设备亮度不等于制作监看亮度，则只需要传输节目制作时的实际峰值亮度，就可以在回放端根据伽马值进行调整，以实现显示兼容和适配，但显示屏的性能将对显示效果产生较大的影响。如果
36、希望在不同显示屏上获得一致的效果，仍然需要利用动态元数据进行映射。HDR 易于在自发光类显示屏技术上获得实现，若显示屏表面经过吸光处理，HDR 更易实现；目前，大多数采用内弧形式的反射式银幕，很难实现“高动态”要求。建议沉浸式视频支持建议沉浸式视频支持 HDRHDR，但投影呈现的内弧形球幕终端不适用。，但投影呈现的内弧形球幕终端不适用。2.2.32.2.3 色域色域色域（Color Gamut），是指屏幕显示设备所能表达的颜色数量构成的范围区域。广色域（Wide Color Gamut）是一种更大范围的色彩标准，国际标准规定色彩覆盖率能达到 NTSC 的 92%，即为广色域。图 2-7 表示了
37、不同色域所覆盖的色彩范围。全高清电视对应的色域为 ITU-R BT.709，DCI 规定了数字电影对应的色域为 P3，超高清电视对应的色域为 ITU-R BT.2020。ITU-R BT.2020 是目前对显示设备提出的最大的色彩范围要求。建议沉浸式视频的色域支持建议沉浸式视频的色域支持 ITU-RITU-RBT.BT.20202020，条件暂不具备的可放宽至，条件暂不具备的可放宽至 DCI-P3DCI-P3。18图 2-7 不同色域的色坐标覆盖范围2.2.42.2.4 帧率帧率帧率（Frame Rate）是以帧为单位的位图图像连续出现在显示端上的频率，高帧率可以得到更流畅的影像。一般来说每秒
38、 30 帧画面是人眼可以接受的，将帧率提升至 60 帧，可以让动态的图像减少“拖影”，增强画面的流畅感，提高人眼观看的舒适度。沉浸式视频的帧率最低每秒沉浸式视频的帧率最低每秒 50/6050/60 帧，未来需要达到每帧，未来需要达到每秒秒100/120100/120 帧。帧。2.2.52.2.5 色深色深色深（Color Depth）称为颜色的量化精度，是表示数码影像色彩数目的术语，单位是比特（bit），数值为 2 的幂指数。bit 数越高，色深值便越高，影像所能表现的色彩也越多。 4K 超高清标准中规定色深为 10bit， 即能够显示 10.7亿种颜色（每种颜色具有 210个灰阶，三种颜色就
39、是 21021021010.7 亿），而标清标准对应的是 8bit 色深，只有 1677 万种颜色（2828281677 万），差距悬殊。8K 超高清对应 12bit14bit 色深，能进一步提升颜色的细腻程度。同时，10bit 以上色深也是实现 HDR 的必要条件，量化精度的提高可以保证高动态范围内的色彩过渡平滑柔和。建议沉浸式视频色深使用不低于建议沉浸式视频色深使用不低于 10bit10bit，推荐使推荐使用用1212bitbit。192.32.3 沉浸式声音沉浸式声音真实世界的声音来自环境的四面八方， 人耳可以通过声波的时间差、 强度差、相位差、频率差等辨别声音的方位。现有的立体声和 5
40、.1 环绕声只能重放部分方向来的声音信息， 而想要获得沉浸感， 需要尽可能全方位地再现真实世界的声音。因此，沉浸式声音是沉浸式视频系统的一个核心要素。形成沉浸式声音，要求呈现空间的还音系统的声辐射至少能覆盖观众的前、后、左、右、上五个方向，能真实地营造出声场的水平纵深和垂直高度，能够正确地定位声音的方向和位置。沉浸式声音主要通过三维声技术来实现。三维声技术实现主要分为三大类：基于声道的音频（CBA）、基于对象的音频（OBA）和基于场景的音频（SBA）。基于对象的技术是目前主流的三维声技术。在电影领域，三维声技术已广泛应用，如 Dolby Atmos 全景声、DTS-X、HOLOSOUND、WA
41、NOS 全景声、中国多维声、Auro-MAX 等。 在广电领域， 三维声技术主要有 Dolby Atmos 和 MPEG-H、 AVS2-P3。沉浸式视频的声音系统推荐使用基于对象或场景的三维声技术，需要实现沉浸式视频的声音系统推荐使用基于对象或场景的三维声技术，需要实现不低于不低于 5.1.45.1.4 声道的声音系统声道的声音系统，即在传统即在传统 5.15.1 环绕声环绕声基础上增加基础上增加 4 4 个顶部声道个顶部声道。2.2.4 4 沉浸式视频沉浸式视频核心要素表核心要素表用于沉浸式视频制作的核心要素见表 2-2。表 2-2 沉浸式视频核心要素表序号序号参数参数推荐推荐数值数值1水
42、平视场角大于等于 1202垂直视场角大于等于 703呈现形式球幕、环幕、沉浸屋 Cave 等异形显示空间4分辨率4K/8K5动态范围HDR（投影呈现的内弧形球幕终端不适用）6色域不低于 DCI-P3，推荐 ITU-R BT.20207帧率（fps）不低于 50/60，推荐 100/1208色深（bit）不低于 10，推荐 129声音系统不低于 5.1.4 声道203.3.沉浸式视频关键技术沉浸式视频关键技术沉浸式视频系统所涉及的关键技术包括全景视频拍摄技术、 视频图像缝合技术、三维图像映射技术、计算机建模渲染技术、三维声技术、编码及传输技术、媒体播控技术、投影呈现技术、LED 屏呈现技术等。3
43、.13.1 全景视频拍摄技术全景视频拍摄技术由于普通摄影机的成像方式和画面摄取角无法覆盖水平与垂直 360全景范围， 所以沉浸式视频基本的拍摄制作是采用多个相机、 多个镜头， 在同一时间、同一位置分别拍摄不同角度有部分重叠的画面， 然后将采集到的多角度图像进行拼接以得到完整的 360全景画面。3.1.13.1.1 多机组合拍摄多机组合拍摄全景视频拍摄理论上可以采用各种相机+镜头的组合，但受光学原理、拍摄环境、 相机体积以及多机同步等各种问题的限制，行业内通过多年实践已形成了一些常用的组合方式，如下表所示。表 3-1 多机组合方案比较相机相机组合方案组合方案设备设备举例举例特点特点运动相机组合运
44、动相机组合GoPro Omni 或其他各种支架组合画质一般，体积小专业摄影机组合专业摄影机组合RED Dragon 电影机组合全画幅或更大的传感器尺寸， 画质优异，体积大，系统造价高无反相机组合无反相机组合SONY A7s 系列相机专业摄影机组合的折中方案为了达到更好的观看效果， 多人观看的沉浸式视频除了在分辨率需要能够达到 4K、8K 甚至更高，画面色彩和质量相对于 VR 视频也有更高的要求。多机同步拍摄的优势在于使用了多个具备较高参数的摄像机采集图像， 传感器尺寸可达到21Super35 或更高，获得的图像具有较高的分辨率、动态范围和彩色量化深度，多用于对图像质量有很高要求、能够承受后期复
45、杂制作流程的应用场景。多机同步拍摄的主要问题是需要使用比较复杂笨重的多机支架； 实际拍摄中对于场地、移动要求较高；拍摄前需要对各个摄像机、镜头等进行匹配调整；拍摄完成后各机位采集的素材需要进行时间码对齐、色彩统一调整、图像拼接缝合等处理才能形成全景图像，因此不适合于直播应用。国外有电影拍摄的镜头组合成相机阵列的应用，在一定程度上解决了支架、多机同步等问题，但造价昂贵。图3-1 两种用于球幕拍摄的相机阵列Shot over Hydra和Pictor Vision Eclipse3.1.23.1.2 全景相机拍摄全景相机拍摄一体化全景相机一般由多个内置的超广角/鱼眼镜头组成，是目前沉浸式视频/VR
46、/全景视频常用的拍摄设备， 可视为上述全景拍摄系统中运动相机组合的集成化产品。一体化全景相机的优点是系统整合度高，便于现场操作，易于后期制作及直播； 机内各镜头和图像传感器的参数及帧同步等工作在机内完成；现场拍摄时只需全局配置拍摄参数；统一供电，统一 I/O；体积较小，重量较轻，可配合各种轨道、 吊索、 无人机等进行拍摄； 大部分一体化全景相机可以进行机内实时拼接、实时监看，可用于不要求极致画面质量的直播等场景；相机厂家一般会提供匹配相机参数的定制化软件，拼接效率较高。一体化全景相机的缺点是受集成度限制，图像传感器小，成像质量一般，对环境光线要求高。 目前性能最好的专业级一体化全景相机可拍摄
47、（拼接后能达到）最高 8K 10bit 30fps、8K 8bit 60fps 或 11K 8bit 30fps 的全景视频。223.23.2 视频图像缝合技术视频图像缝合技术来源上，沉浸式视频可采取实景拍摄和计算机建模两种方式获得。实景拍摄一般采用多机组合拍摄的方法， 需要进行视频图像的缝合才能形成一个完整的沉浸式视频画面。目前应用于全景视频的缝合方法主要有两类： 基于模板的缝合和基于光流的缝合。3.2.13.2.1 模板缝合模板缝合模板缝合就是将相邻的两张图像直接拼到一起并进行融合渲染。 模板缝合有两种常见的方式，第一种是通过设立一组参考帧，通过参考帧中相邻图像的像素进行匹配计算，得到模板
48、参数，然后将此参数应用到视频中的其他图像中。第二种是在相机出厂之前进行拼接标定来确定相机的内外参数， 确定好相机镜头之间的相对位置，然后将此参数直接用于视频或者图像的拼接。由于模板缝合存在各帧之间的差异，可能在融合区域出现重影，画面质量相对较差。模板缝合的拼接速度比光流缝合快，对处理设备的性能要求也没有光流那么高。3.2.23.2.2 光流缝合光流缝合所谓光流，是通过一组图像序列的像素点来判断图中的物体位置。光流理论基于同一物体在相邻的两帧图像之间像素灰度相同的假设， 根据像素匹配得到图像 HSV 颜色模型的色调（H）、饱和度（S）、明度（V）参数值，经过双边滤波等处理方法得到最终包含所有拼缝
49、处像素的插值表。用插值表来校正像素的位置，将相似像素从一幅图像“扭曲”或“流动”至另一幅图像然后拼接融合起来。常见的插值算法有多项式插值和分段插值。光流拼接的拼接效果优于模板拼接，但是速度也会相应的慢一些，对运算性能的要求也相对更高。233.3.3 3 三维图像映射技术三维图像映射技术三维图像映射是指将三维（球面）的图像转换为适于压缩编码的二维平面图像。3.3.3.3.1 1 鱼眼映射鱼眼映射鱼眼映射指使用鱼眼镜头成像的原理将三维立体空间里的目标点与平面的成像点对应起来，通常有正交鱼眼映射和等距鱼眼映射两种方式。图 3-2 正交鱼眼和等距鱼眼映射原理示意图(1)(1)正交鱼眼映射正交鱼眼映射正
50、交鱼眼映射是把半球面上的点平行投射到平面上， 在图像平面上得到一个圆形的映射图像。图 3-2（左）描述了正交鱼眼映射。半球映射视角范围最大到180。 在 0附近， 映射图像几乎没有变形， 但是在平面的最外边缘 （接近 90） ，图像变形很大，这个地方的图像看起来显得比较拥挤。由于正交鱼眼映射的这种放射性变形，球幕边缘的信息丢失严重。因此，在实际应用中，相比于等距鱼眼映射，正交鱼眼映射的应用较少。(2)(2)等距鱼眼映射等距鱼眼映射等距鱼眼映射是让映射图像上的点到图像中心的距离， 和球面上对应点与球心连线到照相机光轴的方向角成比例。在等距鱼眼映射图像上，整个图像分布几乎是均匀的。等距鱼眼映射视角
sgpjbg002
工作日 8:30 - 17:30
会员动态：
报告分类
新质生产力
ChatGPT
新能源汽车
大模型
Sora
机器人
微短剧
芯片
薪酬
白皮书
低空经济
数据要素
创新药
人工智能
AI产业
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医药健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
扫码登录
手机快捷登录
账号登录
