《5G应用产业方阵:2023面向5G行业终端的实时计算技术研究报告(30页).pdf》由会员分享,可在线阅读,更多相关《5G应用产业方阵:2023面向5G行业终端的实时计算技术研究报告(30页).pdf(30页珍藏版)》请在三个皮匠报告上搜索。
1、 课题编号:课题编号:2022-01-C-010 面向 5G 行业终端的实时计算技术研究 Research on Real time Computing Technology for 5G Industry Terminals 2023 年年 4 月月 5G 应用产业方阵研究报告 20222022-0101-C C-010010 研研 究究 报报 告告 要要 点点 自 5G 商用以来,各行各业都在推动 5G 融合业务的发展,不同业务的通信场景逐渐趋于多样化,也对实时性、可靠性、安全性提出了更高的需求。在时延敏感场景中,关键是降低网络端到端时延。随着 5G、新型短距等技术推动网络通信时延不断下降
2、,终端操作系统计算时延在端到端时延的占比不断提升。目前 5G 行业终端操作系统可粗略分为嵌入式实时操作系统和通用操作系统。而两类操作系统在设计目的、技术架构、应用方式等方面存在较大差异,导致工业控制、电力保护、自动驾驶等实时任务和数据采集、数据处理、AI 训练等非实时任务无法在同一设备上运行。本研究课题旨在保留操作系统的通用处理能力的前提下,提升终端操作系统实时性,保障高实时、高性能业务需求,实现异构设备的生态兼容。本研究报告主要阐述了各类典型行业客户的业务需求,并对业务场景根据低、中、高时延进行性能分级,研究了终端实时虚拟化系统及五种技术实现路线:专有硬件实时增强、硬件实时虚拟化、操作系统实
3、时虚拟化、微内核虚拟化、算力调度实时增强,阐明相关技术的原理、优缺点和适用场景,并针对性提出了性能高、易用性好、兼容性强的分级解决方案,为业界提供了最佳实践参考。最后对终端侧实时虚拟层和硬件、应用软件之间的接口方面提供标准化建议。研究单位:中国移动通信集团有限公司研究单位:中国移动通信集团有限公司、中国信息通信研究院中国信息通信研究院、浪潮浪潮通信技术有限公司通信技术有限公司、北京东土科技股份有限公司北京东土科技股份有限公司、中科创达软件股份中科创达软件股份有限公司有限公司、紫光展锐(上海)科技有限公司紫光展锐(上海)科技有限公司 研究人员:刘玮哲、王小莹、房正正、张悦、姜永、张天静、陈晟民、
4、研究人员:刘玮哲、王小莹、房正正、张悦、姜永、张天静、陈晟民、张硕、林加、张伟强张硕、林加、张伟强 完成日期:完成日期:2023 年年 4 月月 5G 应用产业方阵研究报告 20222022-0101-C C-010010 目目 录录 1 范围范围.1 2 规范性引用文件规范性引用文件.1 3 缩略语缩略语.1 4 5G 行业终端实时计算需求分析行业终端实时计算需求分析.2 4.1 5G 应用场景性能需求应用场景性能需求.2 4.1.1 实时性要求实时性要求.2 4.1.2 可靠性要求可靠性要求.3 4.1.3 安全性要求安全性要求.4 4.2 典型场景的业务性能指标典型场景的业务性能指标.4
5、 4.3 5G 典型场景的端到端时延构成分析典型场景的端到端时延构成分析.5 5 5G 行业终端实时计算典型场景行业终端实时计算典型场景.7 5.1 低时延场景低时延场景.7 5.2 中低时延场景中低时延场景.8 5.3 中等时延场景中等时延场景.9 6 5G 行业终端操作系统现状行业终端操作系统现状.10 6.1 嵌入式实时操嵌入式实时操作系统作系统.10 6.2 通用操作系统通用操作系统.11 7 5G 行业终端实时行业终端实时计算关键技术计算关键技术.11 7.1 专有硬件实时增强专有硬件实时增强.12 7.2 硬件实时虚拟化硬件实时虚拟化.13 7.3 微内核实时虚拟化微内核实时虚拟化
6、.14 5G 应用产业方阵研究报告 20222022-0101-C C-010010 7.4 操作系统实时虚拟化操作系统实时虚拟化.15 7.5 算力调度实时增强算力调度实时增强.16 8 5G 行业终端实时计算解决方案行业终端实时计算解决方案.18 8.1 PLC 工业控制解决方案工业控制解决方案.18 8.1.1 虚拟化层实时性优化虚拟化层实时性优化.18 8.1.2 内核层实时性优化内核层实时性优化.20 8.2 网络数据转发方案网络数据转发方案.20 8.2.1 硬件层实时性优化硬件层实时性优化.20 8.3 高清视频传输解决方案高清视频传输解决方案.21 8.3.1 应用层实时性优化
7、应用层实时性优化.21 8.3.2 虚拟化层实时性优化虚拟化层实时性优化.22 8.3.3 内核层实时性优化内核层实时性优化.23 8.4 小结小结.24 9 总结与展望总结与展望.25 参考资料参考资料.26 1 5G 应用产业方阵研究报告 20222022-0101-C C-010010 面向面向 5G 行业终端的实时计算技术研究行业终端的实时计算技术研究 1 范围范围 本研究报告基于 5G 行业客户的典型业务需求,分析典型业务对于 5G 行业终端的实时性、可靠性和安全性等关键指标的要求,通过端侧实时计算技术研究,提出适用终端操作系统的多种实时性增强技术。本报告适用于各类 5G 行业终端,
8、尤其承载时延敏感类业务的 5G 行业终端。本报告同时提供 PLC 工业控制、高清视频传输、网络数据转发等场景分级解决方案,为相关业务研究人员提供参考。本研究报告将重点对 5G 行业终端操作系统的实时计算技术进行研究,不涉及或较少涉及端侧实时计算的调度及相关接口标准的制定。2 规范性引用文件规范性引用文件 下列文件中的条款通过本研究课题的引用而成为本研究课题的条款。凡是注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本研究课题,然而,鼓励根据本研究课题达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件,其最新版本适用于本研究课题。切片分组网(SPN)
9、设备技术规范,中国移动通信集团有限公司.3 缩略语缩略语 下表所述术语和定义适用于本研究课题。表 1 中英文对照 缩略语 英文全称 中文含义 AP Application Processor 应用处理器 API Application Programming Interface 应用程序编程接口 CFS Completely Fair Scheduler 完全公平调度器 CNC Computer Numerical Control 计算机数字控制机床 CP Coprocessor 协处理器 CPE Customer Premise Equipment 客户前置设备 DTU Data Termi
10、nal Unit 数据终端单元 5G 应用产业方阵研究报告 20222022-0101-C C-010010 GPL General Public License GNU 通用公共许可证 GPU Graphic Processing Unit 图形处理单元 GSO Generic Segmentation Offload 通用分段延后处理 HMI Human Machine Interface 网络人机界面 IPA IP Packet Accelerator IP 数据包加速器 IPC Inter-Process Communication 进程间通信 MEC Multi-Access Edg
11、e Computing 多接入边缘计算 NPU Neural-network Process Units 神经网络处理单元 OTA Over-the-Air Technology 空中下载技术 PCIE Peripheral Component Interconnect Express 高速串行扩展总线标准 PLC Programmable Logic Controller 可编程逻辑控制器 QoS Quality of Service 服务质量 RTOS Real-time Operating System 实时操作系统 RTU Remote Terminal Unit 远程终端控制单元 S
12、CADA Supervisory Control And Data Acquisition 数据采集与监视控制系统 SDIO Secure Digital Input and Output 安全数字输入输出 SMIPC Shared Memory Inter-Process Communication 共享内存进程间通信 SPN Slicing Packet Network 切片分组网 VMM Virtual Machine Manager 虚拟机管理器 4 5G 行业终端实时计算需求分析行业终端实时计算需求分析 4.1 5G 应用场景性能需求应用场景性能需求 目前 5G 通信已经进入制造、矿
13、山、电力等多个产业领域,不同行业存在多样化的通信场景,也面临用户对于具体应用的不同需求,主要有以下几种业务性能要求。4.1.1 实时性要求实时性要求 实时性是指必须在规定时间完成计算并给出确定性结果。业务实时性不仅取决于其逻辑功能的计算结果,也取决于计算结果输出的物理时间。这种确定性的 3 5G 应用产业方阵研究报告 20222022-0101-C C-010010 时间约束规定了在某个截止时间完成某项任务,既可以定性分析也可以定量分析。定性分析时,可根据截止时间对系统性能的影响程度分为硬实时、软实时、准实时三种情况。硬实时是指一旦违背了时间约束,就会造成无法挽回的严重后果,如人员伤亡和重大经
14、济损失等;准实时允许偶尔超过时限,但超时所作的操作和结果无意义;软实时是指偶尔打破时间约束不会造成致命错误,而是造成服务质量(QoS)下降,其后果可以容忍和补救,超时的响应仍然具有一定意义。三种情况的故障模式和示例系统如下表 2 所示。表2 实时系统的故障模式和示例系统 故障模式 示例系统 硬实时 将错过的截止时间视为系统故障 机器人控制、自动驾驶系统、航天器和行星探测器 准实时 会丢弃错过截止时间的计算,并可能会降低其性能要求以适应错过的截止时间 财务预测系统、机器人装配线的不合格零件 软实时 试图满足截止时间,但在错过截止时间时不会视为系统故障 网页浏览、用于游戏的音频和视频传输软件、多传
15、感器同步采集的延迟 定量分析时,实时性多数状况下可由端到端时延和时延抖动来衡量。端到端时延是指数据(一个报文或分组)从网络(或链路)的一端传送到另一端所需要的总时间,它由 4 部分构成:发送时延、传播时延、处理时延、排队时延。在某些场景下也测量往返时延,即从发送方发送数据开始,到发送方收到接收方的确认为止,总共经历的时延。时延常以毫秒为单位来衡量。数据包的大小、链路上传下行速率、通讯距离、通讯介质的种类、节点的处理能力都会影响时延。在工业自动化场景中,执行器或传感器等现场设备和控制器以周期为单位进行数据交换、处理各种通信请求,因此也可用循环周期来表征实时性指标。工业等领域的应用不仅要求时延要低
16、,还要保证时延的确定性。时延抖动是基于时延产生的,即为最大延迟和最小延迟的时间差值。时延抖动的不确定性将对行业用户造成很大影响,甚至可能会造成灾难性的事故。4.1.2 可靠性要求可靠性要求 可靠性主要来自两个方面:一是保证终端长期运行不宕机,二是保障通信网络长期不掉线。在系统的高可靠性(也称为可用性)中,X 个 9 是衡量其可靠性 5G 应用产业方阵研究报告 20222022-0101-C C-010010 的标准,X 可代表数字 3-6,整体代表系统正常使用时间占全年的百分比。以可靠性 5 个 9 为例,可列计算公式如下(1-99.999%)*365*24*60=5.26 分钟,表示该系统在
17、连续运行 1 年时间里最多可能的业务中断时间是 5.26 分钟。4.1.3 安全性要求安全性要求 安全性是指将具有高安全要求的关键应用(或数据)与普通应用(或数据)进行分离,并针对性地实施差异化的安全策略,分等级保障不同应用的安全,例如保证在网络传输过程中数据不会损失或篡改,同时也要保证设备在应用运行过程中的用户隐私安全等。隔离机制可在硬件、系统和应用等不同层面上实现。其中,虚拟化技术为应用和通信提供相互隔离、安全的执行环境,是防范安全问题的一种有效手段。4.2 典型场景的业务性能指标典型场景的业务性能指标 本篇报告选取了部分典型时间敏感应用的业务技术指标要求,并划分为三种时延等级,包括低时延
18、(T110ms)、中等时延(控制类 T250ms,采集类 T2100ms)、高时延(T3200ms),详情如表 3 所示。从业务时延、可靠性和吞吐量角度看,最具挑战性的场景涉及工业自动化控制,具体包括运动控制、离散控制等,其次是过程控制、自动驾驶操控、电力配电业务和用于远程控制的高速视频传输。而在海量物联网中的时延要求是相对宽泛的,比如无人机操作及交通管理、智能电网的音视频传输等。不同应用场景的有效载荷范围变化较大,从配电自动化的 4字节到运动控制的 250 字节、再到音视频传输的 1.5 千字节。表3 部分典型应用场景的业务技术指标 时延 等级 场景 端到端时延/循环周期 有效载荷大小(Pa
19、yload)抖动 可靠性 用户数据 速率(Data rate)低 运动控制 2ms 40-250B 10Mbps 离散控制 2-10ms 99.9999%中 过程控制 10-50ms 99.9999%用于远程控制远程控制10ms,视频15-150KB 99.999%5 5G 应用产业方阵研究报告 20222022-0101-C C-010010 的视频传输 传输100ms 自动驾驶 控车指令20ms,环境信息=5Mbps 差动保护 245B 抖动50us 99.999%2Mbps 配网自动化 4B-99.999%2Mbps 精准负荷控制 50ms-99.999%48.1Mbps1.13Mbps
20、 高 无人机操作及交通管理 200ms 40-250B 10Mbps 用电信息采集 低压集抄3s,精准费控2Mbps 电网移动巡检 多媒体信息200ms,控制信息100ms 15-150KB-99.9%99.9999%4100Mbps 4.3 5G 典型场景的端到端时延构成分析典型场景的端到端时延构成分析 接下来通过分析 5G 典型场景的端到端时延构成,定量评估终端处理时延在总时延占比。对于一个 5G 典型业务来说,端到端时延可以进一步分解为各节点处理时延和节点间传输时延之和,即终端、空口、传输网、核心网、承载网、应用平台时延的总和。各阶段的时延普遍平均值如下图所示:5G 应用产业方阵研究报告
21、 20222022-0101-C C-010010 图1 5G典型场景的端到端时延构成(1)终端应用层时延主要由业务类型、操作系统的处理能力决定,其处理时延范围为 1-2ms 左右。(2)基站无线空口的时延范围在 8ms-300ms 之间,受无线信号质量、网络负荷、调度策略或参数配置等因素影响,时延抖动范围较大。(3)传输网时延由光纤传输时延和节点转发时延共同构成,其计算公式为:时延=传输距离 x 光纤时延+PE 节点数 x 节点转发时延+P 节点数 x 节点转发时延。式中,传输网常用光纤时延为 5us/km(参考中国移动的企标 切片分组网(SPN)设备技术规范),PE 节点时延上限为 30u
22、s/节点,P 节点时延上限为 10us/节点。因此,SPN 传输网下传输路径和距离较固定,时延较确定,局域场景下时延典型值为 540us。(4)核心网处理时延较确定,时延误差在 1ms 以内,由 UPF 设备处理能力决定。其计算公式为:仪表测试=报文接受时间-发出时间,时间戳=出口时间戳-入口时间戳。(5)承载网时延的影响因素是传输距离、节点类型和节点数量。在局域场景下跟传输网相同,时延较为确定;在广域场景下,时延收数据网关负荷、路径不固定等影响,时延为 1-100ms。(6)平台应用层处理时延跟业务类型、服务器操作系统的处理能力、部署位置有关。从图中的时延分布可以看出不同阶段的时延开销,端到
23、端的大时延主要由无线空口、设备处理引入,其他时延的占比较为平均。由于从 4G 到 5G 通信性能的 7 5G 应用产业方阵研究报告 20222022-0101-C C-010010 大幅提升,主要改进的是无线空口时延,5G 空口时延降低为 4G 空口时延的十分之一左右,因此 5G 通信的传输时延逐渐接近终端和各节点的操作系统处理时延,使得终端操作系统的处理时延占全部的比重上升到约 14.3%-47.6%,操作系统的处理时延变得不容忽视,严重影响业务数据的实时处理和转发性能。5 5G 行业终端实时计算典型场景行业终端实时计算典型场景 本章以不同时延等级的几个典型应用场景为例,提出适用不同场景的系
24、统架构,阐述不同业务对 5G 行业终端操作系统的实时处理性能、隔离性、安全性等方面的需求。5.1 低时延场景低时延场景 钢铁、汽车、化工等行业的工业控制场景中,既要求 99.9999%以上高可靠保障,并且具有硬实时保障。端到端的离散工控任务循环扫描周期要求在 4-10ms,部分对时间敏感的控制业务(如伺服电机控制等),端到端时延在 4ms 以下。根据工业积累经验,网络双向时延周期*20%,抖动周期*10%,其中周期指一个控制循环周期,包括控制端下发指令时延、执行端执行指令时延、两侧网络传输时延。进而可推导得出控制端下发指令时间约占 40%,通用系统的任务调度时延抖动无法满足需要,从而导致 PL
25、C 实时工控任务难以在网关、边缘通用控制器、MEC 服务器等 5G 行业终端上运行。图2 皮带纠偏PLC远程控制系统架构 5G 应用产业方阵研究报告 20222022-0101-C C-010010 具体以钢铁冶炼传输控制为例开展分析。钢铁原料大多采用皮带传输的方式从料仓传送至生产车间。传统的皮带传输的方式存在诸多弊端,比如:原料传输路径长达几百米到几公里,物料分布不均匀及震动,易造成皮带跑偏、破损,带来物料泄漏等问题;皮带传输过程需专职人员进行 24 小时巡逻检查,员工工作强度大,易产生漏检现象;员工工作环境恶劣,对轮值工人的健康产生不利影响等。为了解决上述应用痛点,检测设备、工业相机、远程
26、 IO、伺服电机等通过5G 网关接入网络,实现机房侧的边缘控制器与现场传感器、执行部件之间的互联互通。工控机、边缘控制器等 5G 行业终端需引入边缘计算系统部署框架,在本地完成流量卸载,提供超低时延的实时控制应用,并利用视觉检测算法提高物料传输效率,实现无人值守、自动纠偏、物料自动识别等功能。为了保障集中控制,5G 行业终端需要整合 PLC 实时控制、视觉算法和 SCADA 等功能,保障系统间数据通讯的实时性和稳定性,实现非实时系统与实时系统融合运行,降低人力和硬件设备成本。5.2 中低时延场景中低时延场景 在矿山、港口等行业的网络数据转发场景中,由于自动驾驶作业涉及高精控车指令的下发,这类场
27、景需要规模性的现场传感器数据采集,利用设备状态信息进行反向远程控制,因此要求在满足端到端时延小于 10-20ms 的前提下,具有硬实时保障。该场景需要转发的数据包经由操作系统中的网络转发模块处理,传输路径长、过程较为复杂,需要提高行业终端 CPE 的实时数据转发能力,实现网络吞吐速率的提升。图3 港口5G数据转发系统架构 9 5G 应用产业方阵研究报告 20222022-0101-C C-010010 图 4 井下无人化采掘系统架构图 具体以港口 5G 数据转发场景为例,该场景下需要满足高速率、高带宽、低时延的数据传输,保障港口自动化设备的高效安全运行。目前 5G 基站一般安装于灯塔位置,虽然
28、实现了 5G 专网覆盖,但是网络质量会出现各种时延抖动,满足不了港口实际通信需求。由于 5G CPE 行业终端的操作系统实时性不够强,经常有数据转发会阻塞、或者被延误。当前 5G 专网部署过程中,常出现由于终端操作系统实时性不足,造成终端任务调度时延抖动过大,影响网络传输的时延和吞吐量,增加了试验排查成本,降低了用户 5G 专网高质量服务体验。5.3 中等时延场景中等时延场景 电力、公交等行业的高清视频传输场景中,典型的应用包括:第一,边缘侧实现工业产线上自动化质量检测,并根据检测结果触发反应报警机制。第二,在工厂厂区内,针对跑冒滴漏等危险场景进行实时识别和告警。第三,在电力场站,实现对机房设
29、备的电网差动保护、继电保护,对潜在故障的早识别、早发现、早告警,同时不影响其他设备正常运行等。该场景要求具有较高的传输带宽,一般保证端到端时延上限为 100ms,5G 专网环境下,端到端时延控制在 20-50ms 范围以内,业务具备准实时保障。为了降低部署依赖,通常需要将 AI 模型的不同版本运行时库绑定不同硬件资源,实现硬件资源隔离。图5 高清视频传输系统架构 5G网关 5G 应用产业方阵研究报告 20222022-0101-C C-010010 具体以工厂园区的 AI 视频安全行为为例开展分析。5G 专网环境下,摄像头监控现场机器设备的运行,一方面将实时现场采集的多路视频回传到视频中心,5
30、G 网关只需完成双网口的中断处理,建立 IPSec 隧道区分多路视频数据,IP 层处理完之后交给 5G 模组,转发给视频中心对视频流进行 AI 安全行为分析,若时间延迟达不到要求,则会出现视频画面拖影现象。另一方面对于高性能 5G 网关,可直接在本地完成 AI 分析,需要终端提供容器、虚拟机等虚拟化运行环境,或对应用绑核处理,保障任务之间的安全隔离,提升 NPU、GPU 等算力资源利用率。除了上述案例,大多数场景需要综合处理硬实时保障的低时延任务和非实时通用任务,让 5G 行业终端操作系统承载不同类型任务、实现高实时计算成为新的挑战。6 5G 行业终端操作系统现状行业终端操作系统现状 当前 5
31、G 行业终端操作系统种类可分为嵌入式实时操作系统和通用操作系统。例如 CPE、DTU、网关等数据接入类行业终端上大多采用 Linux 操作系统;工业上的 HMI、SCADA 等设备则更多采用 Windows 桌面操作系统;PLC、CNC 实时控制器、传感器、仪表、RTU 等低功耗设备则采用嵌入式实时操作系统,其中PLC、CNC 可采用国外厂商闭源的商业实时操作系统。它们在各自的应用场景领域都有广泛的生态应用基础。嵌入式操作系统具有高实时特性,保障关键应用的快速响应和及时处理,通用操作系统则具有网络互联、数据处理、AI 计算等丰富功能。因此,时间敏感业务通常运行在嵌入式实时操作系统上;数据通信、
32、数据处理业务大都采用通用操作系统。具体对比分析如下:6.1 嵌入式实时操作系统嵌入式实时操作系统 嵌入式实时操作系统(Real-Time multi-task Operating System),简称 RTOS,是一种支持单片机或 ARM 嵌入式系统应用的操作系统软件。系统的资源调配策略都能为争夺 CPU、内存、网络带宽等资源的多个实时任务合理地分配资源,使 11 5G 应用产业方阵研究报告 20222022-0101-C C-010010 每个实时任务在最坏情况下的实时性要求都能得到满足。嵌入时实时操作系统具有通用操作系统的基本特点,能够有效管理复杂的系统资源,同时可以实现 us级任务、中断
33、响应,具有通用操作系统没有的时间响应确定性,并且面向特定应用的技术成熟度高,具有多年的行业实践应用经验。当前嵌入式实时操作系统碎片化严重,共有上百种系统,常见的包括 Vxworks、uCLinux、uc/os-II、eCOSystem、RTX、QNX、Free RTOS、WinCE、Azure RTOS 等。国产的包括 djyos(都江堰)、阿里的 Alios Things、华为的 Liteos、RT-Thread 等。RTOS 虽然在几十个硬件平台提供类同的 API,但硬件适配面窄,有一定的应用移植开发成本。同时由于软件生态规模小,联网上云、OTA 升级、安全防护等方面存在天然缺陷。6.2
34、通用操作系统通用操作系统 通用操作系统(如 Linux、Windows、Unix 等),是由分时操作系统发展而来,大部分都支持多用户和多进程,负责管理众多的进程并为它们分配系统资源。通用操作系统的基本设计原则是:尽量缩短系统的平均响应时间并提高系统的吞吐率,在单位时间内为尽可能多的用户请求提供服务。由此可见,与嵌入式实时操作系统不同,通用操作系统注重平均表现性能,而不是个体最坏情况表现。通用操作系统如 Linux 系统的硬件支持好,可以支持各类芯片架构,外设驱动丰富。同时软件生态成熟,积累了丰富的软件库。但由于通用 Linux 内核并非为实时场景设计,内核不可抢占,任务调度延迟过长,导致任务执
35、行的时延抖动较大。目前 Linux 的实时优化方案众多,进程调度也支持实时优先级,但缺乏有效的实时任务的调度机制和调度算法,如果有实时性高的任务,仅可提供软实时保障。面对第 4 章所述的不同 5G 场景实际应用,行业终端采用的实时嵌入式系统生态规模小、功能拓展性差、适配面窄,而通用操作系统难以保障业务的实时性。由于异构操作系统无法统一,会造成总体设备数量激增,系统复杂度大幅增加。7 5G 行业终端实时计算关键技术行业终端实时计算关键技术 5G 应用产业方阵研究报告 20222022-0101-C C-010010 实时计算描述了计算系统在严格限制的时间范围内响应给定输入的能力。针对目前两大类操
36、作系统存在的问题,实时虚拟化技术通过虚拟化手段,可以在同一个系统上兼容实时任务和非实时任务,在保障实时性的同时,提供良好的硬件适配和丰富的应用能力,支持将多个嵌入式设备合并到同一个设备中,降低设备成本、尺寸、功耗,实现异构设备的生态兼容。其系统架构如下图所示。图 6 实时虚拟化系统概念架构 虚拟化系统具备很多优点:一是可隔离,可实现资源隔离、故障隔离,具备天然的安全属性。二是可移植,软件部署与系统环境无关。三是可拓展,支持按需增减虚拟机。虚拟化一般用于服务器端侧的资源的拓展,较少考虑实时性,传统虚拟化技术并不适用于嵌入式设备,因此在终端设备上保障终端的实时性能是虚拟化研究的关键。但是虚拟化手段
37、众多,不同方法的性能、兼容性和隔离性有一定差别。如果系统层级众多,实时调度算法复杂,实时性又面临挑战。所以下一步需提升操作系统的实时虚拟化能力,保障业务的高实时、高性能计算需求兼顾,实现网络与业务间的确定性协同。为了在通用操作系统上支持实时任务和非实时任务同时运行,目前国内外主要的技术发展方向包括:7.1 专有硬件实时增强专有硬件实时增强 针对特定应用场景,采用硬件优化方案,引入专用硬件可以提升实时性,比如 IP 转发场景。网络数据到达设备后,会根据数据的目的地址来处理,如果目的地址是本机地址,则交由本机上层应用;如果目的地址是非本机地址则可以通过其它网络接口转发出去。目前,对于通信数据包的转
38、发,通常有三种方案:实时虚拟化系统 通用计算任务 实时计算任务 硬件 13 5G 应用产业方阵研究报告 20222022-0101-C C-010010 图 7 网络数据转发的三种方案(1)通过操作系统网络子系统进行转发。也是本文中场景一(第 8.1 章)采用的方案,该方案依靠纯软件实现,现有操作系统均能良好支持,配置量少。但方案路径最长,处理最为复杂,对操作系统的实时性要求较高。(2)不经过操作系统,通过路由学习,将两个网络接口直接对应。也是本文中场景二(第 8.2 章)采用的方案,此方案通过用户空间软件实现,数据包转发不经过操作系统网络子系统,数据包路径变短。(3)通过专用硬件转发。也是本
39、文中场景三(第 8.3 章)采用的方案,此方案在硬件支持校验、过滤、IP 地址转换、路由等功能,对于转发数据包,硬件直达相应出口,处理效率最高,应用处理器可以完全不用参与。相较于方案(1)和方案(2),方案(3)为纯硬件转发方式,采用 GSO、HW checksum 等 offload 技术,实现 L2 转发、L3 路由等功能,使部分数据处理从 CPU 中剥离。不仅降低对 CPU 实时处理要求,同时能够提升吞吐量、降低功耗,可更好满足 5G 高速率场景性能和功耗等方面要求。7.2 硬件实时虚拟化硬件实时虚拟化 硬件实时虚拟化通过 Hypervisor 技术提供虚拟硬件,支撑上层实时操作系统和非
40、实时操作系统,和软件虚拟化相比,可以有效利用硬件资源,具有较高的隔离性和可定制性。但是硬件虚拟化架构直接运行在硬件上,需要大量的硬件适配工作。硬件虚拟化可细分为完全虚拟化和半虚拟化。(1)完全虚拟化是通过 Host 系统进行虚拟化,Host 系统通过 Hypervisor(虚拟机控制器 virtual machine monitor,VMM)来管控虚拟机,不需对虚拟机操作 5G 应用产业方阵研究报告 20222022-0101-C C-010010 系统进行修改,其典型代表有 VMware、KVM 等。该技术的优点是为用户提供了完整的相互独立的虚拟化硬件资源,缺点是 Hypervisor 需要
41、消耗大量资源,物理主机开销大。(2)半虚拟化技术,是为了改善完全虚拟化的性能,通过定制的虚拟机操作系统使得其可以与 Hypervisor 通信,协同工作,并对其指令进行了优化,其典型代表为 XEN。该技术的优点在于提高了虚拟化的性能和系统效率,缺点是由于其需要对虚拟机操作系统进行修改,增加了系统设计复杂性。图 8 硬件虚拟化架构图 7.3 微内核实时虚拟化微内核实时虚拟化 微内核实时虚拟化是指在硬件和操作系统之间插入精简的微内核系统,实现中断优先分发、IPC 通信、内存管理等核心功能,将硬件资源转换为各种实时系统服务,通过虚拟设备的方式提供给运行在虚拟机上的客户操作系统,典型代表包括 Sel4
42、、OKL4 等。微内核架构可以支持实时内核和非实时内核同时运行,并在非实时应用程序和实时应用程序之间提供一个统一的、透明的交互界面。和硬件虚拟化方案相比,微内核 Hypervisor 更小、更稳定、扩展性更好,更适合用于嵌入式虚拟化场合。微内核方法的系统架构如下图所示。图 9 微内核虚拟化架构图 物理硬件 Hypervisor(VMM)实时 GuestOS 非实时 HostOS 虚拟硬件 实时任务 非实时任务 物理硬件 Micro Hypervisor(微内核)实时 GuestOS 非实时 HostOS 微内核驱动(用户空间)实时任务 非实时任务 15 5G 应用产业方阵研究报告 202220
43、22-0101-C C-010010 这种解决方案优点包括:一是高效的资源共享。微内核方法提供了有效共享资源的机制。通过设置地址空间之间的映射,可以共享任意的内存区域。二是灵活的调度。微内核方法允许客户操作系统选择适当的全局调度优先级,这意味着它可以在执行实时线程时以高优先级运行,而在执行后台任务时以低优先级运行。也存在一些缺点,比如需要终端设备的硬件支持和仿真。7.4 操作系统实时虚拟化操作系统实时虚拟化 目前标准 Linux 作为分时操作系统,并不提供硬实时性。影响 Linux 内核实时性因素主要有时钟精度、系统中断、进程调度算法和内核可抢占性等,每一部分都可以做出相应的优化。为解决 li
44、nux 不具有硬实时的问题,对 Linux 实时化改造的方法主要可分为如下两类技术路线:(1)直接修改 Linux 内核技术路线。对 Linux 内核代码进行细微修改并不对内核作大规模的变动,在遵循 GPL 协议的情况下,直接修改内核源代码将 Linux改造成一个完全可抢占的实时系统。其缺点是通过修改 Linux 内核,难以保证实时进程的执行不会遭到非实时进程所进行的不可预测活动的干扰,该方法的代表是 RT-patch(Real-time Preemption Patch)。对系统内核进行实时化改造后,需要容器技术提供虚拟化资源隔离,让所有的虚拟机共享同一个操作系统实例,同时支持实时任务优先调
45、度。容器化技术相对于硬件虚拟化技术,具有轻量化、开销小、部署快的优点。(2)双内核技术路线。在原 Linux 内核的基础上添加一个实时内核,实时任务在实时内核中运行,原来的 Linux 内核作为一个低优先级任务在实时内核上调度。其优点是可以做到硬实时,并且能很方便地实现新的调度策略,典型双内核法有 RTAI(Real-Time Application Interface)和 Xenomai。5G 应用产业方阵研究报告 20222022-0101-C C-010010 a.Linux 内核实时补丁方案 b.Linux 双内核实时方案 图 10 内核实时增强架构图 7.5 算力调度实时增强算力调度
46、实时增强 除了传统操作系统范畴的实时虚拟化技术,可以保障端侧确定性时延,实时计算技术还包括算力调度、资源编排,任务分发等。云侧的实时计算框架越来越完善,比如实时流处理计算框架 Flink、分布式计算框架 Spark 等,但随着算力在端侧投放的增加,如何保证高算力任务在分布式5G 行业终端的实时性,成为业界的研究重点。本小节简要提出了端侧的算力调度实时增强技术的设计思路,如图 11 所示。第一,发起层,整体的流程是计算任务的处理通过发起端,通过计算编程接口 API 来发起计算网络的请求;通过计算 API,把相关的参数和数据传给配置管理层和数据管理层。第二,配置管理层,通过计算 API 传递过来的
47、参数,进行参数的重组,生成统一格式的参数文件,如果没有参数,会通过默认参数传递给调度层,这个默认的参数在第一次随机的,随着任务的不断执行,调度层的调度学习器会根据整个数据计算的过程,进行一个深度学习,随时跟新默认配置管理。第三,数据管理层,这个层主要是对数据进行分类和编排,针对不同的类型的数据做前期的处理,将数据编程成调度器可以识别的格式,通过输出接口和配置管理器生成的配置一起送给调度器。第四,调度层,主要包括调度器、调度管理器、调度控制器、计算分配器、学习器:首先,是具体的调度器,根据实时性的要求,可分成硬实时调度器、流式调物理硬件 Linux+Preempt-RT 实时任务 Docker
48、daemon 非实时任务 物理硬件 实时任务 Linux 实时 GuestOS 非实时任务 17 5G 应用产业方阵研究报告 20222022-0101-C C-010010 度和普通任务调度器。硬实时调度器,会直接生成硬实时任务,进行计算分配,一直到计算结束;流式调度器是先将数据分片,分组进行调度;普通任务调度器是把数据处理任务挂载到队列中等待实时任务处理完成,才能被调度到,如果实时任务阻塞,会触调度发控制器上的时钟裁决器,保证低普通任务不被饿死;但时钟裁决器可以通过配置关闭,在关闭的情况下,所有任务只能等待,因此,不建议关闭。其次,是调度管理器,主要通过配置器来选择相关调度器,保证任务都能
49、运行在合理的调度器上;同时,负责调度任务的分布式分发。再次,是调度控制器,主要有时钟裁决器、网络同步器以及主从交互,保证任务和资源有效有序同步的进行同时多节点进行角色交互。然后,是计算分配器,主要负责计算扫描和分配,通过计算抽象层的接口来获取当前网络中计算资源,并根据配置请求来分配计算。最后,是学习器,主要是学习请求层的习惯,和系统负载状态来学习生成合理的计算配置,会和监控层结合,通过监控层的数据来不断优化网络。第五层,资源层。这层主要是统一本地和网络上的计算资源,对计算进行抽象,形成计算网络抽象层,屏蔽网络和本地差异,屏蔽硬件细节,抽象计算给调度层来使用;同时,加入了时间敏感网络,通过时间敏
50、感网络协议来网络件的计算同步,调度控制器通过网络时间戳来保证控制计算的同步性。第六层,监控层,可以监控整个系统的数据流向和计算分布情况,建立算力和数据地图,可以用于调试和 AI 学习,优化计算网络架构。通过 5 层模型,可以保证分布式网络系统计算的实时性和弹性,同时也能保证数据的准确性和有效性。图 11 算力调度实时增强架构图 5G 应用产业方阵研究报告 20222022-0101-C C-010010 8 5G 行业终端实时计算解决方案行业终端实时计算解决方案 随着云端业务开始下沉到边端,逐渐形成了云边端融合的实时计算模式,而终端的计算和云计算有比较大的区别,第一,硬件的多样性,单一端侧设备
51、的 CPU处理器是异构的,导致处理计算资源的方式不一样;第二,操作系统不同,不同的硬件设备采用不同的操作系统,分为实时嵌入式操作系统和通用操作系统;第三,端侧任务的颗粒更加细微,包括实时任务和非实时任务,任务间通信的手段更多元;第四,不同类型的任务对性能有不同的要求,衡量性能的指标也会复杂和精细。所以整体上必须兼顾上述特点来整体规划端侧实时计算系统。5G 行业终端侧实时计算解决方案架构可以细分为硬件层、实时虚拟化层、内核层、应用层。首先,内核层主要包括实时任务调度、管理与通信,多核异构管理和实时通信,实时中断管理,内存的管理与共享内存等;其次,实时虚拟化层主要包括采用硬件实时虚拟化、操作系统实
52、时虚拟化、微内核实时虚拟化等方案;最后是硬件层和应用层,除提升操作系统的实时处理能力外,其他基于硬件、用户态软件的实时计算解决方案,包括 IP 包转发加速技术、算力调度实时增强技术等。图 12 终端实时计算总体解决方案架构 根据第 5 章所述的三种实际业务的痛点需求,业界已利用专有硬件实时增强、硬件虚拟化、实时操作系统虚拟化、微内核虚拟化技术形成了性能高、易用性好、兼容性强的重点解决方案,并在网关、CPE、通用控制器等 5G 行业终端上开展了实时计算技术验证,并取得了良好的性能效益。8.1 PLC 工业控制解决方案工业控制解决方案 8.1.1 虚拟化层实时性优化虚拟化层实时性优化 19 5G
53、应用产业方阵研究报告 20222022-0101-C C-010010 针对 PLC 工业控制场景,虚拟化技术可实现终端实时工控任务和非实时任务兼容。传统的硬件虚拟化技术在性能方面无法支撑控制逻辑的高实时性要求,原因是传统的硬件虚拟化技术是将客户机作为宿主操作系统的一个进程运行,无法直接响应中断,并且会受到其他进程调度影响,无法保障高实时性。本方案采用安全隔离微内核技术构建高实时操作系统的运行环境,采用分时调度方式实现多个高实时操作系统并行调度,使高实时操作系统可以直接访问中央处理器的特殊指令和输入输出地址区,并直接响应硬件中断,实现高实时虚拟化的运行环境。a.传统硬件虚拟化结构示意图 b.高
54、实时微内核虚拟化结构示意图 图 13 虚拟化结构对比图 安全隔离微内核分为四部分:虚拟客户机访问物理内存隔离。现在 X86 和 ARM 多核 CPU 的每个核心都具有独立逻辑地址表。安全隔离内核在启动虚拟客户机之前,分配物理内存,设置被占用 CPU 核心的逻辑地址表,以达到对虚拟客户机的访问物理内存进行隔离的目的。虚拟客户机对 IO 设备的访问和隔离。在宿主机启动时,会将 IO 设备地址映射到CPU物理总线上,在安全隔离内核启动虚拟客户机之前,会把 IO 设备在CPU物理总线地址添加到逻辑地址表中,以达到虚拟客户机访问 IO 设备,并隔离 IO设备的目的。对虚拟客户机接收 IO 中断的隔离。传
55、统虚拟客户机在运行过程只能接收到宿主仿真的硬件中断,并非真实的 IO 设备产生的中断,其仿真中断在传导过程容易收到操作系统其他进程调度的影响。安全隔离内核运行在宿主机的层,最靠近硬件的软件层次上。当宿主机启动时,安全隔离内核管理所有虚拟客户机使用的 IO 设备的中断,在虚拟客户机运行过程中直接接收安全隔离内核转发 IO 中断。5G 应用产业方阵研究报告 20222022-0101-C C-010010 分时调度实现并行运行。安全隔离内核采用分时调度方式实现一个 CPU 核心上多个虚拟客户机的并行运行。高实时微内核虚拟化技术利用 CPU 的多核、指令虚拟化、接口虚拟化技术满足虚拟客户机的高实时性
56、需求;宿主机为虚拟客户机高实时性需求,提供安全隔离的微内核。安全隔离内核利用 CPU 的多核、指令虚拟化、接口虚拟化技术实现虚拟客户机的全隔离,实现虚拟客户机可以直接接收 IO 设备中断、访问 IO 内存和执行特殊指令,并采用分时调度方式实现一个 CPU 核心上多个虚拟客户机并行运行。8.1.2 内核层实时性优化内核层实时性优化 对于不同任务间数据通信的实时性,例如视觉图像处理和 PLC 控制任务,采用可配置混合异构系统,包括若干个实时系统 RTOS 和一个非实时系统,系统间通过 MODBUS TCP 或者共享内存接口等方式直接通信,通过虚拟网卡方式实现非实时系统及实时系统间任意两者的高速通信
57、。通过 SMIPC 和共享内存方式实现任意两个实时 RTOS 之间的通信。与之前 PLC 和计算机网络通信相比,基于软件之间的通信有效确保数据通信实时性和稳定性,满足自动化控制与图像处理的需求。可配置混合异构系统间的通信机制如下图所示:非实时系统TTOSTTOSTTOS虚拟网卡/共享内存虚拟网卡/SMIPC/共享内存/虚拟中断实时系统虚拟网卡/SMIPC/共享内存/虚拟中断 图 14 非实时系统与实时系统的高速通信机制 8.2 网络数据转发方案网络数据转发方案 8.2.1 硬件层实时性优化硬件层实时性优化 针对 IO 密集型负载的网络数据转发场景,本方案采用专用 IPA 硬件实时增强的方案。I
58、PA(IP packet accelerator)即 IP 数据包的硬件加速器,设计的目的是为了满足 5G 高速率场景性能和功耗等方面的要求。IPA 设计使得大部分的数据处 21 5G 应用产业方阵研究报告 20222022-0101-C C-010010 理得以从 CPU 中剥离,从而在提升吞吐量的同时可以降低对 CPU 实时处理的要求。IPA 采用了 GSO、多队列、HW Checksum 等 Offload 技术,将功能下沉到芯片或模组硬件,实现了 L2 转发、L3 路由等功能。IPA 还提高了丰富的外围接口,包括和 AP/Modem 的接口,提供了 USB/WIFI/ETH 等的接口,
59、支持 PCIE/SDIO等通用总线。图 15 IPA 在 AP 主芯片方案中的应用框架图 蜂窝网络数据从 Modem 发往 IPA 后,IPA 会根据数据的目的地址来处理,如果目的地址是本机地址,则交由本机上层应用;如果目的地址是非本机地址则可以通过其它网络接口转发出去。通常而言,采用硬件转发方式相比操作系统具有以下显著优势:硬件转发方案可以实现数据的接收和发送零拷贝;对于目的地非本地地址的数据,可以由硬件转发模块直接路由转发,无需 AP 处理,降低 AP负荷和功耗,提高处理实时性;硬件转发模块实现了数据包控制复合的添加和移除硬件化,减少了对 CPU 负荷的消耗;硬件转发模块可以增加数据包过滤
60、/查错等的辅助功能,降低 CPU 处理负荷,提升 CPU 处理效率。8.3 高清视频传输解决方案高清视频传输解决方案 8.3.1 应用层实时性优化应用层实时性优化 针对高清视频传输的应用场景,若在终端本地完成 AI 计算,主要考虑占用CPU 资源的计算密集型负载,若在终端完成视频数据转发,则还需要考虑对网卡等的 IO 密集型负载消耗的时间。本方案使用 kernel by pass(内核旁路)技术来实现视频数据转发,这是一种绕过操作系统内核 TCP/IP 协议栈、通过用户空间 5G 应用产业方阵研究报告 20222022-0101-C C-010010 软件实现直接访问和控制设备内存的技术,避免
61、数据从设备拷贝到内核,再从内核拷贝到用户空间,减少数据搬运时间,提高实时性能。对于高带宽和低延时的网络视频传输应用而言,Linux 内核中的中断系统,用户空间和内核空间的数据拷贝、上下文切换,以及小页内存管理和多核调度等极大的影响了网络传输的性能。因此可以把业务分为控制面和数据面,将网络数据包处理、内存管理、处理器调度等任务转移到用户空间去完成,而内核仅仅负责部分控制指令的处理。这样就不存在上述所说的系统中断、上下文切换、系统调用、系统调度等等问题。图 16 高速网卡 kernel by pass 方案 如上图所示高清视频应用由控制面的 master 和数据面的 worker 组成,worke
62、r负责轮询硬件网卡读取网络数据,通过TUN/TAP以及netlink等技术与内核交互,控制面和数据面通过本地 socket 实现通信,方案实现内核协议栈与用户协议栈并存的机制,利用用户协议栈快速处理数据面数据,内核协议栈处理控制业务逻辑。8.3.2 虚拟化层实时性优化虚拟化层实时性优化 为了保证通用性的业务基础上,同时运行工业控制任务等时间敏感业务,例如中大型机械手臂抓取、控制汽车行业机械生产过程,本方案在原来通用 Linux内核的基础上添加实时抢占补丁 RT-preempt。该补丁采用中断线程化、临界区可抢占、高精度时钟、优先级继承等方法提高 Linux 内核实时性,但并不能提高吞吐量和整体
63、性能,相反它是降低整体性能。同时该补丁也并不是减少了延时,而是将最大延时减小。因此,Preempt-RT 重要目标是使系统的可预测性和可确定性增强。其技术原理是用可抢占的构造取代不可抢占的构造,使操作系统尽可能地抢占,使中断线程化,这样中断处理程序也可以被调度,自旋锁转换为互斥锁,23 5G 应用产业方阵研究报告 20222022-0101-C C-010010 不禁用中断并允许抢占适用于线程中断。对于多任务兼容,本方案通过 docker 容器化的方式部署不同版本 AI 运行时库或 PLC 任务,不同容器独立绑定 CPU 核心,提高实时性和降低部署依赖。8.3.3 内核层实时性优化内核层实时性
64、优化 内核层着眼于系统从整体寻求解决办法,主要涉及调度优化、多核绑定、中断系统优化:(1)调度优化:linux 系统目前默认采用的是完全公平调度算法(CFS),它按照各个进程的权重来分配运行时间,在默认使用 CFS 的情况下,大多数优化是给有实时性需求的进程分配更高的优先级和权重,可以看做是通过赋予更高的优先级来获得更好的实时性。例如一些 PLC 的控制应用,在应用层程序中使用 Linux实时调度策略 SCHED_RR,提供高优先级的工业控制程序。但这种方案无法杜绝分时调度和优先级翻转等 linux 内核固有问题。(2)多核绑定:linux 多核情况下,使用多核技术代替多线程技术,并设置 CP
65、U 的亲和性,将线程和 CPU 核进行一比一绑定,减少彼此之间调度切换,提升实时性能和调度效率。可以把部分 CPU 核心隔离出来,不让这些核心参与 linux内核的调度,然后通过把有高性能要求的业务线程绑定到固定 CPU 的核心上,并通过屏蔽该 CPU 上的中断处理来达到独占 CPU 的目的,从而避免了 linux 调度的缺陷,达到优化视频高性能程序运行的目的。同时使用大页内存代替普通的内存,降低缓存缺失(cache-miss)的几率。最后方案提出采用无锁技术解决资源竞争问题。Linux 内核调度CPU0CPU1CPU2CPU3CPU2CPU3视频任务实时任务屏蔽中断绑定CPU核心 图 17
66、Linux 多核调度改进(3)中断系统优化:禁用 irqbanlance 服务,并手动分配系统中断响应,将中断负载分配到 linux 内核管理调度的 CPU 上,只留网卡中断在隔离出来的 CPU 5G 应用产业方阵研究报告 20222022-0101-C C-010010 核心上。linux 系统中的 irqbalance 服务用于优化中断分配,它会自动收集系统数据以分析使用模式,并依据系统负载状况将工作状态置于性能模式(Performance mode)或节能模式(Power-save mode)。这两种模式会将硬件中断分配到各个 CPU核心上处理。处于性能模式时,系统会将中断尽可能均匀地分
67、发给各个 CPU 核心,以充分利用 CPU 多核,提升性能。处于节能模式时,系统会将中断集中分配给值守 CPU,以保证其它空闲 CPU 的睡眠时间,降低能耗。8.4 小结小结 总结来看,三种不同场景所涉及的业务需求侧重点不同,选用了不同的解决方案,场景需求特点和方案比较如下表所示。表 4 不同方案场景需求和方案对比表 场景 PLC 工业控制 网络数据转发 高清视频传输 终端选型 边缘控制器 CPE 网关 时延等级 低时延、硬实时 中低时延、硬实时 中等时延、准实时 数据传输特点 高可靠 PLC 数据 多源异构数据 高带宽视频数据 数据转发方式 内核网络模块 硬件加速 用户态软件加速 虚拟化方式
68、 微内核虚拟化 无 操作系统虚拟化 任务间通信方式 虚拟网卡/共享内存进程间通信/虚拟中断 无 多核 CPU 及核间通信 CPU 负载类型 计算密集型、IO 密集型 IO 密集型 计算密集型、IO 密集型 方案优点 微内核支持实时任务和非实时任务同时运行,轻量级,安全隔离,可靠性高 支持任务间高速稳定通信 专用硬件提高网络数据转发性能 广泛连接现场异构设备 docker 轻量级虚拟化,系统开销小,降低 AI部署依赖 设置任务 CPU 亲和性,安全隔离 视频数据高速转发 通过上述分析,对于实时性和可靠性要求高的边缘控制器场景,可以采用硬件虚拟化或微内核虚拟化的方案,工业控制任务和视觉识别任务之间
69、搭建可混合异构配置的高速通信机制;对于高清视频转发对网关的高带宽和高隔离需求,可采用Linux操作系统实时改造,并将不同的AI高性能业务绑定独立的CPU核心;25 5G 应用产业方阵研究报告 20222022-0101-C C-010010 最后,对于提供数据转发功能的 5G 行业终端而言,提升终端实时计算和吞吐速率,还可以通过用户态软件和专用硬件转发加速的方式来实现。9 总结与展望总结与展望 本篇研究报告完成对 5G 行业终端实时计算需求、实时计算典型系统架构、操作系统现状和实时计算虚拟化关键技术进行分析和研究,并结合三大实际案例提出对应解决方案,为业界提供了最佳实践参考。在此研究基础上,建
70、议实时虚拟化层对底层硬件、上层应用之间的接口进行规范化,使虚拟机可以在不同的硬件平台之间无缝地移动:a.虚拟化层北向接口。根据业务分配不同的资源,包括实时虚拟化层和GuestOS 操作系统之间的虚拟资源管理接口和硬件资源管理接口。b.虚拟机间通信标准。根据场景的通信要求选用不同 GuestOS 操作系统之间的通信机制,包括通信数据格式定义、数据接口等。c.裸机的生命周期管理。实时虚拟层需支持查询系统中已注册的裸机信息,包括注册时的相关参数、为裸机分配的逻辑资源(如 IP、存储卷等)、裸机状态等。d.虚拟化自动编排接口。实时虚拟层应支持虚拟资源的自动编排功能,通过指定的模板和输入参数,自动编排虚
71、拟资源,批量部署和配置实时虚拟机,并将需要的信息输出。本篇研究报告主要对单一 5G 行业终端的实时计算技术进行探讨。展望未来,5G 行业终端将从一个独立的终端设备向多种资源共享的端侧算力网络发展,如何为端侧算力网络提供实时性保障成为新的研究课题。首先,通过对端侧物理资源进行抽象,将 CPU、内存、I/O 等物理资源转化为一组可统一管理、调度和分配的逻辑资源。其次,基于这些逻辑资源在物理终端上构建多个同时运行、相互隔离的实时虚拟机执行环境。最终形成集高实时、资源抽象、算力调度、数据管理、安全计算为一体的 5G 行业终端实时算力网络。后续课题组将针对上述方向开展进一步研究。5G 应用产业方阵研究报
72、告 20222022-0101-C C-010010 参考资料参考资料 中国移动行业终端产品白皮书R.中国移动通信集团终端有限公司,2021.端侧算力网络白皮书R.中国移动通信集团终端有限公司,2022.中国工业操作系统发展白皮书R.浙江蓝卓工业互联网信息技术有限公司,2022.Real-Time Computing:A New Discipline of Computer Science and EngineeringJ,Shin K G,Ramanathan P.Proceedings of the IEEE,1994,82(1):6-24.GUse Cases,Requirements
73、and Challenges of 5G Communication for Industrial AutomationC.angakhedkar S,Cao H,Ali A R,et al.IEEE International Conference on Communications Workshops(ICC Workshops).IEEE,2018.基于 5G 承载网的电力差动保护业务时延抖动分析J,王常玲,赵元,通信世界,2019 年第 32 期.多虚拟机间的网卡共享系统、方法、装置、设备及介质,科东(广州)软件科技有限公司,专利申请号:2020115399289,申请公布日:2021.03.26.切片分组网(SPN)设备技术规范,中国移动通信集团有限公司.2018.10 基于微内核的嵌入式虚拟化技术J.奚智,姜哲,张广伟,单片机与嵌入式系统应用,2021.实时嵌入式双操作系统架构研究综述J.张美玉,张倩颖,孟子琪,电子学报,2018 年第 46 期.实时多核嵌入式系统研究综述J.陈刚,关楠,吕鸣松,软件学报,2018 年第 29 期.嵌入式虚拟化技术研究综述J.肖伟民,网络新媒体技术,2019 年第 2 期.