《IMT-2030(6G)推进组:2023语义通信及语义认知网络架构研究报告(84页).pdf》由会员分享,可在线阅读,更多相关《IMT-2030(6G)推进组:2023语义通信及语义认知网络架构研究报告(84页).pdf(84页珍藏版)》请在三个皮匠报告上搜索。
1、北京稻壳科技有限公司Beijing Rice Hull Technology Co.,Ltd.地址:北京市朝阳区九住路 188 号IMT-2030(6G)推进组IMT-2030(6G)Promotion Group2023 年年 9 月月版权声明版权声明 Copyright Notification未经书面许可未经书面许可 禁止打印、复制及通过任何媒体传播禁止打印、复制及通过任何媒体传播2023 IMT-2030(6G)推进组版权所有IIMT-2030(6G)推进组IMT-2030(6G)Promotion Group前言前言本研究报告介绍了语义通信以及语义认知网络的驱动力、应用场景,探讨语义
2、通信和语义认知网络的目标、基础理论、架构设计、关键技术和应用需求。本研究报告是在 IMT-2030 6G 网络总体架构指导下,着重介绍语义通信与语义认知网络技术概述、语义通信及语义认知网络的基础理论与关键技术、语义通信的要素以及语义认知网络的应用需求和典型业务,希望能为业界在语义通信和语义认知网络架构的关键技术的研究提供参考和指引。IIIMT-2030(6G)推进组IMT-2030(6G)Promotion Group目录目录1语义通信与语义认知网络技术概述.11.1语义通信和语义认知网络的研究动机与目标.11.2语义通信和认知赋能的 6G 网络智能.11.3国内外研究现状.31.3.1语义信
3、息论的历史与研究现状.41.3.2语义网的应用.51.3.3基于深度学习的语义通信.51.3.4隐性语义通信与语义认知通信网络.61.4语义通信和语义认知网络国际标准化现状.72语义通信的基础理论与关键技术.72.1语义信息的数学表征.82.1.1基于概念知识的语义表征.82.1.2基于命题的语义表征.92.1.3受知识图谱启发的语义表征.102.1.4基于规则的语义表征.152.2语义通信的要素.162.2.1语义知识库.162.2.2语义编码器.172.2.3语义译码器.172.2.4语义评估器.182.2.5语义解释器.182.2.6语义噪声.182.3语义通信的基本理论与框架.192.
4、3.1基于经典信息论的语义通信理论基础.192.3.2策略语义通信理论.212.3.3通用语义通信理论.232.3.4基于深度学习的语义编解码技术.242.3.5隐性语义认知通信理论.27IIIIMT-2030(6G)推进组IMT-2030(6G)Promotion Group2.3.6多模态语义通信技术.292.4语义通信的性能刻画.302.4.1语义率失真.302.4.2语义率失真-感知效果平衡关系.312.4.3语义相似度.312.4.4语义信息新鲜度.322.4.5其他性能指标.323语义认知网络参考架构.333.1从语义通信向语义认知网络的演进趋势.333.2语义认知网络的组成.35
5、3.2.1面向网络的语义表征.363.2.2边缘计算和存储服务单元.363.2.3全局知识与模型库.373.2.4私有知识与模型库.373.2.5用户终端.373.2.6语义识别器.373.2.7语义解释与还原器.383.3语义认知网络架构.383.3.1基于联邦边缘智能的语义认知网络.383.3.2人工智能模型驱动的语义认知网络.403.3.3分布加集中处理协同的编排式语义认知网络.413.3.4基于感算通融合的语义认知网络架构.443.3.5基于云边协同的分层合作推理语义认知网络.463.4语义认知网络性能评估.484语义认知网络的应用需求与典型业务.514.1自动驾驶.514.2远程监测
6、.534.3元宇宙.544.4故障检测.56IVIMT-2030(6G)推进组IMT-2030(6G)Promotion Group4.5情感与思想智能交互.574.6触觉互联网.584.7通感融合.604.8全息通信.614.9语义认知网络的应用前景.635语义通信和语义认知网络的发展趋势与开放性问题.645.1感-算-通-学深入融合的多层优化与实现.645.2多学科领域不断融合和演进的基础理论与关键技术.655.3基于“语义”的空天地一体化万物无缝智联生态构建.655.4分布加集中的云边知识协同更灵活、更敏捷、适配差异化网络业务.655.5构建基于语义的内生安全体系,保障用户数据的安全性.
7、656总结与展望.66参考文献.67附录 1:“语意通信”与“语义通信”的区别.72附录 2:缩略语简表.73主要贡献单位和编写人员.75VIMT-2030(6G)推进组IMT-2030(6G)Promotion Group图目录图目录图 1高维知识图谱关系与对应的基于实内积语义空间表征的语义信息星座图.12图 2策略语义通信模型.21图 3通用语义通信模型.24图 4基于神经网络的语义提取系统框架.25图 5基于神经网络的语义信源编码系统框架.26图 6基于神经网络的语义信源信道联合编码系统框架.26图 7基于神经网络的编码调制联合设计系统框架.27图 8隐性语义认知通信模型.27图 9面向
8、万物智联的语义认知网络架构示意图.36图 10基于联邦边缘智能的语义认知网络架构.38图 11AI 驱动的语义认知网络参考架构.40图 12分布与集中编排式语义认知网络架构.42图 13基于云边协同的语义认知网络架构.47图 14SRZ 示例.49图 15故障检测服务用例.56图 16情感与思想智能交互服务用例.58图 17感知交互服务用例.59图 18通感融合环境交互服务用例.60图 19全息通信服务用例.62VIIMT-2030(6G)推进组IMT-2030(6G)Promotion Group表格目录表格目录表 1 常用的概率距离.14表 2 训练 3 种目前主流图像数据集和简单卷积神经
9、网络训练模型精度与耗时.35表 3不同应用场景涉及的主要智联模式.511IMT-2030(6G)推进组IMT-2030(6G)Promotion Group1语义通信与语义认知网络技术概述语义通信与语义认知网络技术概述1.1 语义通信和语义认知网络的研究动机与目标语义通信和语义认知网络的研究动机与目标信息的传播与交互一直是推动人类社会发展的重要引擎。人类社会文明在信息沟通和交互过程中产生、发展和演进。人类信息沟通以语义知识传播和社会交互为主要目的,辅助和推动人类社会生活的新知识在沟通和交互过程中不断产生,并最终推动社会发展和进步。随着信息技术的发展,移动通信和网络在人类信息沟通和交互中扮演越来
10、越重要的角色,并已成为现代社会信息传播的重要基础设施。现代通信网络拉近了人类的沟通距离并极大地方便了人们的沟通和信息交互方式。现代通信系统的主要理论基础源于 Shannon 经典信息论。Shannon 建立经典信息论时,刻意回避了信息中的语义信息,仅聚焦符号的传输和还原。这就导致现代通信系统仅关注在传输和还原发送端传感设备所观察和接收到的源信号,而忽略信号中包含的语义、知识及发送端用户发送源信号及接收端接收信号希望达成的目标。IMT-2030 6G 推进组发布的6G 网络架构愿景与关键技术展望白皮书指出,6G 的重要愿景之一是实现智慧内生。其内涵是围绕人类用户和网络需求,并按需提供通信和网络服
11、务,最终实现服务随心所想、网络随需而变、资源随愿共享的目标。换而言之,6G 网络将不再仅聚焦信号的传输和复现,而将具备语义认知、识别、分析、理解和推理能力。语义认知与通信将成为 6G 内生智能的基石,推动通信网络架构从传统的数据驱动向语义驱动的范式转变,促进移动通信网络在人类信息沟通和社会发展中扮演更加重要的角色。1.2 语义通信和认知赋能的语义通信和认知赋能的 6G 网络智能网络智能6G 语义通信和语义认知网络架构将成为海量智能设备和网络实现资源和谐共享与智能交互的基础,打通人-人、人-机和机-机之间的壁垒,实现智联互通,为最终实现网络的智能认知、学习、决策和演进奠定基础。具体而言,语义通信
12、和语义认知将为 6G 网络智能引入如下能力提升和性能增强。(1)信息沟通效率增强:)信息沟通效率增强:大部分自然信号属于连续信号。数字通信网络需要首先对连续信号进行离散化处理,如采样,随后进行离散信号的压缩和传输,而在接收端则需要在解压缩2IMT-2030(6G)推进组IMT-2030(6G)Promotion Group后进行插值等方法恢复成模拟或近似模拟的信号。人类在沟通与交互过程中仅从所观察到的连续信号中提取少量有含义的信息,并自动过滤掉其余无意义的信号。这导致传统数字通信技术从人类信息沟通和交互的角度来看效率极为低下。相比之下,语义通信以达意通信为主要目标,并不强调发送信号在接收端精确
13、还原。在语义认知和通信过程中发射端和接收端可根据沟通历史、上下文信息和沟通目的实现关键语义信息的准确提取与解析,自动删除和过滤和语义无关的信息传输。因此,可在大幅度降低数据传输量和通信资源占用同时实现语义信息高效传输和高保真还原。(2)业务体验增强:)业务体验增强:传统通信网络架构的基本设计思路是以数据为核心,即数据传输速度越高、数据量越大,则用户体验越好。现有通信系统一般仅关注与数据传输性能相关的客观指标,例如数据的传输速率和误码率等。然而,这些指标难以反映人类用户和网络沟通的具体需求和目标。6G 智慧内生需要针对用户的特定需求提供个性化、可定制和沉浸式业务体验。网络架构从以数据为核心向以用
14、户为核心转变的重要前提是网络能够理解和感知用户的语义,并让用户参与定义业务需求和网络定制过程中。通过将语义通信与语义认知网络融入网络架构设计中,可以实现海量业务和场景的自动感知、理解与资源自动适配,为海量用户提供更贴合人类用户需求的业务体验1。(3)机)机-机、人机、人-机和人机和人-人交互增强人交互增强:作为一种全新通信范式,6G 语义通信和语义认知网络架构有望将通信网络从传统的基于数据协议和格式的单一固化通信架构中解放出来,通过采用更具有普适性的信息含义作为衡量信息通信性能主要指标,构建丰富的人-机交互接口和语义认知模型,实现机-机、人-机和人-人交互的无缝衔接。具体而言,语义通信将实现下
15、列三类交互模式性能提升与能力增强2。机机机(机(M2M,machine-to-machine)交互)交互增强:增强:基于语义通信的通用网络协议将可以大幅度降低网络管控的复杂度,为未来实现大规模智简网络奠定基础。目前,已有大量无线通信协议和接口(如蓝牙、Wi-Fi及 LTE/5G 等)支持不同类型网络设备之间的数据连接。然而,不同网络、协议和传输技术之间一般无法实现数据互通。虽然近年来出现了一3IMT-2030(6G)推进组IMT-2030(6G)Promotion Group些跨协议数据互通技术,但目前仍缺乏简单且通用的跨网络、跨协议的数据互通技术和方法3。随着各种新兴协议和通信技术(如 Go
16、ogle 的QUIC、Wi-Fi 6 和 Wi-Fi 7 等)的出现,未来通信网络大量采用不同技术,且互不兼容协议共存的场景范围将进一步扩大。基于语义通信和语义认知的网络协议将能实现不同技术与协议之间的自动转换,将智能交互与智能决策有机结合,为跨设备、跨资源和跨模态协同感知与合作决策奠定基础。人人机机(H2M,human-to-machine)交互交互增强增强:通过设计和构建可满足用户体验和个性化需求的人机交互通信技术和接口,语义通信可以大幅度改善人-机交互的沟通效率和用户体验。随着包括触觉互联网、AR/VR/XR、元宇宙和数字孪生在内的大量新兴应用的出现,未来通信网络中将会包含大量复杂的人机
17、交互应用和服务4。语义通信有望根据不同模态传感器和虚拟或实体人机交互设备所感知到的信息和场景,识别与感知人类用户和网络的个性化需求,并按需实现网络资源的适配与调度。人人人人(H2H,human-to-human)交互交互增强增强:语义通信将实现不同人类用户之间通过通信网络实现接近真实情境的信息、情感、经验和知识等方面的交互与沟通增强。随着人们对网络应用和服务需求不断提高,传统的以文本、语音和图像为主要载体的人人交互已经不能满足需求,而 3D 立体全息投影、触觉互联网等大量新兴人人交互技术将会逐渐普及并在未来通信网络中占据越来越重要的地位。传统通信网络架构将难以满足这些新兴应用所需的大数据传输速
18、率和高精度的数据采样、还原和处理能力。1.3 国内外研究现状国内外研究现状语义通信和语义认知网络的发展与语义信息理论、经典通信系统、以及人工智能技术息息相关。这些关键的使能技术提供了现代语义通信技术分析、验证、构建的方法,构成了现代语义通信的基石。4IMT-2030(6G)推进组IMT-2030(6G)Promotion Group1.3.1语义信息论的历史与研究现状语义信息论的历史与研究现状语义通信的基本概念由Weaver和Shannon在1949年发表的论文中首次提出5。该论文受到 Shannon 经典论文启发,将通信的基本问题分为三个层次,分别是通信的技术问题、语义问题和有效性问题。其中
19、 Shannon 信息论被归类为技术问题。语义通信问题被定义为第二层通信问题,即研究“所传输的符号是否准确地表达了预期含义”问题。与技术问题不同,通信的语义问题不仅与传输的信号及信道的物理特征有关,还与信号所包含的信息类别、收发双方对消息的理解与识别准确度及接收端用户收到信息的满意度等复杂因素有关。Weaver 指出,虽然通信的语义问题表面上看和技术问题有较大差异,但是 Shannon 信息论可以在加入少量改变后直接推广和应用到解决通信的语义和有效性等问题中,例如将Shannon 理论中用于刻画符号不确定性的“熵”概念推广为刻画接收端对语义理解不确定性的“语义熵”。Weaver 的上述结论建立
20、在语义可以看作一种特殊符号这一推论的基础上。随后,学术界对语义通信的研究可大致分为两类,一类延续Shannon 信息论的基本思路,主要聚焦于将信息熵概念扩展和推广到语义熵。例如,Carnap 和 Bar-Hillel 在 1952 年使用逻辑概率代替统计概率,在给定的语言系统中衡量句子所蕴含的语义信息量6。Bao 等人通过简单地用模型的熵代替二进制符号的 Shannon 熵来导出语义熵7。Guler 等人研究了在基于字典的常用数据集中定义的单词替换二进制符号时的编码错误8。另一类研究尝试跳出 Shannon 信息论的基本框架,并根据语义信息特点建立新的理论体系。例如,2004 年,Florid
21、i 发现 Carnap 和 Bar-Hillel 将 Shannon 信息论拓展后得到的语义信息论存在一个基本悖论,称为 Carnap-Bar-Hillel 悖论,即当任何事实与其自身矛盾时都会拥有无穷大的信息量,如熵 H(AA)(表示“事件 A 与事件非 A”同时发生的概率)等于无穷大。因此,Floridi 建立了强语义信息论9,并定义语义信息需要包含三类属性,(形式)合理性、真实性和有用性。Shi 和 Xiao 等人注意到语义信息具有结构化特征,并利用结构化特征设计语义认知和推理方法实现未知语义的自动学习和更新。该团队近期的工作引入博弈论在分析多智能体交互和学习方面的优势,建立了策略语义通
22、信率失真理论,并给出了给定辅助信息和博弈策略下的语义率失真容量界11。5IMT-2030(6G)推进组IMT-2030(6G)Promotion Group1.3.2语义网的应用语义网的应用利用数据中包含的语义信息实现网络数据的自动标注与理解也引起了工业界的关注。例如,在 20 世纪 90 年代在计算机网络领域出现的语义网(SemanticWeb)12 尝试利用数据中普适性语义信息建立一种通用的互联网协议。语义网的概念一经提出立即引起工业界的广泛关注,随后成立的万维网联盟(WorldWide Web Consortium,W3C)成功建立了包括 XHTML、XML 和 CSS 等在内的结构化的
23、互联网标记语言。语义网除了在互联网领域发挥了重要作用,也应用于其他领域。例如,Chen H.等人利用语义网对跨学科数据进行整合,帮助研究人员实现跨应用程序和网站限制共享研究内容,并构建开放、标准化和支持互操作的数据网络解决方案,以实现全球范围内的跨学科集成13。1992 年,美国软件公司 Business Objects 注册并获得了建立通用语义层(Semantic layer)的专利。该专利建议在数据和用户之间建立一个通用语义层,用于自动转换和识别数据中包含的已在客户和产品之间熟悉的商业术语,从而在不同商业客户与终端用户之间建立公共的术语沟通与表达方式。此外,美国思科公司在 2017 年提出
24、了意图驱动网络概念,通过自动识别不同网络域(如不同的子网络、广域网、数据中心及混合云计算中心等)用户、设备、应用和服务之间的需求或意图,据此对网络架构及工作流程实施自动控制、管理和优化。1.3.3基于深度学习的语义通信基于深度学习的语义通信近年来,随着深度学习算法不断演进以及数据处理能力的不断提升,在许多领域的迁移及应用取得了巨大成功。将深度学习运用在语义通信研究主要集中在信源编码与信源-信道联合编码两个方向。通过将图像、语音和文本中包含对象标签或特征定义为语义符号。通过利用如变分自编码器等在内的神经网络技术对信源符号进行压缩和特征提取,实现数据的压缩与恢复。具体而言,在信源编码过程中,通过较
25、为成熟的深度学习算法将图像14、语音15 和文本16 等源信号转换为语义标签,提取下游语义通信任务,将语义通信问题转化为模式识别和/或分类问题,再采用传统通信网络对标签进行传输,从而有效降低数据传输所需带宽及其占用的通信网络资源。6IMT-2030(6G)推进组IMT-2030(6G)Promotion Group在信源-信道联合编码方面,OShea 等人17 首先提出将通信视为端到端重构优化任务,使用自动编码器在没有任何先验知识情况下联合学习发射机和接收机实现信号编码,该团队还提出了一些变体18 扩展和优化端到端通信系统,给出衰落信道应对方案。N.Farsad 等人研究了自然语言等结构化数据
26、在噪声信道上的源信道联合编码问题,通过开发基于深度学习编码器和解码器来降低单词错误率19。需要说明的是,上述方案较多采用比特级作为目标函数,如交叉熵(crossentropy,CE)或均方误差(mean square error,MSE),本质上还是从比特级别来优化语义相似度,这会引入了额外的“语义差”。另一方面,目前大多数工作都研究了可微目标的优化,很少有人提出一个通用框架,允许可微目标和不可微目标的优化,而这在真实的无线场景中很常见强化学习(reinforcement learning,RL)用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的
27、问题,取得了不错的成果。基于以上观察,Lu 等人20 首次将 RL 应用于编解码的过程中,提出一个基于自我批评的语义通信解决方案,能够对任意用户定义语义相似度指标进行高效稳定的学习,完成了对语义传输的优化从比特级准确性到语义级相似度的转变,并解决目标函数不可微的问题21。1.3.4隐性语义通信与语义认知隐性语义通信与语义认知通信通信网络网络语义通信和传统数字通信系统的另一个主要区别在于,前者所传输的语义信息一般包含比所观察到的源信号更加丰富的含义信息。具体而言,基于认知神经学的相关研究表明,人类可以根据部分线索或有限信息推测出丰富的语义信息。基于上述观察,Shi 和 Xiao 等人提出了隐性语
28、义概念,即与所观察到的源信号中的部分线索或有限信息密切相关但却无法直接从源信号中观察得到的隐性含义22。该团队还基于上述概念提出了隐性语义认知通信网络架构。该架构中发射端的主要目标不是最大化所发送的数据量,而是尝试帮助接收端用户理解发送端用户从显性语义到隐性语义的推理规则映射23。该团队还将隐性语义认知通信架构推广到多层云/边缘协同计算网络,并提出了一种基于联邦边缘智能的多用户合作隐性语义认知学习和通信架构24。7IMT-2030(6G)推进组IMT-2030(6G)Promotion Group1.4 语义通信和语义认知网络国际标准化语义通信和语义认知网络国际标准化现状现状为了推动语义通信和
29、语义认知网络的全球共识,国际电信联盟 ITU-T 和IMT-2030 6G 推进组均已开展相关的技术规范化和标准化工作。鹏城实验室石光明和华中科技大学肖泳在2021年10月召开的 ITU第20 研究组(简称ITU SG20)全会上提交了国际标准技术报告面向物联网和智慧城市/社区的语义通信架构(“Architectural Framework for Semantic Communication in IoT and Smart City&Community Services”),并获批正式立项。该技术报告主要面对语义通信在物联网和智慧城市中的应用与规范,对使用细节进行规范化,该立项的支持单位包
30、括华中科技大学、中兴通信、中国联通和中电科集团信息科学研究院,是全球首个面向大规模物联网的语义通信参考架构。该团队于 2022 年 7 在国际电信联盟未来网络与新兴网络技术工作组,即 ITU-T 第 13 研究组(简称 ITU SG13)全体会员会议上,提交了国际标准技术报告面向未来网络的语义认知网络需求(“Requirements of semantic-aware networking for future networks”)并获得批准正式立项,该技术报告对语义认知网络三方面需求,即服务需求、网络需求和数据需求进行了标准化建议。该技术报告计划于 2023 年 10 月正式发布。除此之外,
31、IMT-2030 6G 推进组也对语义通信和语义认知网络开展了初步尝试。前期发布的系列研究报告和白皮书中均将语义通信和语义认知网络定义为6G 的潜在技术和架构之一。由鹏城实验室石光明和华中科技大学肖泳团队联合撰写的 IMT-2030面向 6G 网络的智能内生体系架构研究研究报告中“智能化赋能的通信关键技术”之“语义通信”章节和6G 网络架构愿景与关键技术展望白皮书中“语义通信:语义驱动、万物智联”等内容均已正式发布。除了通信网络领域外,视觉语义也在最新的图像和视频编解码国际标准中得到采纳。例如,在视频编解码国际标准MPEG正在积极推动的机器视觉编码VCM,其中采纳了一系列通过利用视觉语义信息进
32、一步提高视频编码效率,降低延迟,并增强机器视觉应用的兼容性的方法。随着上述标准化工作的推动和逐步完善,语义通信和语义认知技术将会得到更加广泛的应用和推广,为 6G 实现内生智能奠定基础。2语义通信的基础理论与关键技术语义通信的基础理论与关键技术8IMT-2030(6G)推进组IMT-2030(6G)Promotion Group2.1 语义信息的数学表征语义信息的数学表征构建简单高效且具有普适性的语义信息的数学表征是构建、实现和应用语义通信和语义认知网络的关键。语义的数学表征和刻画不光影响信源或应用层的设计,还将会在物理层波形设计和通信网络等底层架构产生影响。由于语义信息的多义性、随机性和个性
33、化等特征,目前尚未出现学术界和工业界公认的语义信息归一化表征。当前主流的语义信息数学表征方法可大致分为下列几类:2.1.1基于概念知识的语义表征基于概念知识的语义表征语义学指出,语义的本质是人类构建的各种符号与其通过对世界的感知所构建出来的“世界模型”(World Model),以及在该世界模型中,各对象及属性之间的对应关系。相同的世界模型(下面简称世界)可对应不同的符号系统,相同的符号也可以在不同的世界中对应不同的含义。例如“零,一”和“0,1”都对应数学世界中最小和第二小的自然数。“0,1”既可以对应数学世界中的自然数,也可以对应数字信号世界中的“低电位,高电位”或数字计算机世界中的“假,
34、真”。通过赋予世界中特定对象更多属性信息,丰富有关该对象的概念知识,可以实现不同符号系统之间的互通、互换并消除一些符号的歧义。人类用户可根据符号类别、上下位关系、组成和其他属性来表征对象所表征的概念知识,常用的方式有语义网络(Semantic networks)25 和图式(Schemas)78 等。基于语义网络的语义表征:基于语义网络的语义表征:语义网络是一种采用有向图或者无向图表示概念及之间关系的语义知识表征方式。在语义网络中,与某一概念相关的信息及对应的属性特征被存储在表示该概念的节点中,节点之间的连接表示不同概念之间存在的特定关系。语义网络已被广泛应用于自然语言处理相关应用中,如语义解
35、析和词义消歧等。比较典型的语义网络是 Collins&Quillian 模型25。该模型受人类记忆结构的启发,是一种能够被计算机存储和处理的分类层级语义网络。具体来说,语义网络中的概念依据其所属类别被整理成树状结构,上层节点包含较为宽泛的概念知识,下层节点则表示相对具体的概念知识,节点之间的连接用于表述概念间存在的关系,比如上下位或从属关系等。为了节约存储空间,上位概念的属性特9IMT-2030(6G)推进组IMT-2030(6G)Promotion Group征仅存储于上位节点中,且可由表示下位概念的节点继承,下位节点则仅存储关于该概念的特有属性。语义网络的典型例子是 WordNet 知识数
36、据集,该数据库由普利斯顿大学的心理学家、语言学家和计算机工程师联合设计,目前涵盖 200 多万种语言,包含15 万 5 千多个概念,并在持续更新中。在 WordNet 数据集中,表示不同概念的词汇连同与其相关的属性被分为多个同义词集(synsets),概念之间用特定语义关系相连接,这些语义关系主要体现了概念之间存在的同义词关系(synonym)、上/下位词关系(hypernym/hyponym)以及部分-整体关系(meronym)。WordNet 已被广泛应用于词义消歧、信息检索、自动文本分类、自动文本摘要以及机器翻译等诸多应用中。其中,最常见的用法是基于 WordNet 和特定算法衡量不同概
37、念间的语义相似度。例如,通过计算不同概念在 WordNet 数据集中的距离来定义概念之间语义相似度。2.1.2基于命题的语义表征基于命题的语义表征命题将多个对象和它们之间的链接关系依序连接起来,进而表征比单个对象或关系更加丰富的语义信息。单个的命题是语义信息表征中的最小知识单元,即能够从语义上判断出真伪的最小信息组合79。例如,“地球绕太阳公转”这一基于事实的命题中,“公转”这一关系将“地球”与“太阳”这两个对象联系起来,表征出了相比单独对象更加丰富的语义。命题可以用不同的方式来实现表征。例如,我们可以用三元组的形式表达上述命题,即(地球,公转,太阳);也可以用多元关系的形式表达上述命题,即“
38、公转(地球,太阳)”。命题表征在人工智能领域中已经得到了广泛应用。例如,在专家系统中,通过将各种规则转化为统一的命题表征形式为后续任务提供服务;在自然语言处理领域,命题表征已被用于语义表示和理解;此外,在计算机科学中,命题表征也是许多知识和语义算法和模型的基础。数理逻辑数理逻辑:命题演算是数理逻辑的重要组成部分,数理逻辑是数学的一个分支,其研究对象是对证明和计算这两个直观概念进行符号化以后的形式系统,旨在以数学的方法研究形式逻辑,使之更为精确和严谨。在数理逻辑中,有关命题语言的逻辑表征方法经历了以下扩展:10IMT-2030(6G)推进组IMT-2030(6G)Promotion Group命
39、题逻辑命题逻辑:命题逻辑由原子命题经逻辑连接词构建的形式系统组成,采用具有真值的完整命题作为其最基本的组成部分,只能表示由简单命题构建复杂命题时的逻辑关系,不能表示由命题的自身结构所产生的推论。一阶逻辑一阶逻辑:一阶逻辑包括与命题逻辑相同的命题连接词,不同的是,一阶逻辑阐明了命题的内部结构。例如一阶命题用单数术语表示特定的对象,用谓词表示属性和关系,用量词表示“一些”和“所有”这样的概念。一阶逻辑包含各种推理规则,这些规则决定了表达式如何形成有效的论证。二阶逻辑二阶逻辑:二阶逻辑是一阶逻辑的扩展,两者都使用了论域(有时叫做“域”或“全集”)的想法,论域是可以量化的个体元素的集合。一阶逻辑只包括
40、论域中个体元素上的变量和量词。例如在一阶句子 x(x x+1)中变量 x 被用来表示一个任意的个体。二阶逻辑扩展了一阶逻辑,增加了个体集合和个体关系上的变量和量词。例如,二阶句子 S x(x S x S)声称对于所有个体的集合 S 和所有的个体 x,要么 x 属于 S,要么不属于(二值原理)。二阶逻辑的引入增强了命题语言的表达能力,能够帮助人们更加方便地描述复杂的问题。另一方面,在经典逻辑的二值方案中,命题语言一般具有布尔性,即一个命题要么是真的,要么是假的。为了形式化地表征命题真实程度的模糊性,L.Zadeh 提出了模糊集合的概念,后逐渐衍生出模糊逻辑。模糊逻辑模糊逻辑:模糊逻辑是布尔逻辑的
41、扩展,也是多值逻辑的一种形式,能够处理部分真实的概念。经典逻辑坚持所有事物(陈述)都可以用二元项(0 或 1,黑或白,是或否)来表达,而模糊逻辑用真实度替代了布尔真值。这种方式在实际上能更好地表述日常人们的问题和语意陈述,因为事物的“真实性”和结果在多数时候是部分(非二元)的或不精确的(不准确的,不清晰的,模糊的)。2.1.3受知识图谱启发的语义表征受知识图谱启发的语义表征知识图谱是近年来出现的较为主流的知识表征和处理方法,通过将人类对客观世界的认知以图结构的形式进行整合、存储和计算等处理实现知识的高效表征、计算和转换。为了解决基于高维图结构的知识和语义表征带来的低计算和存储效率,知识图谱嵌入
42、(Knowledge Graph Embedding,KGE)技术研究是目前知识表征和处理领域的热点57。该技术可将高维的概念知识和属性及相互间的复杂关系转化为在低维语义向量空间中的表征形式,可在保留语义信息以及概念知11IMT-2030(6G)推进组IMT-2030(6G)Promotion Group识之间的复杂语义关联的同时大幅度降低语义的表征、计算及处理复杂度。目前,主流语义表征空间的类型大致可分为五类:(1)实内积空间;(2)复数空间;(3)高斯空间;(4)流形空间和(5)概率空间。具体内容详述如下。(1)基于实内积空间的语义表征空间)基于实内积空间的语义表征空间基于欧氏空间的实内积
43、语义空间表征已被广泛应用于表征高维图谱中实体和关系中。通过将复杂高维图表征的语义信息转换到低维的欧氏空间中,可以采用简单的欧氏距离作为衡量语义距离和语义相关性的表征。在该空间中,欧氏距离越短则语义概念之间的相似度越高。目前已有大量将高维语义表征转化为低维实内积语义空间表征的方法,包括 TransE26、TransR27、TransD28、NTN29 和 HAKE30 等。例如,TransE 将实体和关系表示成低维欧氏空间向量,并设计表征头实体与关系的向量之和趋近于真实语义的尾实体向量的效用函数。该模型具有高效和复杂度低等优点。但也存在语义空间容量受限,难以应对复杂关系和大规模概念知识表征等问题
44、。为了应对此问题,TransR 针对每一关系构建独立的语义空间,通过设计投影矩阵将实体和关系投射至不同的空间并通过设计效用函数对它们进行区分,解决了空间不足和复杂关系的问题。除此之外,还有很多其他的改进方法。例如,TransD 在 TransR 的基础之上进一步将投影矩阵分解为两个向量的乘积,从而降低了转换模型的复杂度。另外,NTN 通过一个双线性张量神经层对实体进行多维建模,并利用一个特定张量捕获不同实体间的关联信息。HAKE 利用极坐标代替笛卡尔坐标,用模长和相位两部分信息表征实体,并反映出了不同实体间的层级结构。12IMT-2030(6G)推进组IMT-2030(6G)Promotion
45、 Group(a)(b)(c)(d)图 1(a)高维语义知识表征,(b)对应的基于实内积语义空间表征的语义星座图,(c)任意点的幅度与相位示意图及(d)对应的调制波形如图 1-(a)是一个语义知识表征示例,我们从 NELL-995 知识库数据集中随机抽取与“城市”和“足球队”这两个类相关的 11 个实体,这些实体由 13 条关系连接;图 1-(b)展示的是使用 TransE 方法将(a)中的高维知识概念映射到低维实内积空间得到的低维信号星座图表征,可以看出语义概念越相近的实体在低维空间中的距离越近,且星座图中的不同实体可以通过对应波形的不同幅度和相位加以区分22 57。(2)基于复数空间的语义
46、表征空间)基于复数空间的语义表征空间基于复数空间的语义空间表征使用复空间取代实值空间表示实体与关系,即将表征实体与关系的嵌入向量放至包含实部与虚部的复杂空间中讨论。在该空间中使用内积对关系、头尾实体做共轭复合运算。目 前 将 高 维 语 义 表 征 转 化 为 低 维 复 数 语 义 空 间 表 征 的 方 法 包 括ComplEx31、RotatE32 和 QuatE33 等。ComplEx 首次引入复数空间对语义进行表征,通过对所得向量进行实部和虚部的区分,使用 Hermite 内积,能够很好地捕捉高维知识中经常出现的对称和反对称关系。受欧拉等式的启发,RotatE利用复数空间的旋转模型将
47、实体间的关系建模为复数空间中头实体到尾实体的旋转,使用 Hadamard 积,能够很好地应对知识图谱中经常出现的反转和复合型知识模式,以及对称和反对称关系。QuatE 将二维复数空间拓展到四维复数空间,并利用 Hamilton 内积捕捉实体和关系的潜在内部依赖性,展现出更强大的语义表现能力。(3)基于高斯空间的语义表征空间)基于高斯空间的语义表征空间13IMT-2030(6G)推进组IMT-2030(6G)Promotion Group受高斯词嵌入启发,将高斯分布引入语义表征的语义表征空间可以有效处理高维语义中实体和关系之间的不确定性。典型的将高维语义映射至低维高斯语义空间表征的方法有 KG2
48、E34 和TransG35。KG2E 将实体和关系嵌入到多维高斯分布中,(,)和 (,),其中均值向量 表示实体和关系的位置,协方差矩阵(covariance matrix)表示它们的不确定性。KG2E 遵循平移原则(Translationalprinciple,类似于 TransE 中的+=),实体变换 的概率分布可表示为:,+。TransG 则在关系嵌入表示中引入混合高斯分布,通过混合高斯分布的原则限制实体与关系之间的关联。(4)基于流形空间的语义表征空间)基于流形空间的语义表征空间从几何角度,现有方法将实体和关系投射到连续的低维向量空间,其中表示某一知识的头尾实体和连接它们之间的关系在语
49、义空间中的位置几乎总是一个点,这对于复杂关系并不适用,当许多尾实体争夺一个“点”时,目标函数将有较大损失。针对上述问题,基于流形空间的语义空间表征根据集合理论将流形定义为一个具有领域点集的拓扑空间。ManifoldE36 通过将某一知识概念从一个点扩展到一个流形(例如高维球体),通过这种方式避免了语义噪声以及错误知识对真实知识的影响,提高了知识表征的精度。ManifoldE 把基于点的嵌入表征扩展到了基于流形的嵌入表征,该方法提出了球面和超平面两种方法:对于球面空间,用 Reproducing KernelHilbert Space 表示流形方程;对于超平面空间,则引入相交的嵌入表征(inte
50、rsectedembeddings)来增强模型。该方法将实值实内积空间(real-valued pointwise space)放宽为流形空间,并从几何角度表现出更具表现力的表示,当流形方程和流形参数设置为 0 时,流形空间塌缩为一个点。(5)基于概率空间的语义表征空间)基于概率空间的语义表征空间和确定的符号信息不同,语义信息具有一定的随机性,因此可采用基于统计距离的指标刻画具有随机性的语义信息之间的距离。图卷积神经网络(GraphConvolutional Network,GCN)是一种用于处理图的深度学习模型。与传统的深度学习模型不同,GCN 将卷积神经网络的思想推广到图结构上,能够学习到
51、节点在图中的位置信息,进而实现节点和关系的分类、预测。GCN 的基本思想是14IMT-2030(6G)推进组IMT-2030(6G)Promotion Group将图上的每个节点和它的邻居节点作为输入特征,构成一个节点特征矩阵,并对该矩阵进行卷积操作来更新每个节点的表示,在每一层卷积中,GCN 会对每个节点的邻居节点进行聚合,并加权平均得到该节点的新表示。近年来,GCN 及其扩展模型已经成为图神经网络领域的重要研究方向之一,在社交网络分析,个性化推荐,生物信息分类等领域得到广泛应用。在表征高维图的知识概念及概念间的关系时,GCN 使用基于概率距离的损失函数计算语义表征,可通过包括反向传播在内的
52、方法优化 GCN 参数以最小化正样本间的概率距离,从而根据不同概念之间的相似度优化它们在概率空间的距离,得到高维图的语义表征。GCN 中常用的概率距离如表 1 所示表 1 常用的概率距离概率距离概率距离数学表达式数学表达式交叉熵(,)=(1 )(1 )Kullback-Leibler(KL)散度(|)=(,)()Jensen-Shannon(JS)散度(|)=12(|+2)+12(|+2)现有用于表征高维图结构知识概念及概念间关系的 GCN 方法包括Relational-GCN(R-GCN)、Weighted-GCN(W-GCN)和 CompGCN(C-GCN)等。具体而言,R-GCN 是一种
53、可表征知识概念间复杂多重关系的 GCN 模型,该模型为每层定义了一组单独的关系矩阵。此外,通过引入参数共享技术和强制稀疏性约束技术,R-GCN 可拓展到表征具有大量关系的多重图中。WGCN 在 R-GCN基础上做了进一步拓展。通过在计算语义表征时可针对不同类型的关系根据其重要性赋予不同的权重,WGCN 可在模型训练过程中自适应地学习权重值。通过这种自适应学习,WGCN 还可在模型训练中控制来自相关概念的影响,从而提高语义表征精度。CompGCN 使用不同的组合运算符将概念知识及相互间关系共同融入到语义表征中。与 R-GCN 为每层定义了一组单独的关系矩阵不同,CompGCN 只为第一层定义基向
54、量,后续每一层的关系向量均表示为这些基向量的组合,这使得 CompGCN 比 R-GCN 有更低的复杂度。除此之外,CompGCN还在正向关系类型基础上,增加了对反向关系和自循环关系类型的表征。15IMT-2030(6G)推进组IMT-2030(6G)Promotion Group2.1.4基于规则的语义表征基于规则的语义表征语义信息和符号信息的一个重要区别是,前者除了具备显性信息,即从信号中可以直接观察或提取得到的信息,之外,还可能具备隐性信息,即直接从所观察信号中难以得到的信息。人类用户能够根据有限的信息线索自动还原出丰富的隐性信息。换而言之,人类用户在学习语义的过程是自动学习和构建语义认
55、知规则的过程,即自动建立从显性信息到隐性语义映射和推理关系的过程。目前,主流的隐形语义信息认知规则可大致分为如下几类:(1)语法规则)语法规则语法规则包括自然语言中句子、短语以及词等语法单位的语法结构与语法意义等的规律。常用的语法规则包括组合规则和聚合规则。具体而言,组合规则指不同对象依据其词性和含义在组成特定语句时的顺序规则,违反组合规则的语句组合所包含的语义信息可能导致歧义等。举例来说,在自然语言处理中,基于主谓宾规则组合起来的命题语句,如果顺序发生变化产生较大理解偏差,并可能直接决定了该命题的真伪,如“公转(地球,太阳)”和“公转(太阳,地球)”两个命题,由于概念知识的顺序不同可能具备不
56、同的含义。聚合规则指对象在语句中可以相互替换规则,按照此规则对具有相同词性和相似含义的对象进行替换,可以构造出语义相近的新句子,如“学习外语”,其中“学习”可以用“研究”替换,两者从宏观上来看可以看作是具备相似含义的语句。(2)逻辑规则)逻辑规则逻辑规则是人类用户在逻辑思维的过程中,根据逻辑规律制定出来的语义认知规范和准则80。目前常用的逻辑规则主要是命题逻辑规则。命题逻辑规则以逻辑运算符号结合单个或多个命题来构成代表“命题”的数学公式和允许某些公式建构成“定理”的一套形式“证明规则”。常见的命题逻辑规则如下式所示:排除法 分离规则,假言推理,肯定前件 反证法,拒取式,否定后件 (三段论)16
57、IMT-2030(6G)推进组IMT-2030(6G)Promotion Group利用命题逻辑规则,可从已有命题中推理出新的语义逻辑知识。除了命题逻辑规则以外,还有其他类型的逻辑规则。例如,能够表达更加丰富含义的关系逻辑,通过对不同概念知识之间的关系逻辑进行计算和处理,可以表达出更加复杂的语义。(3)本体论)本体论本体论是一种用于描述概念、类别、属性、关系等抽象概念的结构化知识表征,其在信息科学中被广泛应用于知识表征、计算和自然语言处理等领域。本体论的核心概念是本体(Ontology),定义为“一个共享的、形式化的规范,用于描述一组概念、类别、属性和关系,以及这些概念之间的约束和规则”37。
58、在本体论中,通常使用一种形式化的语言来定义本体,如网络本体语言(WebOntology Language,OWL)或资源描述框架(Resource Description Framework,RDF)。本体包括实体、类、属性和关系等,通过定义这些基本概念之间的关系和约束条件,可以构建出一个有机的、结构化的知识体系。本体的形式化表示不仅便于计算机系统进行信息处理和推理,也为不同的系统之间进行数据交换提供了共同的语义基础。本体论的主要目标是实现语义信息和模型的共享和复用81。通过定义一套通用的本体,不同的计算机系统可以基于通用语义实现信息的理解和交互,从而实现自动化的信息处理和推理。2.2 语义通
59、信的要素语义通信的要素语义通信架构将融入深入融合包括语义知识库、(信道、信源及联合)编码、解码、评估、解释和语义噪声等多个元素,实现在网络的不同层及时空维度上的语义高效识别和利用。2.2.1语义知识库语义知识库语义知识库是语义通信的基石。语义通信的重要前提条件之一是所有通信参与方(包括发射端和接收端用户)具备一定的背景知识,其中包括语义概念知识与关系库、推理逻辑、认知能力与法则等。不同用户和设备通信的知识库和用户及设备的背景、环境、沟通历史等因素紧密相关。用户的知识库可具备两类知识,即公共语义知识和私有语义知识。语义通信中的用户可在沟通的过程中自动学习和更新本地知识库。发射端用户和接收端用户的
60、知识库并不需要完全一致,当通17IMT-2030(6G)推进组IMT-2030(6G)Promotion Group信参与方具备不同的语义知识库时,各个参与方在沟通过程中将采用自己的本地知识库尝试编码和解析其他用户发送的语义信息。除此之外,每个用户还可能自行维护和动态更新各自的私有知识库,用于存储自己本地独特的或者仅与部分用户共享的私有语义知识和信息。公共知识库同样具备动态更新能力,但需要大多数用户间达成共享知识更新的共识。2.2.2语义编码器语义编码器语义编码器检测并提取源信号中所包含的显性或隐性语义信息。此外,语义编码器还可以压缩和移除与语义无关的其他信息。编码器还应具备检测发射端和接收端
61、的知识和认知差异的能力,并可能通过逻辑或其他方法推测出沟通双方共享的知识实体以及之间关联,如一个成年人用户在与青少年用户沟通和与其他成年人用户沟通时一般会采用不同的词汇库和表达方式,以确保和参与沟通的用户共享相同的知识库。编码器还应当能够提取不同类型源信号中的语义信息,如当源信号是一张图片或音频时,编码器应当首先根据信号源和信号接收端拥有的本地知识识别源图像和音频中的语义信息,如所包含的语义概念或者知识。语义编码器还可以通过共同或相似的知识模型识别出实体之间可能具有的关系。概念知识和关系识别的准确性会影响发射端和接收端之间的语义通信性能。换言之,不同于仅考虑技术问题的传统通信理论。在语义通信中
62、,通信性能不再主要依赖频谱、能耗等资源数量及接收信号的信噪比等技术指标来衡量,而需要综合考虑计算量、存储量和语义编码和解析模型性能,如精度与泛化性等多种因素对语义的识别、传输和恢复等产生的影响。这些都是仅通过简单延伸传统 Shannon 公式难以表征和分析的。2.2.3语义译码器语义译码器语义译码器对发射端发送的信息进行复原,并将接收的信号恢复成接收端用户可解译的形式。译码器还需要评估接收端用户的满意程度,从而判断接收的语义信息是否正确,及是否需要发射端用户重传或补充更多信息。译码器还可将相关信息(如译码结果及对应的评估得分)反馈给编码器,从而辅助编码器在后续通信过程中进一步完善实体和关系的识
63、别模型。18IMT-2030(6G)推进组IMT-2030(6G)Promotion Group2.2.4语义评估器语义评估器语义评估器主要用于评估接收端对发射端用户语义信息,包含显性语义和/或隐性语义,理解性能。常用的语义评估指标是语义距离,具体详细信息会在后续 2.4 章节中详述。2.2.5语义解释器语义解释器语义解释器的主要功能包括还原源信号中难以直接观察到的隐性语义信息,并按照接收或发送端用户期望的形式呈现。例如可以通过接收端接收的语义信息还原出包括文本、图像、音频甚至是全息立体投影等在内的丰富形式呈现给接收端用户,为用户提供沉浸化和个性化的体验。语义解释器还可以根据用户需求和偏好动态
64、调整和更改语义接收和呈现的形式。2.2.6语义噪声语义噪声语义噪声是语义通信过程中引入的可能引起语义信息错误识别和解释的噪声。它可以在编码、传输和译码过程中产生。在编码过程中,语义噪声可能由于发射端信号中实体和它们之间关系被错误地识别导致。信道衰落和噪声也可能引起所传输的语义消息丢失并导致语义失真。在解码过程中,语义信息接收端对于语义信息的错误解释和用户的误解,也可能导致语义噪声的产生。在编码过程中,信源处可能遭到特定的语义噪声的攻击,该攻击通常具有难以被发现但会导致特征提取错误的特点。数据传输阶段,无线信道噪声对于传输的语义信息存在干扰,由于无线信道的开放性,在传输的过程中也极易受到语义噪声
65、的影响,并且会造成传输语义信息的失真。在解码过程中,语义信息接收端对于语义信息的错误解释和用户的误解,也可能导致无法正确解码。例如,当发送方和接收方的知识库出现不一致的情况下,接收方可能无法解码出正确的语义信息。在对抗语义噪声方面,通常是采用先模拟再对抗的思路,即在信源处将模拟出的攻击以对抗样本的形式添加到模型的训练样本中,利用编码器和解码器进行联合的对抗训练,增强编解码器的鲁棒性,以减少语义噪声对语义传输造成的影响。同时针对不同阶段出现的语义噪声,也可采用模块化的去除方式。即对于信源处存在的语义噪声,利用 GAN 进行对抗干扰消除,它将对抗样本作为输入,输出其对应的良性样本。其次对于信道处存
66、在的语义噪声,利用一个去噪自动编码器,来对抗在数据传输过程中存在的语义噪声,消除其造成语义失真的影响。19IMT-2030(6G)推进组IMT-2030(6G)Promotion Group2.3 语义通信的基本理论与框架语义通信的基本理论与框架自 Weaver 于 1949 年提出通信的语义问题概念以来,已提出大量的语义通信基本理论和技术框架,这些理论和框架的演进趋势从早期的基于 Shannon 经典信息论的简单扩展,开始不断跳出传统信息论的框架,并引入其他学科的最新研究,反映了语义通信理论的高度跨学科交叉特性。目前提出的主要语义通信和语义认知通信理论框架与技术详述如下。2.3.1基于经典信
67、息论的语义通信理论基础基于经典信息论的语义通信理论基础语义通信的基本问题可以通过对 Shannon 经典信息论基础框架的延伸得到38。例如,Shannon 信息论采用不同信息码字的概率分布(即不确定性)表示信息量大小;信息不确定性越大,熵也就越大,所包含的信息量越大。类似的方法可拓展表达语义通信的信息量,即以可能出现的语义信息符号的概率分布作为语义信息量的度量语义信息的不确定性越大,则语义信息的熵也就越大。数学模型如下:定义 X 为可能发送的有限码字集合,用 X 表征可能发送码字的一个离散随机变量(如 0 和 1 的数字序列)。相似地,定义 S 为可能发送的有限语义信息集合,用 S 表征源信号
68、中可能出现语义信息的离散随机变量(如发射端用户希望传输的一个逻辑事件)。不同于符号层面只关注经过符号编码调制的信号载波是否正确传输,语义层面的信息交互是需要交互双方能够理解信号中的内容或含义,从而提取其中的信息。语义层面的信息也不再是由符号的熵的简单定义,而是通过接收信号前后的语义差异性定义,即,先从对方的信号中感知出语义,然后与自己的已知语义对比,如果存在差异,这个差异就是信息。采用 Shannon 信息熵 H(X)和 H(S)衡量发送码字和语义信息的信息量,即发送码字和语义信息的概率不确定性。条件熵 H(S|X)表示消息可能导致的语义信息的歧义量,H(X|S)则可用于衡量在传输符号中与语义
69、信息无关的信息冗余量。互信息 I(X;S)=H(X)-H(X|S)则可用来衡量传输符号中包含的语义信息量。因此,语义通信理论中的核心问题之一是寻找合适的语义表达以及合适的编码方案,从而确保用歧义量和冗余量最小的方式传输语义信息。20IMT-2030(6G)推进组IMT-2030(6G)Promotion Group在 Shannon 之后的学者在语义信息理论框架下的语义刻画与度量展开讨论,并率先开展了基于语义而非比特数据的通信方法的探究,大部分研究主要集中在刻画语义信道容量。Bao 等人7 定义了语义噪声和语义信道,指出在进行语义信息交互过程中,交互双方需要具有共有知识储备,才能进行顺畅的语义
70、交流。并提出了在 Carnap语义相似度下的离散无记忆信道的语义信道容量 C 可以在中定义为:()sup (;)()()P X SCI X YH S XH Y其中 I(X;Y)是传输消息集 X 和接收消息 Y 之间的互信息。H(S|X)如上所述测量语义歧义;H(Y)表示接收符号 Y 的平均熵,传统 Shannon 信道容量减去语义与信道输入的条件熵,再加上接收信道的语义信息量。与 Shannon 理论相比,此公式指出一种信道编码策略,通过该策略可以在语义信道容量内任意降低语义错误的最大概率。Basu 等人39 进一步指出语义容量等于信息源的平均语义熵,确立了语义压缩的下界。此外 Willems
71、 等人40 研究了语义编码,使用语义相似性指导机器学习算法的优化,实现了数据间关系的更紧凑表示。41 表明,在低语义歧义的语义编码器和具有强推理能力的语义解码器和大型共享知识库的帮助下,可以构成更高效、精确的语义通信系统。考虑到一个语义概念可以对应多个符号描述的语义的独特属性,语义信源编码确定合适的语言系统(通常是低 H(X)的语言系统)来表示语义世界仍然具有挑战性。针对上述问题,42 表明,由于语义表示 X 的冗余,人们总是可以构建另一个语言系统 X,它等同于语义表示,但产生更低或相等的消息熵。为了在实验上逼近理想的语义信源编码系统,除了语义信源编码之外,大量研究对语义信道编码对抗语义噪声的
72、能力进行了讨论。理想的语义信道编码策略旨在消除由物理信道和知识库差异引入的语义噪声的影响。实用的语义信道编码解决方案通常借鉴经典信道编码方案的思想,如引入语义冗余、利用语义鲁棒的对抗性编码方案、重传、语义校正技术等。值得注意的是,除了上述工作以外,近期还有部分工作对语义的信源信道联合编码进行研究,并提出了大量语义信源信道联合编码的方法。21IMT-2030(6G)推进组IMT-2030(6G)Promotion Group2.3.2策略语义通信理论策略语义通信理论语义从交互中产生,并随着交互过程不断发展和演进。交互过程包括人类用户与人类用户之间的交互与沟通及与环境的交互与理解。前期研究已经发现
73、语义通信发射端和接收端所处的环境及背景知识可帮助语义的编码与解析。经典Shannon 信息论并未对多智能体间的交互及对环境的交互影响进行建模分析。为了突破上述局限,Xiao11 提出了策略语义通信理论,将博弈论引入到语义通信的建模和理论分析当中。博弈论是研究多个具有理性决策能力智能体间复杂竞争和相互影响的重要运筹学分支43。自博弈论提出以来,在其理论与应用领域已经产生了 10 多位诺贝尔奖得主,并在经济学、政治学、生物学、交通运输和军事等诸多领域发挥了重要作用44。近年来,博弈论也被广泛应用于计算机科学,尤其是人工智能领域,是分析机器学习模型的训练过程和性能的有效工具,在增强学习领域辅助算法设
74、计45。策略语义通信理论充分利用博弈论在研究交互认知方面的丰富理论,建模和分析在不同的交互认知场景下的语义信息理论。图 2策略语义通信模型典型的策略语义通信模型如图 2 所示。该模型包括如下组成元素:为语义信源,包含显性语义和无法被编码器直接观测到的隐性语义;编码器可以获得一个间接观察信号序列,观察器是语义信源到间接观察信号序列的映射函数,编码器将输入序列映射为输出序列,输出序列经由转移概率为?的信道传输到译码器;译码器具有两个输入信号:信道输出序列和辅助信息,其中辅助信息与语义信源信息的内在规律和信源用户的背景知识相关。通过将辅助信息与信道输出?相结合,译码器可通过推理重建出全部的语义信息?
75、。在语义认知和通信的过程中涉及到模型训练和评估,因此,影响编码器和译码器的失真函数可能与包括时间、能量、带宽、计算资源在内的多种因素密切相关,因此在许多实际场景中,编码器和译码器的失真函数一般并不相同。为刻画上述场景,策略语义通信中,编码器和译码器的失真函数通过不同的函数进行表22IMT-2030(6G)推进组IMT-2030(6G)Promotion Group征,分别定义为,和,。编码器和译码器通过不断调整和优化各自的策略,包括各自的映射函数及对应的参数,相互影响双方的失真函数值。当编码器和译码器双方均达到最优响应时,即双方均不能通过调整自身策略进一步降低失真函数值时,通信双方达到均衡。当
76、编码器固定其策略时,译码器的最优响应一般并不唯一,我们将译码器的最优响应集合表示为()。Stackelberg 博弈的研究最早起源于经济学领域,用于研究地位不对称的厂商之间的竞争,基本的 Stackelberg 博弈问题中一般包含两个参与者:领导者和跟随者,其中领导者具有优先决策权,能够预测跟随者可能的响应,并选择一种使自己性能指标最优的策略,而跟随者是理性的,会根据领导者的策略做出最优响应。策略语义通信考虑编码器为领导者和译码器为跟随者场景下的博弈情况。该场景下,主要考虑下列两类 Stackelberg 均衡情况:(1)最优均衡最优均衡:当译码器在不改变自身失真函数值的情况下,总是选择对编码
77、器最优的策略时,编码器与译码器之间的交互达到最优 Stackelberg 均衡(OSE,下简称“最优均衡”)。在最优均衡下,编码策略和译码策略的选择都是最小化编码器的失真函数值,因此最优均衡可看作编码器能达到的最优性能上限,其数学定义如下:,=arg ,.(2)鲁棒均衡鲁棒均衡:而当译码器总是选择对编码器最不利的策略时,即译码器总是尝试最大化编码器的失真函数值时,双方交互达到鲁棒 Stackelberg 均衡(RSE,下简称“鲁棒均衡”)。在鲁棒均衡下,译码器尽可能损害编码器的利益,因此鲁棒均衡可以看作是编码器失真函数值能达到的最优性能下限,具体数学定义为:,=arg ,.当编码器不再具有策略
78、的优先选择权,且编码器和译码器都无法通过改变策略来提高自己的回报时,双方交互达到纳什均衡(Nash Equilibrium,NE,下简称“纳什均衡”),表示为。纳什均衡可以分为“纯策略”和“混合策略”两类。纯策略是指博弈方在自己的策略空间中的一个确定性选择,而混合策23IMT-2030(6G)推进组IMT-2030(6G)Promotion Group略是指博弈方以一定的概率分布在自己的策略空间中随机选择。下面我们主要考虑基于纯策略纳什均衡的策略语义通信交互。语义通信所需传输的信息总量可表示为互信息,;,其中辅助信息可提供的全部信息总量表示为(,),而语义通信相比传统 Shannon 通信可以
79、节省的传输信息量为(,;)。我们可以证明,;可表示为如下的数学形式:(,;)=(,;,)(,;)=()+(,)+()(,)前期研究还发现策略的优先选择权并不一定总能带来性能的提升。具体而言,编码器在鲁棒均衡时的失真函数值并不总小于纳什均衡时的失真函数值。当编码器的失真函数,满足在和 的定义域上为凸函数时,策略语义通信具有如下特性:(1)编码器失真函数值的性能上下界分别对应为鲁棒均衡解和最优均衡解;(2)存在纳什均衡策略使得编码器的失真函数值在纳什均衡解时严格小于鲁棒均衡解。2.3.3通用语义通信理论通用语义通信理论Juba 于 2008 年 首 次 提 出 了“通 用 语 义 通 信”(Uni
80、versal SemanticCommunication,USC)模型46。该模型的核心思想是证明了在信息发射端和接收端缺乏公共语言或通用协议的情况下,可以通过感知进行目标沟通,从而实现基于目标的通用语义通信。通用语义通信模型解决了传统通信系统中协议不兼容导致的通信不畅问题。通过建立通用的目标驱动语义通信数学模型,研究在相互不兼容协议之间进行有限和无限目标沟通的可行性,同时对协议的不兼容性与实现通用语义理解和目标沟通复杂度之间的关系进行了量化建模。典型的通用语义通信模型如图 3 所示,该模型重点分析了单个用户和单个服务器之间的通信方式。其中“用户(User)”代表系统中的通信发起方,“服务器(
81、Server)”代表系统中与用户通信的另一方。通用语义通信模型是一种同步模型,用户和服务器交替进行通信,其中用户策略描述为每个信道上从用户当前状态与输入消息转换到下一状态与输出消息集之间的随机或确定性的映射。通用语义通信模型引入了一个形式参与方,即环境(Environment),它代表了通信系统的其24IMT-2030(6G)推进组IMT-2030(6G)Promotion Group余部分和/或用户及服务器的操作环境,引入“感知”这一中间量作为环境给到用户与服务器的反馈。用户和服务器通过感知环境辅助完成用户和服务器之间的通信目标。通用语义通信模型假设通信总存在至少一个目标,该目标可用环境状态
82、来表述;具体而言,假设存在一个定义在环境状态(序列)上的判决条件,该条件与环境一起定义了用户的通信目标。用户、服务器和环境之间可由传感器或网络链路连接。图 3通用语义通信模型通用语义通信模型考虑了两类主要的目标,有限目标和无限目标。有限目标一般对应特定的终止条件,也可称为“待实现目标”,当环境达到用户期待的状态时,即满足终止条件,即终止执行;相应地,确定有限目标是否实现的判决条件是环境的单一状态。无限目标是根据用户、服务器和环境组成的系统中环境的整体无限执行来定义的,适用于基于响应激活的系统,旨在执行过程中保持通信系统可用性。基于通用语义通信模型,Juba 首次证明了感知是实现通用语义通信的充
83、分必要条件。最后,以相互不兼容的 TCP 变种协议之间的通信为例,验证了包交换网络中,在不同包大小和格式协议之间实现有效通信的可行性。值得注意的是,尽管该工作强调发射端与接收端可以在具备不同背景的情况下通过通用语义通信模型进行沟通,但是通用语义通信模型仍然要求收发两端具有对于通信是否成功的统一参考标准。因此,该架构所阐述的收发两端可具备不同背景主要是指语言和沟通协议不同,并非常识背景知识库或通识性语义模型不同。2.3.4基于深度学习的语义编解码技术基于深度学习的语义编解码技术近年来,随着深度学习的快速发展和广泛应用,基于深度学习的语义编解码技术成为一个非常有潜力的重要发展方向。在语义通信系统中
84、运用深度学习算法25IMT-2030(6G)推进组IMT-2030(6G)Promotion Group可以打破语义提取缺乏显式数学表达的障碍,使得系统更加灵活。具体来说,利用神经网络能根据场景自动完成学习以及其挖掘隐藏特征的能力,基于深度学习的语义通信系统能在人为参与更少的情况下完成对编码器和译码器的指导,或者直接替代编译码器完成对数据的语义编码和译码。当前,基于深度学习的语义编解码技术可用于传输多类数据,并执行相应任务,例如图片41 47,语音4849,文本50 和视频51 52。基于神经网络,包括深度神经网络的语义编解码系统的框架大致可以分为四种,即语义提取、语义信源编码、语义信源信道联
85、合编码和语义联合编码-调制,如图 4-图 7 所示。在每一种框架中,语义神经网络扮演着不同的角色,通过和传统通信中的模块组合,构成不同的语义编解码系统。每种框架的具体结构如下所述。(1)基于神经网络的语义提取)基于神经网络的语义提取在现有的信源编码前端加上一个语义提取神经网络53,如图 4 所示。语义提取神经网络的输入是原始数据,输出是提取出的语义信息,也即原始数据的部分特征信息。换句话说,该语义提取神经网络相当于对原始数据进行预处理。随后,这些被提取出的语义信息分别通过信源编码和信道编码。这种方案也具有第二种方案中易更改的优点,也是四种方案中对现有通信系统改变最少的。图 4基于神经网络的语义
86、提取系统框架(2)基于神经网络的语义信源编码)基于神经网络的语义信源编码使用语义编译码器替换传统通信中的信源编译码器54,如图 5 所示。这种系统采用信源信道编码分离式架构设计,信道编码只与信道条件有关,语义编码只与语义信息源有关。该方案的优点是当环境变化时神经网络更改所需额外通信开销较低。例如,当语义信息源的分布变化时,只需在发送端本地重新训练编码器神经网络并向接收端同步神经网络参数即可,不需要收发两端互相通信进行联合训练;而当信道条件变化时,只需改变信道编码即可。26IMT-2030(6G)推进组IMT-2030(6G)Promotion Group图 5基于神经网络的语义信源编码系统框架
87、(3)基于神经网络的语义信源信道联合编码)基于神经网络的语义信源信道联合编码利用神经网络对语义提取、信源编码和信道编码进行联合设计,实现端到端系统框架55,如图 6 所示。语义编码器神经网络的输入包括发射端信号和其他信息,例如语义知识库、信道条件等,其输出常为浮点数,直接送入信道进行传输。接收端采用语义译码器神经网络进行译码,得到原始数据的含义。这种端到端系统设计方案的优点是利用到了码长有限长的情况下信源信道联合编码优于分离编码这一特点。具体而言,发送端通过保留一部分信号中的冗余信息实现对发送信号的保护;接收端在训练阶段,通过引入反馈机制,将信道对信号的影响反馈到接收端,从而实现信源信道的联合
88、编码。图 6基于神经网络的语义信源信道联合编码系统框架(4)基于神经网络的语义编码与数字调制联合设计)基于神经网络的语义编码与数字调制联合设计对语义提取、编码与调制使用神经网络进行联合设计,实现端到端数字语义通信56,如图 7 所示。发送端使用神经网络联合设计语义编码与调制,学习信源数据到星座符号的转移概率,并根据所学到的概率进行随机调制,产生离散的数字调制符号序列,然后送入信道传输。接收端将接收信号送入语义解调-解码联合神经网络中进行解码,得到原始数据的含义。该方案通过将调制技术纳入语义通信系统的端到端学习过程,既可以保留端到端系统设计相比于模块化系统27IMT-2030(6G)推进组IMT
89、-2030(6G)Promotion Group设计的性能优势,又可以获得适应信道噪声的调制阶数,具备数字通信系统的抗噪性。图 7基于神经网络的编码调制联合设计系统框架2.3.5隐性语义认知通信理论隐性语义认知通信理论图 8隐性语义认知通信模型受到脑认知领域相关研究的启发,Xiao 等提出了隐性语义认知通信模仿人类的知识推理过程57 58 23。引入隐性语义的概念,将消息中与标签、特征等显性语义密切相关但无法直接从源信号识别得到的语义信息定义为隐性语义,通过高阶知识推理规则的学习和建模提高语义信息的解析精度与可靠性。具体而言,消息中包含的语义信息可表征为三元组=,包括可直接从源信号中识别出的显
90、性语义信息的集合 s,隐性语义信息 us,即不能从源信号中直接观察到,而必须根据上下文和沟通历史及信源用户的推理偏好推断出的隐藏语义信息。根据显性语义信息 s 认知得到的隐性语义表示为 us。由于语言本身的不确定性和普遍存在的一词多义性,与某一特定显性语义相关的隐性语义信息一般具有概率统计特征,因此我们采用概率的形式表征隐性语义,如用 p(us|s)来28IMT-2030(6G)推进组IMT-2030(6G)Promotion Group表示基于观测到的显性语义 s 而推断出隐性语义 us的概率。推理规则描述了显性语义和隐性语义之间的潜在关联。信源用户的推理规则()可表示为从显性语义项 s 映
91、射为所有可能隐性语义信息概率分布 p(us|s)的映射函数。在隐性语义认知通信中,信源用户的目标不再是最大化信道中所传输的信息量,而是帮助接收端学习语义的推理规则,该规则可以根据收到的部分信息,如发送端识别出的部分或全部显性语义信息,自动推断出全部隐性语义信息59。典型的隐性语义认知通信模型如图 8 所示。该模型除了包含传统语义通信模型中的语义识别器、语义编码器和语义译码器之外,还包含如下关键功能模块:(1)语义解释器语义解释器(接收端接收端):负责根据接收端从信道中接收到的部分信息自动推断出全部隐性语义信息。语义解释器可看作是接收端根据通信历史、上下文以及其他辅助信息等学习到的信源用户推理规
92、则()的近似。(2)语义评估器语义评估器(发射端发射端):负责将接收端根据学习所得的推理规则产生的隐性语义信息与信源用户基于真实推理规则得到的隐性语义信息进行比较。比较结果将反馈给接收端,并辅助接收端校准语义解释器中的近似推理规则。上述模型的主要目标是让在接收端用户恢复的语义信息与信源用户的语义信息之间差距最小。隐性语义认知通信的实现和部署可包含下述两个阶段:训练阶段训练阶段:训练阶段的目的是由信源用户辅助接收端用户训练语义推理规则。首先,接收端的语义解释器将根据当前推理规则和本地知识库生成与所获显性语义信息密切相关的隐性语义信息;其次,语义解释器输出隐性语义信息,并回传给发送端的语义评估器,
93、后者将接收到的隐性语义信息与信源用户基于真实推理规则产生的隐性语义信息进行比较;然后,比较结果将由语义评估器反馈给语义解释器,后者基于反馈结果更新推理规则;上述步骤将重复进行,直到接收端的语义解释器能够生成近似于发送端基于真实推理规则产生的隐性语义信息,即通信双方之间的语义距离达到最小。通信阶段通信阶段:在通信阶段,接收端可利用训练阶段的语义解释器直接根据从信道中收到的部分信息自动推断出隐性语义信息。具体而言,首先,信源用户识别源信号中的显性语义信息,并由已训练的语义编码器转换为用于物理信道传输的形式;然后,接收端用户利用训练好的语义译码器从接收信号中还原出显性语义29IMT-2030(6G)
94、推进组IMT-2030(6G)Promotion Group信息,并发送给语义解释器;最后,语义解释器基于接收到的显性语义信息和训练好的推理规则生成隐性语义信息并提供给接收端用户。前期工作提出了一种基于云边智能的隐性语义认知通信架构22,通过将语义评估器和语义解释器部署至边缘服务器,信源用户可以协助接收端用户高效学习和模仿信源用户表达和推理隐性语义的内在规律,用以支持高效的隐藏信息生成、推理和补全功能。仿真结果显示,对于语义符号传输的误符号率,该方法相比传统语义无关的通信方案可获得 25.8dB 的性能提升。综上所述,隐性语义认知通信对于实现下一代以人为本、具备达意通信能力和语义认知智能的通信
95、网络系统至关重要。2.3.6多模态语义通信技术多模态语义通信技术传统的语法通信中不同模态的信源(如视频、音频、触觉等)因为数据形式不同,几乎不存在相关性,因而其通信过程也是相互独立的。但是语义通信是基于语义的,而不同模态的数据之间的关联恰好是语义级的,因而语义通信使得联合利用多模态之间的相关性成为可能。一方面在通信发送端可以利用不同模态信源之间的相关性,降低冗余信息的传输,提升通信效率;另一方面,在通信的接收端,当一种或者多种模态信息被噪声污染或者模态信息丢失时,可以利用其它模态与当前模态的相关性,进行信息的恢复,从而提升通信过程的鲁棒性。多模态语义通信信源的形式更多样化,其通信系统要素与语义
96、通信基本相同,是对单模态语义通信的进一步扩展。在多模态语义通信系统中,重点强调多种模态信源相关性的利用,既包含如何联合从多模态信源中提取语义信息,也包含如何建立多模态知识库。具体来说,可以通过构建基于知识图谱的不同模态下的统一参数化表示的多模态知识库,然后在多模态知识库先验引导下,将利用深度学习提取的不同模态信息转化为基于共性和个性的多模态信源的表征方法,减少不同模态间以及不同模态与知识库之间的冗余。其框架中除了包含常规语义通信系统的语义提取、语义编码和语义解码模块外,还包含了如下关键功能模块:(1)多模态知识库多模态知识库:在常规的基于知识图谱的本地知识库和共享知识库上,实现实体在不同模态下
97、的参数化表达方法,为语义通信提供足够的背景知识,丰富实体和概念表示,提升多模态语义通信泛化能力和多模态语义表征效率。30IMT-2030(6G)推进组IMT-2030(6G)Promotion Group(2)多模态编码器:)多模态编码器:在多模态知识库的先验下,采用多模态联合表征方法和融合模态注意力机制降低不同模态之间的信息冗余,充分挖掘多模态之间的语义关联,将各模态单独提取的语义信息表征转化为共性和个性语义表征。(3)多模态解码器:)多模态解码器:为恢复不同模态的信息,实现知识库指引下的多模态信息联合重建,接收端本地知识库和共享知识库的知识融合,充分挖掘两者互补性;实现知识、个性特征和共性
98、特征融合方法,利用知识中的先验信息和共性特征恢复粗粒度信息,利用个性特征补充细节信息。2.4 语义通信的性能刻画语义通信的性能刻画由于语义信息的特点,传统基于数据传输的性能指标无法直接应用到衡量语义通信性能上来。目前主要的语义通信性能指标描述如下。2.4.1语义率失真语义率失真率失真是信息论中用以刻画有损信源编码中码率与解码恢复的信号失真度之间关系的理论工具。与传统率失真问题类似,语义率失真问题是在分别给定可观测信源和语义信源的失真约束下,最小化编码所需的码率。在语义通信系统中,率失真理论可有效地建模语义概念知识在语义信源编码阶段造成的语义信息损失。Liu 等人60 利用率失真理论对语义通信系
99、统的信源编码进行建模,给出了在信号符号失真和语义符号失真双重约束条件下的最小码率在高斯信源条件下的解析解。Stavrou 等人61 着重研究了如何利用率失真中经典的 Blahut-Arimoto 算法求解语义率失真优化函数。同时针对二进制信源,论文分别推导了汉明失真度和擦除失真度下最小可达码率的解析解。Hayashi 等人62 将问题进一步推广至更为一般的 Bregman 散度系统,并详细研究了指数子族和混合子族之间的 Bregman散度的最小化问题,展示了几种条件下的收敛性及其速度。该方法可以进一步将单语义失真约束推广至多语义失真约束,得到更一般情况下的率失真函数求解方法。Xiao 等人11
100、 将博弈论和语义率失真理论相结合,提出了策略语义通信率失真概念,建立了当编码端和解码端各自有不同的失真度量函数时的率失真容量界,探讨了编码端该如何选择编码策略以优化编码效能。该工作给出了强斯塔克31IMT-2030(6G)推进组IMT-2030(6G)Promotion Group伯格,弱斯塔克伯格以及纳什均衡条件下,当编解码端失真度量函数不同时的语义编码策略。2.4.2语义率失真语义率失真-感知效果平衡关系感知效果平衡关系Shannon 率失真理论可用于计算有损压缩算法在给定的数据速率下,接收端能获得的最小符号失真。符号失真主要用于衡量发射端符号和接收端符号之间的确定性的符号差异,可采用均方
101、差 MSE 等度量指标进行量化。近些年来,越来越多的人意识到“低符号失真”并不等同于“好的感知效果”。这主要是由于人类用户的感官效果和语义信息密切相关,即只要大致语义相似,虽然符号失真度较大,仍然能够达到较好的感知效果。感知效果的主要评价方法包括基于人类评价的质量评估方法,尤其是利用统计距离和知识进行评价的方法,例如 KL 散度或 JS 散度。Tschannen 采用了均方误差失真(MMSE)和 0-1 失真(MAP)两种失真方式量化人类用户对图像信号失真的感知效果,研究了如何在给定符号失真的情况下如何得到最好的感知质量。发现低符号失真一般不能带来较好的感知效果63。Blau64 发现感知效果
102、和符号失真之间存在平衡关系,并且感知-失真平衡函数具有不单调增性和凸性两大属性。2.4.3语义相似度语义相似度语义通信专注于语义概念知识出现的可能性,而非特定消息符号被复原的可能性。整个消息的语义概率由消息中含有的不同语义成分决定。具体到某一消息所含有的语义自信息,可以度量为该消息的语义熵;对接收端而言,消息的语义互信息揭示了接收端收到消息后,对语义信息不确定性的减少量。语义通信的过程即是在降低语义信息不确定性。需要注意的是,与经典通信模型不同,语义通信使用共享知识辅助通信过程,从而引入了包括知识库在内的先验知识,进一步降低了语义推理的不确定性。表现在物理层传输上,语义通信可以使用极少的资源来
103、完成达意的目的,而不需要完整恢复原信号。共享知识影响的不确定性在现有文献中研究较少,但也是完善语义信息理论中重要的成分。从信息论的角度来看,语义相似度的关键以及难点在于,如何对消息的语义进行提取并在语义空间建模其发生的可能性。在不同的通信场景中,语义空间并32IMT-2030(6G)推进组IMT-2030(6G)Promotion Group不完全相同,建模语义概率也受到知识主体的认知能力有关。现有的研究工作通常以文本语义为研究对象,在简单逻辑概率下建模语义熵;但通用的语义信息理论仍然是一个开放的研究问题。不同于直接在概率层面建模语义信息,另一种度量语义信息的方式来自约束收发双方的语义相似度。
104、常用的语义相似度量目前有基于距离表征(如树状距离、编辑距离、KL 散度等)、基于人工规则的方法(如自然语言中的词频度量准则)、基于启发式语义向量表征的方法(如预训练模型、图网络)等。使用语义相似度构建语义通信系统是目前研究较为成熟的方向。在文献中使用较多的语义相似度是文本的交叉熵以及像素的均方误差;但需要注意的是,交叉熵和均方误差并不能够很好度量语义的传输情况,依然关注于单词/像素层面的复现。更优的优化目标是基于特定的传输媒介,定义符合认知主体规则的语义相似度量。2.4.4语义信息新鲜度语义信息新鲜度在传统的通信中,系统追求尽可能快地发送更新并确保传输延迟最小,需要大量的带宽资源,信息新鲜度定
105、义为当前时间和数据包的时间戳之间的差异,其中只有发送方最新生成的状态才是接收方最感兴趣的。此外,如果不能保证时延和 QoS,通信系统中数据包的堆积会限制更新并导致监视器含有不必要的过时状态信息。基于信息新鲜度的指标由于忽略了恢复数据的有效性而存在一定缺陷。在此基础上,A.Maatouk65 等人介绍了错误信息年龄(Age of IncorrectInformation,AoII)的概念,并认为该概念可拓展作为语义通信的一种全新性能度量,用于衡量语义信息新鲜度,通过合并数据语义来弥补信息新鲜度以及常规度量方法的短板,AoII 考虑包的内容、目的地的信息知识,以及物理过程与其估计之间的不匹配对整体
106、通信目标的影响,可以用于监控系统,例如车辆监控系统、工业传感器网络、无人机路径规划和监控视频等。2.4.5其他性能指标其他性能指标现有的研究还包括针对具体信息类型和具体性能指标的专门研究。例如针对文本信息,Liang 等人66 提出一个新颖的语义通信架构,将通信中所需的语义单元、关系以及推断规则在图论中表示,用以研究语义通信在语义信息层面的正确率。同时针对该图模型,论文提出了一个基于嵌入算法的语义翻译框架,可以更精确地对文本数据语义信息的语义空间进行分类,从而提高通信效率。另外,33IMT-2030(6G)推进组IMT-2030(6G)Promotion GroupAgheli 等人67 从时
107、延角度研究语义编码问题。论文引入语义感知指标,量化更新包的重要性和接收方信息的及时性。其中及时性是信息年龄的非线性函数,包括一个与平均码字长度相关的准算术惩罚项。在上述模型框架下,论文通过求解最大化语义感知效用函数并同时最小化二次平均长度成本的优化问题,推导出语义编码在考虑时延性条件下的最佳实际码字长度。3语义认知网络参考架构语义认知网络参考架构3.1 从语义通信向语义认知网络的演进趋势从语义通信向语义认知网络的演进趋势前期研究已经发现,点对点的语义通信技术由于需要单独构建发射端和接收端的语义知识库并需要针对不同的业务和目标设计和学习不同的语义解释模型,因此存在部署成本过高、模型泛化性和可扩展
108、性难分析和优化等局限性问题2。换而言之,与传统基于符号传输和复原的传统数字通信架构不同,语义认知网络并不能通过简单将点对点语义通信技术直接拓展到多点对多点实现。这主要是由于语义认知网络相比点对点的语义通信面临包括知识共享、环境和语境识别、认知学习所需网络资源调度和多用户语义认知网络安全等新问题。具体详述如下:(1)语义知识的共享与协同问题:)语义知识的共享与协同问题:语义通信的首要前提条件是所有通信参与方(发射端和接收端)能够共享一个或多个普适性的语义知识库,它一般包含 3 个层次的知识库共享。首先,发射端和接收端需要拥有一致的知识实体和关系库。其次,在发射端和接收端拥有的知识库不完全一致的情
109、况下,发射端和接收端沟通的内容应该在双方共有知识范围内。换言之,发射端和接收端应当需要具备知识和背景协同以及差异识别能力(如成年人在感知到沟通对象是婴儿或小孩时可自动调整并缩小所使用的知识库)。最后,当发射端和接收端检测到未知语义知识实体和关系时,他们之间一般还需要具备知识库协同更新能力。上述 3 个层次知识共享均不可能由单一用户独立更新并维护一个独有的知识库实现,而需要所有通信参与方共同维护和更新语义知识的相关信息。例如,即便是对于拥有强大信息处理和记忆能力的人类而言,知识积累和识别能力也需要花费数十年的时间学习、探索和练习大部分普适知识内容,而对于通常仅有几年甚至更短使用寿命的电子设备和机
110、器,每个设备34IMT-2030(6G)推进组IMT-2030(6G)Promotion Group单独维护和更新知识库不仅需要耗费极其庞大的通信和存储开销,并且知识积累和数据采集也需要耗费大量时间。这些因素共同造成了语义通信难以推广的现状。(2)环境和语境感知和识别问题)环境和语境感知和识别问题相比传统以 0 和 1 为主的数字信号,语义信号可能包含的信息和能够表达的内容更加丰富。不同地域和时间用户可能传达与理解的内容也会受各种复杂因素影响,如消息传播者和接收者通信时的性格与情绪、通信环境、与周围用户和环境交互的历史及语义的上下文等。从另一个角度讲,语义通信发生的环境及用户的社交与沟通历史能
111、够有效帮助用户更好地识别语义,减少语义噪声。例如,在教室里老师与学生之间沟通的语义信息有极大可能局限于课堂知识,而在马路或者十字路口无人驾驶车和有人驾驶车之间沟通的语义信息极大可能聚焦于车辆驾驶行为与交通情况。因此,仅考虑点对点的语义通信的内容而忽视周围用户和通信网络环境影响会极大地限制语义通信中的知识识别和处理效率。(3)语义认知学习与更新所需网络资源调度与优化问题)语义认知学习与更新所需网络资源调度与优化问题语义通信性能与语义编码器和译码器的语义识别和处理准确率密切相关。具体而言,语义通信需要从不同种类的信号源,包括图像、语音、文本中提取用户所需的语义信息,如信号中所包含的物体的某些特征以
112、及不同物体间呈现出的关系。尽管近些年来,由于人工智能技术的快速发展,数据分类、图像与音频信号中的物体识别及逻辑与相关性推理等方面的性能都得到了显著提高,然而大量人工智能算法,尤其是大量基于深度学习的算法,过度依赖高强度算力和高质量人工标记数据集训练出的高性能模型。此外,目前主流的语义通信工作通常强调可利用先验知识降低通信成本并提高语义传递成功率,却忽略了识别、提取和解释语义信息需要消耗的计算与存储资源开销8。最新发布的报告显示,最先进的人工智能算法耗费的资源在过去的几年中呈持续快速增长趋势,成本每几个月就会翻倍,仅在 20122017 年这 5 年期间,先进的人工智能算法所需资源成本就增加了
113、300 000 倍69。这些人工智能算法所需要的计算和存储资源量远远超出目前主流终端设备的计算和存储能力,因此进一步制约了点对点语义通信的适用场景。采用一台高性能 GPU 服务器(TITAN X GP102 GPU 和 Intel i9-9900KCPU3.6GHz)训练 3 种目前主流图像数据集和简单卷积神经网络训练模型精度与耗时如表 1 所示。显然,即便使用高性能 GPU 服务器和标准数据集,训练简35IMT-2030(6G)推进组IMT-2030(6G)Promotion Group单的目标识别模型也需要耗费高达数分钟,所花费的时间已经远远超出了直接采用目前主流无线通信技术传输高性能图像
114、数据的耗时。表 2 训练 3 种目前主流图像数据集和简单卷积神经网络训练模型精度与耗时数据集名称网络模型本地存储/KB有标签数据量/个目标精度模 型 训 练 耗时/sMNIST2 层卷积层1 层全连接层46 02348 00098.8%344Fashion-MNIST2 层卷积层1 层全连接层46 09248 00087.0%369CIFAR-102 层卷积层2 层全连接层1 层线性变换层121 47540 00062.0%151(4)语义认知网络中的模型协同和隐私安全间的矛盾)语义认知网络中的模型协同和隐私安全间的矛盾语义通信中的发射端和接收端需要持续不断地交换各自获取和感知的知识信息,同时
115、协调和更新各自的知识库。这可能会引起本地知识/隐私数据潜在的泄露和被攻击风险。此外,持续的信息上传会带来高额的数据传输开销。因此,在语义通信系统中不宜采用集中式的框架。然而简单直接采用分布式架构对发射端和接收端之间进行知识协同时,又存在协同通信数据量较大且数据隐私难以保护等问题。另一方面,语义本身也提供了特异于不同用户的发送与理解方式,从语义角度完成多用户的消息加密存在着良好的运用前景。与集中-分布式语义认知网络架构一样,在异构多用户语义的协同、统一表征,以及特异于用户的语义加密之间也存在着实现方法、性能、可拓展性等方面的权衡与讨论。相比于点对点的语义通信,多用户模型学习与网络更新是语义认知网
116、络面临的新问题。为解决上述问题,业界已提出了多种相关语义认知网络架构和模型。本小节从语义认知网络的组成、架构和性能指标三个方面开展介绍。3.2 语义认知网络的组成语义认知网络的组成语义认知网络是一种基于知识共享和资源融合的网络架构,网络示意如图 9所示。该架构包含如下的基本单元。36IMT-2030(6G)推进组IMT-2030(6G)Promotion Group图 9面向万物智联的语义认知网络架构示意图3.2.1面向网络的语义表征面向网络的语义表征语义认知网络需要解决的首要问题是面向网络的多用户知识和语义的共性表征问题。例如,当不同用户的语义表征格式和结构不同时,用户间能够根据常识性的语义
117、知识和认知方法在不同格式间转换实现相互学习、理解与沟通。具体而言,语义认知网络的知识表征应当具备几个基本要求:1)易于搜索,易于实现计算操作;2)易于添加、删除、更新概念知识和概念间的各种关系;3)节省存储空间;4)较为成熟的计算和转换方法。3.2.2边缘计算和存储服务单元边缘计算和存储服务单元由于识别和处理语义信息所耗费的计算资源和语义知识库所需的存储资源远超出单个智能终端所具备的能力,因此,语义认知网络应当充分利用外部的计算和存储资源,并在海量用户之间实现多种资源的融合与共享。在大量用户周围部署边缘计算服务器和存储设备卸载用户终端的语义识别和处理任务是一种有效解决方法。具体而言,用户终端可
118、以实时地将语义编码和解码任务卸载到与其最邻近的边缘服务器上。边缘服务器在收到用户请求后快速执行计算、存储以及语义认知模型训练等任务并将结果及时反馈用户。同时,两个或多个边缘服务器37IMT-2030(6G)推进组IMT-2030(6G)Promotion Group在训练共享知识和语义识别及编解码模型时也可以相互协作,如采用联邦学习和分布式计算等方法,从而进一步减少每个边缘服务器的存储和计算负载,降低单个服务器或用户对标记训练数据集的要求,并提高资源利用率。3.2.3全局知识与模型库全局知识与模型库全局知识与模型库包含普适性的知识概念(如常识性的单词和事实)与不同概念之间的关系。全局知识主要由
119、云计算中心或者分布式边缘计算服务器维护,并可供不同的用户查询和调用。全局语义模型包括从各种常用的源信号形式(如文本、图像、语音等)中识别和提取语义信息的主要模型和方法。可通过包括众包、多模态智群感知等在内的多种方式将不同用户在不同背景、语言和场景下积累的普适性知识和语义信息传输给云计算中心或者边缘计算服务器,并将这些知识和信息融入语义识别和认知模型,从而保证知识和语义突破时间和空间的局限,扩大语义认知网络的适用场景。3.2.4私有知识与模型库私有知识与模型库不同用户可能拥有私有信息,由于语义信息的敏感性,私有信息一般不应上传给其他用户。用户可将私有知识和模型存储在指定的本地边缘计算服务器,也可
120、以自行设计并训练好可识别私有语义信息的模型,并将模型或者参数分享给边缘计算服务器或者其他用户。3.2.5用户终端用户终端用户终端可以是低成本的物联网或可穿戴设备,也可以是具备一定计算和存储资源的智慧终端,如手机或智慧屏幕。如果是后者,用户端可以存储部分简单且经过预训练的语义识别模型,在此情况下,用户仅在所识别出的知识实体精度较低或者无法识别等情况下将语义信息处理任务卸载到边缘计算服务器和云计算中心。3.2.6语义识别器语义识别器语义识别器包含已训练好的语义知识识别模型(如图像、文本和音频信号中的知识实体识别模型等)。识别器可以集成在边缘计算服务器和存储服务单元内,也可以由第三方物体分类与识别服
121、务供应商(如目前新兴的人工智能服务和模型供应商)提供。38IMT-2030(6G)推进组IMT-2030(6G)Promotion Group3.2.7语义解释与还原器语义解释与还原器语义解释与还原器主要包含能够还原语义信息并按照接收或发送端用户期望的形式呈现的方法和模型,如可以通过接收端接收的语义信息还原文本、图像、音频甚至是全息立体投影呈现给接收端用户。语义解释与还原器还可以根据用户需求和偏好调整和更改语义接收和呈现的形式。3.3 语义认知网络架构语义认知网络架构如前所述,语义认知网络需要不断融合多学科技术领域的最新成果进行演进,因此语义认知网络架构需要具备开放性、智能性、灵活性和易扩展性
122、。本小节介绍目前主要的语义认知网络架构。3.3.1基于联邦边缘智能的语义认知网络基于联邦边缘智能的语义认知网络本节介绍基于联邦边缘智能的语义认知网络架构24,该架构有望解决前文提到的大规模智能体网络中存在的语义通信模型难协同和语义信息共享的安全性等问题。联邦学习是一种新兴的分布式机器学习方法。与传统数据集中式的机器学习方法不同,联邦学习可保证多个数据拥有方之间在不泄露本地数据及相关信息的前提下,仅通过交换不泄露隐私的中间结果实现合作训练和建模。图 10基于联邦边缘智能的语义认知网络架构如图 10 所示,基于联邦边缘智能的语义认知网络架构主要包括如下元素:(1)语义通信参与者(用户)语义通信参与
123、者(用户)用户可以对应于低成本信息生成器/收集器(发射端),例如 IoT 设备,传感器和可穿戴设备。它们也可以是语义信息的接收方(接收端),并利用语音信息进行信号恢复并呈现至相关用户。对于每个发射端用户,它首先感测特定的通信场景,然后上传感测结果以及发射端信号至相关的边缘服务器进行知识提取和编39IMT-2030(6G)推进组IMT-2030(6G)Promotion Group码消息生成。对于接收端用户,它向相关的边缘服务器咨询接收信号的解释。除此之外,接收端用户还会评估最终传送信号的性能/满意程度并反馈到发射端用户,并且在不满意接收信号解释时会请求重传。反馈分数也有助于改善边缘服务器的语义
124、编码和解码性能。(2)边缘计算服务器)边缘计算服务器边缘服务器基于共同共享的知识库以及从本地用户上传的私有信号执行编码和解码。一般而言,每个边缘服务器应该已经具有一定数量的训练有素的模型,用于对象识别和关系推断。它还可以为一些本地用户建立私有模型。在某些情况下,边缘服务器和用户可以对应于相同的设备,例如,高性能移动设备(例如,高端智能电话)可以基于已搭载的收发器和计算机进行数据收集/接收和语义编码/解码工作。(3 3)全局知识与语义识别模型协同器全局知识与语义识别模型协同器全局知识与语义识别模型协同器协调边缘服务器之间的模型训练。通常而言,协调器可以部署在边缘服务器或云数据中心之一。如前所述,
125、我们假设不同的边缘服务器可以建立和维护共享的 AI 模型,而不会暴露从用户上传的本地数据。以70 中介绍的 FedAvg 算法为例,每个边缘服务器首先利用所关联用户收集的数据来训练本地模型,然后,一组选定的边缘服务器将本地训练的模型参数上传到协调器以进行模型聚合。另外,通过控制本地模型上传的频率以及每轮模型聚合中边缘服务器参与数量可以进一步减少边缘服务器与协调器之间的协调开销71。每个边缘计算服务器在收到用户请求时,首先搜索存储在本地已训练好的知识实体和关系识别模型。当用户上传数据无法被所有本地模型准确地识别时,则开始训练新的语义识别模型。为进一步提高语义知识模型搜索速度,每个用户都应在执行编
126、解码过程之前感知周围环境、通信时间和特定场景以及与通信含义相关的其他信息,这些信息将随发射端信号一起上传到边缘计算服务器用于分析语义通信的具体场景,从而减少语义编码器和译码器的模型搜索空间。为了协调多个边缘服务器之间的知识建模并保护本地语义数据避免泄露,我们采用基于联邦学习的分布式模型协同框架,其中每个边缘服务器不需要将其本地数据公布给其他服务器,而只能使用模型训练的中间参数,如使用梯度或者 AI 模型的参数进40IMT-2030(6G)推进组IMT-2030(6G)Promotion Group行协同,这样能够在保证数据隐私的同时保证模型训练质量,同时利于进一步减少单个边缘服务器的存储和计算
127、负载。3.3.2人工智能模型驱动的语义认知网络人工智能模型驱动的语义认知网络(1)智能化和多样化)智能化和多样化语义认知网络应至少具有智能化和多样化两大核心技术特点。其中,智能化不仅体现在发送端语义的产生和接收端语义的恢复过程中要用到各种人工智能和大数据分析等技术手段,还体现在语义信息的高效传输应借助智能化的新空口与新网络设计上。多样化不仅体现在语义认知网络中信源、信宿、信道、中继、计算和存储等物理节点具有形态多样、数量庞大,空间分布较广的特点,还体现在语义认知网络能兼容多种异质异构网、支持多个任务类型和存在多种语义模态的特点,语义认知网络需要跨域、协作的 AI 技术平台,提供分布式、网络级、
128、空口级的智能协同和管理能力,满足诸多复杂场景下、自生成新型应用的业务需求。(2)AI 驱动的语义认知网络参考架构驱动的语义认知网络参考架构下图给出了一种建议 AI 驱动的语义认知网络的参考架构:图 11AI 驱动的语义认知网络参考架构如图 11 所示,人工智能模型驱动的语义认知网络大致可包括语义通信和 AI引擎两个部分,其中语义通信包含语义的提取与表征、语义信息的编码、本地语义知识库的构建与更新,本地语义知识库与全局语义知识库的映射等功能,并且通过 AI 进行训练和推理,对抗语义噪声,确保“意图”或“意思”或“含义”的最小失真。语义通信不仅可以采用模块化的架构,也可以进行一体化设计。一体化的语
129、义通信可以降低模块间的接口复杂度,减少时延,但同时也会明显增加与现有通信网络的差异性,增加语义通信软硬件的部署成本,并且可能对数据、算法或算力提出更高要求。41IMT-2030(6G)推进组IMT-2030(6G)Promotion GroupAI 引擎为语义认知网络提供“智能化底座”,包括语义通信所需的各种 AI算法或算子、算力的调用与更新。例如知识蒸馏和知识图谱可用于提取和表征语义信息,联邦学习可以为分布式网络提供兼顾数据隐私安全和知识共享的模型训练,降低云网服务器的计算和存储负载;空口 AI 和组网 AI,可以为构建模块化或一体化的智能新空口提供基于语义、数据、模型驱动的深度学习算法;基
130、于高效协作通信的多智能体强化学习机制可以为分布式资源配置与任务调度智能决策优化提供支撑等72。(3)语义认知网络有望突破)语义认知网络有望突破“跨域跨域”和和“跨层跨层”设计设计需要说明的是,与传统通信中信息流以特定的数据封装格式从协议栈的一层传递到另一层不同,语义认知网络并不需要对语义信息流的格式与功能进行严格绑定。事实上,由于智能化和多样化的特征,语义认知网络有可能会突破传统空口协议栈的理念而引入更多的“跨域”和“跨层”的设计,这也是有待进一步深入研究的问题。3.3.3分布加集中处理协同的编排式语义认知网络分布加集中处理协同的编排式语义认知网络语义认知网络架构需要满足分布和集中处理相结合的
131、资源编排与处理方法。具体而言,该结构应当满足如下四大结构特点及对应的功能模块与编排技术。(1)语义认知网络的结构语义认知网络的结构分布式语义处理节点分布式语义处理节点、集中式编排调度平台集中式编排调度平台分布与集中编排式语义认知网络架构可以分为分布式语义处理节点以及集中式编排调度平台两部分。分布式处理节点纵向可以分为终端、无线接入域、传输域、核心网域。在语义认知网络架构中,各域需要引入新的功能模块,通过支持语义通信的关键使能技术,实现对语义信息的感知、传输、解析、保障等。42IMT-2030(6G)推进组IMT-2030(6G)Promotion Group图 12分布与集中编排式语义认知网络
132、架构(2)分布式处理节点的纵向结构分布式处理节点的纵向结构终端终端、无线接入域无线接入域、传输域传输域、核心网核心网域域无线接入域,作为离用户最近的一环,由于不同场景、环境下的感知数据均可能对语义产生影响,因此需要支持对用户所处环境、状态信息的收集,首先需要采集大量的静态的和动态数据,例如天气变化数据,然后进行初步的数据预处理,例如数据去重等,语义感知模块则对上述预处理后的辅助数据进行多方位因素综合分析、筛选和发送,以帮助接收端用户能够准确地识别语义。传输域则主要是实现对语义信息和辅助数据的高效传输,保障数据传输的可靠性和及时性。核心网域,作为通信网络的大脑,需要支持对语义通信的管理和控制功能
133、,包括对语义模型的训练和推理,以及 QoS 保障等。基于服务化架构,核心网应新增语义认知网络功能,负责处理语义信息、模型管理和语义数据管理,具体包含以下服务:(3)核心网包含的服务)核心网包含的服务语义认知网络、策略控制、用户面语义认知网络、策略控制、用户面作为通信网络的大脑,核心网需要支持对语义通信的管理和控制功能,包括对语义模型的训练和推理,以及 QoS 保障等。基于服务化架构,核心网应新增43IMT-2030(6G)推进组IMT-2030(6G)Promotion Group语义通信网络功能,负责处理语义信息、模型管理和语义数据管理,具体包含以下服务:语义数据管理服务语义数据管理服务:对
134、于收到的数据按照预定策略和签约进行分类处理,用于进行公共语义模型库以及用户个人的语义函数的训练。语义模型训练服务语义模型训练服务:边缘节点基于收到的语义信息进行语义模型训练,以及不断完善。模型分为两大类,第一类是公共语义模型,具备普适性可以广泛应用于多个用户。第二类是逐用户的私人语义模型,有较大差异性。语义模型管理服务语义模型管理服务:对于所有公共语义模型和私人语义模型进行管理,访问、更新、删除、迁移鉴权。语义上下文存储服务语义上下文存储服务:对于每个用户,除了私人语义模型外,还会保存一定时间内的通信上下文,用于更加准确地判断、推理和挖掘当前用户的隐式语义。对于现有的网络功能,也需要增强支持语
135、义通信。策略控制功能需要新增用户语义策略,生成并下发用户的语义转发、提取、推理策略。用户面功能需要增强支持语义数据的感知、识别、处理,与按策略转发。(4)集中的编排和调度平台)集中的编排和调度平台语义算力联合编排模块、语义服务调度语义算力联合编排模块、语义服务调度、语义模型的管理和分发、语义训练和推理、语义性能监控和保障语义模型的管理和分发、语义训练和推理、语义性能监控和保障除了各域分布式地支持语义通信功能,语义认知网络架构中还需要包含集中的编排和调度平台。集中平台同样包含语义模型的训练和训练,主要是针对一些跨域场景,集中式的语义训练和推理能够充分利用各域的数据,以构建更有普适性的全局模型。集
136、中的编排和调度平台以知识库、模型库等形式对不同类型、不同区域的模型进行管理、迁移、分发,以及结合最新的数据和知识对模型进行更新。语义性能监控和保障模块实现对运行态的语义模型进行统一监控,以保障语义识别的正确性。考虑到语义模型的训练和推理都需要算力资源的支撑,因此,集中管理和编排平台还需要包含语义算力联合编排模块,优化资源消耗,实现绿色节能。语义服务调度模块则为不同的用户群体和业务选择满足其需求的语义模型,以提供个性化的语义服务。44IMT-2030(6G)推进组IMT-2030(6G)Promotion Group3.3.4基于感算通融合的语义认知网络架构基于感算通融合的语义认知网络架构通过把
137、网络感知、计算、通信三个功能进行深度融合,形成功能间的互惠增强,进而使网络具备基于“人在回路”的闭环信息交互能力以及多智能体协作学习与认知能力,为智能化、沉浸式、数字孪生等 6G 业务提供支撑73。例如,在工业互联网业务领域,提供多智能体交互能力和协同学习能力;在浸入式业务领域,提供交互式 XR 的感知和渲染能力;在全息通信领域,提供用户意图感知、建模和显示能力;在数字孪生业务领域,提供物理世界的感知和虚拟世界的建模、推理和控制能力;在智能医疗领域,提供人员监控、人体参数感知与干预能力17。基于感算通融合的语义认知网络架构的核心是将语义通信和语义认知网络中的关键元素拓展到感知、计算、通信各功能
138、,并实现各功能间的协作及相互增强。下面,我们首先对感算通融合架构中的各概念拓展后的内涵进行简单描述:(1)语义感知)语义感知:主要包括辅助信息感知、显性语义感知和隐性语义及认知规则感知等。具体而言,辅助信息感知包括对源用户习惯偏好、所处环境、肢体动作等的感知,以及对上下文信息和背景的感知,这些辅助信息可用于确认知识库的类型及相关信息并辅助语义认知和解析规则的准确判断。显性语义感知是指从观察到的源信号中提取关键的符号信息或对象的重要特征,如对象标签、信号特征等。显性语义一般可采用已有算法或函数直接从信号中提取,例如基于机器学习,尤其是深度神经网络的信号特征提取方法等74 75。除了上述两类信息以
139、外,语义信息还可能包含从源信号本身难以直接观察到的隐性含义,例如与显性语义相关的隐性关系和与用户习惯及背景相关的潜在规则和认知规律。隐性语义可以包含重要的语义信息,并且可以有效地辅助接收端用户实现准确的判断与决策,因此在语义通信中具有非常重要的地位。(2)语义计算:)语义计算:对于发射端用户而言,语义计算包含语义识别、评估、认知和信道及信源编码。其中,语义识别可采用已有模型和函数,如 YOLO 和wav2letter,识别不同模态信号中的语义对象和标签。这些语义信息一般属于显性信息。发射端还可能具备对接收端可能得到的语义解析信息进行预测和评估,并根据评估结果调整语义编解码方式的能力14。语义信
140、源编码和信道编码可以采用两个独立编码器或采用一个信源和信道混合编码器来实现和部署。无论采45IMT-2030(6G)推进组IMT-2030(6G)Promotion Group用何种部署方式,语义编码器的设计准则都是在将高维显式语义转换为低维表示形式的同时兼顾在经过噪声和畸变信道传输后接收端语义解析的可靠性和准确性。而对于接收端用户而言,语义计算则包括语义解码和解析计算过程。其中语义解码的目的是还原发送端识别出来的显性语义信息。语义解析是根据辅助信息和显性语义信息识别、认知和推理出隐性语义信息。语义计算是语义认知通信网络成为 6G 内生智能网络的重要使能技术之一的关键所在。(3)语义通信语义通
141、信:相比于传统通信,语义通信以达意为主要目的。因此,语义通信不光要具备高效的信息传输能力,还需要能够对接收端的语义解析进行实时评估及在解析的语义发生偏差时进行实时纠正的能力。除此之外,不同用户和网络训练得到的语义解析模型和编解码模型还可以在不同的用户和网络之间进行迁移和适配,实现模型复用,进一步降低计算量和通信效率。此外,语义通信还应该具备可根据物理信道的随机和干扰等特性进行实时调整和自适应的能力。我们的前期工作已表明,通过设计基于函数映射的语义编码方式能够利用语义符号之间的关系进行语义编解码,实现基于模拟信号的语义编码,在低信噪比条件下仍然可以大幅降低语义通信的误码率,提高语义信息通信效率。
142、通过将语义感知、计算和通信三个过程深入融合有望实现语义认知通信网络性能的进一步增强与提升,具体详述如下:(1)通信)通信和和计算计算融合的语义融合的语义感知增强感知增强:通信数据可能包含自不同场景、不同应用、不同对象的多维度、多模态数据。通过综合分析不同通信数据中的特征并识别接收端用户对语义解析模型输出的反馈信息能够实现对感知模型的增强。通过在网络边缘部署的算力可对不同区域通信数据进行分析和跨域信息融合及特征协同处理,最终可形成统一且可复用的语义认知模型及语义知识库,并实现知识库和先验知识的实时更新。(2)感知)感知和和计算计算融合的语义融合的语义通信增强通信增强:通过语义感知可对网络中的海量
143、数据进行按需收集,即根据不同维度、模态和层次的数据进行选择性采集、存储与分析,例如根据上文和辅助信息有选择性地提取重要的语义信息和数据内容。我们的前期研究表明,语义信息可抽象为不同层次的信息。通过对不同位置数据中的语义信息进行分层协同分析和处理可有效降低语义的解析误差,并极大提高语义通信的效率22。此外,语义认知通信与传统通信的另一个不同之处在于前46IMT-2030(6G)推进组IMT-2030(6G)Promotion Group者的语义识别/解释器、信息编码/解码器等组件的模型类型、参数数量和算力大小以及接收端和发送端相互间对彼此的先验信息会对语义通信的解析精度和通信容量产生影响。在我们
144、的前期研究中,我们建立了全新的语义策略通信率失真理论,推导出了不同信道容量限制条件下的语义率失真界11。(3)感知与通信)感知与通信融合的语义融合的语义计算增强计算增强:由于大部分用户终端的计算、存储能力有限,仅能够负担得起小规模 AI 模型进行的少样本训练。这些不足能够通过本地数据的语义感知和模型训练共享与协同进行弥补。例如,我们的前期工作中提出了一种基于联邦边缘智能的分布式语义模型协同和共享方法,不同地区的用户根据本地数据训练本地的语义认知模型,同时在训练过程中可以与其他地区用户训练的语义模型进行协同和共享,从而提升语义解析模型的精度和泛化能力。此外,不同地区的用户之间还可以共享部分或者全
145、部知识库,从而得到泛化性更强的语义识别和解析知识库68。此外,我们的前期工作中还提出了一种终身学习的语义认知和解析模型的更新方法,能够实现感知和通信融合条件下的语义模型终身学习和自动更新66。基于上述的协作关系,感算通融合技术将帮助语义认知网络构建自我学习、自我更新、自我驱动的闭环。在未来,基于感算通融合的语义认知通信网络将赋予 6G 网络无缝连接物理世界与数字世界的能力,既能满足多维度、多层次的感官交融互通,又能有效地支撑语义通信能力的拓展和泛在智能认知和计算,为大量新兴智能化业务和应用赋能23。3.3.5基于云边协同的分层合作推理语义认知网络基于云边协同的分层合作推理语义认知网络本节介绍一
146、种云边端协同和合作推理的高效语义编解码和隐性语义认知解析的网络架构22,其参考架构如图 13 所示。具体而言,具有相对普适和抽象知识的高阶语义信息可存储在覆盖范围较广的云计算中心中,而相对具体和本地化的低阶语义信息可以存储在区域性和靠近用户的边缘计算服务器上。针对可能存在的多个本地用户可能存在相似的隐性语义路径推理规律和法则的场景,Xiao等人提出了一种基于联邦图卷积的协同隐性语义推理解决方案,使得多个边缘服务器利用各自本地的通信历史数据,在保障数据隐私的前提下联合构建一个共享的隐性语义解析模型。具体而言,主要由云端数据中心、区域边缘服务器、本地边缘服务器、用户终端等核心组件构成。47IMT-
147、2030(6G)推进组IMT-2030(6G)Promotion Group图 13基于云边协同的语义认知网络架构(1)云端数据中心云端数据中心(Cloud Data Center,CDC):对应一个具备强大的计算、存储能力的高性能服务器集群,可以为所有用户提供全球可访问的计算和存储服务。具体而言,CDC 提供的计算服务包括初始模型的生成、用户终端或边缘服务器间的协作训练、全局的资源调度等,以支撑语义认知网络中的大规模分布式计算。在存储服务方面,CDC 可以维护一个全球共享的语义知识库,该知识库由累积的知识实体(例如事实,术语,概念和对象)以及可能的关系(例如实体之间的关系)组成。一般而言,全
148、球共享知识库中的实体和关系可以对应于与区域或地方特定知识无关的高阶共享事实。(2)区域边缘服务器)区域边缘服务器(Regional Edge Servers,RESs):由具备相当计算和存储能力的服务器组成。每台 RES 都可以为区域覆盖范围内的用户终端和本地边缘服务器提供区域可访问的大量计算和存储资源,区域内用户与本地边缘服务器可以将私人/本地的语义编码、解码和解释器上传到 RESs 上进行模型的训练与迭代。同时,RESs 之间也可以基于如联邦学习等分布式学习框架进行协作训练,使得集成的 AI 模型能够加快收敛并提升模型的鲁棒性,提高系统的资源利用率。此外,每个 RES 需要维护一个区域共享
149、的知识库,该知识库由区域相关和首选的知识事实、关系、习俗、机制等组成。(3)本地边缘服务器本地边缘服务器(Local Edge Servers,LESs):由具备一定计算和存储能力的服务器组成,可以为本地用户提供可访问的计算和存储资源。与 RESs 类48IMT-2030(6G)推进组IMT-2030(6G)Promotion Group似,用户也可以将语义编码、解码和解释器上传到 LESs 上进行模型的本地迭代与协同训练。每个本地边缘服务器也有一个本地知识库,可以存储一些本地共享甚至个性化的知识,包括个性化和基于体验的知识,例如,对知识概念以及与一个或有限数量的个人用户相关的关系的偏见理解。
150、(4)用户终端)用户终端(User Equipment,UEs):由集成各类传感单元的智能机器(Intelligent Machines,IMs)组成,主要承担着网络外部信息的感知、收集任务,是构建语义认知网络的基础。UEs 对应于尝试相互传达其语义含义的信息源和接收端用户。我们假设每个发射端用户可以观察过去的通信历史,并提取一组语义推理轨迹,包括全球、区域、本地共享和/甚至私人可访问的语义知识信息。然后,发射端用户将使用这些观察到的语义推理轨迹(称为专家推理路径)来指导不同层的 CDC 和边缘服务器训练语义编码、解码和解释模型。3.4 语义认知网络性能评估语义认知网络性能评估目前综合评估和分
151、析语义认知网络的综合性能指标和方法尚未形成共识,除了采用基于符号和统计的性能评估方法之外,我们列举了下列语义认知网络综合性能的可能方向:(1)面向业务的语义认知和通信性能与感面向业务的语义认知和通信性能与感-算算-存存-通资源间匹配关系通资源间匹配关系:语义认知网络主要采用更接近于人类的知识表达方式的面向语义的信息提取和业务及资源匹配方法。引入语义认知网络资源评估,可以合理分配资源,提高处理问题的精度和效率。对语义网络资源的精准定义和分配可以促进语义技术提供知识管理与推理的能力。从形式上看,语义网络提供结构化、集成化的特定领域知识结构,语义通信中面向知识的决策可以转化为具体的关键性能指标(KP
152、I),具体可以转化为对时延、能耗、存储、数据速率、安全隐私、知识、可靠性和稳定性和花费等指标的评估。对语义网络资源进行宏观把握,可以为后续的调度和优化提供有效的决策支持。语义认知网络通过深层次表示知识来实现简约化和智能化的业务匹配与资源管理。深层次的知识表示往往包含了用户的主观意愿,在数据中的表现往往是上下文的关联。在语义认知网络中,用户的主观意愿和上下文关联可以映射到实际更加底层的 KPI 中,构成了 SRZ(Service Requirement Zone)。如图 14 所示,我们应用雷达图来表示任务的 SRZ 以更好地捕捉个人偏好和要求。从典型用户49IMT-2030(6G)推进组IMT
153、-2030(6G)Promotion Group的角度来看,一些网络系统侧 KPI 与用户的个人服务体验无关,例如设备密度和系统容量。然而,许多服务 KPI 对指定用户任务的服务偏好和要求的上限或下限至关重要,它们共同决定了个性化的 SRZ。这样多任务的 SRZ 是以人为本的定制化服务的语义网络认知与通信目标。图 14SRZ 示例(2)面向人)面向人-机交互的机交互的 QoE:QoE 最初被理解为用户对提供给 OSI 模型不同层次的 QoS 机制整体感知的度量。例如在文献76 中,QoE 被定义为:确保通过 IP 网络平稳传输音频和视频质量的 QoS 机制的整体性能。因此,可以将QoE 理解为
154、在用户角度对 QoS 机制的评价。之后,国际电信联盟等对 QoE 的定义进行了扩展,它不再是对 QoS 机制进行评价,而是对整个服务进行评价。国际电信联盟对 QoE 的定义为:终端用户对应用或者服务整体的主观可接受程度。QoE 是一种主观感受,是用户在与服务或者应用交互的过程中,由用户产生的对服务的一种主观感受。因此 QoE 有两个直接的影响因素:用户和服务。但是用户和服务交互的过程肯定会处在一定的客观环境中,而且客观环境对用户和服务的交互过程具有较大的影响。因此有必要将 QoE 定义为用户在一定的客观环境中对所使用的服务或者业务的整体认可程度77。作为一个说明性示例,图 14 显示了八个服务
155、 KPI,它们在八角形雷达图上定义了一个八维的 SRZ,即棕色区域。该任务的 SRZ 要求严格的端到端服务时延,标准的能耗,大量用户数据即时存储和缓存,高传输数据速率,安全隐私保护,超可靠稳定体验,丰富的 3D 图形渲染领域知识和能力,以及合理的成本。50IMT-2030(6G)推进组IMT-2030(6G)Promotion Group为了保证双方用户的 QoE,语义网络应在复杂的应用场景和动态运行条件下同时满足其多维 SRZ。SRZ 的雷达图可用作每个用户的 QoE 目标。从语义网络的角度来看,我们建议将 USR(User Satisfaction Ratio)作为评估网络系统同时服务于不
156、同 SRZ 的大量任务的整体能力的有效措施。考虑一个以字节为单位的特定大小、以 FLOPS为单位的计算要求和个性化 SRZ 的典型任务。如果在多个维度上取得的性能结果都位于这个预定义的 SRZ(即棕色区域)内,则相应的用户会感到非常满意。否则,此服务失败。顾名思义,USR 计算为满意任务数与服务任务总数之间的比率。它是一种有效、公平和通用的性能指标,用于评估系统在同时保证各种任务的 QoE 的整体服务能力,而不考虑任何特定的用户位置、应用场景或网络运行条件。(3)语义认知网络容量与成本间均衡关系:)语义认知网络容量与成本间均衡关系:与传统网络容量的概念不同,语义认知网络的容量可能具备更加宽泛的
157、概念,例如包括网络中所能够支持的并行语义认知速度、精度、沟通次数与用户数量等都可以作为定量描述语义认知网络容量的指标。同样地,语义认知网络的部署成本不光包括语义通信过程中所消耗的资源和成本,还应当包括在训练语义认知模型过程中产生的成本,包括不同类型的资源消耗量与训练所消耗的时间成本等。高容量和低成本是未来通信网络的两大核心指标。目前行业内的一些观点认为,下一代无线通信网络的容量和成本都将有 100 倍以上的提升。但是,如果仅通过增加或减少通信频谱资源或改变天线单元的数量难免会顾此失彼,因为容量和成本在很多情况下存在均衡关系。如何兼顾这两个指标,是摆在研究人员面前的一道难题。通过感知、识别、计算
158、和传输信息中所包含的重要语义信息,语义认知网络有望在大幅度降低成本的同时提高容量,因此有可能为实现“6G 容量与部署成本同比改进”的设计需求提供新的技术途径。(4)语义认知网络泛化性:)语义认知网络泛化性:语义认知网络的泛化性能指的是为满足不同场景和需求,根据前期已构建的语义认知模型,经过少样本和少批次训练推广到新任务和新场景的适应能力。其关键在于如何训练一个可以迁移且易拓展的语义认知元模型,以便能够在新需求和新场景下快速地获取和利用相关的领域知识,快速构造可满足客户需求的个性化认知模型,为语义认知和知识推理提供支持。语51IMT-2030(6G)推进组IMT-2030(6G)Promotio
159、n Group义认知模型泛化性综合评价指标与认知模型的复杂度、训练阶段的数据样本多样性、对抗攻击鲁棒性、迁移准确率等密切相关。具有良好泛化性的语义认知网络将为复杂需求和场景下的通信网络提供更加灵活和可靠的知识推理和认知功能与服务。4语义认知网络的应用需求与典型业务语义认知网络的应用需求与典型业务未来 6G 时代将延续 5G 向多个垂直行业延伸这一趋势,并面向更多更复杂的业务场景,为海量用户提供更多样化及个性化的服务。在该发展趋势的推动下,未来通信网络将从单纯追求高传输速率的传统架构向可支持海量设备和多种智能化业务场景具备智能感知、智能学习、智能决策和智能演进的全新万物智联架构转变。具体而言,万
160、物智联网络将包含机机(M2M,machine-to-machine)智联、人机(H2M,human-to-machine)智联、人人(H2H,human-to-human)智联这 3 种类型的交互通信模式。如表 3 所示,在实际应用中,不同场景会涉及多种关键的语义通信智联模式。表 3不同应用场景涉及的主要智联模式应用场景应用场景M2M 智联智联H2M 智联智联H2H 智联智联自动驾驶远程监测元宇宙故障检测情感与思想智能交互触觉互联网通感融合全息通信4.1 自动驾驶自动驾驶(1)场景描述与分析)场景描述与分析在未来大规模部署的环境下,智能交通系统的局部车路终端每天都将产生海量的实时数据。受限于成
161、本与空间,自动驾驶汽车等智能车辆难以在本地部署大量资源来处理这些数据,而云计算又面临着通信传输延迟高、数据处理实时性低等问题。虽然边缘计算技术能够为各类终端提供低延迟、高实时的计算存储服务,但52IMT-2030(6G)推进组IMT-2030(6G)Promotion Group面对车联网环境下的海量数据处理需求,现阶段的边缘计算技术仍难以实现异构设备间的智能化处理与协同式服务。随着 6G 人工智能技术的进一步发展,车联网将在语义通信、深度学习、多传感器融合等方法的使能下形成车辆、边缘服务器、云端的全场景一体化感知决策架构。与此同时,结合 6G 车-路-云高性能通信能力以及语义通信技术通过上层
162、感知并优化物理层波形的优化传输能力,车联网可以形成多视角、全方位目标协同感知体系。对于多场景的多模态语义,利用深度学习技术进行多视角特征的深度关联与匹配,能够实现不同场景目标的跨域追踪,以掌握目标运动状态、轨迹等信息。进一步地,利用 6G 车联网通信和语义通信技术建立车-路-云全时空、跨区域数据共享和高效信息交互机制,能够实现车-路-云一体化协同感知;结合全局多维数据,能够完成协同化的车路行为决策,增强智能汽车的驾驶安全,有效降低自动驾驶汽车部署成本,提高交通运行效率。(2)语义语义的定义的定义自动驾驶中的语义认知与交互大致可以分为两类:机-机语义交互和人机交互。机-机交互是指车辆与车辆、车辆
163、与边缘服务器、边缘服务器与云端服务器之间的语义信息认知与交互协同。例如通过语义信息快速沟通和识别周围车辆和附近街道的交通信息,从而提前做出决策或对车辆进行预警。人-机语义交互是指车辆需要能够识别驾驶员和乘客的语义和意图状态,例如根据环境感知信息判断驾驶员的疲劳状态,并及时向驾驶员发送提醒信息。(3)解决方案解决方案在基于语义通信的自动驾驶场景中,车辆与边缘云之间需要共享语义知识库,该知识库可以为自动驾驶提供先验知识,还可以根据环境的变化、驾驶任务的需求等进行实时在线更新。当车辆执行自动驾驶任务时,可以有两种决策策略:一种是基于感知到的多模态数据、结合语义知识库进行实时任务推理,直接获得本地决策
164、信息;另外一种方式是基于感知到的多模态数据、结合知识库提取自动驾驶语义信息,并将该语义信息实时传输至边缘云和/或周围其他车辆,其他车辆通过接收的语义信息进行协同辅助车辆决策,边缘云基于共享知识库、其他车辆的语义认知等信息计算出最终决策,并将决策信息反馈给车辆。53IMT-2030(6G)推进组IMT-2030(6G)Promotion Group在第一种方式中,通过知识库的方式将边缘云的先验知识共享给车辆,可以扩大车辆对周围环境的感知范围,这样即使在本地进行低复杂、低时延的计算也能够保证自动驾驶任务或决策的准确性。而在第二种方式中,车辆无需将大量的传感数据传输至边缘云,而是基于共享知识库提取最
165、有效的信息进行传输,可以极大降低传输时延和开销。因此,语义通信可以帮助自动驾驶压缩和提取大量数据中的语义信息,进而降低自动驾驶的传输时延及计算时延。此外,语义信息对信道噪声和干扰具有更强的鲁棒性,这增强了信息传输的可靠性,有效提高决策的可靠性和准确性,从而提高了自动驾驶的道路安全。(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:基于端边云协作、面向语义认知的车联网网络架构设计。语义定义需求语义定义需求:如何建立车辆与边缘云之间的语义知识库;语义知识库的高效共享及更新模式。信息交互需求信息交互需求:车辆可基于语义知识库进行低时延语义信息提取及传输;边缘云基于语义知识库进行实时决策及反馈
166、4.2 远程监测远程监测(1)场景描述与分析场景描述与分析环境监测场景:例如温度、湿度、太阳辐射、气压、风速/风向等传感器采集的信息。农业监测场景:例如土壤、植物状况等传感器采集的信息。自然灾害监测场景:例如森林火灾、地震等传感器采集的信息。以上的监测场景中,相应的 IoT 传感器会周期性地采集监测数据,并将数据回传给网络。这些传感器大多使用电池,且因为在很大区域内部署的原因,更换电池的成本极高。而传统的监测方式中,即使采集的数据变化不大也要进行回传,这会极大浪费传感器的功耗。因此,我们需要一种更加高效、节能的监测信息回传方式。(2)语义语义的定义的定义远程监测设备间可采用基于机-机语义交互认
167、知的通信方式提高信息传输效率。机-机语义交互主要是指采集不同模态信息的传感器之间可采用基于语义的54IMT-2030(6G)推进组IMT-2030(6G)Promotion Group信息交互与协同方式,即仅上传业务所需的语义信息,并忽视与语义无关的信息和数据。例如在自然灾害监测场景中,在灾害发生之前,传感器能对信息进行感知、通信、计算和存储,不同模态的传感器之间可识别并判断周围环境及用户业务所需语义颗粒度,提前对环境中的语义信息进行理解、分析、推理和预测。一旦发生灾情,多个传感器能根据收集到的信息快速判断灾情,并根据灾情产生区域、灾情的严重程度、灾情的发展阶段、预计的扩散阶段等场景的不同向不
168、同用户和服务商发送较核心的语义信息,协助快速做出响应和救援决策。(3)解决方案解决方案基于目标和任务驱动的语义信息识别和传输方法可为上述问题提供有效的解决方案。多模态传感器可结合具体的监测任务,决定语义信息的类别和颗粒度,并根据不同业务和服务商的能力与部署情况发送相对应的语义信息。不同的语义信息可触发在传感器自身或者边缘计算服务器中安装的不同应对程序,从而启动相应的响应机制和流程,可极大地降低回传次数,并降低信息传输量和交互次数,从而降低传感器的通信和决策功耗开销。通过结合不同的监测任务和目标,对网络进行智能部署,充分利用多模态传感器间的因果和时空相关性,为每个传感器定义语义信息以及相应的驱动
169、方式,从而显著提高整个网络的语义认知和交互效率。(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:基于端边云协作、面向语义认知的远程监测网络架构设计。语义定义需求语义定义需求:如何建立多模态传感器之间、传感器与网络侧之间的语义知识库;语义知识库的高效共享及更新模式。信息交互需求信息交互需求:多模态传感器可定义不同的语义场景和语义信息认知、存储、传输和交互方式;网络侧可存储较复杂的语义知识库并协助低功耗传感器实现语义的实时决策及反馈。4.3 元宇宙元宇宙(1)场景描述与分析)场景描述与分析55IMT-2030(6G)推进组IMT-2030(6G)Promotion Group基于语义的文
170、本、图像、视频、触觉、听觉、嗅觉、味觉、情感等感知互联网的端到端 AI 传输设计,可实现基于语义的高效通信,未来将广泛用于元宇宙等物理、数字、环境连续体的新型服务中。(2)语义语义的定义的定义元宇宙中的语义信息传输主要为人与“智能体”之间的多模态语义信息双向交互,以及“智能体”与“智能体”之间语义信息的感知,融合与传输。人与“智能体”之间的双向语义交互主要为将人的五感,触觉、听觉、嗅觉、味觉、视觉转化为机器能够识别的语义信息,实现五感数据的编码,输入电子设备进行存储、计算与传输,完成人到机器之间的信息转移与共享,并且能够在需要使用时重新将其解码,利用机械设备转化为人可以感受到的感官信息,从而完
171、成人与虚拟世界的交互。更进一步地,人类大脑感受周围环境和认知事物需要多感官配合,因此在智能体与智能体交互的语义通信中要求对输入的五感数据进行融合,以便于同步实现数据存储、数据处理、数据传输等操作,完成五感数据的同步编解码,从而在终端实现元宇宙式的沉浸体验。(3)解决方案解决方案利用多种传感器与多种编码技术,基于脑机接口等技术,建立生物脑与电子设备的通信和控制系统,可以将人类的感官信息,包括触觉、听觉、视觉、嗅觉和味觉等多模态数据,转换至共用语义空间中的向量,实现多模态数据表征,变成电子设备可以识别的语义信息,使基于语义通信的“智能体”具备解码人感官信息的能力。同时,通过脑机接口的双向信息感知、
172、解析与融合,使机器智能与生物智能完成互联与协同,将语义信息反馈转换为人类可感知的感官信息,使其具有与人的意识进行信息交互的能力。更进一步地,通过对共有语义库中多模态数据的处理与传输,基于智能化的语义通信多接入与多路径传输机制,实现“智能体”与“智能体”之间多模态语义信息的相互转移、共享与融合,有效实现吞吐量大幅提升,并降低流量的时延抖动,为多模态数据的有序接入提供保证。(4)潜在技术需求)潜在技术需求56IMT-2030(6G)推进组IMT-2030(6G)Promotion Group网络架构需求网络架构需求:基于端边云协作、面向语义认知的“智能体”互联网络与多模态感官传感器架构设计。语义定
173、义需求语义定义需求:建立传感器采集的多模态数据之间的语义知识库;多模态数据之间的融合与同步传输;语义知识库的高效共享及更新模式。信息交互需求信息交互需求:多模态传感器下不同感官数据的采集、编解码、存储与传输;“智能体”之间不同感官数据的同步处理与同步传输。4.4 故障检测故障检测(1)场景描述与分析)场景描述与分析在带宽、功率不足或信道条件欠佳时,通过语义感知采样控制数据量,使用语义信源信道联合编码,可传输压缩后的语义信息,并优先保障重要语义对象的质量,达到降低网络带宽需求,有效提升能量利用效率的目的。语义认知网络可以识别和跟踪用户感兴趣的一部分物理对象,然后将信息投影到这些对象上。在如图 1
174、5 所示例子中,技术人员只对远程设备的故障信息感兴趣,语义感知网络可以只提取设备故障区域附近的全息图像供用户查看,而无需传输整个设备的数字孪生全景图,从而减轻上下行链路传输的沉重负担。图 15故障检测服务用例(2)语义语义的定义的定义在故障检测中的语义信息主要指人-机之间的语义交互通信。具有如下特点:首先该语义信息只针对该业务场景内的数据信息,识别出用户感兴趣的物理对象,忽略无关的环境,节省通信带宽,提高能量利用效率。此外,该语义信息可以采用“注意力”等机制,重点关注故障区域的信息,提高语义颗粒度,加大信息精细度,帮助用户检测问题、聚焦问题。更进一步地,该语义信息包括一定程度的语义推理机能,当
175、用户针对故障得出相应结论和改进方案后,能够根据用户指示,推理出实现相应操作后的故障状态。57IMT-2030(6G)推进组IMT-2030(6G)Promotion Group(3)解决方案解决方案上述问题可以通过基于目标和任务驱动的语义通信技术有效解决。首先多模态传感器可以根据相应故障完备还原出全息影像,之后通过基于“注意力”机制的语义认知网络,可以识别出现故障问题的具体场景与物理对象,从而忽略不相关的环境,极大地节省带宽与能量消耗,同时将节省的通信资源用于精细化具体场景与物理对象。此外,语义网络能够基于用户的具体操作与指示,预测构建设备执行该操作之后的故障状态,从而帮助用户更好地诊断故障出
176、现原因,排查设备安全隐患,并启动相应的响应机制和流程,降低信息的回传次数,减少信息传输量和交互次数,从而进一步降低通信资源与功耗开销。(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:基于端边云协作、面向语义认知的故障检测网络架构设计。语义定义需求语义定义需求:建立多模态传感器之间、故障检测人员之间的语义知识库;故障检测语义信息的“注意力”机制构建;语义知识库的高效共享及更新模式。信息交互需求信息交互需求:基于全息投影技术的不同语义场景和语义信息识别、存储、处理和传输;网络侧需要存储常见故障,以及针对其排查的基础操作实现效果,以便于实现语义的快速决策与反馈。4.5 情感与思想智能交互情
177、感与思想智能交互(1)场景描述与分析)场景描述与分析不仅如此,由于语义交流有类似于人类之间交流的特点,语义认知网络还可以带来全新的交互体验。例如,在人机交互的场景中,机器人通过识别人类的眼神和面部微表情,可以在无需言语的情况下了解人类用户的“意图”或“意思”,并做出相应反馈,实现“此时无声胜有声”的思想交流。语义交流可以超越以文本、语音、图像、视频为代表的传统通信方式,达到超越“比特”的效果。58IMT-2030(6G)推进组IMT-2030(6G)Promotion Group图 16情感与思想智能交互服务用例(2)语义语义的定义的定义基于语义通信可以实现信息中的意图捕捉。具体而言,在语义通
178、信的过程中,需要“智能体”理解信息中的意思,而不单单是数据的忠实传输,因此在语义通信理解信息意思的基础上,通过目前的“注意力”机制等,语义网络中的“智能体”能够将语义信息中关于人的意图信息加以淬炼与提取,无需传输原始的完整信息,只为了实现通信双方意图而传输必要的信息,从而实现信息极大程度的压缩,在极大程度上节省通信中的带宽资源与能量消耗,同时在一定程度上提升了通信的抗噪能力与保密性。(3)解决方案解决方案意图捕捉是语义通信自主学习能力的衍生功能。通过持续自主学习方式,语义认知网络能够从人工经验数据中提取通信意图与通信规律,抽象为通用知识,总结为新的知识库,从而在每一次通信过程中以知识库中的意图
179、与通信内容相匹配,实现以通信内容定义网络架构、以通信内容定义协议、以通信内容优化策略,通信越多,匹配越准,最终在意图捕捉的基础上建立可表达、可计算、可调控的自驱动网络。(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:基于语义认知的意图捕捉网络架构设计。语义定义需求语义定义需求:基于语义提取通信用户之间的意图信息;建立基于用户意图的语义知识库高效共享及更新模式。信息交互需求信息交互需求:基于通信用户之间意图的知识库更新机制;基于语义的意图信息交互与执行。4.6 触觉互联网触觉互联网(1)场景描述与分析)场景描述与分析59IMT-2030(6G)推进组IMT-2030(6G)Promot
180、ion Group在触觉互联网等感知互联网通信的场景中,语义认知网络也有用武之地。例如,广泛用于消费机器人的触觉互联网,存在智能体之间的感知交互应用,语义通信可被用于传输相应的触觉控制指令与响应器反馈信息,这将有助于实现超低时延、超高可靠的要求,并且提取、融合、传输多模态联合信息的语义特征,也可以为提高触觉信息传输效率、满足用户沉浸式体验需求提供帮助。图 17感知交互服务用例(2)语义语义的定义的定义触觉互联网实际上是元宇宙的进一步扩展,元宇宙让通信双方身临其境,触觉互联网则让通信双方能够感受彼此。因此,在元宇宙的基础上,触觉互联网中的语义信息是即时交互与控制信息。在对需要控制的物理对象进行建
181、模的基础上,触觉互联网通过语义信息的传输,将使人和机器能够在移动中和特定空间通信范围内实时地与其环境进行交互,触觉互联网通过触觉和感觉为人机交互增加了一个新的维度,同时也将彻底改变机器之间的交互。(3)解决方案解决方案触觉互联网在元宇宙的基础上,具有即时交互与控制的特点。而这两点正是语义通信所擅长的。一方面,由于语义通信本身是对语义信息的传输,是基于双方具有一定先验知识的信息交流,因此在通信过程中,需要传输的信息量减少,消耗的通信资源与能量减少,在保证通信有效性的同时,提升了通信的可靠性,当然其付出的代价是需要本地拥有更多的计算资源与存储资源,计算与保存知识库。但是在具有一定容错能力的基础上,
182、知识库的更新可能并不需要实时进行,因此语义通信理论上能够极大地降低通信系统的延时,完成触觉互联网中即时交互的要求;另一方面,由于语义通信中传输的主体是语义特征信息,对物理对象而言是其模型的关键参数等信息,因此语义通信中的通信主体更容易被触觉互联网中的物理对象转化为实际的行为与动作,简化甚至节省中间的数据存储与处理环节,极大地提高触觉互联网中的通信效率。60IMT-2030(6G)推进组IMT-2030(6G)Promotion Group(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:基于端边云协作、面向语义认知的“智能体”互联网络架构设计。语义定义需求语义定义需求:如何基于触觉互联
183、网中的实际物理对象提取语义信息;如何建立低时延、高效率的语义知识库共享及更新模式。信息交互需求信息交互需求:在元宇宙的基础上,提取并传输实际物理对象的控制、反馈与交互信息。4.7 通感融合通感融合(1)场景描述与分析)场景描述与分析此外,语义认知网络还可以在环境监测、物联网、机器间通信、车联网、空天海地通信一体化等场景下发挥重要作用。语义通信技术除了可以节省信道带宽,降低能耗之外还可以将不同设备间的海量数据交互转化为通用的“语义”,通过设计简明的语义通信协议,解决多源、多模态数据之间难以协同,异质、异构网络之间难以融合的问题。图 18通感融合环境交互服务用例(2)语义语义的定义的定义语义通信的
184、通感融合主要包括两个方面。一方面针对不同设备的海量数据,语义通信要求能够提取语义信息的“智能体”动态遍布于多层多域的网络设备中,从而呈现出的多项复杂性,形成了边界不确定性问题。语义网络针对该问题,通过其内秉的泛在有序接入、动态包容网络体系架构,将多场景,多模态,多用户数据进行有序融合,实现网络灵活自主聚合、自适应地满足复杂多样的场景及业务需求。另一方面,针对异质、异构网络,语义通信通过持续自主的学习方式,能够从人工经验数据中源源不断地提取组网与管控规律,并抽象为通用知识,存入知61IMT-2030(6G)推进组IMT-2030(6G)Promotion Group识库中。基于知识库中的新型网络
185、架构与控制策略,实现以知识重定义网络连接、以知识重定义网络协议、以知识再优化策略的闭环,不断地自我演进与改变,同时将这些改动应用于网络的不同层次与不同功能,建立可表达、可计算、可调控的自驱动网络功能,最终实现异质、异构网络的全网融合。(3)解决方案解决方案上述描述的通感融合需要以语义通信的方式实现。一方面:针对不同场景、不同应用、不同设备采集的数据,需要语义认知网络进行语义信息提取与优化,设计相关的知识平面,组成统一的知识库,使得采集自不同环境的海量数据形成统一的、融合的、可复用的知识库,通过语义认知网络可学习、可自主驱动、可自适应的特点,结合具体的应用场景与需求,将统一的网络知识体系重新映射
186、复用,满足灵活多变的场景业务需求。另一方面,基于多模态数据的学习,语义认知网络架构基于内生的“智能体”学习与推理,挖掘分析数据应用场景与网络环境适用场景,与深度学习模型相结合,将“智能体”模型扩展至网络边缘节点,再反向收集多模态、多场景、多用户数据进行通信与学习,不断实现自我驱动、自我更新、自我完善的过程,实现全网的推理和演化。(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:基于端边云计算、“智能体”语义信息提取、知识库不断更新的新一代互联网络架构设计。语义定义需求语义定义需求:如何基于多模态数据进行语义信息的提取与反馈学习;如何建立能够不断学习、不断演化的语义知识库更新体系。信息交
187、互需求信息交互需求:多场景、多模态、多用户行为感知数据的语义信息识别、提取、存储与交互;面向通感融合应用场景、基于上述语义信息的网络架构自我学习、自我更新、自我驱动实现方案。4.8 全息通信全息通信(1)场景描述与分析)场景描述与分析全息通信集成了视觉、听觉、触觉、嗅觉和味觉等人类所有的感知信息,将远程交互由 2D 或者 3D 视频扩展到更多元的 5D 数据交互,使得用户能够从多种角度和方向观察远端环境,可以更好地提升用户的沉浸感和交互感。比如全息62IMT-2030(6G)推进组IMT-2030(6G)Promotion Group的视频会议可以将远端会场中的与会者投影到当前的会议室,与会者
188、产生仿佛大家在同一空间的沉浸感,如图 19 所示。有研究指出全息通信将在 10 年内替代掉目前的通信方式。图 19全息通信服务用例目前的全息技术主要依赖基于图像和三维立体数据合成的全息图像,但是这两种方式的数据量都很大。华为的研究报告指出从多视角的相机获取到的全息视频需要高达 Tb/秒级别的传输速率,这是当前的 5G 技术所不能支持的。也因此,ITU-T 将全息通信作为未来 6G 通信的一个典型应用场景。不同于以往通信通过扩展通信带宽来支撑不断提升的带宽通信需求,语义认知网络从认知和感知的角度通过结构化的语义数据表示,提供了另外一种解决方案。(2)语义语义的定义的定义全息通信将数据的维度由传统
189、的二维扩展到多源、多维,是为了提升用户的沉浸感和交互性,如何定义用户沉浸感和交互性决定了从信源中提取的语义的内容。例如对于全息视频会议,语义可定义为对人的表情、动作的捕捉等细节表达能力;对于场景,语义可定义为场景实体模型。一个通用的语义表示方法,是建立对输入源的多层次的语义表征,涵盖不同粒度和程度的理解需求,通信时按需发送语义层次。同时,全息通信的另外一个特点是多模态,每个模态之间通常存在语义关联。一方面多个模态信源之间可以进行联合表征、编码和通信提升传输效率;另外一方面,不同模态信源之间可以相互补足和增强,提升通信的鲁棒性。(3)解决方案解决方案多模态、数据量巨大是全息通信的特点之一,同时要
190、求较高的沉浸感和交互感,这两方面正是语义通信的优势。一方面,语义通信仅传输语义相关信息,关注语义级关联,降低数据级的重建要求,因而可以极大地降低所传输的数据量。同时知识库也提供一定的先验信息,传输过程中仅需要传输先验信息之外的信息,从而进一步降低带宽。另外一方面,语义通信的核心是基于语义的表征,天然具63IMT-2030(6G)推进组IMT-2030(6G)Promotion Group有多模态性,能够建立不同模态之间的关系,即同一语义可以通过不同模态的信息进行表达,在此基础上给定语义可以同时恢复不同模态的信息。除此之外语义通信天然兼容交互性,因为通常全息通信的交互对象是人,而人的交互是基于语
191、义的,交互对象对所接收到语义可以进行直观理解和反馈。因此语义通信通过基于语义的表征达到数量急剧降低、多模态甚至跨模态兼容、提升交互效率的特点,从而解决全息通信的痛点及要点。(4)潜在技术需求)潜在技术需求网络架构需求网络架构需求:如何设计多模态语义通信框架,将语义通信及网络架构从单模态扩展至多模态。语义定义需求语义定义需求:如何定义基于语义的沉浸感和交互感,并提取全息通信中五种模态的相应语义信息,建立五种模态相互关联的语义知识库。信息交互需求信息交互需求:基于交互性定义多模态语义以及多模态知识库,设计模态缺失情况下的鲁棒交互机制。4.9 语义认知网络的应用语义认知网络的应用前景前景尽管上述智联
192、接口与技术可以极大地改善用户体验,并大幅扩展通信网络业务范围和应用场景,但是,目前尚缺乏可统一上述 3 种智联方式的归一化通信网络架构。此外,随着大量新兴业务的出现、推广和普及,现有网络架构将难以满足不同智联方式对资源业务用户需求多样化等方面快速增长的需求。作为一种全新通信范式,语义通信技术有望将通信网络从传统的基于数据协议和格式的单一固化通信架构中解放出来,通过采用更具有普适性的信息含义作为衡量信息通信性能的主要指标,打通 M2M 智联、H2M 智联与 H2H 智联模式之间的“壁垒”,实现真正的“透明智联”。具体地,由于语义通信主要依赖于建立在人类用户和机器之间都具备普适性和可理解性的语义知
193、识库,因此,有望打破目前 M2M 智联中信息模态不一致导致的兼容性问题,为建立能够满足不同类型设备之间互通互联的统一通信协议架构奠定基础。其次,由于语义通信以人类的普适性知识和语义体系作为基础,因此,可从根本保证 H2M 智联与 H2H 智联交互及通信时的用户服务体验,并进一步减少语义和物理信号之间的转换次数,从而降低可能产生的语义失真。64IMT-2030(6G)推进组IMT-2030(6G)Promotion Group5语义通信和语义认知网络的发展趋势与开放性问题语义通信和语义认知网络的发展趋势与开放性问题语义通信和语义认知网络对未来网络的发展提出了新理念、新场景需求、新技术的驱动力。语
194、义认知网络未来的发展将可能出现如下的发展趋势和面临一系列的开放性问题。5.1 感感-算算-通通-学深入融合的多层优化与实现学深入融合的多层优化与实现传统通信是对信源信息通过符号的方式进行语形符号的编码传输,其核心思想是强调符号的无差错传输,而语义通信只是对信源内容含义的特征进行提取、编码和传输,其核心思想是要保证核心含义的一致性。为了实现语义感知、识别、分析、理解和推理能力,语义认知网络需要:1)寻找语义信息的基本组织单元,即具有结构化、简约化和普适性的语义表征;2)结合物理信道特征的语义空口技术,实现语义信息的物理承载和传输;3)通过互联互通的统一通信协议架构实现上层应用沟通目标在网络中的智
195、能交互,同时利用普适性和可理解性的语义知识库,打通机机智联、人机智联与人人智联模式之间的“壁垒”,实现真正的万物无缝智联、统一的管理和调度;4)利用人工智能技术,通过目标挖掘、理解、分解等,实现从目标到语义的分解转化。由于识别和处理语义信息所耗费的计算和存储资源远超出单个智能终端所具备的能力,因此,语义通信网络应当充分利用外部的计算和存储资源,并在海量用户之间实现多种资源的融合与共享,最终形成以语义驱动的通感算一体化语义认知网络。在感-算-通-学深入融合的多层优化与实现的过程当中,还存在诸多产业界关注的问题亟待解决。例如,虽然语义通信的可行性问题和关于传输效率以及用户体验方面的改善已在特定场景
196、(如文字、图像、视频传输等)下得到了初步论证,但其在面对多模态、多任务、复杂度高的通用通信场景中的可行性、可替代性、泛化能力以及表现增益还有待进一步的研究和论证。除此之外,考虑到部署成本问题,如何将语义通信技术与现有通信网络底层架构有机结合,最大限度地实现语义通信和语义认知网络技术与原有通信范式的前后向兼容也有待学界展开更紧锣密鼓的研究,为语义通信技术的早日落地奠定基础。65IMT-2030(6G)推进组IMT-2030(6G)Promotion Group5.2 多学科领域不断融合和演进的基础理论与关键技术多学科领域不断融合和演进的基础理论与关键技术语义认知网络基础理论与技术是多学科交叉融合
197、的产物,涵盖包括通信、计算和存储网络、类脑认知和人工智能等不同领域,也受到各不同技术领域本身的限制。以人工智能技术为例,一方面,由于 AI 算法需要大量的算力和时间,针对特定的时间敏感业务,需要基于确定性保障业务的连续性。另一方面,语义认知网络面临的最大问题是准确性低,随着人工智能水平的提升,这一点会大大改善。最后,在解决不确定性的同时,语义认知网络还应具备自我学习的能力。当新兴的语义知识在某个平台出现时,语义知识库需要根据情况识别和分析其可能具备的含义和使用场景,并添加到知识库里。5.3 基于基于“语义语义”的空天地一体化万物无缝智联生态构建的空天地一体化万物无缝智联生态构建语义认知网络在知
198、识共享和语义理解方面的独特优势引起新生态的发展,如触觉互联网、全息通信、XR 和人机共生网络等场景应用。这些应用会产生大量的网络流量,传统地面网络因无法承载而宕机。因此必须通过空基和天基网络分担流量,使网络顺畅运行。另一方面,由于语义认知网络以人类的普适性知识和语义体系作为基础,因此,可从根本上保证人机智联与人人智联交互及通信时的用户服务体验。这就需要空基和天基赋能网络更广覆盖,实现真正的万物无缝智联。5.4 分布加集中的云边知识协同更灵活分布加集中的云边知识协同更灵活、更敏捷更敏捷、适配差异化网络适配差异化网络业务业务语义认知网络需要通过不同层次的语义知识库和知识域辅助语义识别和分析。一方面
199、,知识的分布是高度地域关联,局域性训练知识库使得特征易分类;另一方面,下沉知识库距离用户更近,可以有效减少时延。然而,由于局部训练信息的缺失、训练时间周期长的问题,集中式跨域知识库是不可或缺。因此,集中加分布是语义网络趋势。5.5 构建基于语义的内生安全体系,保障用户数据的安全性构建基于语义的内生安全体系,保障用户数据的安全性语义认知网络安全性也是一个重要的挑战。所有上传到语义知识库的信息应当具有完善的审查机制,防止语义知识库被恶意用户篡改。作为构造信任的机器,66IMT-2030(6G)推进组IMT-2030(6G)Promotion Group区块链被认为是一种新的“信息传递”技术,将可能
200、改变整个人类社会价值传递的方式。公开性、不可篡改性和去中心化特性能够很好地保证语义知识库的完整。因此,区块链等技术是语义网络安全的保障。6总结与展望总结与展望目前,对语义通信和语义认知网络架构的关键技术研究还处于探索阶段,本研究报告通过对语义通信和语义认知网络技术的全面阐述,对相关概念方案以及关键技术进行了全面探讨,并对相关技术达成了一定的共识。报告从人类社会信息传播和交互的角度出发,介绍了语义通信的相关理念和目标。其中,对语义信息的数学表征、语义通信的要素、基本理论与框架、性能刻画等方面进行了探讨为语义通信技术提供了有力的理论基础和实现路径。同时,本研究报告还提出了多个语义认知网络参考架构,
201、包括语义认知网络的组成以及基于联邦边缘智能、分布与集中编排式、基于云边协同的分层等不同类型的语义认知网络架构,为实现不同场景下的语义认知网络应用提供了实现路径和技术方案。最后,本研究报告还探讨了语义认知网络在自动驾驶、远程监测、元宇宙、故障检测、情感与思想智能交互、触觉互联网和通感融合等典型业务中的应用需求和解决方案。未来,我们将进一步深入研究语义通信和语义认知网络技术,推动其在更广泛的应用领域发挥重要作用,为人类社会信息传播和交互的不断发展做出更大贡献。随着语义通信和语义认知网络关键技术研究的深入,在进一步详细设计和实现机制方面还有诸多尚待研究和尚未形成共识的方面。例如:如何将感-算-通-学
202、深入融合进语义通信架构,如何让语义通信架构更好地与多学科领域不断融合和演进,如何保障用户数据的安全性等。这些问题有待于进一步研究和讨论,并将作为下一阶段的研究重点。67IMT-2030(6G)推进组IMT-2030(6G)Promotion Group参考文献1ITU-T.Architectural framework for machine learning in future net-works includingIMT-2020:Recommendation ITU-T Y.3172.2019.2石光明,肖泳,李莹玉,高大化,谢雪梅.面向万物智联的语义通信网络.物联网学报,5(02):2
203、6-36,2021.3Xiao Y,Hirzallah M,Krunz M.“Distributed resource allocation for network slicing overlicensed and unlicensed bands”.IEEE Journal on Selected Areas in Communications,vol.36,no 10,pp 2260-2274,Oct.2018.4Xiao Y,Krunz M.“Distributed optimization for energy-efficient fog computing in the tactil
204、einternet”.IEEE Journal on Selected Areas in Communications,vol.36,no.11,pp.2390-2400,Nov.2018.5Weaver W.“Recent contributions to the mathematical theory of communication,”.Rev.Gen.Semantics,vol.10,no.4,pp.261281,Sep.1949.6Carnap R,Bar-Hillel Y.“An outline of a theory of semantic information,”Res.La
205、b.Elctron.,Massachusetts Inst.Technol.,Cambridge,MA,USA,Tech.Rep.247,Oct.1952.7J.Bao et al.,“Towards a theory of semantic communication”in 2011 IEEE Network ScienceWorkshop.West Point,NY,USA,pp.110117,Jun.2011.8B.Guler,A.Yener,andA.Swami,“The semantic communication game”IEEE Trans.Cognit.Commun.Netw
206、.,vol.4,no.4,pp.787802,Sep.2018.9Floridi L.“Outline of a theory of strongly semantic information”.Minds and machines,vol.14,no.2,pp.197-221,Feb.2004.10 S.Sequoiah-Grayson and L.Floridi,“Semantic conceptions of information,”in The StanfordEncyclopedia of Philosophy,E.N.Zalta,Ed.Stanford,CA,USA:Stanfo
207、rd Univ.,Metaphysics Research Lab,2022.11 Y.Xiao,X.Zhang,Y.Li,G.Shi,and T.Basar,“Rate-distortion theory for strategic semanticcommunication,”in Proc.IEEE Inf.Theory Workshop(ITW),Mumbai,India,pp.279284,Nov.2022.12 Berners-Lee T,Hendler J,Lassila O.“The semantic web,”.Scientific american,vol.284,no.5
208、,pp.34-43,May.2001.13 Chen H,Yu T,Chen J Y.“Semantic web meets integrative biology:a survey,”.Briefings inbioinformatics,vol.14,no.1,pp.109-125,Jan 2013.14 Huang D,Tao X,Gao F,et al.“Deep learning-based image semantic coding for semanticcommunications”in IEEE Global Communications Conference(GLOBECO
209、M).Madrid,pp.1-6,Spain,Dec 2021.15 Weng Z,Qin Z.“Semantic communication systems for speech transmission,”.IEEE Journalon Selected Areas in Communications,vol.39,no.8,pp.2434-2444,Jun 2021.16 H.Xie and Z.Qin,”A lite distributed semantic communication system for Internet ofThings,”.IEEE J.Sel.Areas Co
210、mmun.,vol.39,no.1,pp.142153,Nov.2020.17 Oshea T,Hoydis J.“An introduction to deep learning for the physical layer,”.IEEETransactions on Cognitive Communications and Networking,vol.3,no.4,pp.563-575.Oct2017.68IMT-2030(6G)推进组IMT-2030(6G)Promotion Group18 OShea T J,Erpek T,Clancy T C.“Deep learning bas
211、ed MIMO communications”.2017,arXiv:1707.07980.19 Farsad N,Rao M,Goldsmith“A.Deep learning for joint source-channel coding of text,”inIEEE international conference on acoustics,speech and signal processing(ICASSP),Calgary,AB,Canada,pp.2326-2330,Sept 2018.20 Lu K,Zhou Q,Li R,et al.“Rethinking modern c
212、ommunication from semantic coding tosemantic communication,”IEEE Wireless Communications,vol.30,pp.158-164,May 2022.21 Lu Z,Li R,Lu K,et al.“Semantics-Empowered Communication:A Tutorial-cum-Survey,”2022,arXiv:2212.08487.22 Xiao Y,Sun Z,Shi G,et al.“Imitation Learning-based Implicit Semantic-awareCom
213、munication Networks:Multi-layer Representation and Collaborative Reasoning,”IEEEJournal on Selected Areas in Communications,vol.41,no.3,pp.639-658,Dec 2022.23 Lu Z,Xiao Y,Sun Z,et al.“Adversarial Learning for Implicit Semantic-AwareCommunications,”2023,arXiv:2301.11589.24 Xiao Y,Li Y,Shi G,et al.“Op
214、timizing resource-efficiency for federated edge intelligence inIoT networks,”in International Conference on Wireless Communications and SignalProcessing(WCSP).Nanjing,China,pp.86-92,Oct 2020.25 Collins A M,Quillian M R.“Retrieval time from semantic memory,”Journal of verballearning and verbal behavi
215、or,vol.8,no.2,pp.240-247,Apr 1969.26 Bordes A,Usunier N,Garcia-Duran A,et al.“Translating embeddings for modelingmulti-relational data,”Advances in neural information processing systems,vol.26,pp.27872795 2013.27 Lin Y,Liu Z,Sun M,et al.“Learning entity and relation embeddings for knowledge graphcom
216、pletion,”in Proceedings of the AAAI conference on artificial intelligence.,vol.29,no.1,pp.21812187,Feb 2015.28 Ji G,He S,Xu L,et al.“Knowledge graph embedding via dynamic mapping matrix,”inProceedings of the 53rd annual meeting of the association for computational linguistics andthe 7th internationa
217、l joint conference on natural language processing(volume 1:Longpapers),pp.687-696,2015.29 Socher R,Chen D,Manning C D,et al.“Reasoning with neural tensor networks forknowledge base completion,”Advances in neural information processing systems,Harrahsand Harveys,Lake Tahoe,vol.26,pp.926934,Dec 2013.3
218、0 Zhang Z,Cai J,Zhang Y,et al.“Learning hierarchy-aware knowledge graph embeddings forlink prediction,”in Proceedings of the AAAI conference on artificial intelligence.vol.34,no.03,pp.3065-3072,2020.31 Trouillon T,Welbl J,Riedel S,et al.“Complex embeddings for simple link prediction,”International c
219、onference on machine learning.PMLR,vol.48,pp.2071-2080,2016.32 Sun Z,Deng Z H,Nie J Y,et al.“Rotate:Knowledge graph embedding by relational rotationin complex space,”2019,arXiv:1902.10197.33 Zhang S,Tay Y,Yao L,et al.“Quaternion knowledge graph embeddings,”in Advances inneural information processing
220、 systems,Vancouver Canada,vol.32,pp.27312741,Dec.201969IMT-2030(6G)推进组IMT-2030(6G)Promotion Group34 He S,Liu K,Ji G,et al.“Learning to represent knowledge graphs with gaussian embedding,”in Proceedings of the 24th ACM international on conference on information and knowledgemanagement,pp.623-632,Oct
221、2015.35 Xiao H,Huang M,Hao Y,et al.“TransG:A generative mixture model for knowledge graphembedding,”2015,arXiv:1509.05488.36 Xiao H,Huang M,Zhu X.“From one point to a manifold:Orbit models for knowledge graphembedding,”in Proceedings of IJCAI.Melbourne,VIC,Australia,pp.1315-1321,Aug.2016.37 Gruber T
222、 R.“A translation approach to portable ontology specifications,”Knowledgeacquisition,vol.5,no.2,pp.199-220,Jun.1993.38 Shannon C E.“A mathematical theory of communication,”The Bell system technical journal,vol.27,no.3,pp.379-423,Jul.1948.39 Basu P,Bao J,Dean M,et al.“Preserving quality of informatio
223、n by using semanticrelationships,”Pervasive and Mobile Computing,vol.11,pp.188-202,Apr.2014.40 Willems F M J,Kalker T.“Semantic compaction,transmission,and compression codes,”inProceedings.International Symposium on Information Theory,Adelaide,SA,Australia,pp.214-218,Oct.2005.41 Farshbafan M K,Saad
224、W,Debbah M.“Common language for goal-oriented semanticcommunications:A curriculum learning framework,”in ICC 2022-IEEE InternationalConference on Communications.Seoul,Korea,Republic of,pp.1710-1715,May.2022.42 Liu K,Liu D,Li L,et al.“Semantics-to-signal scalable image compression with learnedreverti
225、ble representations,”International Journal of Computer Vision,vol.129,no.9,pp.2605-2621,Jun.2021.43 Osborne M J.“An introduction to game theory:Oxford University Press,”2004.44 Nisan,Noam,et al.“Algorithmic game theory.”Cambridge university press,2007.45 Rajeswaran A,Mordatch I,Kumar V.“A game theor
226、etic framework for model basedreinforcement learning,”in International conference on machine learning.Virtual Event pp.7953-7963,Jul.2020.46 Juba B,Sudan M.“Universal semantic communication I,”in Proceedings of the fortiethannualACM symposium on Theory of computing.,pp.123-132,May.2008.47 Hu Q,Zhang
227、 G,Qin Z,et al.“Robust semantic communications against semantic noise,”2022 IEEE 96th Vehicular Technology Conference(VTC2022-Fall).London,UnitedKingdom,pp.1-6,Sept.2022.48 Weng Z,Qin Z,Tao X,et al.“Deep learning enabled semantic communications with speechrecognition and synthesis.”2022,arXiv:2205.0
228、4603.49 Weng Z,Qin Z.“Semantic communication systems for speech transmission,”IEEE Journalon Selected Areas in Communications,vol.39,no.8,pp.2434-2444,Jun.2021.50 Xie H,Qin Z,Li G Y,et al.“Deep learning enabled semantic communication systems,”IEEETransactions on Signal Processing,vol.69,pp.2663-2675
229、,Apr.2021.51 Jiang P,Wen C K,Jin S,et al.“Wireless semantic communications for video conferencing,”IEEE Journal on Selected Areas in Communications,vol.41,no.1,pp.230-244,Nov.2022.52 Tung T Y,Gndz D.“DeepWiVe:Deep-learning-aided wireless video transmission,”IEEEJournal on Selected Areas in Communica
230、tions,vol.40,no.9,pp.2570-2583,Jul.2022.53 Shi G,Gao D,Song X,et al.”A new communication paradigm:From bit accuracy tosemantic fidelity,”2021 arXiv:2101.12649.70IMT-2030(6G)推进组IMT-2030(6G)Promotion Group54 Lan Q,Wen D,Zhang Z,et al.“What is semantic communication?A view on conveyingmeaning in the er
231、a of machine intelligence,”Journal of Communications and InformationNetworks,vol.6,no.4,pp.336-371,Dec.2021.55 Zhang H,Shao S,Tao M,et al.“Deep learning-enabled semantic communication systemswith task-unaware transmitter and dynamic data,”IEEE Journal on Selected Areas inCommunications,vol.41,no.1,p
232、p.170-185,Nov.2022.56 Bo Y,Duan Y,Shao S,et al.“Learning Based Joint Coding-Modulation for Digital SemanticCommunication Systems,”2022,arXiv:2208.05704.57 Xiao Y,Liao Y,Li Y,et al.“Reasoning over the Air:A Reasoning-based Implicit SemanticCommunication Framework,”IEEE Transactions on Wireless Commun
233、ications,underrevision.58 Xiao Y,Li Y,Shi G,et al.“Reasoning on the air:An implicit semantic communicationarchitecture,”in IEEE International Conference on Communications Workshops(ICCWorkshops).Seoul,Korea,Republic of,pp.289-294,Jul.2022.59 孙子剑,廖逸玮,鲁智敏,肖泳,石光明,高大化.面向 6G 智能内生的隐性语义认知通信.移动通信,2023,47(4)
234、.60 Liu J,Shao S,Zhang W,et al.“An indirect rate-distortion characterization for semanticsources:General model and the case of Gaussian observation,”IEEE Transactions onCommunications,vol.70,no.9,pp.5946-5959,Jul.2022.61 Stavrou P A,Kountouris M.“A rate distortion approach to goal-oriented communica
235、tion,”IEEE International Symposium on Information Theory(ISIT).Espoo,Finland,pp.590-595,Jul.2022.62 Hayashi M.“Bregman divergence based em algorithm and its application to classical andquantum rate distortion theory,”2022,arXiv:2201.02447.63 Tschannen M,Agustsson E,Lucic M.“Deep generative models fo
236、r distribution-preservinglossy compression,”Advances in neural information processing systems,Montral,Canada,vol.31,Dec.2018.64 Blau Y,Michaeli T.“The perception-distortion tradeoff,”in Proceedings of the IEEEconference on computer vision and pattern recognition.Salt Lake City,UT,pp.6228-6237,Jun.20
237、18.65 Maatouk A,Kriouile S,Assaad M,et al.“The age of incorrect information:A newperformance metric for status updates,”IEEE/ACM Transactions on Networking,vol.28,no.5,pp.2215-2228,Jul.2020.66 Liang J,Xiao Y,Li Y,et al.“Life-long learning for reasoning-based semantic communication,”in IEEE Internati
238、onal Conference on Communications Workshops(ICC Workshops).Seoul,Korea,Republic of,pp.271-276,Jul.2022.67 Agheli P,Pappas N,Kountouris M.“Semantics-aware source coding in status updatesystems,”IEEE International Conference on Communications Workshops(ICC Workshops).Seoul,Korea,Republic of,pp.169-174
239、,May.2022,pp.169-174.68 Shi G,Xiao Y,Li Y,et al.“From semantic communication to semantic-aware networking:Model,architecture,and open problems,”IEEE Communications Magazine,vol.59,no.8,pp.44-50,Aug.2021.69 Schwartz R,Dodge J,Smith N A,et al.“Green ai,”Communications of the ACM,vol.63,no.12,pp.54-63,
240、Dec.2020.71IMT-2030(6G)推进组IMT-2030(6G)Promotion Group70 Chen M,Yang Z,Saad W,et al.“A joint learning and communications framework forfederated learning over wireless networks,”IEEE Transactions on Wireless Communications,vol.20,no.1,pp.269-283,Oct.2020.71 McMahan B,Moore E,Ramage D,et al.“Communicat
241、ion-efficient learning of deepnetworks from decentralized data,”in Artificial intelligence and statistics.Fort Lauderdale,FL,USA,pp.1273-1282,Apr.2017.72 Foerster J,Assael I A,De Freitas N,et al.“Learning to communicate with deep multi-agentreinforcement learning,”Advances in neural information proc
242、essing systems,Barcelona,Spain,vol.29,Dec.2016.73 朱慧翔,柴靖轩,肖泳,石光明,高大化.基于感算通融合的语义认知通信网络.移动通信,2023,47(3):31-39.74 Santhanavijayan A,Naresh Kumar D,Deepak G.“A semantic-aware strategy for automaticspeech recognition incorporating deep learning models,”Intelligent System Design:Proceedings of Intelligent
243、 System Design.pp.247-254,2021.75 Seo H,Park J,Bennis M,et al.“Semantics-native communication with contextual reasoning”2021 arXiv:2108.05681.76 Siller M,Woods J C.“QoS arbitration for improving the QoE in multimedia transmission,”2003 International Conference on Visual Information Engineering VIE 2
244、003.Guildford,UKpp.238-241,Jul.2003.77 林 闯,胡 杰,孔 祥 震.用 户 体 验 质 量(QoE)的 模 型 与 评 价 方 法 综 述.计 算 机 学报,2012,35(01):1-15.78 Baroni P,Giacomin M,Guida G.SCC-recursiveness:a general schema for argumentationsemanticsJ.Artificial Intelligence,pp.162-210,2005,168(1-2).79 Palmer M,Gildea D,Kingsbury P.The propo
245、sition bank:An annotated corpus of semanticrolesJ.Computational linguistics,pp.71-106,2005,31(1).80 Zadeh L A.Knowledge representation in fuzzy logicM/An introduction to fuzzy logicapplications in intelligent systems.Boston,MA:Springer US,1992:1-25.81 Niknam M,Karshenas S.A shared ontology approach
246、to semantic representation of BIMdataJ.Automation in Construction,pp.22-36,2017,8072IMT-2030(6G)推进组IMT-2030(6G)Promotion Group附录 1:“语意通信”与“语义通信”的区别英文的 Semantic communication 中文常被翻译为“语义通信”。这一翻译至今被国内学术界普遍接受。但是,中文还有另外一个词,即“语意通信”。目前主流的英汉字典,均将“语义”和“语意”翻译为“Semantics”。这两个中文词汇的含义则既有相似之处又有区别。具体而言,语义通信主要是指符号和
247、符号结构,如词语或句子中语义信息的传达。其中,语义,尤其是语义学(英文 semantics),是一门研究语言构造的科学,主要研究语言或其他表达方式的客观规律性、内在解释、不同语言在语义表达方面的个性以及共性特征。因此,语义通信主要研究的传输信息和表达的内在规律和形式对含义沟通的影响。相比之下,语意通信则更注重沟通目的。语意更加关注沟通所希望达到的最终目的,对表达的形式和规则没有过多约束。换而言之,Weaver 在 1949 年提出的通信的三个层次问题,除了第一层次的通信技术问题之外,还包括第二层次的通信语义问题,即“所传输的符号是否准确地表达了预期含义?”和第三层次的通信有效性问题,即“所接收
248、的信息含义能否按照预期方式影响用户行为?”。从这个意义上来说,语义通信更接近第二层次的通信问题,即所传输的符号和结构对表达预期含义的作用。而语意通信更接近第三层次的通信问题,即所传输的信息是否达到了沟通的目标。73IMT-2030(6G)推进组IMT-2030(6G)Promotion Group附录 2:缩略语简表3DThree dimensional三维6G6th generation mobile networks第六代移动通信技术AIArtificial Intelligence人工智能AoIIAge of Incorrect Information错误信息年龄ARAugmented
249、Reality增强现实CDCCloud Data Center云端数据中心CECross Entropy交叉熵CSSCascading Style Sheets层叠样式表GCNGraph Convolutional Network图卷积神经网络H2HHuman-to-human人与人H2MHuman-to-machine人与机器IMTInternational Mobile Telecommunications国际移动通信IoTInternet of Things物联网ITUinternational telecommunication union国际电信联盟KGEKnowledge Grap
250、h Embedding知识图谱嵌入KPIKey Performance Indicator关键绩效指标LESLocal Edge Server本地边缘服务器LTELong Term Evolution长期演进技术M2MMachine-to-machine机器到机器MMSEMinimum Mean Square Error最小均方误差MSEMean Square Error均分误差OSIOpen System Interconnection Reference Model开放式系统互联通信参考模型OWLWeb Ontology Language,网络本体语言QoEQuality of user
251、experience用户体验质量QoSQuality of Service服务质量QUICQuick UDP Internet Connections快速用户数据报协议网74IMT-2030(6G)推进组IMT-2030(6G)Promotion Group络连接RDEResource Description Framework资源描述框架RESRegional Edge Server区域边缘服务器RLReinforcement Learning强化学习SRZService Requirement Zone服务需求区间TCPTransmission Control Protocol传输控制协议
252、UEUser Equipment用户终端USCUniversal Semantic Communication通用语言通信USRUser Satisfaction Ratio用户满意度VRVirtual Reality虚拟现实W3CWorld Wide Web Consortium万维网联盟Wi-FiWireless Fidelity无线通信技术XHTMLeXtensible HyperText Markup Language可扩展超文本标记语言XMLExtensible Markup Language可扩展标记语言XRExtended Reality扩展现实75IMT-2030(6G)推进组
253、IMT-2030(6G)Promotion Group主要贡献单位和编写人员主要贡献人石光明 鹏城实验室、西安电子科技大学()肖泳华中科技大学()参与贡献单位和贡献人序号主要贡献单位贡献人1西安电子科技大学高大化()宋晓丹()2华中科技大学高雅玙()3北京邮电大学刘宜明()刘绍华()张雪菲()4浙江大学张宏纲()李荣鹏()5重庆邮电大学梁承超()6上海交通大学陶梅霞()邵硕()7香港科技大学(广州)杨旸(yyiothkust-)8中山大学陈旭()周知()于帅()9中国电信王栋()袁晓志()10中国移动刘棠青()李唯源()张童()11中国信科集团熊春山()12中兴方敏()许进()冯雨龙()13华为马梦瑶()赵明宇()联系方式邮箱:COPYRIGHT2023 IMT-2030(6G)PROMOTION GROUP.ALL RIGHTS RESERVED.