1、1/126摘要摘要在过去几十年中，通信领域的研究主要集中在如何准确有效地将符号从发送端传输到接收端，即语法通信。随着无线通信系统的发展，系统容量逐渐接近香农极限。香农和韦弗将语义通信划分为通信的第二个层次。区别于传统通信将符号的准确传输作为目标，语义通信的主要目的是实现语义信息的准确交互。语义通信专注于传递信息的含义和重要性，而非仅仅关注符号本身，主要用于解决如何精准传递发送符号的含义，以及接收方如何以期望的方式影响系统行为的问题。通过对信息语义的提取、编码和传输，语义通信可大幅提升通信效率。随着新一代通信技术和人工智能技术的蓬勃发展，语义通信在人机交互、全息通信、智能制造等领域展现出广阔的应

2、用前景，受到了全球学术界和工业界的广泛关注。本白皮书全面介绍了语义通信的基本原理、技术模块、应用领域以及关键挑战等，旨在为语义通信在下一代无线网络中的应用提供参考和指导。白皮书详细讨论了语义通信的关键模块，包括语义知识库构建、语义信道联合编解码、语义信息传输以及与现有系统的兼容性，为读者提供了深入了解语义通信技术的基础。进一步探讨了单模态和多模态语义通信系统架构，同时研究了抑制语义噪声的方法，为实现多模态多用户语义通信提供了综合视角。白皮书还关注了语义通信与其他网络的结合，包括数字通信网络、认知网络、分布式网络、安全网络以及卫星网络等，旨在实现高效、可靠和智能化的语义传输。最后，分析了语义通信

3、的现有和潜在应用场景，并探讨了相关的挑战，同时展望了语义通信领域的未来发展，为读者提供了对未来研究和创新方向的启示。2/126目 录摘要.11.语义通信概述.62.语义通信关键模块.82.1 语义知识库.82.1.1 语义知识库使能的现代语义通信.82.1.2 面向语义通信的语义知识库结构体系.102.1.3 语义知识库的构建方法.112.1.4 语义知识库对语义通信的支撑示例.122.2 语义-信道联合编解码.142.2.1 语义编解码.142.2.2 语义信道联合编解码.152.3 语义信息传输.162.3.1 语义信息的传输与挑战.172.3.2 应对现代通信挑战：语义信息传输系统的示例

4、.182.4 语义通信与现有系统的兼容性.202.4.1 语义通信与信源编码兼容.202.4.2 语义通信与经典通信系统的分层架构兼容.253.单模态语义通信.283.1 面向文本的语义通信.283.2 面向语音的语义通信.313.3 面向图像的语义通信.353.4 面向视频的语义通信.373.4.1 视频传输背景.373.4.2 语义视频传输.373.4.3 语义视频会议.383.4.4 小结.404.语义噪声抑制.414.1 鲁棒的文本语义通信.413/1264.2 鲁棒的语音语义通信.424.3 鲁棒的图像语义通信.435.多模态语义通信.465.1 多模态语义通信架构.465.1.1

5、多模态语义通信中的模态融合设计.475.1.2 多模态语义通信中的抗噪性设计.495.2 多任务的语义通信.495.2.1 多任务语义通信系统研究动机.495.2.2 多任务语义通信系统框架.515.2.3 多任务语义通信主要技术和未来展望.525.3 多用户的语义通信.535.3.1 多用户语义通信主要技术.535.3.2 多用户语义通信系统架构.545.3.3 多用户语义通信资源配置.556.数字语义通信与波形优化.576.1 数字语义通信网络.576.2 基于 OFDM的语义通信波形优化.596.3 全双工语义通信.616.4 基于可预测信道的语义通信.647.语义通信中的资源管理.67

6、7.1 语义通信中的资源分配模型构建.677.2 资源分配的优化目标.687.3 语义通信中的资源管理策略.697.4 语义混合自动重传请求.707.4.1 传统混合自动重传技术.707.4.2 语义混合自动重传系统.717.4.3 小结.737.5 语义错误检测.747.5.1 传统校验检错方法.747.5.2 语义相似度检测技术.757.5.3 句子语义相似度检测.764/1267.5.4 小结.788.分布式语义通信.798.1 多模态语义中继架构.798.1.1 多模态语义中继架构组成与部署.818.1.2 多模态语义中继架构优势.828.2 分布式协同设备-服务器推理.838.2.1

7、 分布式协同设备-服务器推理组成与部署.838.2.2 分布式协同设备-服务器推理实验性能分析.849.语义通信中的安全挑战与对策.869.1 语义通信中的模型安全.869.1.1 对抗性攻击与防御.879.1.2 投毒攻击与防御.889.1.3 未来展望.899.2 语义通信中的密码技术.899.3 语义通信中的隐私保护.929.4 语义水印安全通信.9410.面向卫星系统的语义通信.9810.1 卫星系统中的高效语义传输.9810.1.1 多星语义传输系统.9910.2 卫星系统中的高可靠性语义传输.10010.2.1 低链路预算下的语义传输.10010.2.2 基于语义传输的卫星波束赋形

8、.10010.2.3 基于信道预测的语义传输.10110.3 卫星系统中的智能语义传输.10111.应用场景.10311.1 全息通信.10311.2 自动驾驶.10511.3 数字平安乡村.10611.4 工业智能制造.10711.5 智慧仪表.10812.关键挑战.1095/12612.1 面向语义信息论的挑战.10912.2 基于大模型的语义通信.11112.3 标准化.11213.总结与展望.11414.参考文献.11515.缩略语列表.1246/1261.语义通信概述语义通信概述香农和韦弗指出，通信可分为语法层、语义层和语用层三个层次。依托于香农经典信息论的传统通信属于语法层，用误比

9、特率、误符号率和传输速率等度量标准评估网络性能，并不考虑符号的含义，主要用于解决比特或符号正确传输的技术难题。语义通信专注于传递信息的含义和重要性，而非仅仅关注符号本身，主要用于解决如何精准传递发送符号的含义，以及接收方如何以期望的方式影响系统行为的问题。虽然语义通信与语法通信同步被提出，但一直以来由于技术水平和场景需求的限制，人们更注重于语法通信。然而，随着通信技术的迅猛进步，传统通信系统的容量已经逐渐接近香农理论的极限。另一方面，随着人工智能技术的发展和 6G 网络中对通信智能化需求的增长，语义通信再次成为热门技术。语义通信是一种全新的通信范式，可以在语义层面解决信息的含义表达与传输问题，

10、将信息含义的理解环节部分或全部移到发送端，从而减少传输量，降低带宽需求。语义通信与传统通信的区别如下：第一是信息的表征方式，语义通信面向通信场景和任务，将符号表征升级为语义特征，使信源内容的语义特征提取和理解移到发送端。第二是服务质量评价准则。语法通信通常以误符号率、丢包率等指标衡量服务质量，无法直接反映用户体验等主观质量。根据场景和任务不同，语义通信采用客观的语义准确性和主观的用户感知质量来共同定义服务质量。与传统通信相比，语义通信系统有更高的传输效率。由于仅传输重要的语义信息而不是全部信息，因此语义通信对传输带宽需求较低，可以提升传输可靠性和传输容量，进而提升无线传输效率。同时，原始信息的

11、重建需要语义解码模型，因此在特定条件下语义通信也可以增强数据安全。语义通信的系统模型如下图所示，语义通信主要关注信源内容的语义表征、传输与重构，以及基于语义的无线传输。关键环节包括知识库构建、语义编解码和信道编解码等。在理论方面，语义通信研究主要受到香农信息论的启发，通过用逻辑概率替代统计概率，7/126定义了语义熵、语义率失真、语义信道容量，进而建立了语义通信的理论体系。另一方面，随着人工智能和数据处理能力的提升，基于深度学习的语义特征的提取、编码和传输等算法已成功应用于不同类型的信源。语义通信在多媒体通信、增强现实、沉浸式通信等领域具有广泛的应用前景。图 1.1 语义通信系统模型8/126

12、2.语义通信关键模块语义通信关键模块2.1 语义知识库语义知识库2.1.1 语义知识库使能的现代语义通信语义知识库使能的现代语义通信图 2.1 语义知识库使能的现代语义通信架构随着移动通信和互联网技术的快速发展，高速率、低时延的无线接入需求急剧增加，传统通信系统已趋近于香农理论极限，因此迫切需要新的通信技术的突破。语义通信作为一种内生智能的新型类脑信息交互机制，其语义元素提取、识别、理解、传输和推理过程与人类间信息传输表达类似。在传统通信中，信源符号将按照预设的编码方式映射到比特码流中，其映射函数基于实践经验与准确的数学模型进行设计。在语义通信中，信源将被基于人工智能算法的编码系统映射到基于语

13、义基（Seb）的语义流中，其映射函数的确立基于数据与模型双重驱动的神经网络体系1。传统通信在符号比特流的基础上进行信号处理，与传统通信方式不同，语义通信在语义基的基础上进行信号处理。语义通信中的最小传输与处理单元为语义基，目前语义基还没有明确的定义。广义上来说，所有从源信息提取的语义相关的特征都可以视为语义基。不过，不同方法提取的语义特征或者不同形式的语义特征，肯定都有其不同的特点，其中9/126一部分可以明显判断其优劣性，而另外一部分就需要根据具体的通信任务和需求来进行判断其优劣性了。这也是语义基具有不确定性的原因之一，因为同一条确切的信息背后所包含的语义元素在不同的通信节点中可能会有不完全

14、一致的理解。因此，关于语义基的定义、获取方式，以及多模态通用统一的语义提取仍是需要深入研究的课题。语义知识库是语义基框架研究的一个方向，其是一种结构化的且具备记忆能力的知识网络模型，可以为数据信息提供相关的语义知识描述。如图 2.1 所示，面向语义通信的语义知识库可分为信源知识库、信道知识库、任务知识库，分别为信源数据（如文本、图片、视频等）、信道传输环境（如传输中障碍物位置与形状信息、智能反射面位置信息等）、任务需求（如图片分类、三维重建、语义分割等）提供多层级语义知识表征1。在端到端的语义通信中，发送端根据所具备的信源、信道、任务知识库，可以高效获取信源数据的多层级语义知识描述、传输环境的

15、信道语义估计、下游任务的具体语义需求，然后对所要发送的信息进行语义信道联合编码；在接收端，则根据在接收端所具备的语义知识库，对接收到的信息进行知识查询与理解，完成语义信道联合解码。语义知识库促进了语义通信的发展。例如，当前基于深度学习的信源-信道联合编解码方法需要针对其面向的特定任务，基于大规模的相关数据，进行大量的训练，以获得合适的通信模型。这种对于数据与时间资源的高消耗特性阻碍了深度信源-信道联合编码的推广。而语义知识库作为一种先验知识，为语义通信提供了高效且规范的语义支撑，能够有效加速信源信道-联合编解码网络的训练，减少为了各具体通信任务进行网络训练时对大规模数据的依赖。下一代无线通信技

16、术面临更复杂多样的通信场景和业务需求，采用不同通信协议的智能体进行互联的场景需求将大量增加。通过语义知识库进行知识共享将有助于人-机-物的高效互联网络建立起统一的知识背景，从而提升异构协议智能体之间的交互效率。配置不同语义通信协议的智能体对语义基的定义与表征存在很大差异，而语义知识库可以一定程度上应对跨协议语义通信时，语义基规范不统一、物理层信号规范不统一等挑战。因为足够大的语义知识库能够涵盖关于各协议对语义基和信号的表征规范。将其分发至跨协议语义通信的异构智能体，可以有效帮助智能体完成面向具体任务的训练。另外，基于语义知识库还可以灵活的更新或增添编解码组件，而无需对智能体已有的语义层和物理层

17、模块进10/126行删改。通常，语义知识库部署在边缘服务器中，异构协议智能体只需在每一次新建连接前从语义知识库中申请加载相应的语义知识即可，通信的过程则无需语义知识库参与。语义知识库为语义通信中语义元素的提取、识别、传输、理解和推理过程提供全局知识背景和存储搜索服务。语义知识库定义了高效的搜索空间，规范了搜索路径，大大增加了语义通信的灵活性，为语义通信在更多通信场景下的应用提供了支撑，是语义通信的关键使能技术之一。2.1.2 面向语义通信的语义知识库结构体系面向语义通信的语义知识库结构体系我们首先介绍语义知识库的结构，包含语义知识库的接口及内部的组织形式（如图2.2 所示）。图 2.2 语义知

18、识库示意图知识库接口设计知识库接口设计考虑简单的信源与信宿共享相同知识库的情形，信源端利用知识库获得信源、任务以及信道的语义知识用于指导编码和传输，信宿端会利用知识库对接收到的信号进行解码。这其中关键的一步是如何从知识库中获取所需的知识，我们将该过程称为知识检索。得益于我们使用语义特征向量的形式表征不同模态信号源的语义知识，我们可以使用统一的接口处理不同模态信号源的知识检索，保证了语义库接口的一致性与拓展性。下面定义了语义知识库的输入与输出。输入输入：语义知识类型（信源、任务、信道三种之一）以及数据源信息（如数字、字符、文本、图像、语音、视频、点云等）；11/126输出输出：一个列表，含有多组

19、语义向量。该列表描述了输入信号的多层级的语义知识，其中列表的长度表示层级个数。例如，对于信源语义知识检索，输入一张图像，返回多组语义向量，每一组向量代表一个层级。对于物体分割任务，返回的语义向量可以刻画、，等。语义知识的组织形式语义知识的组织形式知识库中将包含三类子语义知识库，分别是信源、任务、信道知识库。知识库内部存储了若干组根据数据源与目标任务预先构造的语义基，以及可用于实时动态构建语义基的计算模型。在输入新的数据源进行语义知识检索时，若已有的语义基满足通信任务需求，将直接利用已有的语义基对输入数据源进行表征，返回语义知识向量；若已有语义基无法满足通信任务需求，将利用计算模型实时构造符合需

20、求的语义基对输入数据源进行语义知识表征。2.1.3 语义知识库的构建方法语义知识库的构建方法目前面向端到端语义传输的语义知识库构建方法包括知识图谱、以带标签的训练数据集、特征向量集合以及大语言模型等。第一类方法基于知识图谱构建语义知识库。针对文本传输，文献2使用描述语义信息的三元组（包含头部实体、关系、尾部实体）构建语义知识图谱，并且将此作为收发端语义知识库用于指导文本传输中语义编解码设计。针对语音传输，文献3提出了基于知识图谱的多层级结构的语义知识库基础模型，以及包含语义表达和语义符号抽象两个步骤的语义知识库构建方法。针对图数据传输，文献4提出了由显式语义、隐式语义以及与用户相关的知识推理机

21、制组成的多层级语义表征方法，并且基于模仿学习对接收端用户的语义推理机制进行训练以保证与发送端推理机制一致，有效降低了传输负载。除此之外，文献4进一步针对语义知识库使能的异构网络，基于联邦图神经网络方法提出了各移动边缘服务器协同推理机制，从而使得各服务器可基于分布式语义信息样本构建共享语义解析模型。12/126第二类方法以带标签的训练数据集作为知识库。当需要传输的数据信息与训练数据集的统计特性分布不同时，文献5利用迁移学习中的领域自适应技术，降低了数据差异对模型泛化性能的影响，使得信道编解码方案能够更好的适应目标领域的所需传输的数据。第三类方法基于深度学习模型提取的特征向量作为语义知识库。文献6

22、定义一组有限离散语义基向量集合为语义知识库，通过端到端联合训练获得语义编解码器和语义知识库。文献7设计了一个新型的掩码向量量化自编码器（VQ-VAE）网络，用来同时训练并获得编解码器和离散码本。得益于码本的使用，在减少传输开销的同时，对抗了信道语义噪声。第四类方法基于预训练大模型作为语义知识库。文献8提出了一种基于预训练语言模型的语义重要性感知通信方案，基于量化的语义重要性，他们研究了语义重要性感知的功率分配。文献9提出一个基于大模型的多模态语义通信框架。该方法提出基于多模态语言模型的多模态对齐，并提出了一个个性化的大语言模型语义知识库，允许用户通过大语言模型进行个性化的语义提取或恢复，解决了

23、语义歧义问题。综上所述，基于知识图谱、带标签的训练数据集、特征统计特性、大语言模型的语义知识库已被应用于端到端语义通信中并取得了一定成果。2.1.4 语义知识库对语义通信的支撑示例语义知识库对语义通信的支撑示例随着未来新型智能场景（如自动驾驶、扩展现实、智慧城市等）的发展，远程语义理解将成为无线通信领域的一大新的挑战。以日益增加的自动驾驶场景为例，车辆高速移动的特性导致车辆所处交通场景的持续变化，从而使得车辆感知到的数据集分布也不断变化，进而引发了零样本分类问题的频繁出现。因此，如何轻量高效实现零样本图片分类成为智能简化通信领域至关重要的课题之一。本节将围绕智简通信对于轻量高效的需求，介绍一种

24、基于语义知识库的多层级语义编码和传输机制10。13/126图 2.3 多层级特征编码器如图 2.3所示，设计多层级特征编码器。首先，为了弥合视觉与语义特征分布的差异性，基于条件主标签空间转换方法，将视觉与语义特征投影到一个公共空间中以学习潜在公共低维特征。其次，在潜在公共低维特征监督下，分别设计视觉/语义自编码器，训练得到将视觉/语义特征投影至潜在特征的视觉/语义编码器，以及将潜在特征投影至视觉/语义特征的视觉/语义解码器。最后，基于所得的多层级语义编码器，设计多层级图像分类方法，分别在视觉特征空间、语义特征空间、潜在特征空间进行类别判决。判决的目的是为了确定与当前通信需求最匹配的传输层级。图

25、 2.4 语义知识库驱动的多层级特征传输系统框架示意图在零样本多层级语义编码器基础之上，如图 2.4 所示，考虑语义知识库使能的端到端多层级特征传输系统，其中发送端与接收端均部署有语义知识库与多层级语义编码器。在进行通信任务时，有四个传输层级可供选择，分别为视觉特征传输、潜在特征传输、语义特征传输、估计类别传输。决定最终的发送层级前，发送端与接收端会反复进行交互，根据语义层级的抽象程度，从高到低逐层级进行是否发送该层级语义的判决。在每一层级的发送决策中，都会先进行对应的阈值判决，符合阈值要求则进行当前层级的发送；不符合，14/126则退至抽象程度更低一层级的发送决策，再次进行类似的发送判决，以

26、最终确定发送传输策略。该端到端多层级特征传输的性能主要受以下两方面影响：(1)收、发端的语义解码器不一定基于相同的数据集经过训练得到，故收、发端各自的多层级语义编码器可能不同。因此，收、发端各自对图像样本的多层级语义信息的提取标准可能存在差异。(2)收、发端知识库大小的不同可能会对语义信息传输的结果以及所需要的传输层级造成影响。例如，当接收端知识库包含所有类别语义信息时，发送端只需要传输相应类别的索引；否则，发送端需要将估计到的语义特征或者潜在特征发送至接收端，传输负载被迫提高。由此可见，收、发端语义知识库与编解码器的性能，决定了语义损失与传输时延之间是互相制约的关系。为了实现在传输时延约束下

27、最小化语义误差，在何处提取信息（即利用发送端的还是接收端的多层级语义编码器），提取哪个层级的特征（包括视觉、潜在、以及语义特征），以及在何处进行传输层级判决（即利用发送端的还是接收端的语义知识库）均需要仔细设计。该工作证明了语义知识库驱动下的多层级特征传输方案对远程视觉识别任务的高效实现起到了至关重要的作用。通过该工作，我们也进一步认识到了语义知识库对语义通信的支撑。2.2 语义语义-信道联合编解码信道联合编解码2.2.1 语义编解码语义编解码在传统通信系统中，信源编码和信道编码是两个互相分离的模块。信源编码的目的是把原始数据压缩为比特流，达到去冗余的目的。信道编码的目的是通过增加额外的安全码

28、字来达到抗干扰的目的。在语义通信系统中，传统的信源编码和解码模块被语义编码和解码模块所替代。语义编码器可以提取数据的语义信息，将输入的信号表征为具有语义信息的形式，如语义特征、语义向量等。相比于原始信息来说，传输语义信息所需的通信量大大减少，因此语义编码可以有效提升网络性能。随着人工智能的快速发展，基于深度神经网络的语义编码器的设计以及取得了一定成功，可以广泛应用于多模态数据的语义提取。15/1262.2.2 语义信道联合编解码语义信道联合编解码在传统通信系统中，由于信源编码和信道编码技术已经逐渐达到各自的理论极限，因此信源信道联合编码技术受到了学术界的广泛关注。信源信道联合编码的基本原理是在

29、高信噪比条件下，为信源编码分配更多的码字，用来提高传输效率。在低信噪比条件下，为信道编码分配更多的码字，用来抑制噪声的负面影响。受到信源信道联合编码的启发，语义-信道联合编码成为了语义通信系统中最为关键的技术之一。如图 2.5 所示，语义信道联合编码是由两个深度神经网络实现的。深度神经网络相当于自动编码/解码器，它可以代表各种基于深度学习的神经网络模型，例如：卷积神经网络、生成对抗网络和 Transformer 等。通过联合训练这两个深度神经网络，语义信道联合编码可以同时反映信号的语义特征以及传输信道的特征，因此能够有噪环境中有效提取语义特征。这也意味着和传统的分离式设计相比，在低信噪比条件下

30、，联合编码的方式能够表现出更好的稳定性。图 2.5 语义信道联合编码模型目前，语义-信道联合编解码已成功应用于各种通信系统，包括文本、图片、音频以及多模态数据传输等。具体来说，自然语言处理技术的快速发展为分析和理解信息语义奠定了基础，并促进了面向文本传输的联合语义通道编码。为了更好的评估重建文本与原始文本之间的相似度，面向单词和句子的语义相似性指标相继被提出。以最大化相似度和最小化语义误差为优化目标，基于循环神经网络、Transformer 等模型的语义信道联合编码策略被逐步应用于文本传输中。随着基于文本传输的语义通信系统的成功，面向语音传输16/126的语义通信系统也受到了广泛关注。与文本信

31、号相比，由于音量、语调、背景噪音等因素，语音信号更为复杂，因此也更难被处理和理解。信号失真比（SDR）和语音质量的感知评估（PESQ）是量化重建音频信号质量的主要度量标准。以最大化感知评估质量和最小化失真比为优化目标的编码策略以及应用于音频传输中。图像/视频在多媒体时代是数据流量的主要来源，面向图像的语义信道联合编码策略也受到了大量学者的关注。在图像传输系统中，通信任务可以是图片识别或者图像重建等，其中峰值信噪比（PSNR）是衡量重建图像与原始图像相似性的主要指标。研究表明，语义信道联合编码在加性高斯白噪声信道、瑞利衰落信道和莱斯衰落信道中均比传统编码方式有更好的表现。除了典型的单模态数据之外

32、，用于语义通信的多模态数据传输框架也逐渐发展起来。例如，在与增强现实相关的应用中，不同类型的数据仍然是彼此相关的。通过考虑不同类型数据之间的关联，具有语义感知的多模态数据编码传输可以进一步提高系统性能。例如，在执行视觉问答应用中，查询以文本格式呈现，而答案以图像格式呈现。因此，研究人员设计了多用户多模态语义通信系统，分别使用基于循环神经网络和卷积神经网络的语义信道联合编码方案进行文本和图像传输，然后接收端通过融合语义来预测答案。除了视觉问答应用之外，基于 Transformer 模型的多用户多模态联合编码策略也开始应用到其他智能任务中，包括图像检索和机器翻译等任务。综上所述，与传统的编码方式相

33、比，语义-信道联合编码展现了更好的、更稳定的性能。总的来说，语义-信道联合编码的增益主要来自两方面。一方面，基于深度神经网络的语义编码器能够有效提取语义信息，实现了对原始数据的压缩，进而提高了通信效率。另一方面，语义信道联合编码器同时考虑信号的语义以及无线信道的状态，因此能够对通信环境进行自适应的改变。尤其在低信噪比条件下，语义信道联合编码增强了通信系统的鲁棒性，为重要的语义信息传输提供了保护。2.3 语义信息传输语义信息传输针对通信系统的信息传输，虽然语义通信采用与传统通信不同的编解码方式，但是语义信息传输同样受制于传统通信中普遍存在的约束条件，包括传输信道条件的不可预测性和网络资源的有限性

34、。因此在语义信息传输系统中必须应对现代通信系统带来的挑战。17/1262.3.1 语义信息的传输与挑战语义信息的传输与挑战无线通信环境中的衰落效应具有时变性，因此变化的衰落信道、不确定的信噪比（SNR）和误比特率对信息传输系统的性能产生影响11。传统信道编码通常设计用于静态信道环境，因此缺乏对动态信道环境实时性的考虑。在某些应用中，尤其是对实时性要求较高的场景，这可能会限制传统编码的适用性。为了确保最优性能，目前大多数端到端的语义信息传输系统通常针对特定的信噪比设计，这导致语义信息传输系统需要提供更大的存储空间以容纳多个网络模型，从而引发了设备侧的存储负载和通信延迟等问题。随着通信技术的发展，

35、大规模 MIMO 场景中的基站拥有大量天线，可为多个用户设备提供服务。MIMO 技术为通信领域带来了显著的性能改进，然而，其实现却需要占用大量存储空间和计算资源。大规模 MIMO 系统涉及多个天线和信道，在接收和发送端需分别处理多个输入和输出流，导致对于系统而言需要更多的存储器来存储相关的信道状态信息、矩阵权重以及信号处理算法。同时，面临挑战的还包括计算资源，因为多个输入和输出通道的复杂矩阵运算需要更高的处理能力。在 MIMO 系统的设计和实施中，必须平衡性能提升与存储空间、计算资源的消耗，以满足通信系统的要求。在从 5G 过渡到 6G 的过程中，MIMO 天线数量不断增加，要最大程度地利用这

36、些天线，基站需要实时了解瞬时的下行 CSI。然而，目前采用的通过三步交互获取下行 CSI的CSI反馈机制涉及上行资源的数据传输，而传统的方法存在一些问题，如基于码本的方式反馈开销急剧增加，基于压缩感知的算法迭代过程通常耗时较长，难以在计算受限或对时延要求较高的场景下使用。鉴于新兴应用对通信时延、能耗和算力等方面提出了严格要求，因此引入深度学习进行 CSI 压缩成为一种解决方案。在这方面，传统通信采用分离信源信道编码方式，而基于人工智能的 CSI 压缩假设信道编码模块和调制模块能够保证完美传输，即可以根据反馈信道质量自适应调整调制编码方式，成功传输所有的反馈码字。然而，这种编码方式下的 CSI反

37、馈存在明显缺点，如“悬崖效应”和由信道条件不匹配引起的信道译码错误。相反，联合信源信道编码方案在实际信道条件变得比预期差的情况下，仍能提供平稳的性能下降，使得恢复的 CSI对于基站的后续执行过程仍然具有价值。18/1262.3.2 应对现代通信挑战：语义信息传输系统的示例应对现代通信挑战：语义信息传输系统的示例由于语义信息传输系统与深度学习技术的密切结合，后者能够轻松地利用神经网络的特性，实现信息传输系统信源的自然冗余与信道的统计特性的匹配，从而提高动态信道环境的鲁棒性。图 2.6 级联信源信道编码中的资源分配策略12为了适应变化的信道环境，并针对有限的信道可用传输资源，如图 2.6级联信源信

38、道编码资源分配策略在信道条件不佳时为信道编码分配更多比特，而为信源编码分配更少比特12。分配给信道编码器更多比特增加了待编码信息的冗余度，以对抗强烈的信道噪声，反之亦然。这种级联信源信道编码中的资源分配策略允许在恒定的信道码率情况下接近最佳传输。然而，传统的语法信息传输系统通常采用分离的信源信道编码方法，导致信源的自然冗余与信道的统计特性难以匹配。基于深度学习的语义信息传输系统可以使用注意力机制动态调整与信源编码功能和信道编码功能相关的相应子网的大小。神经网络能够从信源中提取特征组，特征组通道间的关系通过软性注意力机制捕获，并针对不同的通道生成不同的缩放因子，用以增强或减弱该通道的特征与下一层

39、网络的连接13。语义信息传输与深度学习的高度组合性使其能够根据信道的信噪比自适应调整信源编码码率和信道编码码率，以适应各种信道条件。19/126图 2.7 CSI样本在角度时延域的可视化图像14在传统通信中，采用分离信源信道编码方式。因此，引入深度学习的 CSI 反馈方案主要基于分离源信道编码方案的通信系统中的信源编码模块。如图 2.7 所示，该方式下使用的截断二维离散余弦变换会导致一些有用的 CSI 信息被丢弃，并且在后续过程中无法对这部分数据进行补偿14。相比之下，语义通信采用的信源信道联合编码方式可以使用非线性变换网络替代基于信源编码的 CSI 反馈方法中使用的截断二维离散余弦变换，从而

40、大幅降低用户侧反馈 CSI时的功率需求，缓解了“悬崖效应”和延时问题。与传统的编解码方式相比，导致在 MIMO 场景下多发送端占用存储资源的现象，人工智能赋能的语义信息传输系统的编码器可以采用相同的网络结构，并在训练和测试过程中实现相同的参数。在发射端数量不同的情况下，接收端网络结构只需进行微小的调整即可适应，由此降低了模型复杂度，进而减少了存储资源的消耗15。这种灵活性和高度可适应性使得人工智能驱动的语义信息传输系统更为高效且经济，特别是在多发送端的复杂通信环境中。相比于传统的分离信源信道编码，先加密后压缩策略的加解密机制改变了信源的结构信息，可能影响联合信源信道编码在加密域进行编码传输的性

41、能，使得其难以与端到端的语义信息传输系统耦合。因此，传统的加密技术均无法解决深度联合信源信道编码中的信源隐私保护问题，借助特征提取网络度量视觉安全性，设计了保护和去保护网络结构用于端到端的语义信息传输系统信息保护16。与传统的加密方法相比，该保护方法会具有更好的信源重构性能，同时对多种端到端的语义信息传输系统具有良好的泛化性。20/126综上所述，语义信息传输系统同传统通信系统一样面对着无线传输信道条件的不可预测性和网络资源的有限性的问题。同时由于语义通信系统采用联合信源信道的编码方式，导致传统分离信源信道编码的机制中的 CSI 反馈的方式和传输信息保护策略不适用于语义通信系统，但是也正因为语

42、义信息传输系统的联合信源信道编码方式与深度学习方法的高可组合性，使得它可以更方便地融入到神经网络中。通过实际示例，阐述了语义通信系统相比传统通信系统，能更好地自适应各种信道条件，使基站能够更有效地有效利用恢复的 CSI 进行后续处理，使多发送端占用存储资源减少，使端到端信息传输系统具有更为泛化的信息保护方案。2.4 语义通信与现有系统的兼容性语义通信与现有系统的兼容性语义通信可以大幅压缩传输数据带宽，保留数据的语义信息，在未来以“智能体”为通信终端的应用场景中具有巨大的研究价值。但是，如何在现有通信系统中兼容实现语义通信，如何将人工智能（AI）与经典通信系统融合，如何打破数据信息与语义信息之间

43、的壁垒，还需要进一步研究。2.4.1 语义通信与信源编码兼容语义通信与信源编码兼容语义通信系统一般基于人工神经网络（ANN）搭建，直接以图片或文本作为输入，进行语义编码。但是，由于 ANN 架构基于概率模型搭建，利用梯度回传算法进行训练，因此其输入输出一般要求为 0 到 1 之间的浮点数，表示具有概率意义的数据，导致语义通信无法直接与处理二进制比特的经典编码融合。为了探索经典信源编码与语义编码之间的关系，研究从数据空间到语义空间的映射，需要改进现有的语义通信系统，使其能够接受二进制比特作为输入。如图 1 所示，是一种数据编码与语义编码分离实现系统（SDSC）的架构示意图，简称为 SDSC 系统

44、17。该系统在一般的语义编码器前，添加了数据到语义的信源编码转化模块，使得数据编码可以作为语义编码的输入，语义编码可以在分离框架下兼容经典信源编码实现。21/126图 2.8 数据编码与语义编码分离实现系统架构示意图针对文本的信源编码转化模块可以考虑几种不同的方式构建，这里采用一个全连接网络实现转化模块，此时需要将不等长的输入进行填充操作，以便于可以作为一个全连接网络的输入，在后续输入语义编码模块时，可以将语义编码模块中的 Embedding 层替换为全连接层，从而实现信息的最大化传输。此外，需要注意的是，由于网络输入和输出具有概率意义，而信源编码的码字，二进制比特表示一种变化情况，而非概率。

45、因此，在实现信源编码转化模块时，需要采用二进制比特的出现概率代替 01 代表信源编码，这样相当于将比特信息转化为概率信息。之后，经过信源编码转换模块，得到等长码字，且长度为词表大小的编码，进而输入语义编码系统中，最终得到语义特征向量作为输出，语义特征向量经过信道被信宿接收，最后通过语义译码器可以将其恢复为原始消息。其中语义编译码器可以采用 Transformer 模块搭建，其构建参数见表 2.1所示。表 2.1 构建 SDSC系统所采用的 ANN模型参数SDSC 模型模型结构结构参数与设置参数与设置信源编码信源编码Huffman code3780信源编码转化信源编码转化模块模块Dense+Re

46、lu3780Dense128Value Normoalization1/128语义编码器语义编码器Position Encoding512Dropout=0.122/126Transformer Encoder3128(8 heads)Dense+Relu256Dense16Power Normoalization/2信道信道AWGNSNR:-68 dB语义解码器语义解码器Dense+Relu128Dense+Relu512Dense128Transformer Decoder3128(8 heads)Dense3780SoftmaxGreed search针对上述 SDSC 系统的实验结果如

47、图 2.9 所示，蓝线表示直接接收文本或图片作为输入的语义编解码器通信性能。红线表示无损 Huffman 编码训练的 SDSC 系统通信性能。黄线表示打乱的 Huffman 码字训练的 SDSC系统通信性能。蓝线和红线的性能非常接近，这表明 SDSC系统能够通过信源编码转换模块，有效地分离信源编码和语义编码。这种能力允许将语义编码实用地集成到通信系统分离框架中。此外，与红线相比，黄线的性能显著下降，这表明保留语义建模信息对于成功地将经典码字转换为语义特征至关重要。这证实了语义通信系统的部分优势源自自然语言建模过程，即自然语言中的文本顺序。23/126图 2.9 采用不同数据训练，语义通信系统的

48、性能对比横坐标代表加性白高斯噪声（AWGN）信道的信噪比（SNR），纵坐标表示双语评估理解（BLEU）度量，用于衡量解码消息与原始消息之间的相似度。展示了以 BLEU1-4 为评估指标的性能曲线。17此外，为了验证部分数据失真不会对语义通信系统性能造成影响，即不会影响语义保真，通过将 Huffman 编码截短的方式来获得数据失真编码。为了确定 Huffman 编码需要截短的长度，对由语料编码获得的所有 Huffman 码字进行了统计，结果如图 2.10 所示。可以看到 Huffman 码字的长度主要集中在 9-12 之间，因此可以将 Huffman 编码长度截短为 9 或者 12。此外，为了进

49、一步说明语言建模信息对语义编码的重要性，还选取了截短为 6 的 Huffman 编码。需要注意的是，当码字由于截短丧失了可译性，其会被译码为。24/126图 2.10 针对语料进行的 Huffman 编码，其码字长度分布。横坐标为码字长度，纵坐标为码字数量17图 2.11 展示了有损信源编码可能导致语义通信系统性能下降程度。蓝线表示用无损Huffman 编码训练的 SDSC 系统的传输性能，红线代表用截短为 12 比特的失真 Huffman编码训练的 SDSC系统的传输性能，黄线展示了用 9 比特失真 Huffman 编码训练的 SDSC系统的传输性能，紫线展示了用 6 比特失真 Huffma

50、n 编码训练的 SDSC系统的传输性能。当有损编码仍保留大部分语义建模信息时，如图中展示的 Huffman 编码截短为 12 位的情况，虽然它可能在传统通信系统中造成严重错误，如悬崖效应，但是语义通信系统的性能损失微不足道。这主要是因为语义编解码器可以基于语义建模信息恢复无法解码的编码词，然后将其推断为合理的句子。然而，当有损编码导致大部分语义建模信息丢失时，如图中展示的霍夫曼编码截短为 6 位的情况，它可能导致性能下降，甚至是语义通信系统的完全崩溃。但是，当截短为 9 位时，BLEU 依然能够达到 0.8 以上，这代表即便传输数据被大幅度缩减，但是其具有的语义依然是可以理解的。这说明，在语义

51、保真的情况下，语义编码可以大幅度节省需要传输的数据。图 2.11 采用不同程度的失真数据训练，语义通信系统的性能对比。横轴表示 AWGN信道的信噪比 SNR，而纵轴代表 BLEU 度量。展示了使用 BLEU1-4 作为评估指标的性能曲线17。综上所述，SDSC 系统能够接收二进制比特作为语义编码的输入，从而将经典信源编码与语义编码进行分离实现，使得语义编码成为增强信源编码的附属模块，从而实现与经典通信系统的兼容。此外，语义编码的使用，能够极大减少经典编码的数据传输量，同时保证通信数据在语义维度上的保真。针对上述 SDSC实验，如表 2 所示，基于语义编码的25/126经典信源编码可以将传输数据

52、量减少 75%以上，而通信双方仍然在一定程度上可以互相理解，即 BLEU 在 0.8以上。表 2.2 Huffman 码字截短为不同长度时，所节省的传输数据量信源编码截短信源编码截短/bits1296节约数据量节约数据量/百分比百分比20.3%75.6%92.4%2.4.2 语义通信与经典通信系统的分层架构兼容语义通信与经典通信系统的分层架构兼容事实上，基于 Shannon 的分离定理，经典通信系统已经形成了复杂的分层结构，语义通信与经典通信的兼容不止是与经典信源编码和信道编码的兼容，而是 JSCC 架构与整个分层结构的兼容。根据语义编译码器在无线通信系统中的功能和位置，有多种不同的潜在网络架

53、构，不同架构存在不同的待解决问题。总体而言，越往底层兼容，待解决问题就越多。图 2.12 应用层兼容语义编译码。如图 2.12 所示，为应用层兼容语义编译码方案。数据在应用发送端进行语义编码，并在应用接收端进行语义译码，语义特征在无线通信系统中传输，对无线通信系统透明。2.5.1 节中的实验结果表明，应用层兼容语义编译码相对较好实现。但是，也需要空口传递给语义模块相应的信道信息，以便于支持语义模块针对不同信道和信源的微调，达到和JSCC 设计的语义通信系统相同的性能。在此架构中，语义编译码模块可以利用边缘计算（MEC）架构部署在靠近无线接入网（RAN）的位置，并通过网络能力开放获得对无线信道环

54、境的感知。26/126为了解决上述问题，中兴通讯提出了语义通信强耦合与弱耦合的概念（紧耦合与松耦合）。强耦合是指语义编译码器必须通过信道进行端到端的联合训练，在训练过程中梯度过信道，使得编译码器参数根据信道参数进行优化。弱耦合是指语义编码器和语义译码器可以分开训练，训练时需要的梯度信息可以通过弱耦合的方式，以某种信息形式传递。应用层要兼容实现语义编译码，就需要实现弱耦合的语义通信。图 2.13 核心网兼容语义编译码。如图 2.13 所示，为核心网兼容语义编译码方案。在该方案中，由核心网进行语义编译码，并进行知识库维护。与应用层兼容语义编译码方案相比，核心网的兼容方案与应用相对独立，可以将针对特

55、定应用的语义编译码推广到特定类型的业务。但是也存在一些问题。首先，语义编译码放在核心网会导致数据源到核心网的数据传输无法享受语义通信的增益；其次，核心网需要对用户数据传输中的语义进行跟进和解读，在数据安全及用户隐私保护方面提出了新的需求；最后，核心网需要负责对语义编译码器和知识库进行维护，增加了核心网的复杂度，可能需要部署更多的计算和存储资源，可能会产生更多时延。27/126图 2.14 RAN高层兼容语义编译码。如图 2.14 所示，为 RAN 高层兼容语义编译码方案。此时语义编译码模块与信道可以直接交互，构建 JSCC语义通信系统。但是，与核心网的兼容方案类似，该结构需要 RAN 能够跟踪

56、和解读用户语义数据，并且需要增加 RAN 高层的复杂度。此外，数据经过多层加密，并针对原始发送顺序进行了重排，是否还能在 RAN层进行语义特征提取，需要进一步研究。图 2.15 RAN底层兼容语义编译码。如图 2.15 所示，为 RAN 底层兼容语义编译码方案。该方案支持语义编译码的强耦合实现方式，但是存在与 RAN高层兼容方案类似的问题。28/1263.单模态语义通信单模态语义通信近年来，深度神经网络在自然语言处理，语音信号处理，和计算机视觉领域得到了广泛应用。这些模型使用预训练模型在大型通用语料库上进行训练，可以应用于分类任务、数据集成、聚类关联等任务18-20。一般来说，系统由一个发射器

57、和一个接收器组成，发射器的数据是单模态的，这些模型只使用一种信息类型（文本、图像、视频、数据），在学习问题中被称为单模态模型。单模态语义通信可以用于各种应用场景，包括自然语言处理、语音识别和图像处理等。在单模态语义通信中，语义信息的传达主要依赖于所选择的模态。由于传感硬件设备的普及程度较低，移动设备难以从多种信息源中采集相关数据，因此单模态语义通信仍然是目前的主要研究重点。目前，语义通信系统在提高单模态数据通信的传输效率和误码率方面取得了良好的效果。特别是在文本和图像模态的数据处理方面。3.1 面向文本的语义通信面向文本的语义通信对于 6G 网络，对通信效率高、计算成本低等智能通信的需求越来越

58、大。这使得研究人员将研究重点放在语义层面的高效传输上，并关注传输数据的上下文相关性。人们致力于在有限的带宽和鲁棒性、适应性和可靠性下最大程度的提高通信效率。在文本数据处理方面，文本语义编解码器设计21、文本语义关联挖掘2、文本语义通信系统性能优化22等方面都取得了一定的进展，在本节中，我们总结了语义通信在文本传输方面的相关解决方案。语义通信是一种从信源中提取语义信息并对其进行编码以便在噪声信道中传输的通信方法。与传统的无线通信不同，语义通信不要求接收端的解码顺序与发送端的编码顺序严格一致。它只要求接收端恢复的语义信息与发送端传输的语义信息相匹配，从而从传统的无差错比特传输转变为简洁的语义传输。

59、具体来说，传统的无线通信是强调无错误符号的语法编码传输。语义通信是对源传输内容意义特征的提取、编码和传递，重点是保持接收到的信息与源内容意义的一致性。语义通信突破了传统的比特级传输，实现了语义级传输，架构设计也逐渐从模块化设计向集成化设计转变。如图 3.1 所示，为语义通信的联合源信道传输体系结构，源信息通29/126过编码和解码通过物理信道传输。源信息可以是文本、图片、音频等。与传统无线通信的体系结构相比，语义通信的传输体系结构增加了语义层。语义层由语义编码器、语义解码器和共享知识库组成。语义层实现源信息的语义特征提取和接收信息的语义恢复，以完成高效的传输和通信，传输层用于正确传输语义信息。

60、具体来说，源信息首先经过语义编码器的语义编码过程，再经过信道编码和物理信道实现传输。最后，通过信道解码和语义解码进行信息恢复。语义编码过程可以通过语义特征提取来减少信息传输的冗余。图 3.1 联合源信道语义通信系统框架23自然语言处理使机器理解人类语言，其主要目标是理解语法和文本。语义通信系统利用发送方和接收方共享的背景知识对信息进行语义压缩和理解。目前，语义通信技术被广泛应用于各种通信任务中。在语义编码优化方面，对于文本传输，已经有一些初步研究涉及到文本的语义传输。Xie 等人24针对文本信息传输提出了基于深度学习的语义通信系统(DeepSC)，初步考虑了信源一信道联合编码，使接收端从语义角

61、度恢复文本，旨在通过恢复句子的含义而不是传统通信中的位或符号错误，来实现系统容量的最大化和语义错误的最小化。为了准确地验证语义通信的性能，论文初始化了一个新的度量，即句子相似度。DeepSC 的变体称为 L-DeepSC25也用于文本传输，这里考虑了一个云/边缘平台执行基于深度学习的语义通信模型训练和更新的物联网网络，而物联网设备执行基于训练模型的数据收集和传输，提出了一个基于深度学习的轻量级分布式语义通信系统用于低复杂性的文本传输。通过分析 L-DeepSC 训练过程中衰落信道在前向传播和后向传播中的影响，该文献提出一种利用信道状态信息来辅助训练处理的方法以减小衰落信道对传输的影响。随着深度

62、学习的发展，自然语言处理使人们能够分析和理解大量的语言文本。为了更好地借助自然语言处理在信道上实现语义通信，文献22提出了一种基于通用变压器的新型语义通信系统。与使用自然语言处理的固定转换区相比，通用变压器中引入了自适应循环机构，30/126进而更灵活地传输具有不同语义信息的句子，并在各种信道条件下实现更好的端到端性能。Yan 等26在 DeepSC27语义相似性的基础上，提出了一种称为语义谱效率(S-SE)的效率度量来表示文本传输的传输效率，并研究了语义感知多用户通信网络中的资源分配问题，以优化语义通信的信道分配和语义符号数量，使其能够传输更多的语义信息，从而提高通信的可靠性和效率。对于具有

63、不确定性的通信场景，Zhang 等28提出了基于深度学习感知上下文的语义通信模型，以学习语义和上下文特征作为背景知识，通过背景知识可以应用于一些具有不确定性的非联合设计的通信场景，并基于词性与上下文设计编解码策略，在减少信息传输比特数和提高传输信息与恢复信息之间的语义准确性方面是有效和可靠的。在此基础上Liu 等28提出了一种扩展的基于上下文的语义通信系统。建立了一个提取和恢复句子语义特征的模型。该方法将段落的文本作为输入，并在编码器对当前句子进行编码时考虑上下文含义以支持语义表示。在解码过程中，使用先前解码的信息和当前接收到的符号作为扩展解码的输入。Sachin Kadam29设计了一种自动

64、编码器，该编码器仅传输提取的关键字，并使用接收到的关键字利用收发端共享背景知识进行数据恢复，采用该方法可以节省每句传输字数。Hu 等30也基于语境关联理论研究了语义通信，并提出了一个新框架Things2Vec，他们利用图来建模由事物交互产生的功能序列关系（称为物联网上下文图），并将该图嵌入语义通信框架，通过图嵌入技术从事物的交互中产生潜在的语义表示。在这种方法中，他们将语义关系映射到物联网的上下文图中，实现完整的语义信息获取，从而实现 Things2Vec 的有效性，并保证 SC通信的可靠性。文献31针对无线网络提出了一种新的语义通信框架，采用基于静态学习率进行策略梯度更新的强化学习算法，该算

65、法与注意力网络相结合。在该框架中，基站从文本数据中提取了由语义三元组组成的语义信息，并将其传输给每个用户；收到语义信息后，每个用户使用图形或文本生成模型恢复原始文本。在此基础上，32与注意力策略梯度(APG)算法31采用静态学习率进行策略更新不同，提出了一种用于文本数据传输的语义通信 框架，在这个框架中采用结合注意力网络的基于近端策略优化的强化学习(RL)算法，可以根据旧策略与更新策略的差异动态调整学习率，从而保证收敛到局部最优解。其中语义信息由一组语义三元组组成的 KG 表示，接收方使用图-文本生成模型恢复原始文本。Jiang 等33将知识图谱引入到语义分析中，传输的句子使用 KG 转换成三

66、元组，这些三元组被视为语31/126义提取和还原的基本语义符号，并根据语义相关性进行排序，对源信息进行转换，提高语义准确性。采用语义提取和恢复方法减少传输信息冗余，自适应调整传输内容，提高可靠性。Zhou 等33提出了一种利用知识图的认知语义通信系统，并设计了收发器的共享知识库，实现语义信息的提取和恢复。34是对2工作的扩展，作者针对单用户和多用户语义通信场景提出了两种认知语义通信框架。此外，还通过挖掘知识图谱中的推理规则，提出了一种有效的语义纠错算法，使接收方能够在语义层面纠错。在数据压缩率和通信可靠性方面都取得了不错的结果。为了评估文本的质量，多年来已经开发了几个语义度量标准。如语义距离、

67、单词错误率(WER)、双语评价替代(BLEU)、基于共识的图像描述评价(CIDEr)、语义相似度量(SSM)、SSM 的上尾概率、使用句子 bert15 的 SSM(使用 SBERT 的 SSM)、具有显式排序的翻译评价度量(METEOR)等。3.2 面向语音的语义通信面向语音的语义通信语音信号由于其特殊性，不仅包含了语音中独有的语音特征信息，比如背景噪声，说话者的音色，情绪等，还包含了说话者所表达的文字信息，因此相对于自然语言处理的蓬勃发展，语音信号处理的研究进展相对缓慢。然而，目前语义通信在语音传输方向已经取得一定的研究成果。Weng 等人35基于深度学习提出了用于语音传输的语义通信系统(

68、DeepSC-S)，其联合设计了语义-信道编码器用于从原始语音中提取后发送全局语义信息，并有效抑制无线信道所带来的失真和衰减，从而在接收端恢复出于原始语音几乎完全相同的语音序列。与传统方法将输入语音映射成比特序列不同，DeepSC-S 通过基于卷积神经网络（CNN）的语义编码器学习语音序列中的全局语义信息，并将其映射成基于浮点数的语义特征，然后通过信道编码器转换成可传输的符号序列。DeepSC-S 在整个信号传输过程中，不包括比特-符号之间的转换，所以，为了衡量原始语音序列和恢复的语音序列之间的误差，采用MSE 作为损失函数训练整个端到端语义通信系统的网络参数。另外，为了进一步对语义信息进行分

69、析，DeepSC-S 设计了基于一种注意力机制的语义编码器(SE-ResNet)，其核心是考虑语音序列中的静音片段和说话片段所携带的信息量差异，通过神经网络网络学习得到不同语音片段的重要性并分配不同的重要性，并且在参数更新阶段优先更新重要性高的32/126部分，因此更加准确地恢复出携带更多语义信息的语音片段，从而极大程度地提升恢复出的语音序列的整体准确性。相比于传统通信系统，DeepSC-S 被证明在语音清晰度恢复上有很大的提升，从而证明了基于深度学习的语音语义通信系统的可行性。另外，DeepSC-S 也超越了采用基于深度学习的信源编码级联传统信道编码，以及基于深度的信源编码级联基于深度学习的

70、信道编码的框架，其进一步证明了语义编码对于语音压缩和语义提取的有效性，和语义-信道联合编码机制的优越性。在 DeepSC-S 的基础上，Xiao 等人在文献36提出了一种更加高效的语音语义编码传输方(DSST)，其引入了一种非线性变换将语音信号映射到语义潜在空间，并在语音潜在空间的基础上设计了一个熵模型来估计语义特征之间的重要性,以此来实现更高效的语义压缩从而降低传输所需的数据量。另外，DSST 还提出了信道信噪比适应机制，训练获得鲁棒的神经网络模型可在各种信道状态下获得稳定的语音恢复性能。在 DSST 中，采用 CNN 来构建主题 JSCC 架构并设计了一个边缘信息传输链路将从原始语音序列中

71、提取的辅助信息发送至接收端以提升最后语音重载的准确性。而在文献37中，Zhou 等人基于 Transformer 来构建端到端的语音语义传输系统(DeepSC-TS),该工作中首先基于 CNN 对语音序列进压缩，然后采用 Transformer 来学习相关语义特征，并在接收端设计了基于 CNN 和 Transformer 的特征重提取器来提取浅层语义特征和深层语义特征，最后通过一层 CNN来实现语音的有效重载。33/126图 3.2 DeepSC-S 与不同的语音传输系统框架之间的性能对比面向语音的语义通信系统同样被用于实现各种下游智能任务。用于语音传输的语义通信系统同样被应用到面向任务。对于

72、语音信号，两个比较典型的智能任务是语音识别和语音合成。因此，为了弥补面向任务的语义通信在语音信源方面的空缺，Weng 等人在文献38中提出了用于语音识别和语音合成的语音语义传输系统(DeepSC-ST)，其核心在于构建一个强大的语义编码器来提取语音信号中的文字信息并转换成相应的语义特征。DeepSC-ST 设计了基于 CNN+GRU 网络架构的语音编码器，极大程度地对原始语音进行压缩以过滤到与语音特征相关的信息，仅保留与文字相关的语义信息，从而降低传输所需的数据量并提升带宽利用率。并且，在接收端恢复出准确的文字相关语义特征后，通过一个特征解码器可以直接获得用户所需的文字信息，实现端到端语音到文

73、字传输。为了实现语义-信道联合编码的统一训练，作者采用 CTC 作为损失函数来衡量系统损失，并采用字错率(WER)和词错率(CER)来衡量获得的文字的性能。另外，为提升系统输出的多样性且为用户提供清晰的语音序列，接收端获得文字被送入到独立的语音合成模块来获得完整的语音序列。因此，通过联合语义-信道编码提取和发送文字相关语义特征，DeepSC-ST 实现了用于语音识别和语音合成的语义通信系统。另外，Han 等人39在 DeepSC-ST 的基础34/126上加入了去冗余模块和基于额外语义信息提取的对齐模块，从而提升了对原始语音的压缩率并提升了语音识别的准确率。在该方法中，作者采用 BLSTM+全

74、连接层的架构来构建语义编码器，在接收端基于全连接层来设计语义解码器，并且提出了基于 Transfomer 的语义纠错器来进一步提升语义特征的保真度，实现高效的语音到文字传输。另外，在语音合成方面，作者设计了基于 Transformer 的生成对抗网络(GAN)的机制来训练获得一个强大的生成器以合成清晰的语音序列。图 3.3 用于语音识别和语音合成的语义传输系统(DeepSC-ST)38。为了进一步拓展面向任务的语义通信系统在语音信源方面的应用。Weng 等人40构建了用于语音到文字翻译和语音到语音翻译的语音传输系统(TOS-ST)。在该方法中，作者利用 Transfomer 设计了语义-信道联

75、合编码机制提取深层语义特征，并在接收端首次提出了语义到文字模块。在语义到文字模块中，作者利用 Transformer 编码器和一个基于RNN 的检测网络构建了一个语义错误检测器用于检测恢复语音中的受损语义并返回一个表征向量。然后基于该表征向量，作者利用 Transformer 解码器和全连接层设计了一个语义错误纠错器来修正语义错误检测器中所检测中的受损语义，并采用 CE 作为损失函数计算语义损失并更新语义到文字模块的所有神经网络参数，以此实现高保真的语义传输从而提升翻译后的文字的可懂性和准确性。另外，为了满足多语言多信源的多样化的语义通信系统，作者利用多层 Transformer 构建了目标文

76、字到目标语音的语音合成机制，为只懂目标语言的用户提供清晰流畅的语音序列。因此，TOS-ST 实现语音到文字的不同信源，以及多种语言之间的传输系统。另外，为了使语音语义通信更加适用于到实际的通信场景，Weng 等人41设计了用于 MIMO 信道传输的语音语义通信系统(SAC-ST)。在该方法中，作者首先基于 SVD算法35/126对 MIMO 信道进行预编码操作，将 MIMO 信道分解成多个并行的 SISO 信道，且基于奇异值之间的差异，不同的 SISO 信道上的有效信噪比与特征值大小保持正比例关系。然后，作者根据预编码的 MIMO 信道采用 Transformer 和全连接层构建了语义-信道联

77、合编码机制实现语音到文字的传输范式。此外，文献41中首次提出了针对语音信号的语义分析机制，其核心是将从预训练的语义编码器提取的语义特征送入到采用全连接层构建的语义觉知网络进行语义分析，并返回一个重要性向量来衡量每一个语义特征的重要性，以此来识别出包含重要语义信息的特征向量。最后，结合 MIMO 信道分解得到的多个不同信噪比的 SISO 信道和训练好的语义觉知网络，作者巧妙地设计了一个根据语义重要性的来对语义特征进行分级传输的方法。具体来说，传统的比特层传输中，不同的比特序列包含的信息重要性被认为是平等分布的，所以将多个比特序列通过至具有不同信噪比的并行 SISO信道进行传输时，任何随机的分配所

78、带来的增益都是一致的，而在 SAC-ST 中，根据神经网络学习得到的重要性向量，将更重要的语义特征分配至具有更高信噪比的 SISO 信道传输，而重要性更低的语义特征被分配至更低信噪比的 SISO 信道传输，这样来保证接收端恢复的语义特征的整体保真度。通过 SAC-ST 的语义重要性分级传输机制，极大程度地提升了 MIMO语义通信系统中语音到文字传输的准确性。3.3 面向图像的语义通信面向图像的语义通信由于图像数据具有更丰富的语义，在图像语义通信领域，已经有许多研究工作证明了深度学习方法在图像编码和传输方面的潜力。针对图像信源的语义提取，Gunduz 与Kurka 等人42基于卷积神经网络提出了

79、一种用于无线图像传输的联合源信道编码(JSCC)技术，该技术不依赖于显式编码进行压缩或纠错，直接将图像像素值映射到复值通道输入符号，编码器和解码器函数被建模为互补的卷积神经网络，并在数据集上进行联合训练，以最小化重建图像的均方误差，实现了较好的性能。并在此基础上研究了将无噪声或有噪声信道输出反馈纳入传输系统43，引入了一种基于自编码器的 JSCC 方案，利用信道输出反馈，并在固定长度传输的端到端重建质量方面提供了相当大的改进。44提出了非线性变换信源信道编码(NTSCC)，该方法能够与非线性变换下的信源分布紧密适应，在该模型中，发送端首先学习非线性分析变换，将源数据映射到潜在空间，然后通过深度

80、源信道联合编码将潜在表示传输给接收端。有效地提取了源语义特征，并为源信道编码提供了辅36/126助信息，并且通过在不同分辨率的测试图像源中，NTSCC 传输方法的性能总体上优于使用标准深联合源信道编码的模拟传输和基于经典分离的数字传输。45提出了一种基于生成对抗网络(GANs)的图像语义编码方法，其目标是语义交换而不是符号传输，使用多个感知度量来训练和评估所提出的图像语义编码模型。为了解决传输数据的统计特征分布与训练数据集的统计特征分布普遍不同这一难题，Zhang 等人46利用生成式对抗网络（GAN）支持的域适应（DA）方法，将观测数据转换为类似经验数据的形式。数值结果表明，该方法在图像传输和

81、分类任务中分别非常有效。在传统的通信系统中，一般的信源编码器和信道编码器可以根据信噪比实现自适应的 CR 和信道编码率，从而在有限的带宽条件下实现最优的性能。为了填补语义通信与传统通信之间的这一空白，12中的作者考虑了一种具有信噪比反馈的点对点图像传输系统，他们将计算机视觉中广泛使用的注意机制整合到语义提取中。注意机制采用额外的神经网络对原有神经网络中的某些特征进行严格选择或对不同的特征赋予不同的权重，该方法具有更高的鲁棒性、通用性。47提出了一种知识引导语义计算网络(SCN)，该网络由一个主要的知识引导语义树模块和一个辅助的数据驱动的轻量级神经网络模块组成，用来提取语义信息，语义树模块通过前

82、向计算过程快速计算出分类结果。轻量级的神经网络模块可以帮助语义树模块提高分类能力。48提出了一种基于压缩比优化的语义通信方法，通过优化图像数据的压缩和传输过程，减少通信延迟，提高数据传输的可靠性。首先，在特征提取阶段，该方法从原始图像数据中提取关键的视觉特征。随后，在语义关系提取阶段，我们进一步分析这些特征之间的关联关系，以了解图像数据的语义内容。最后，在语义压缩阶段，我们实现了一种自动选择最优压缩比的自适应优化方法。在保证图像质量的同时实现了高压缩率，提高了抗干扰能力。5提出了 SC-AIT 的人工智能语义通信架构，接受知识库的训练，学习如何提取语义信息并通过通信渠道传输，大大提高分类、检测

83、等图像处理任务的执行效率。Zhang 等49开发了一种用于图像传输的语义通信框架，提出了一种基于值分解的熵最大化多智能体强化学习方法，使服务器能够以分布式的方式协调训练并进行资源块分配。在针对有关通道反馈的 JSCC 研究方面，50提出了一种基于视觉转换器(ViT)的多输入多输出(MIMO)系统无线图像传输的联合源信道编码(JSCC)方案，称为 ViT-MIMO。该模型能够根据源图像和信道条件自适应学习特征映射和功率分配，ViT-MIMO 可以显著提高不同的信道条件下的传输质量。51提出了一种新的无线图像传输模式，该模式可以利37/126用接收器的反馈，称为 jsccformer-f。文中考虑

84、了一个块反馈信道模型，其中发射器在每个块后接收无噪声/有噪声信道输出反馈。jsccform-f 的统一编码器可以利用源图像的语义信息，从反馈信号中获取信道状态信息和解码器对源图像的当前信念，在每个块上生成编码符号。解决了现有信道反馈图像传输方法存在的四个关键问题，即复杂度高、不适应性、次优性和非泛化性问题。在面向任务的通信中，多个人工智能代理以集中或分布式的方式合作完成任务，任务中的语义感知通信以主动或被动的方式在不同终端之间建立多个显式或隐式连接，以增强智能体之间的知识。52关注由无人机图像传感驱动的面向任务的语义通信场景，设计了一个节能的面向任务的语义通信框架，并将语义通信视为突破香农极限

85、的一项有前途的技术，并将其视为未来 6G 网络和智能医疗等应用的关键推动因素。Kang 等人53提出了一种联合图像传输和场景分类方案。他们利用深度强化学习来识别服务于传输任务的最基本语义特征，从而在分类精度和传输成本之间实现最佳权衡。迄今为止，已经提出了许多用于图像质量评估(IQA)的语义度量。常用的有图像语义相似度、峰值信噪比(PSNR)、图像与图语义相似度(ISS)和识别精度等图像语义通信指标。3.4 面向视频的语义通信面向视频的语义通信3.4.1 视频传输背景视频传输背景伴随着社会科技的发展，视频的传输已成为人们工作和生活中不可或缺的一部分。然而，当前无线视频传输系统在面对时变信道条件时

86、容易受到干扰，这可能导致视频画面模糊、卡顿或丢失。特别是高分辨率视频的传输需要大量的传输资源，使得在低网络带宽或不稳定网络环境下保持流畅的视频通信成为一项挑战。为了解决这些问题，一些相关工作已经着眼于语义通信相关技术的应用。通过引入语义通信，系统可以更加智能地理解和处理视频内容，而不仅仅是简单地传输图像数据，从而提高视频会议的质量。3.4.2 语义视频传输语义视频传输语义通信技术能够识别并优先传输视频中的关键信息，如人物表情、动作或重要场景，而对于次要信息则可以采用更为压缩的方式传输，从而节约传输带宽。此外，通过实时调整视频编码参数和优化传输路径，语义通信技术还能够适应不同的网络条件，提升视频

87、传输的稳定性和效率。为了解决传统视频传输系统的问题，Wang 等人54提出了一种基于38/126联合信源信道编码（JSCC）的语义端到端视频传输系统（DVST），该系统利用非线性变换和条件编码架构来自适应地跨视频帧提取语义特征，并通过一组学习到的可变长度深度JSCC编解码器和无线信道传输语义特征，该方法可以超过传统的无线视频编码传输方案。Liang 等人55针对视频传输带宽资源进行了优化，提出了一种传输语义而不是视频所有比特的视频语义系统（VISTA），通过语义分割模块对源视频中动态和静态片段分别进行分类和编码，获得动态和静态片段的语义与位置信息。同时，通过适应不同信道条件的JSCC 模块对分

88、割后的信息进行编码、传输与解码。最后通过帧内插值模块在接收端恢复视频。3.4.3 语义视频会议语义视频会议针对语义视频会议（SVC）传输方面，鉴于视频中的背景基本上是静态的，且发言者变化不频繁，因此可以只传输表达面部表情变化的关键点，而其他在视频会议中保持不变的信息可以提前发送，从而有效提升语义视频会议的传输带宽56。同时，Jiang 等人57对于传输错误对 SVC 的影响进行了研究，并探究了评价视频质量的方法，以确保语义系统的性能。在存在传输错误的 SVC系统中，其结构如图 3.4 所示。图 3.4 文献57提出的语义视频会议（SVC）网络结构整个系统分为效果层、语义层和物理层。效果层反映了

89、传输和恢复视频之间帧的差异，语义层完成对视频的编码解码以及知识库的共享，而物理层则用于传输编码后的语义特征。在语义层，由于视频会议中的背景和说话人变化较小，发送端将视频的第一帧作为共享知识库与接收端共享。然后，关键点检测器提取当前帧中面部的变化，并将这些变化编码成相应的比特信息，通过物理层进行传输。接收端根据接收到的关键点和共享的第一帧视频，39/126利用生成器对传输的视频进行重建。由于自动混合重传请求（HARQ）可以应对无线通信中的时变信道，并且在带有确认（ACK）反馈信号的时变信道下能够进行重传和发送增量比特来提高传输质量。图 3.5 SVC各个模块的基本结构SVC 各个模块的基本结构如

90、图 3.5所示。关键点检测器由的卷积神经网络（CNN）组成，输入的图像矩阵通过抗混叠插值进行下采样，以降低关键点检测器的复杂度，然后分别通过具有三个块的 hourglass 网络、卷积层、softmax 激活函数得到最终的关键点。在编码器-解码器结构中，全连接层完成关键点维度的变化，量化操作将神经网络输出的浮点数映射为比特数据，以及比特映射为浮点数，解量化操作则将接收的比特重新映射为浮点数，以符合实际的通信场景。生成器则通过将共享、接收到的关键点以及预先共享的图片计算视频中的动态部分，完成发送视频帧的复原。40/126（a）(b)图 3.6 传统方法、SVC以及不同配置 SVC-HARQ在不同

91、 BER 下的性能57图 3.6（a）展示了传统的 H264 与 SVC 使用基于 VGG 的检测器在不同误比特率（BER）下的接收帧的可接受比率。图 3.6（b）则展示了传统方法、SVC 以及不同配置的 SVC-HARQ（其中的 SVC-HARQ(160,160 bits)表示第一次传输和第二次传输都传输160 比特信息）在不同误比特率（BER）下的吞吐量。吞吐量是在 1.526M 传输比特下接收到的质量可接受的视频帧的数量，其中当 BER=0 时，1.526M 位可以传输 10000 个由SVC 编码的视频帧。在图 3.6（a）中，在 BER 较小时，传统方法的可接受率高于 SVC，这是因

92、为 SVC 使用神经网络处理数据存在一定的压缩。随着 BER 的不断增加，H264 的性能急剧恶化，在 BER 高于 0.04时几乎难以正常工作。而 SVC 有着较强的抗干扰能力，即使当 BER 达到 0.2 时，其可接受率依然在 0.95 以上。在图 3.6（b）中，可以看出传统方法 AV1+LDPC-HARQ（AV1 视频编码、LDPC 信道编码与 HARQ 技术结合）只有较少的帧可以被接受，并且 SVC 随着 BER 的逐渐提高恢复视频的能力下降明显，而 SVC-HARQ借助增量比特有效对抗了信道影响，从而确保了传输视频的质量。3.4.4 小结小结在视频语义通信中，通过引入语义通信技术有

93、效缓解了无线视频传输系统受时变信道的影响。采用基于深度学习和信源信道编码的方法，如 DVST 和 VISTA，系统能够提取和传输视频中的语义特征，提高视频传输的稳定性与带宽利用率。同时针对语义视频会议，SVC 通过仅传输关键面部表情变化的关键点，并利用生成网络对视频帧进行复原，有效提升了传输带宽以及抗噪声干扰的能力，保障了视频传输在时变信道下的可靠性。41/1264.语义噪声抑制语义噪声抑制除了物理信道噪声及干扰，语义通信系统还会受到语义噪声的影响。语义噪声58是指使得收发端对语义信息的理解出现偏差的信号,如图 4.1所示。对语义噪声的鲁棒性是制约语义信息传输性能的一个关键因素。本白皮书介绍了

94、文本、语音、图片模态中存在的语义噪声，进而提出语义通信系统鲁棒性设计的必要性。具体而言，鲁棒的语义通信系统不仅需要探究语义噪声对传输性能的影响规律，还必须针对特定模态的数据设计鲁棒的语义通信系统来消除语义噪声，从而提高传输系统的语义保真度。图 4.1 语义通信系统中的语义噪声4.1 鲁棒的文本语义通信鲁棒的文本语义通信文本信息作为一种常见的信息载体，具有复杂的来源。一方面，互联网中存在大量的人为生成的文本信息，包括博客、维基百科等。另一方面，随着语音以及图像识别技术的发展，语音以及图像也为文本数据库贡献了大量的数据，比如自动音频识别技术、光学字符识别等都可以用文本信息来表征语音、图片的语义信息

95、。虽然这些文本信息可以作为深度模型的语料，提高模型对文本信息的语义理解能力，但是由于人为的错误以及识别算法的不完备性，文本数据中会存在一定的错误，这些错误就是文本模态中的语义噪声。如果不对这些错误进行纠正，会干扰系统提取出的语义保真度，进而影响语义通信系统的性能。但是现有的文本语义通信,如 DeepSC 等，都假定输入的文本信息是正确无误的，因此没有针对语义噪声进行系统设计，而实际中存在的语义噪声会严重影响这些语义通信系统的性能。42/126同时，自然语言处理领域中现有的语法纠错算法,如59等，往往独立于通信系统，仅作为前端或后端的辅助模块，在发送文本前或者重建文本后进行纠错，这种重复的语义提

96、取会导致计算资源的浪费。而语义通信由于传输的是语义信息，如果能够在语义信息上进行处理，就可以在通信的过程中消除语义噪声，提高计算资源的利用率。为了解决上述问题，60定义了文本语义通信中的语义噪声，并提出度量指标对语义噪声强度进行量化，同时还设计了一种带有语义纠错器的文本语义通信系统，鲁棒的语义通信系统的架构如图1 所示，该系统可以对语义信息进行修正，消除语义噪声，提高语义通信的语义保真度。图 4.2 鲁棒语义通信系统架构图值得一提的是，文本语义通信中的语义噪声研究存在一些挑战。首先，文本中的语义噪声形式十分多样，人为产生的拼写错误和自动音频识别错误在形式上具有很大差异，如何设计统一的鲁棒语义通

97、信系统来消除所有形式的语义噪声具有很大的挑战；其次，语义通信系统在添加了鲁棒系统设计之后，如何保证系统的通信速率不受到影响也是一个值得研究的课题。只有解决了这两个问题，才能实现鲁棒的文本语义通信，实现广义保真度下语义信息的协同传输。4.2 鲁棒的语音语义通信鲁棒的语音语义通信语音中的语义噪声具有一定的多样性，其包括了对于语音信号内文字信息的噪声，还有针对语音独有特性的噪声。因此，设计鲁棒的语音语义噪声抑制机制非常具有挑战性。另外，在实际的通信场景中，语音信号作为主要的信源之一，且因其数据量大的特性，因此占据了实际通信开销的大部分资源，并且在实际通信中，语音信号往往受到周边环境的影响而损坏其原先

98、所表达语义信息。因此，为了实现高语义保真的语音传输，需要对受损语音信号中的语义噪声进行有效抑制。43/126为了解决语音语义通信系统中的语义噪声问题，Weng 等人61在基于神经网络构建的端到端语音到文字翻译的传输范式中设计了针对受损语音的语音语义噪声抑制机制。具体来说，首先基于清晰的语音序列，设计了深度语义编码器来提取语音信号中的深度语义特征，从而实现准确的端到端语音到文字翻译。此外，为了抑制受损语音信号中的语义噪声，设计了深度语义补偿器来估计受损的语义信息并同时提取与目标语言相关的语义特征。具体来说，提出了基于生成式网络(GAN)的训练策略，通过训练判别器来区分准确的语义特征和通过深度语义

99、补偿器获得的受损的语义特征，然后通过训练深度语义补偿器来最小化准确的语义特征和受损的语义特征之间的差异。通过判别器和深度语义补偿器的交替训练，使得判别器无法再分辨出深度语义补偿器生成的语义特征和准确的语义特征，且深度语义补偿器能够获得几乎准确的语义特征，以此来抑制受损语音信号中的语义特征。图 4.3 鲁棒的语音语义传输系统架构图值得一提的是，目前语音语义噪声的研究只具备一些前期技术基础，对于如何分类和量化语音中的语义噪声还存在一些技术瓶颈。另外，如何将语音中的语义噪声与前面提及的文字中的语义噪声相结合，设计统一的鲁棒的语义噪声抑制机制，也是一个需要长期研究的课题。4.3 鲁棒的图像语义通信鲁棒

100、的图像语义通信随着深度学习技术的不断进步，语义通信作为提取和传输数据中与特定任务相关信息的重要方法，已经引起了广泛的关注。例如，在处理目标检测任务的图像数据时，我们只需关注目标的位置和形状，因为这些信息直接关系到目标检测任务的成功与否。而图像的背景信息，与任务并无直接关联，因此在传输过程中可以忽略。此外，语义通信对较差的信道环境具有较强的鲁棒性62。在许多对通信可靠性要求极高的应用场景中，这一点显44/126得尤为重要。虽然基于深度学习的端到端语义通信系统在一些特定任务中已经取得了令人瞩目的性能表现，但如何进一步提高其对噪声的鲁棒性，仍然是未来研究的重要方向。除了经典的信道噪声外，语义通信系统

101、还面临一种特殊的语义噪声挑战。这种噪声会导致发送端传输的语义信息和接收端解码出的语义信息之间存在失真，进而引发对语义信息的误解和解码错误。这种语义噪声可以在不同阶段产生，包括语义信息编码、数据传输和语义信息解码阶段。在数据传输阶段，由于信道衰落导致的信号失真，以及恶意攻击者发送的干扰信号都会引入语义噪声。图像中的语义噪声可以建模为对抗扰动，即对图像像素做一些细微的人眼无法察觉的改动，从而误导深度学习模型输出错误的结果，导致系统性能的恶化。针对端到端鲁棒语义通信系统在安全性和可靠性方面的研究，在未来的无人驾驶和智慧医疗等 6G场景中至关重要。图 4.4 语义噪声模型及鲁棒语义通信系统框架7首次对

102、图像在语义通信系统传输过程中的语义噪声进行了建模，并设计了一种端到端鲁棒语义通信系统来对抗这种噪声，同时降低传输开销。具体来说，针对不同场景，他们建立了两种物理层收发机中的语义噪声模型。第一种是在发送端实时地生成样本依赖45/126的语义噪声，即针对每张图像添加不同的语义噪声。发送端语义噪声一般在发送端编码时产生，如图 4.4(a)所示。考虑如下场景：有一个恶意攻击者攻击网站，下载图像数据集，将语义噪声加在该数据集的每张图片上，再将该修改过的数据集上传至网站。语义噪声对编码过程有严重的影响，并且会误导深度学习模型使其产生错误的结果，从而导致任务失败。对于难以获取 CSI 和传输符号的场景，他们

103、提出了一种在接收端产生的非样本依赖的语义噪声。这种噪声对不同输入样本产生相同的语义噪声，并添加到不同的传输信号中，导致大多数图像无法成功解码。该语义噪声产生的原因有硬件非理想特性，由信道引起的传输信号畸变，恶意攻击者的攻击等，如图 4.4(c)示。为了提高通信系统对语义噪声的鲁棒性，7提出了一种新的训练方法：权重扰动的对抗训练。这种方法的核心思想是将带有语义噪声的样本纳入训练数据集，从而在训练过程中就考虑到噪声的影响，有助于系统更有效地应对噪声问题。值得注意的是，由于无线通信环境的开放性和神经网络的脆弱性，接收端的语义噪声成为了一个严重的问题。63深入探讨了这一挑战，并为接收端语义噪声设定了四

104、项基本要求：面向语义、不可感知、输入无关和可操控性。基于这些要求，63利用神经网络设计了一个接收端语义噪声生成器，并结合了一种新型的混合对抗训练方案，显著提升了图像语义通信系统的鲁棒性。此外，语义通信还面临着一种“内源性风险”。这意味着，除了外部攻击者可能通过向原始数据样本添加语义噪声来干扰通信外，端到端训练过程中也可能产生语义噪声，这种噪声会降低训练后模型的性能。因此，对于语义通信系统的研究和设计，必须充分考虑和应对这些挑战，以确保通信的准确性和可靠性。46/1265.多模态语义通信多模态语义通信5.1 多模态语义通信架构多模态语义通信架构随着无线通信系统的发展，系统容量逐渐接近香农极限。为

105、了进一步提高通信系统的传输能力，现如今语义通信已经引起了工业界和学术界的广泛关注64。与需要正确传输原始符号的传统通信不同，语义通信聚焦于如何准确传达符号的内在语义信息而不是符号本身，通过提取出与接收端的任务相关的信息进行传输，可以有效地完成数据压缩，从而提升信息传输的有效性。同时，随着通信和深度学习的融合，现已可以通过深度神经网络从源数据中提取与任务相关的语义信息，并用编码的特征来表示。即使是在较差的信道环境中，基于深度学习的语义通信研究已经实现了较大的性能提升。本篇旨在综述已有单模态语义通信的相关工作以及多模态语义通信的挑战和研究现状，介绍多模态融合技术，整体框架如图 5.1所示。图 5.

106、1 本篇整体框架通常信源数据主要可以被分为文本、音频、图像和视频四类模态。大多数现有的语义通信研究都围绕上述几种模态展开。如基于 Transformer 的联合语义信道编码方法24，聚焦于文本的数据类型，在考虑加性白高斯噪声（AWGN）的影响下，能够很大程度上去除信道噪声及语义噪声。除此之外，考虑到文本中某些词句具有更强的语义模糊性，一种引入了自适应循环机制的 Transformer 被设计出来用于进一步增强系统的抗干扰能力22。对于图像数据，基于注意力的联合信源信道编码（JSCC）系统以不同的信噪比（SNR）较好地完成了图像传输任务12，并通过实验表明联合信源信道编码的方案具有更好的鲁棒性。

107、除此之外，已有很多文献进一步研究了面向音频信号传输的语义通信，如基于自然语言处理的 Wav2Vec65和引入了注意力机制的编解码系统66。最后对于视频47/126数据类型，一种被称为 DeepWiVe 的方案给出了使用强化学习（RL）的端到端联合信源信道编码的视频传输框架67，可以克服传统基于分离的数字通信方案中普遍存在的悬崖效应。尽管目前的语义通信系统在很多场景中表现出了令人满意的性能，但它们只能用单一的数据模态处理一项任务。一方面单模态的数据在本质上具有多义性，即一个源信号通常可以被解读为多种含义，如果没有上下文或相关背景知识，通过语义编码器得到的特征往往是不充分的，获取其潜在的真实含义是

108、较为困难的。同时另一方面，随着当下数字多媒体业务迅猛发展，各类终端获取的信息早已不再单一，与人类通过多种感官感知世界的方式类似，多模态的数据可以从多个方面提供全面的信息，现如今包括各种类型在内的多模态服务已经逐渐成为各类场景的主流。一般意义上，多模态语义通信将由来自两种或两种以上的不同模态的数据作为输入，旨在联合表示不同模态的数据或探寻其中的内在的语义特征。多模态学习已成为机器学习的最新趋势，与单模态学习相比，通过集成多模态数据，可以在一定程度上提高最终性能。例如，人类动作识别68和多模态情感分析69可以从音视频等不同模态中提取多模态的特征表示，从而提高预测性能。因此，设计一个面向多模态数据的

109、语义通信系统是很有必要的。探索多模态数据语义通信系统是较为困难的，其原因主要归结于数据类型的不同。如何处理不同模态间的语义隔阂或探索到统一的语义表征是当前多模态语义通信面临的总体挑战，目前的主要研究方向也可进一步被分为：模态融合和抗噪性。5.1.1 多模态语义通信中的模态融合设计多模态语义通信中的模态融合设计目前一个基本挑战是多模态数据融合，即结合来自两个或多个模态的信息来执行某项任务（如分类、预测、回归等）。如图 5.2 所示，融合可以分为两种方式，早期融合和后期融合。图 5.2 早期融合与后期融合结构示意图（以双模态分类任务为例）48/126早期融合，通常又称为特征融合，是指对模态进行特征

110、提取之后立刻进行的一种融合方式，具体而言即是在模型的浅层或输入层将多个模态的特征拼接起来（通常在发送端完成），然后再送入深度网络结构。该方案优势在于可以在早期利用来自不同模态的多个特征之间的相关性，适用于模态之间高度相关的情况，但由于多个模态的数据来源不一致，会给拼接造成很大的难度，并且直接对原始数据进行拼接会引起较大的特征维度。例如有文献提出了一个服务于多任务的统一语义通信系统，用于处理图片和文本两种模态的输入70。其在发送端将两个模态的特征进行拼接后发送，采用了域适应模块可以在特定任务的特征上更好地分割和聚合语义信息，同时设计了多出口的解码器以便让一些较为简单的任务早退得到结果。该作者后续

111、在此基础上设计一个轻量级的特征选择模块，可以根据不同信道条件和任务动态调整需要传输的特征数量71。也有研究设计了一种去中心化的多模态学习策略72，并设计了知识蒸馏模块（KD）用于解决由于模态的异构性和非独立同分布（IID）数据导致本地训练的生成器只能学习到本地分布的问题。后期融合，通常也称为决策层融合，指的是在每种模态都做出决策（分类或回归）之后或即将做出决策前才进行的融合（通常在接收端完成）。该方案允许独立训练多个模型，即可以让各模态单独处理，特征独立互不影响。同时即使某个模态信息丢失也可以正常训练，具有很强的灵活性，但没有充分利用模态间底层特征的相关性。有研究以执行视觉问答（VQA）任务为

112、例，即部分用户发送图像，而其他用户发送文本来查询图像的信息。该研究使用 ResNet-101 作为图片模态的编码器，使用双向长短期记忆（Bi-LSTM）网络作为文本模态的编码器，考虑了一个简单的拼接后再分离的通信场景，在最后一层将两个模态的特征进行融合送入记忆力、注意力和合成（MAC）网络得到输出73。后有学者进一步考虑了多用户的情况，使用基于 Transformer 的框架来统一不同任务的发射器结构，并在接收端根据实际任务选择是否对不同模态进行融合74。不同模态的语义特征对同一项任务的影响是不一致的，且各自特征可能存在不对齐的情况（即如何确定某一模态经过多少层网络后的特征提取程度与另一模态相

113、同，不同程度的语义信息并不适合直接进行结合），同时进一步地，在考虑无线通信的场景下，应将更多的资源分配给具有更多语义信息或对任务更为重要的模态上。因此设计一个合适的方案考虑到上述因素对多模态的语义进行深度融合也是一个值得思考的问题。49/126除此之外，在实际场景中，部分数据通常会存在模态的缺失，因此在进行多模态任务中可能会带来性能的降低。通常情况下，面对模态的不完备，系统在高模态缺失率下可能表现出性能震荡或下降。因此，在进行系统建模和设计时可以进一步考虑可能存在的模态缺失问题。5.1.2 多模态语义通信中的抗噪性设计多模态语义通信中的抗噪性设计语义通信可以通过减少传输数据量来提高通信效率，但

114、语义的引入也带来了新的威胁和风险。在语义通信的完整框架下，系统需要考虑到信道噪声和语义噪声。同时在多模态的场景下，同样的噪声作用于不同模态上的效果并不相同，这也给多模态语义通信的抗噪设计提出了新的挑战。有学者75在分布式多模态的语义通信框架下，利用鲁棒性验证问题（RVP）76来表征不同模态的输入扰动与语义输出失真之间的关系，基于不同模态的噪声敏感性，定义了不同模态对语义任务的语义重要性。同时还设计了一种速率自适应编码机制，联合考虑语义信息和信道条件，根据不同模态的语义意义为其分配不相等的编码速率。除此之外，也有信道级的信息融合方案被提出来77，即让不同模态的语义信息按信道增益作为权重求和至一起

115、，并设计了语义预编码方案来防止语义信息被无线信道的不确定性破坏，并降低无线信道对多模态语义特征融合的随机效应。语义级别的传输确实可以在很大程度上节省带宽，但由于语义是高度凝练的信息，一些微小的扰动可能会产生较大的变化。这样的失真来可能涉及多种因素，而在多模态的场景下，不同模态的数据经过同种方案的编码、传输和解码造成的失真往往是不一致的。因此亟需探索一些方案对不同模态的语义失真进行建模或损失函数的设计，而不是采用深度学习中常用的损失函数（如交叉熵和最小均方误差）等，这不仅仅可以提高深度神经网络的可解释性，还可以用于指导对不同模态数据处理算法的设计。5.2 多任务的语义通信多任务的语义通信5.2.

116、1 多任务语义通信系统研究动机多任务语义通信系统研究动机随着互联网和智能技术的普及，网络传感器在日常生活中的作用日益突出。它们从各种环境模式中收集大量数据，进而产生了大量的传输数据。现有的语义通信系统已经展现了传输不同类型数据（如图像、文本和语音）的潜力。近年来，学者们对研究先进的语义50/126通信系统表现出了浓厚的兴趣，主要侧重于提升语义通信的传输性能，包括重构失真或准确度，并考虑了各种度量标准，如峰值信噪比（PSNR）和分类准确率。现有工作主要可以分为两大类：数据重构和智能任务执行。在数据重构方面，语义通信系统致力于从源数据中提取全局语义信息。一些代表性的工作包括经典的用于文本传输的 D

117、eepSC24和用于图片重构的 DJSCC42。这些方法旨在减少数据的冗余，提高传输效率。这些方法的核心思想是通过自动编码器将信源符号直接映射为信道符号进行传输，并通过端到端学习进行训练。对于任务执行的应用程序，语义通信系统仅在发送端提取和编码与特定任务相关的语义信息75。例如可以将语义通信系统设计为一个端到端系统，并执行各种智能任务，比如分类和目标检测。这种方法的优点在于，它仅传输任务所需的关键信息，从而减少传输的数据量。尽管现有的语义通信系统在某些特定场景中表现出了令人满意的效果，但它们通常只处理具有单一数据模态的特定任务。在实际应用中，多模态数据的处理和多任务执行的需求越来越普遍，例如一

118、个完备的收发机通常需要能够同时执行数据重构任务和智能任务。更具体地说，许多设备要求在单一系统中执行多个任务，这使得现有的语义通信模型面临一些挑战。具体来说，现有工作中提出的深度 JSCC 框架专门设计用于处理单一任务。当执行与模型设计不同的任务时，由于模型不匹配和/或不适当的训练流程（例如，模型训练时使用的损失函数），它将无法正常工作。为此，现有的模型可能需要重新训练，这导致了大量的梯度传输和计算成本。或者可能需要存储多个模型，这又增加了存储需求和管理复杂性。因此，开发一个能够统一处理多模态数据传输的多任务语义通信系统具有重要的实际意义。此外，相比单任务系统，多任务语义通信系统也具有一些潜在优

119、势。（1）由于多任务共享模型参数，存储模型所需的内存空间可以显著减少；（2）如果一些相关任务共享互补的语义信息，同时对多个任务进行训练并提高性能会更加容易，换言之，通过同时优化多个任务，每个任务可以从其他任务中受益，进而提高整体性能；（3）多任务语义通信可以被视为一种正则化方法，有助于防止模型过拟合。在多任务学习中，模型需要同时满足多个任务的要求，这对模型进行了一定的约束，有助于提高其泛化性能。（4）对于某些任务，可能存在大量的标记数据，而对于其他任务则可能只有有限的标记数据。通过51/126在同一语义通信模型中同时训练多个任务，可以更充分地利用可用的数据，提高模型的性能。5.2.2 多任务语

120、义通信系统框架多任务语义通信系统框架图 5.3 统一的多任务、多模态语义通信系统框架如上节所述，现有语义通信系统模型处理的任务往往会涉及多种模态，例如图像、文本和语音，支持多模态数据传输也自然成为多任务语义通信系统的必要功能。因此，一个多模态多任务语义通信模块需建模为图 5.3 所示的框架,该框架旨在根据所选任务自动激活相应的发射器，并处理涉及不同模态（如图像、文本和语音）的数据。该框架主要由四个主要部分组成：图像发射机：图像发射机：负责处理和编码图像数据，确保图像信息的准确传输。文本发射机文本发射机：负责处理和编码文本数据，确保文本信息的准确传输。语音发射机语音发射机：负责处理和编码语音数据

121、，确保语音信息的准确传输。统一接收机统一接收机：负责接收来自不同发射机的数据，并进行相应的解码和处理，以实现多模 态数据的统一接收和处理。为了支持多任务语义通信，在接收端通常需要多个轻量级任务附属头网络，该网络用于执行最终的特征映射，将隐变量映射为最终的感知类别，或者定位坐标。如图 5.3 所示的例子中，我们考虑一个任务 T4，该任务同时包含了三种模态的数据。然后，发射端根据涉及的模态激活所需的发射机，进行语义编码和信道编码。接着，接收端将接收到的信号进行融合并进行解码，最后根据当前执行的任务选择合适的任务头模块输出相应结果。52/126借助这一框架，我们能够实现更加灵活和高效的多模态、多任务

122、语义通信系统，以满足日益增长的多模态、多任务数据处理需求。5.2.3 多任务语义通信主要技术和未来展望多任务语义通信主要技术和未来展望为完成多任务语义通信这一目标，目前已有学者进行了针对性研究，并提出了解决方案。例如对于分类任务，78提出了一种多任务语义方法，通过联合优化多个接收机来完成多个任务。此外，针对图像数据，79设计了一个模型来处理图像检测和分割任务，该方案在这两个主流任务上取得了优秀性能。为满足多模态、多任务语义传输的需求，71首次尝试为端到端数据传输设计一个统一的语义通信模型，即 U-DeepSC。这个模型不仅考虑了单模态任务，还涵盖了多模态任务，从而更好地适应各种实际应用场景。U

123、-DeepSC 能够同时处理图像、文本和语音这三种不同模态的数据，展现了强大的多模态处理能力。由于数据重建是现有通信系统中至关重要的功能，因此除了上述采用先进的模型架构联合优化多任务的研究之外，也有研究着重关注于图像重构和智能任务执行的统一。这一类研究尝试在尽可能保持语义信息的前提下，对数据进行最大程度的压缩来降低传输开销。例如，80和81中研究了联合速率最小化和失真最小化问题，并提出了一个新的端到端语义通信系统。该语义通信系统能够同时执行图像重构和分类任务。具体来说，该模型能够获得一个低维的特征表示，该特征不仅能够被用于接收端的数据重构，同时也能够用于执行各种智能任务。尽管现有研究已经取得了

124、一定进展，多任务语义通信中仍然存在很多关键性问题。首先，通过设计先进的网络结构和先进的训练方法提升多任务语义通信系统性能仍需要进行长期的探索。另外，在多任务语义通信中为每个任务选择合适的传输速率是一个值得考虑的问题。在边缘推理场景中，多任务语义通信可能是由多个设备共同完成，例如图 5.3 中的三个发射机可能位于不同的设备之上。在这样的场景下，如果在多任务场景下进行多设备的调度和多任务多设备的联合训练会是一个很有价值的问题。多模态、多任务语义通信系统的研究正在不断深入，以应对日益复杂和多样化的数据处理需求。未来这些系统的设计和优化旨在提高传输效率、降低能耗并增强任务执行精度，为未来的智能通信和数

125、据处理奠定基础。53/1265.3 多用户的语义通信多用户的语义通信对于多用户语义通信，一种理想的方法是直接将单用户点对点语义通信模型扩展为多用户语义通信模型，但这种方案需要训练大量的语义编、解码器，有着极高的训练成本。同时，简单的扩展忽视了用户间干扰、语义知识库不匹配、资源利用率低等问题。因此，需要重新设计高效的架构并合理配置各项资源以满足不同场景下的多用户语义通信。5.3.1 多用户语义通信主要技术多用户语义通信主要技术（1）基于非正交多址的多用户语义通信）基于非正交多址的多用户语义通信NOMA 通过多个用户共享时间和频率资源，解决了 OMA 在用户扩展上的困难，提升了频谱效率，降低了传输

126、时延，但其非正交特性使得系统的设计变得困难。一方面，由于 NOMA 让所有用户的信息均在公共信道中传输，接收端需要使用干扰消除技术实现对应信息的分离，常见的手段有接收信号的重构82、接收端多用户检测等。另一方面，多用户语义通信的扩展性不高。为了解决这一问题，Lin 等人83通过集成 NOMA 和 OFDM，实现了多用户语义通信系统从 AWGN信道到瑞利衰落信道的切换。（2）基于信道优化的多用户语义通信）基于信道优化的多用户语义通信无论是单用户还是多用户的语义通信，大部分问题都仅仅考虑如何从发送端或接收端解决语义误差，而忽视了对物理信道的分析。语义信息很容易由于信道的干扰和不同用户的不同理解产生

127、偏差，除了信道编码、信道均衡、信道优化算法等传统方法，利用预编码可以减轻随机信道的影响，利用信道级信息融合可以减轻接收端的负载77，利用语义均衡84可以减轻不同用户之间的语义误差。但如何融合多模态数据，如何解决同道干扰，如何准确完成无线信道估计等问题仍然悬而未决。（3）基于多天线技术的多用户语义通信）基于多天线技术的多用户语义通信相比于其他的技术手段，将 MIMO 与多用户语义通信相结合，在提升频谱效率的同时，还能够增大通信的覆盖范围。但基于 MIMO 也会使得不同用户之间存在干扰。由于语义通信“达意传播”的特性，语义干扰远比一般干扰复杂。为了解决这一问题，可采用预编码85、功率控制等技术。其

128、次，语义通信计算需求大、不同语义知识库不匹配等问题限制了基于 MIMO 的多小区语义通信的实现与优化。对于上述问题，在建立语义干扰消除的背景上，需要联合考虑多个用户，以合理利用计算资源、减小语义误差。54/1265.3.2 多用户语义通信系统架构多用户语义通信系统架构（1）一对多（广播）语义通信）一对多（广播）语义通信一对多（广播）通信可以方便的将点对点语义通信扩展到多用户的语义通信，但需要考虑其扩展性、兼容性和收敛性。广播语义通信在接收端需要考虑如何将不同用户的数据进行分离。相比于 TDMA、FDMA 等正交多址技术，在解码端设置特征识别模块，可有效提高资源利用率。其次，由于接收端不同用户需

129、要配备不同的解码模块，而传统的训练手段需要依次对单个用户的模型进行训练，消耗资源大、时间长。对于这一问题，Hu 等人86利用迁移学习，在降低训练复杂度的同时，加快了收敛速度。图 5.4 广播语义通信架构（2）异构语义）异构语义-比特多用户通信比特多用户通信为了满足不同场景下不同任务的需求，语义用户和比特用户往往需要共存，称为异构语义-比特多用户通信系统。由于两类用户本质上的不同，其信息度量的单位、传输速率、准确性等指标不可能用统一的形式表达，因此，比特流和语义流需要分离。Mu 等人87提出了一种结合 OMA与 NOMA 的半 NOMA 方案，有效促进了两类用户的语义通信。其次，语义和比特用户的

130、分配需要一定的准则。从用户距离考虑，由于语义通信所需要传输的数据量远远小于比特用户，一般将远距离用户作为语义用户，近距离用户为比特用户。从传输条件考虑，由于语义通信在低信噪比条件下良好的性能，一般将传输条件差的用户为语义用户，传输条件好的用户为比特用户。55/126图 5.5 异构语义-比特多用户通信系统（3）面向车联网的语义通信）面向车联网的语义通信车联网将车辆与车辆之间、车辆与设备之间相连接，为自动驾驶、智能交通等应用提供了基础。语义通信在“先理解，后传输”的背景下，能够很好的满足车联网频谱资源大、传输时延低、准确性高、隐私性强的特点，是大规模车联网系统实现以及性能提升的有力手段。面向车联

131、网的语义通信可分为两类。第一类是自动驾驶等对时延有着高要求的应用，通常采用靠近车辆一侧的基站作为辅助共同完成计算任务。第二类是智能交通等对时延不敏感但计算量较大的应用，通常采用距离更远但计算能力更强大的云端服务器处理信息。图 5.6 面向车联网的语义通信5.3.3 多用户语义通信资源配置多用户语义通信资源配置在设计并实现了多用户的语义通信后，需要进一步考虑资源配置的问题。相比于传统通信，语义通信在解决工程问题的同时还要解决语义层面的效率。因此，传统的资源配置算法应用到语义通信时需要做出一定的改进。56/126首先需要考虑的是进一步提高频谱效率，降低消耗能量，减少传输时延等通信资源的配置。通过引

132、入队列、能量等模型，将提升语义频谱效率、语义能量效率作为目标，设计一个高效、低能耗、低时延的多用户语义通信模型。其次，由于 AI 的引入，语义通信在提升性能的同时，存在着高能耗、高计算需求的现实情况。而用户的计算资源是有限的，仅靠用户无法实现语义通信模型以及语义知识库持续的更新与优化。因此，需要联合考虑云端服务器和边缘侧服务器，在解决计算资源紧张的同时，满足用户的传输时延。另外，与单用户点对点语义通信不同，多用户的语义通信需要实现多个用户资源的共同调配，以实现多用户自适应语义通信88，避免出现部分用户资源紧张但其余用户资源富裕的问题。尽管对多用户语义通信的资源配置有不同的研究，但面对实际情况中

133、所存在的问题与限制，多用户语义通信的资源配置并非单一的考虑一方面的问题，其需要联合优化通信计算能量资源。图 5.7 多用户语义通信通信-计算-能量联合资源配置示意图57/1266.数字语义通信与波形优化数字语义通信与波形优化在当今数字通信领域，数字语义通信成为引人注目的研究方向。该领域旨在通过深入挖掘数据的语义含义，借助先进的数字信号处理技术，提高通信系统的智能性和效率。同时，在实现这一目标的过程中，OFDM 波形优化作为关键技术之一，通过将信号分解成多个正交的子载波，在频域上实现高效传输。全双工通信作为另一个重要议题，探讨了如何在同一时间和频率上实现双向通信，克服了传统系统中的局限性。此外，

134、可预测信道的研究则强调了对信道变化的提前洞察，以优化传输参数，增强系统的稳定性。这一综合性的研究框架使得数字语义通信不仅关注信息的传递，更注重理解数据的内在含义，为通信技术的不断进步打开了新的可能性。6.1 数字语义通信网络数字语义通信网络随着第五代（5G）无线通信系统、人工智能（AI）和其他支持技术的发展，出现了各种关键任务的应用，如自动驾驶、智能工业和远程医疗13。在当前的通信系统中，这些应用生成的原始数据被传输从设备传输到边缘或云计算服务器，那里使用先进的 AI 算法进行进一步分析。传统的通信系统旨在精确或近似地重现源数据。然而，受限的频谱资源使得满足这些应用的严格服务要求变得极为具有挑

135、战性，例如大规模连接、实时数据传输和处理等。最近，语义通信引起了广泛的研究兴趣24，25，35，89，90，91，92，它集成了先进的通信和 AI 技术，用于提取然后传输数据。在给定特定任务的情况下，原始数据的期望含义是完成诸如分类和目标检测等任务。因此，语义通信也被称为任务导向通信25，89，90，91。与传统通信不同，语义通信不再旨在最小化比特误码率。相反，语义通信的主要目标是在语义领域内实现有用信息的可靠传输。因此，所需的带宽可以显著减少，使得语义通信成为关键任务应用的有前途的解决方案。当前语义通信的研究以模拟通信方案为主，其中特征向量直接映射到模拟符号进行传输，而不在任何阶段转换为比特

136、93。尽管可以以模拟的通信方式学习和传输语义特征，但它对硬件、协议和加密提出了新的挑战。数字通信在许多方面都优于模拟通信，包括更高的纠错能力、更强的抗干扰能力、更高的。58/126图 6.1 数字通信架构示意图在数字通信中，模拟信号首先经过模数转换，将连续的模拟信号通过连续抽样和量化转化为离散的数字值。这一过程将模拟信号的持续变化映射为离散的离散级别，形成数字信号。数字信号被进一步转化为比特序列，形成了可处理的数字化序列。数字化的序列随后通过调制方式适应信道特性，将数字信号映射为星座点。最后，通过发射机，映射为星座点的数字信号被传输到接收端，经过信道，接收端的解调器将其解调还原为数字信号。数字

137、通信架构如图 6.1所示。图 6.2 数字语义通信架构 1 示意图图 6.3 数字语义通信架构 2 示意图根据数字通信的框架，数字语义通信的架构可划分为两种：一种采用端到端的编码网络，直接生成对应调制方式的星座点9495，如图 6.2 所示；另一种方式则通过量化编码网络将信号转换为数字序列，结合数字调制将序列映射到相应的星座点9697，如图6.3 所示。前者通过端到端的编码网络直接输出星座点，有助于减少对硬件设备的依赖，然而，当调制方式发生改变时，需要频繁更新神经网络。后者将信号转换为数字序列，可适应多种调制方式，但却依赖于额外的调制设备。59/1266.2 基于基于 OFDM 的语义通信波形

138、优化的语义通信波形优化近年来，深度学习被认为是解决无线通信问题的一种很有前途的技术。特别地，深度联合信源信道编码(DJSCC)方法已被证明比传统的分裂信源信道编码(SSCC)技术更有效，具有更低的失真，更简单的设计和计算，并消除了悬崖效应。OFDM 是一种广泛应用于无线和有线通信系统的调制技术，尤其在高速数据传输和抗多径干扰方面表现出色。通过将基于深度学习的 JSCC 方案与 OFDM 结合，可以将端到端的语义通信系统用于多径信道下，提高高速数据传输能力。通过扩展 JSCC 框架，可以将可训练的 CNN 层OFDM 基带处理模块的不可训练但可微的层结合起来。如图 6.4 为 DJSCC 与 O

139、FDM 结合的语义通信系统，语义编码器通过提取输入信源的语义特征，将原始信源映射到的复数符号序列，再经过快速傅里叶逆变换(IFFT)转换为时域信道输入；接收端将接收到的信号进行快速傅里叶变换(FFT)生成频域信号，通过语义解码器后重构褚原始信源。图 6.4 加入 IFFT 和 FFT 的 DJSCC系统模型98然而，由于生成符号的随机性，DJSCC 在与正交频分复用(OFDM)结合时存在严重的高峰均功率比(PAPR)问题。较高的 PAPR 会导致带内失真和带外辐射，这是由于无线电发射机的高功率放大器(HPA)的非线性造成的此外，OFDM 接收机的检测效率对数模转换器和 HPA 等非线性器件特别

140、敏感。过高的 PAPR 会增加了硬件成本，严重时甚至会带来信号的非线性失真，造成系统性能的损失。如图 6.5 在语义通信系统中，因为 DJSCC 模拟调制生成的星座点是散乱无章的，当 OFDM 与语义通信系统结合时，更有可能生成大峰值功率符号,多载波的叠加进一步加剧了这种现象，从而产生了更高的 PAPR 值,造成更严重的信号失真现象。60/126图 6.5 DJSCC发送端调制图98各种降低 PAPR 的技术被提出并成功应用于工程实践中。传统的 PAPR降低技术根据它们是否对原始信号引入失真被分为信号失真类和非失真类别。信号失真类的抑制 PAPR技术主要包括限幅、限幅滤波、加峰加窗、削峰和压扩

141、。信号非失真 PAPR抑制技术包括预编码、选择性映射(SLM)、部分传输序列(PTS)、交织、音调保留、音调注入、主动星座扩展、星座重塑等。除了传统方案外，一些基于 DL的 PAPR降低技术最近被提出99，主要有将 PAPR 作为惩罚损失函数加入决定参数更新方向的损失函数中；将限幅作为一个非线性函数加入到网络的训练过程中从而进一步提升限幅法的性能。如图 6.6 所示,将限幅加入到训练中的方法获得了最佳的 PAPR 抑制性能。并且,在失真 类算法中,训练中的限幅具有最佳的 PSNR 性能,尤其是在低信噪比情况下。例 如,在信噪比为 0dB 的情况下,此方法接收端的图像质量高于 PAPR 惩罚损失

142、函 数法和简单限幅法大约 3dB,高于压扩法约 10dB!另外,将限幅加入到训练过程中 不用对网络模型进行任何修改,而且也不会增加过多的计算复杂度。图 6.6 基于深度学习的 PAPR 抑制技术和传统方案的性能对比9661/126综上所述，本节研究了基于 DJSCC 的 OFDM 系统的 PAPR 抑制技术，包括传统的PAPR 抑制技术和基于 DL 的 PAPR 抑制技术。仿真结果表明，尽管传统的 PAPR 抑制技术可以应用于 DJSCC，但 DJSCC 的性能与传统的 SSCC 不同，例如，DJSCC/SSCC 中的限幅性能优于/劣于压扩；此外，对于信号畸变的 PAPR 抑制技术，带再训练的

143、限幅技术在 PAPR抑制和恢复精度方面都取得了最好的性能。此外，信号非失真 PAPR抑制技术，即 SLM 和 PTS 可以成功地降低 DJSCC中的 PAPR，而不影响信号的重构。6.3 全双工语义通信全双工语义通信随着工业互联网和车联网的快速发展，对内容和控制信息传输的需求急剧增加。与传统通信专注于尽可能准确地恢复传输的符号不同，语义通信专注于恢复传输内容的语义，所需通信资源少得多，有望突破现有系统的瓶颈，成为极具竞争力的 6G 技术。现有的语义通信研究主要集中在构建单向或单向通信系统，而很多情况下需要进行双向语义通信。例如，异构机器人协作完成某项任务或者车辆相互协作进行自动驾驶。双向智能通

144、信任务启发我们研究全双工语义通信系统。在深度学习方法的辅助下，语义通信系统已被证明可在文本传输，语音传输，图像传输，智能任务等方面表现出有效的性能。具体来说，通过联合信源信道编码(JSCC)，收发机可以用神经网络(NN)表示，并根据已知的信道模型以端到端的方式进行学习，以适应当前的信道条件，并获得比基于模块的传统通信系统更好和更鲁棒的性能，特别是在低信噪比(SNR)条件下。然而，当离线训练的信道状态与当前情况不匹配的情况下，JSCC 框架的应用受到了极大的限制，从而导致不可忽视的性能下降。以图像传输为例，当实际信道条件为 10 dB 时，模型为 0 dB 下训练得到，其关键指标峰值信噪比(PS

145、NR)比在线训练下降约 4 dB。缓解性能退化的一个潜在解决方案是在线训练或微调。在单向语义通信系统中，在线训练通常如下进行：发送端通过信道发送训练数据，接收端通过设计的损失函数得到的梯度用于更新接收端和发送端的权重。然而，由于信道衰落特性模型未知，发射机的权重无法通过梯度反向传播更新。因此，这种方法所获得的性能增益仍然是有限的，因为它只微调接收机的权重，而发射机被排除在外。为了解决这个问题，生成式对抗网络(GAN)被提出，以实现未知信道模型下的高效比特传输。通过使用 GAN 学习随机信道的等效 NN，62/126在接收端学习发射机的最佳参数权重并发送给发射机，但这需要另一条可靠的反向通信链路

146、在训练过程中对训练信息进行反馈。简单地将单向语义通信系统扩展到双向场景会带来显著的数据传输和时延开销。因此，需要探索一种在训练阶段不依赖训练信息反馈的高效实用的实时全双工语义通信技术。如图 6.7 所示，本小节建立了一种新的全双工语义通信系统框架(TW-SC)，其中收发器和信道神经网络被联合设计以执行双向图像传输。具体来说，我们使用条件生成对抗网络(CGAN)对图像传输的无线信道分布进行建模，其中接收到的语义特征(称为语义导频)被视为 CGAN 的附加信息，命名为 SP-CGAN。当信道互易且节点 A 和节点 B 的神经网络具有相同的超参数时，节点 A 和节点 B 的接收器具有相同的更新梯度，

147、这有助于我们在本地完成发射器的训练并且不需要节点间反馈，从而有效降低了通信开销和延迟。通过利用双方的权重互惠性，节点 A 和 B 的语义编码权重可以在本地高效学习，而不需要实时的数据交换。图 6.7 全双工语义通信系统框架63/126图 6.8 The PSNR score versus SNR in AWGN channel图 6.8 显示了 AWGN 信道上的 PSNR 分数和 SNR 之间的关系。对于 AWGN 信道，所提出的 TW-SC-AWGN 在低 SNR 范围内表现良好并接近最优算法，验证了双向系统中权值互易的效率。基于 GAN 模拟通道的 GAN-SC 表现最差。我们还比较了瑞

148、利通道下的不同方法以确认算法的性能。在 AWGN 通道下训练的 TW-SC 优于在瑞利通道下训练的模型。然而，当 SNR 低于 2 dB 时，在瑞利信道下训练的模型获得了较高的 PSNR 性能，这与现有研究认为在衰落信道下训练可以提高模型在各种信道类型上的鲁棒性是一致的100。总体而言，在与测试通道不同的通道下训练的模型会出现一些性能下降。另一方面，所有传统方法都存在悬崖效应，其中使用 4-QAM 的方法在 2 dB、16-QAM 在 10 dB和 64QAM 在 14 dB 时开始显着提高性能，最终在高信噪比下实现更好的 PSNR 性能。因此，与高阶调制相比，低阶调制具有更强的噪声鲁棒性。此

149、外，所提出的 TW-SC 算法在低信噪比下仍然优于传统算法。64/126图 6.9 The loss and PSNR performance of the proposed TWSC system during channel SNRdecay(Decay from 21 dB to 9 dB at 3 dB intervals)在图 6.9 中，我们展示了所提出的 TW-SC 系统的性能，当发射机功率保持恒定时，信道 SNR 随着节点之间的距离增加而降低。我们通过以 3 dB 间隔将 SNR 从 21 dB 降低到 9 dB 来模拟这种衰减。如图所示，TW-SC 的损失性能在训练过程中逐渐

150、下降，而PSNR 性能随着每个 epoch 的增加而增加。然而，每次当信道 SNR 急剧下降时，TW-SC的性能都会受到一些损害，TW-SC 在 2-3 个 epoch 后稳定并适应当前的无线环境并继续收敛。此外，我们发现随着训练次数的增加，信道 SNR 衰落对 TW-SC 性能的影响波动较小。该实验旨在验证我们提出的 TW-SC算法的可靠性。6.4 基于可预测信道的语义通信基于可预测信道的语义通信无线信道是通信系统的重要组成部分。信道的衰落对数据传输的稳定性具有很大影响101。信道取决于传播环境，随着动态环境变化信道呈现高动态复杂性。在传统通信系统中，信源编码及信道编码技术通过提高信息传输的

151、可靠性来对抗信道衰落。然而，在传输语义信息而非符号的语义通信系统中，信道衰落带来的影响对于系统性能的影响有所提升。具体的环境信息是获取精准信道状态的基础。目前，语义通信系统缺乏对复杂多变的无线环境的考虑，其中的语义化主要是利用语义编码对信源语义信息进行处理，对于依赖动态物理环境信息的信道语义化研究尚不充分，从而无法最大限度的降低信道衰落带来的影响，限制了传输性能的上限。65/126在感知场景中，智能应用中的具体任务与感知场景中的目标高度相关102103。例如智能驾驶的驾驶决策的环境信息包括道路上的车辆以及道路基础设施。智能监控的治安突发事件检测与行人、车辆的行为以及状态有关。不仅如此，通常还需

152、要根据目标信息，针对目标任务做出智能决策，发出指令等响应。所以，这些与决策相关的目标是语义信息的主要载体，定义为语义目标。如果将承载语义的目标进行传输，在接收端进行较为高级的场景理解等任务，可以降低目标不清晰导致的语义通信的不确定性。随着语义通信在文本和语音任务中研究的深入，面向图像任务的语义通信方法也受到广泛关注。相比于文本和语音数据，图像数据所包含的语义信息更加丰富，语义不确定性更强。就数据量而言，针对图像数据的语义通信方法带来的信息压缩效果更加显著。因此，为了提高传输效率的同时保证传输的可靠性，提出基于可预测信道的语义通信方法（PC-SC）104。感知场景下面向感知图像传输任务的 PC-

153、SC 语义通信方法如图6.10 所示。对承载语义信息的完整语义目标信息进行提取并进行传输，将面向任务的语义信息抽象后移至接收端，从而降低由于任务模糊性导致的低可靠性。在感知场景下可以对感知采集到的环境图像数据中的语义目标图像进行提取并传输。同时利用提取到的语义目标图像进行波束预测，从而提升语义通信的传输可靠性。针对智能监控场景下感知图像传输任务，基于显著目标检测技术提出语义目标提取方法，对包括车辆、行人等在内的承载场景语义信息的主要语义目标图像及掩码图进行收集并传输。然后，基于接收到的语义目标图像和背景图像提出图像合成方法，在接收端完成图像数据重建。同时，通过信源语义目标共享的方式实现信道预测

154、，即利用待传输的环境语义目标信息对当前感知传播环境下的波束进行预测。图 6.10 面向感知图像传输任务的 PC-SC语义通信方法66/126以 Res-Net18 为基础网络对基于语义目标图像的波束预测方法以及基于完整感知图像的波束预测方法进行对比。通过改变最大池化层参数以及卷积层参数对两种方法的网络鲁棒性进行评估。其中最大池化层参数分别将内核大小设置为 4和 10；步幅设置为 1和 8。此外，ResNet-18 中的 4 个基本块均包含 4 层，每层卷积大小分别设置为(64,128,256,256)以及(32,64,128,128)。因此，可以构成四种组合的网络配置来训练模型，以进行消融研究

155、并评估性能。即第一组为（4，1）和（64，128,256,256），第二组为（4，1）和(32,64,128,128)，第三组为(10,8)和(32,64,128,128)，第四组为(10,8)和（64，128,256,256）。图 6.11 104显示了不同网络配置的 top-1、top-2 和 top-3 准确率。结果表明，基于环境语义目标图像方法的网络鲁棒性更强，对于最大池化层参数以及卷积核大小敏感度更低。相比之下，基于完整环境图像的方法对网络配置更敏感，精度变化程度较大。这就说明完整图像中除语义目标外的细节信息无法带来精度上的增益，其中的冗余信息却会随着网络捕捉细节信息能力的提升，导致

156、精度以及鲁棒性的下降。这是因为，传播环境中不重要的环境变化信息可能会造成干扰，而对信道产生影响的动态目标数据已经包含了反映传播环境变化的有效信息。同时，对两种方法的预测时间进行了对比。基于完整环境图像的预测模型每个样本需 0.055s，而基于环境语义目标的方法只需 0.037s，从而节省了 32%以上的预测时间。图 6.11 不同网络配置下 top-1，top-2，top-3 精度67/1267.语义通信中的资源管理语义通信中的资源管理在语义通信网络中，存在多个用户，并且每个用户会执行多种任务，不同任务下传输的数据可能是不同的模态，有必要对语义信息进行感知、提取、理解和分析。无线资源的稀缺性导

157、致资源分配十分重要，迫切需要既能提高网络整体性能又可以支持高质量多媒体业务的无线资源分配策略，通过合理的资源分配可以给用户提供更好的通信服务，如更高的数据速率，更大的系统容量，更好的用户体验等，因此无线资源的合理分配是在复杂通信环境下解决无线资源短缺的最直接而有效的手段。在智能设备的广泛应用下，数据计算以及信息传输等均需要消耗能量，因此能量资源的分配也是一个重要的问题，优先给语义信息更丰富的数据分配更大的功率，确保了能量的有效利用。除此之外，语义特征信息的感知和推理需要一定的计算资源，特别是深度学习在语义通信中的广泛应用，更需要对计算资源进行合理的分配，而且随着边缘计算在语义通信系统中的应用，

158、缓存资源的管理也十分必要。传统资源分配往往将资源分配的结果映射为对应的物理量或是用户的体验并以此作为优化目标，难以满足语义通信智能任务下对语义理解的需求105。语义通信中的资源分配与目标智能任务和特定交互需求紧密相关，为了发挥语义通信的最大优势，有必要开发更高效、更合理的资源分配方案，将有限的资源分配给语义信息更丰富的数据。7.1 语义通信中的资源分配模型构建语义通信中的资源分配模型构建语义通信中存在不同的语义传输任务，包括单模态任务（文本传输、图像传输、图像分类等）和多模态任务（视觉问答、图文检索等）。针对语义通信网络中多任务多模态共存的需求，资源分配优化问题一般建模为最大化语义通信系统的整

159、体性能，需要考虑的优化变量、优化目标以及约束条件如下106：（1）优化变量：除了现有资源分配模型中考虑的无线传输资源相关变量，包括功率、带宽等，与语义通信系统性能相关的参数也应作为优化变量以提高语义传输性能。具体如下：68/126 由于语义通信系统中不同的语义压缩率决定了接收端的语义保真度，进而影响任务性能，同时语义压缩率也影响用户对无线资源的需求量，因此，语义压缩率需与无线传输资源联合优化；考虑到语义通信系统需要利用语义知识库进行语义特征提取及任务结果推演，需要强大的计算能力辅助，而计算资源与传输资源相互制约，共同决定网络性能，因此计算资源优化也应被考虑在内；智能传输环境（比如智能反射面等）

160、对网络传输性能有不可忽视的影响，应当结合语义压缩、无线资源及计算资源的约束，对传输环境进行联合优化。（2）优化目标：基于所构建的语义信息传输性能评估指标，语义通信资源分配的优化目标可设为网络中所有用户的语义传输性能之和。用户的语义传输性能取决于用户的语义信息量、语义压缩率、智能环境参数、发送功率、带宽、计算资源等因素。（3）约束条件：从无线资源受限的角度看，需要对用户分配的频谱资源进行限制，比如带宽或资源块数目等；从用户本身能量以及计算能力受限的角度考虑，需要对发射功率和语义压缩率进行限制；对于智能传输环境优化，需考虑所对应的传输环境参数约束，比如，对于考虑智能反射面的信道环境，需考虑幅度和相

161、位优化的范围；同时考虑边缘计算服务器的可用计算资源，寻求其与传输资源的平衡，从而保证不同用户的语义传输需求；此外，为了保证网络中不同任务的完成情况，应保证任务性能不低于某一阈值。值得注意的是，对多模态任务，多个用户共同决定任务性能，因此执行同一任务的用户应同时被分配足够的无线资源以保证任务执行。7.2 资源分配的优化目标资源分配的优化目标从资源角度来看，传统蜂窝网络资源分配主要为频谱资源和能量资源的分配，频谱资源分配的目的是提高频谱利用率，能量资源分配的目的是降低能耗，语义通信中的资源分配也同样考虑频谱资源和能量资源的分配。从性能评价角度来看，传统的资源分配通常都是基于香农容量来评价通信系统的

162、性能，并不能充分利用语义通信的优势，而语义通信的资源分配从智能任务出发，基于语义信息来衡量系统性能以及目标任务完成程度。69/126语义通信网络中的资源分配优化目标如图 7.1 所示，在资源角度，优化目标包括语义频谱效率和能量效率；在语义通信系统性能的度量指标方面，主要有基于语义信息论的信道容量度量、语义相似性度量以及面向业务的网络指标度量107。图 7.1 语义通信网络资源分配优化目标7.3 语义通信中的资源管理策略语义通信中的资源管理策略目前已有很多关于语义通信系统中资源管理的研究，不同文献中的资源管理策略各不相同，求解资源分配优化问题的方法主要分为表 7.1所示的三类，在实际情况中，可根

163、据具体场景和优化问题以及约束条件等选择适合的资源分配求解算法108。算法类别代表算法参考文献优点缺点适用场景精确算法穷举法26能得到精确解运算量大，复杂度高求解规模小，对可靠性要求高启发式算法遗传算法、粒 子群算法109灵活，高效，收敛速度快可能停留在局部最优解，无法保证得到全局最优解对时延要求低70/126表 7.1 常用资源管理策略尽管语义通信中的资源管理已有了一定的研究，然而，面对多种任务共存、多种模态共存的实际语义通信场景中，不同用户所传输数据的语义信息量势必是不同的，要想公平地为它们分配无线资源，首要的挑战就是如何对不同模态、不同任务的语义信息进行量化。多模态任务语义通信中，多个用户

164、共同决定任务性能，因此，不仅要分析单个任务下的性能，还需要考虑多任务多模态并存时如何从语义角度设计资源分配策略，这给语义通信系统的设计带来了一定的挑战。此外，多用户语义通信的资源配置并非单一的考虑一方面的问题，其需要联合优化通信计算能量资源的分配。7.4 语义混合自动重传请求语义混合自动重传请求7.4.1 传统混合自动重传技术传统混合自动重传技术在语法通信中，存在于介质访问控制层的混合自动重传技术（HARQ）113结合了自动重传请求（ARQ）和前向纠错（FEC）两种机制，允许在不引入过多延迟的情况下，尽可能地在传输过程中纠正错误。FEC 为待发送码字添加冗余信息，接收端利用冗余纠正一部分传输过

165、程中的错误。对于 FEC 无法纠正的错误，接收端使用检错码，通常为循环冗余校验（CRC），来检测接收到的数据包是否出错。如果没有出错，则接收端发送确认信息（ACK）给发送端，发送端收到 ACK 后，会接着发送下一个数据包。如果出错，则接收端会丢弃该数据包，并发送否定信息（NACK）给发送端，发送端收到 NACK 后，会重新发送相同的数据包，重复上述操作直至发送端接收到 ACK。在 HARQ 机制中，接收端收到的错误数据包虽然无法被正确解码，但其中可能包含了有用信息，如果选择全部丢弃，则系统整体传输效率降低。为提高系统效率，改进为带软合并的 HARQ 机制，即接收端将接收到的错误数据包保存在一个

166、 HARQ 缓存中，并与后续接收到的重传数据包进行合并，从而得到一个比单独解码更可靠的数据包，然后对合并的数据包进行解码，如果还是失败，则重复“请求重传，再进行软合并”的过程。根据重传的比特信息与原始传输机器学习算法强化学习110-112自适应性强需要大量的计算资源和时间来训练决策优化，高动态变化场景71/126是否相同，带软合并的 HARQ 又可分为追逐合并 HARQ 和增量冗余 HARQ，前者中重传的比特信息与原始传输相同，后者不同。HARQ 技术可以高效地补偿由于采用链路适配带来的误码，提高数据传输速率并减小数据传输时延。7.4.2 语义混合自动重传系统语义混合自动重传系统随着人工智能的

167、发展，深度神经网络提取多媒体数据隐含表达的能力不断提升，使得语义通信成为可能，并成为 6G 移动通信的重点研究方向之一。语义通信根据信源信息、信道环境的统计分布特征和用户需求等多种条件，高效地提取语义信息、适应信道环境。现阶段关于语义通信的研究在语义提取方法、语义度量方法和语义通信架构等方向有了一系列进展，如利用卷积神经网络（CNN）实现无线图像语义传输，基于 Transformer 的语义收发器 DeepSC24等。在适应信道环境方面，现有的语义通信系统大多采用将信道环境信息嵌入神经网络进行端到端的联合训练，以使得训练的神经网络能够学习信道环境信息，但这种方案训练出的神经网络参数只能适应特定

168、的信道环境，一旦环境改变，又需要重新训练以适应新的信道环境，且这些研究存在无法根据信道动态改变编码长度的问题，灵活性有限，无法确保语义信息的可靠传输。为了有效解决以上问题，考虑将语义通信与广泛应用于现代移动通信系统的 HARQ结合，形成面向语义的混合自动重传请求机制，提出了一种面向文本基于语义通信的增量混合重传请求（IR-HARQ）架构，名为 SCHARQ114。图 7.2 SCHARQ的单次传输过程在 SCHARQ 中需要根据接收端的错误检测结果进行多次传输，每次传输过程如图7.2 所示，根据语义编解码和 RS编解码先后顺序分为串行和并行两种方式。串行方式中，72/126发送端以时间先后依次

169、对待传输句子 进行语义编码和 RS 编码后得到待传输码字，传输至接收端。接收端进行 RS 解码和语义解码后得到原始句子的估计。并行方式中，发送端语义编码和 RS 编码同时进行，分别得到语义编码比特和 RS 校验比特，组合成待传输码字，传输至接收端。接收端分离两部分得到语义编码比特和校验比特，解码语义编码比特，利用校验比特进行 RS解码得到原始句子的估计。如图 7.3所示，若采用 ARQ机制，则在发送端和接收端分别添加 CRC 校验比特的获取和 CRC 校验模块，并在接收端通过CRC 校验时，反馈 ACK 至发送端，表示传输成功，否则反馈 NACK 至发送端，表示传输失败。图 7.3 多次传输的

170、 SCHARQ 整体结构114多次传输的 SCHARQ整体结构如图 7.3 所示。对编解码器用于 R 次传输。句子在第 i次传输时被编码得到第 i 次传输的增量位，并经过信道和解码器解码。接收端对进行 CRC校验，如果通过检测，表示传输成功，否则传输失败。如果传输失败，接收端反馈错误信息至发送端，发送端再次传输增量位，直至通过 CRC 错误检测。接收端联合接收到的全部，解码得到最终结果。传输比特的长度作为超参数决定了每个编码器的输出维数，这些超参数根据 HARQ 的传输目标设置。在第一次传输中，传输位用于良好的信道环境，需使得多数信源内容可以被编码而没有任何信息损失。然后设置接下来的传输位，以

171、恢复较差信道下的长句子。73/126如图 7.3右侧所示，信源信道编解码器分别由语义编码器、量化器和语义解码器、解量化器组成。语义编解码器主要由 Transformer 网络、全连接网络等组成，实现对信源的语义编解码、语义信息压缩和解压。量化器和解量化器主要由全连接网络组成，将高维向量量化为待传比特并根据句子长度和信道信息控制量化后的比特数。图 7.4 SCHARQ对比其他方案的误句子率（左）、平均待传比特数（右）114SCHARQ对比不同方案的性能结果如图 7.4所示。在低 BER 情况下 SCHARQ 性能略低于 SC-RS-HARQ 和传统 Huffman-RS-HARQ，在高 BER

172、情况下相反，但 SCHARQ 整体待传比特数远小于其他方案。7.4.3 小结小结通过比较提出的 SCHARQ 框架和传统方式，在较高的误比特率情况下，SCHARQ 在误句子率和平均待传比特数方面有很大优势，在较低误比特率情况下，仅有很小的性能下降。灵活高效的 SCHARQ 框架，将语义通信和 MAC 层的 HARQ 技术结合，充分发挥两者优势，通过传输增量比特，有效地解决了传输不同长度句子和变化的信道环境问题。在此基础上，90提出了渐进式语义混合自动重传请求方案，利用增量知识同时降低通信成本和语义误差，115提出了将基于脉冲神经网络（SNN）的语义通信与 HARQ 结合，根据信道条件动态调整带

173、宽，而不会造成性能损失。因此，语义通信和 HARQ 的结合有很大的发展空间，有望更进一步提高通信系统的性能。74/1267.5 语义错误检测语义错误检测7.5.1 传统校验检错方法传统校验检错方法随着数字通信技术的飞速发展，各种数据通过无线通信进行传输，这时数据的准确性对于业务流程和用户体验至关重要。然而，由于网络噪声、信号干扰或传输介质的不稳定性等原因，数据在传输过程中可能会发生错误。这些错误可能导致严重的数据损坏，影响通信的质量。因此需要在接收端进行相应的错误检测，从而确保通信数据的准确性。循环冗余校验（CRC）是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种信道编码技术

174、，主要用来检测或校验数据传输或者保存后可能出现的错误。它是利用除法及余数的原理来作错误侦测的。图 7.5 展示了一个基于 CRC32 的句子传输方法。在发送端通过 CRC错误检测算法生成 32 位奇偶校验码会与发送句子的信源编码、信道编码结果一同经过信道。在接收端，发送的编码结果通过信源解码、信道解码后恢复发送的句子，然后通过与发送的奇偶校验码进行错误检测。如果恢复的句子被 CRC32 判定为正确，则 ACK 确定信号被发送到发射机，否则，下一次传输将根据 NACK 反馈开始，直到句子被正确接收或者达到最大发送次数。图 7.5 基于 CRC32检错的句子传输系统虽然 CRC 作为一种高效且简单

175、的差错检测方法，并被广泛应用于各种通信系统中，但是 CRC 错误检测在语义通信系统中的使用效率并不高。例如在基于语义通信的文本传输系统中，CRC 检测会将包含错误单词但具有与原始单词相同含义的句子视为有错误。75/126而对于语义通信系统，相似的句子即使单词不同，但是基本语义相同也是可以接受的，因此针对语义的相似度设计时有必要的。7.5.2 语义相似度检测技术语义相似度检测技术针对传输内容的相似度评价，句子相似性度量的方法包括 Levenshtein 距离116、双语评估替角（BLEU）117等。Levenshtein 距离是通过计算将一个字符串转换成另一个字符串所需的最少编辑操作（插入、删除

176、、替换）次数来衡量它们之间的差异。但是，这些方法仅计算两个句子之间的单词变化，而无法洞察不同单词的含义。在文献24中采用了数十亿个单词和句子下进行预训练的模型 BERT118来衡量句子的语义相似性。然而，这些方法往往需要在接收端获取真实的传输内容才能进行相似度的评价，而传输内容在接收端是不可用的，因此需要一些适应实际通信系统的相似度检测技术。目前已经有部分研究针对在接收端无法获取真实传输内容时，对接收内容进行语义相似度的错误检测的方法。为了评价接收到的视频帧与原视频帧之间的差异，文献57提出了部署在接收机的质量检测器与流畅度检测器分别来评价重建视频的质量与流畅度，两个检测器的结构如图 7.6

177、所示。对于质量检测器，可以通过迁移学习一个基于 VGG-19 的分类器来获得。基于 VGG-19 的质量检测器由 VGG-19 和一个具有 Sigmoid 激活功能的密集层组成，通过 Sigmoid 激活函数，将网络的输出映射到 0 与 1 之间，从而作为生成的视频帧的质量指标。而对于流畅度检测器，则是使用关键点检测器捕捉第 i 个和第 i-1 个接收的视频帧，提取出这些视频帧对应的关键点特征，然后计算这两个关键点之间的距离，大的距离则代表前后两帧视频存在比较大的变化，并且传输的关键点也可能存在一些错误。从而，再通过一个全连接和 Sigmoid 激活函数将流畅度映射到一个值为 0到 1 之间的

178、数，作为评价视频流畅度的指标。图 7.6 质量检测器与流畅度检测器的基本结构76/1267.5.3 句子语义相似度检测句子语义相似度检测图 7.7 语义相似度检测语义相似度的度量通常利用预训练模型 BERT 将句子映射到高维特征空间，通过高维特征的余弦距离衡量它们的语义相似度。将语义相似度检测引入 SCHARQ，接收端需要已知原始句子和复原句子的语义信息进行重传判断，但在接收端无法获取准确的原始句子语义信息，因此文献114提出 Sim32 相似度检测网络替代 CRC 校验。如图 7.7 所示，其中 Sim32 编码器、解码器结构与 SCHARQ 的编码器、编码器类似，Sim32 编码器输出32

179、 位比特替代用于 CRC校验的 32位比特。当 Sim32解码器的输出结果大于设定阈值时，表示接收句子的语义信息损失在可接受范围内，认为传输成功，否则传输失败。为了提高检测结果的可靠性，进一步结合 CRC 和 Sim32提出 CRC-Sim32 校验方案，即在接收端先进行 CRC校验，在不满足 CRC校验前提下再进行 Sim32相似度检测。77/126图 7.8 Sim32方法的检测错误率将 Sim32 引入 SCHARQ，在误比特率分别为 0.05 和 0.2 情况下分别测试，得到Sim32 的检测错误率性能如图 7.8 所示。当 Sim32 输出大于 0.98，认为语义传输正确，否则错误，

180、因此两种误比特率情况的 Sim32 判决错误率均在发送端和接收端句子相似度为0.98 附近时较大，而在句子相似度低于 0.9 时，误判率几乎为 0。误比特率为 0.05，在句子相似度为 1 时，Sim32 的判决错误率较高，为了解决这个问题，提出 CRC-Sim32 校验方法，即在进行 Sim32 判决前，先进行 CRC 校验，如果能通过 CRC 校验，则不再进行Sim32校验，否则进行 Sim32校验。图 7.9不同错误检测方法的性能对比CRC、Sim32 和 CRC-Sim32 三种校验方式的性能对比如图 7.9 所示，CRC-Sim32 错误检测方案整体性能优于 CRC 和 Sim32。

181、在低误比特率时，CRC 性能优于 Sim32，高误78/126比特率时相反，这是因为低误比特率时，基于深度学习的语义相似度检测准确率不如传统CRC方法，导致成功传输的句子数量少于 CRC方法。7.5.4 小结小结语义相似度评价技术包括 BLEU、基于 BERT 的余弦距离等方式，通过在语义层面衡量传输质量，充分发挥了语义编解码的优势。为了发掘语义相似度的潜在能力，将它融入HARQ 技术，用于在接收端判断传输句子的语义错误程度，并与 CRC 校验结合，形成CRC-Sim32 校验机制。CRC-Sim32 错误检测允许句子语义相似但误比特率较高的句子在接收端成功接收，有效降低了重传次数和传输时延。

182、79/1268.分布式语义通信分布式语义通信8.1 多模态语义中继架构多模态语义中继架构随着 6G 网络的快速发展，多个物联网智能设备之间的应用交互引起了广泛的关注，如无人机系统、车联网、智能城市等。与此同时，由于这些智能场景需要频繁的数据传输和模型更新，对无线通信的大规模连接和传输效率提出了巨大的需求。语义通信作为一种革命性的无线通信范式，在满足上述智能场景的高需求具有巨大的潜力。然而，由于语义通信需要大量的数据训练数百万计的神经网络参数和终端有限的计算能力等问题，分布式语义通信可以为多智能设备间的通信提供一个高效的解决方案。图 8.1 分布式语义通信框架示意图本节将介绍提出的分布式语义通信

183、框架。如图 8.1所示，它包含了层次化多模态知识、多模态语义中继架构和边缘智能辅助的分布式语义通信118。具体来说，在语义通信范式下,分布式语义通信可以通过研究多模态语义中继架构和分布式训练促进多模态信息传输。层次化多模态知识包括多尺度多模态特征提取和异构多模态图，分别用于建立多模态数据对语义信息的全尺度感知。多模态语义中继架构利用多模态语义信息的相关性并在中继节点补充语义知识，以提升语义通信在低信噪比下的鲁棒性和准确性。分布式训练可以使终端设备基于带宽、计算资源和存储资源自适应选择提取本地传输的语义特征表示。80/126例如，终端设备可以根据工作负载和任务贡献对集群内的设备采用资源分配和设备

184、选择策略。此外，边缘服务器还可以优先考虑贡献较高的设备，基于联邦学习发送更新的模型参数，并禁止更新频率较低的设备。图 8.2 分布式语义通信的技术示意图在分布式语义通信框架可以使用以下技术实现，如图 8.2所示，将这些技术分为三类：语义对齐和补充、多模态语义中继方案、分布式自适应工作负载优化和分布式联邦学习推理。不同模态之间全局和局部的语义特征具有一定的相关性。因此，通过对多模态数据进行多模态特征提取和多模态知识聚合，用以对齐和补充缺失模态的语义信息。在实际通信场景中，在发射器和接收器之间共享语义背景知识往往使不同的。同时，在恶劣的通信环81/126境中，多模态信息往往也很难可靠地传输到接收机

185、。因此，在存储丰富背景知识中继节点利用多模态语义相关性对语义进行补充和加强，可以减轻无线信道和语义噪声的影响，从而提高了任务性能。分布式训练在受到多种应用场景、终端设备计算能力不足、数据隐私泄露和通信延迟过多的限制。为了解决这些问题，分布式设备可以传输满足通信资源和延迟约束的轻量级多模态语义特征，利用语义中继和边缘智能来实现语义通信。8.1.1 多模态语义中继架构组成与部署多模态语义中继架构组成与部署近年来，为了实现多模态数据的可靠传输，学者们已做出了许多研究，如 U-DeepSC71作为一个通用框架可以支持图像、文本和音频模态的语义传输。然而，目前大多数语义通信只考虑端到端通信范式，而不利用

186、无线中继。实际上，边缘服务器可以作为数据放大和语义补充的中继节点。语义中继可以利用多模态信息相关性和背景知识对接收到的语义信息进行补充和强化，提升多模态的语义信息量，提高了语义通信的鲁棒性和有效性。图 8.3 多模态语义中继架构示意图多模态语义中继架构由一个发射机、一个多模态语义中继节点和一个接收机组成。如图 8.3 所示，在源节点，通过单模态语义编码器提取单模态的语义特征（如图像），并由信道编码器映射为传输符号。当单模态语义特征在中继处被单模态信道解码器接收并恢复时，将其与附加的其它模态（如文本）语义融合，得到增强的多模态语义特征。在通过一82/126个多模态信道编码器之后，将融合后的语义从

187、多模态语义中继器传输到目的节点，然后根据用户特定的需求进行恢复以完成目标任务。在源节点，终端首先将图像数据进行统一的规范化处理。然后，利用图像语义编码器对给定模态提取特征并通过信道编码器映射为统一规范的传输符号，其中图像语义编码器可以根据终端配置自行选择模型。在中继节点，多模态语义中继由一个图像信道解码器、文本语义编码器、多模态特征融合模块和多模态信道编码器组成。在多模态语义中继模块，图像信道解码器由一个多层神经网络搭建而成，文本语义编码器由 BERT 级联 Bi-LSTM 组成来提取文本特征。然后，基于注意力机制的多模态特征融合模块将语义信息互补的文本特征与恢复的图像特征进行融合，然后通过多

188、模态信道编码器得到多模态语义向量转发给接收方。在目的节点，采用多模态信道解码器将多模态语义向量恢复得到多模态特征，然后根据用户特定的需求进行恢复以完成目标任务。8.1.2 多模态语义中继架构优势多模态语义中继架构优势多模态共享互补语义信息可以提升语义通信的有效性。在语义通信范式下，终端执行任务所需要的不再仅仅是单模态数据，而是包含了文本、图像、视频、音频等多模态数据，不同设备来源的多模态数据包含了相关的上下文信息。语义通信可以利用多模态数据源之间的相关性，以减少传输中的冗余和延迟。现有的语义通信架构仍未充分挖掘多模态信息之间的潜在相关性，导致多模态信息利用率不足。边缘服务器充当中继节点，引入互

189、补的其它模态语义信息和额外的知识，可以帮助终端精确刻画样本特性，提升语义通信的有效性。语义中继架构可以抑制源节点和目的节点间的语义噪声。在语义通信中，由于用户属性的异质性和任务的多样性，不同任务之间的多模态背景知识多样化，导致发送机和接收机之间的多模态语义信息不一致，即语义噪声。因此，语义噪声引起的传输错误是传统通信技术在通信中难以抑制的的问题。因此，利用多模态信息之间的内在相关性来加强语义和克服语义噪声是一个很有前途的研究领域。多个中继节点可以辅助语义信息在信道中的传输，避免了长距离或恶劣场景下的传输，减少了语义信息的丢失，这使得多模态语义互补或语义恢复变得更为可控。同时，多个中继节点可以通

190、过共享背景知识和补充传输的语义，降低发送机和接收机间的语义噪声，帮助分布式设备准确地恢复语义信息。例如，图83/1268.3 显示了多模态语义中继架构在抵抗语义噪声的例子。用户使用无人机拍摄运动型多用途汽车，并将图像传输到远程监视器，而不提供任何额外的描述。由于功耗低，无人机只能将图像发送到附近的边缘服务器（即发射机），通过无线信道连接到另一个边缘服务器（即多模态语义中继）。通过多模态语义中继的补充，附加的语义信息（如底盘高度等语义信息）被添加到更新的语义信息中。因此，监视器并不会仅使用它自己的背景知识错误地将目标识别为一个多用途汽车，而可以通过更新的多模态语义信息正确地识别为运动型多用途汽车

191、。适应移动端设备的低计算能力需求。通常，语义通信系统由语义编码器、信道编解码器和语义解码器等模块组成。由于终端设备的计算能力非常有限，在现实场景中大规模部署在终端设备上可能并不实际。因此，引入多模态语义中继架构可以将接收机过多的计算操作和复杂的多任务调度转移至中继节点，这帮助分布式设备仅需要传输少量必要语义信息，减少语义通信的需要的计算资源和通信资源。8.2 分布式协同设备分布式协同设备-服务器推理服务器推理8.2.1 分布式协同设备分布式协同设备-服务器推理组成与部署服务器推理组成与部署为了充分利用边缘服务器和分布式设备的计算能力，节省通信开销，保护用户隐私，我们采用了基于联邦学习（FL）的

192、参数共享机制实现分布式训练，使用多个边缘服务器或设备与全局服务器协同学习模型参数，来提高语义通信模型的训练效率。如图 8.4 所示，当处理多个局部边缘服务器从设备收集到的非独立和同分布数据时，可以使用对偶方法和二次近似来获得独立和可学习的任务。然后，每个边缘服务器或设备可以利用区域收集的数据训练其局部模型，并将更新后的局部模型参数传输到全局服务器。多设备检测模块计算所有局部模型参数的加权平均参数作为全局模型参数，并将其广播到所有边缘服务器或设备。边缘服务器和全局服务器交替地更新模型直到达到预定义的收敛阈值。与传统的集中学习中所有数据都传输到全局服务器的集中学习不同，基于联邦学习参数共享的分布式

193、训练不仅减少了通信负载，还提高了语义通信模型的收敛速度。此外，由84/126于基于联邦学习仅传输模型参数，不传输原始数据，这使得用户隐私获得了最大保护。图 8.4 基于联邦学习参数共享的分布式训练示意图8.2.2 分布式协同设备分布式协同设备-服务器推理实验性能分析服务器推理实验性能分析在本节中，我们采用了一个多模态分类任务来证明多模态语义中继架构对信道噪声和模态缺失的有效性和鲁棒性，数据集采用 UPMC Food-101 数据集120。同时，我们与三种基线进行了比较，即单文本模态（JSCC-T）和单图像模态（JSCC-I89）和分布式信息瓶颈变分特征编码（DIB-VFE-I121），其中添加

194、在 DIB-VFE 模型前面引入 Inception-v3对 UPMC Food-101 数据集的图像进行预处理。多模态语义中继架构假设模拟的信道是一个加性高斯白噪声（AWGN）信道，并且在训练和测试阶段的信噪比（SNR）状态是相同的。根据图 8.5 的结果显示，在 SNR0 dB 的情况下，多模态语义中继架构相比于单模态的 JSCC-T、JSCC-I 和 DIB-VFE-I 表现更优。在低信噪比条件下（即 SNR=-10 dB），JSCC-T、JSCC-I 和 DIB-VFE-I 的分类准确率分别仅为 22.7%、13.27%和 1.57%，而多模85/126态语义中继架构仍能够达到 62.

195、86%的分类准确率。值得注意的是，通过利用多模态语义中继提供的互补语义信息，多模态语义中继架构的分类准确率比 SNR-5dB 的 JSCC-I 高出 20%。因此，在低信噪比情况下，提出的多模态语义中继架构能够有效抑制语义噪声，显著提高分类精度。同时，我们通过掩蔽 50%的传输图像模拟恶劣的通信环境来验证所提出的多模态语义中继架构的鲁棒性。图 8.5 显示，使用掩蔽图像的多模态语义中继架构只有轻微的性能下降。其原因是缺失的图像信息在中继节点上被互补的语义特征所补偿。对于具有掩蔽图像的 JSCC-I 和 DIB-VFE-I，当 SNR=10 dB 时，分类准确率分别从完整图像的 62.06%和6

196、4.17%下降到掩蔽图像的 50.15%和 61.41%。即使在某些图像模态由于信道条件差而缺失时，多模态语义中继架构仍可以可靠地执行分类任务。此外，为了验证分布式训练可以提高语义通信的训练效率和鲁棒性，我们分别进行了集中学习和基于联邦学习（FL）的参数共享机制的实验。在 FL 的训练过程中，我们认为有 10 个边缘服务器和一个语义中继作为全局服务器。UPMC Food-101 数据集平均分布到边缘服务器。在图 8.5 中，与集中式学习相比，所提出的多模态语义中继架构在 FL 中的性能损失在 2%以内。相比之下，JSCC-I 在 FL 中比集中学习的性能损失约 16.7%。结果表明，所提出的多

197、模态语义中继架构在 FL 中具有较高的训练效率和鲁棒性。图 8.5 在 AWGN信道下多模态语义中继架构与基线实验的分类精度对比图11986/1269.语义通信中的安全挑战与对策语义通信中的安全挑战与对策9.1 语义通信中的模型安全语义通信中的模型安全人工智能模型是语义通信系统的重要组成部分，语义通信系统中语义编解码器、信道编解码都以模型或神经网络的形式存在。语义通信系统不仅面临传统网络攻击的威胁，还面临针对人工智能模型的攻击。语义通信模型安全对整个语义通信系统安全至关重要122。下文将根据图 9.1 展开，阐述语义通信系统可能面临的两种典型模型攻击，对抗性攻击和投毒攻击，并介绍相应的防御手段

198、。图 9.1 语义通信模型安全示意图87/1269.1.1 对抗性攻击与防御对抗性攻击与防御对抗性攻击对抗性攻击是指在模型使用阶段对输入样本故意添加一些人类难以察觉的细微的扰动，导致模型以高置信度给出一个错误的输出。对抗性攻击可以作用在语义通信系统的物理信道和信息源，在物理信道中进行故意扰动，使语义解码器恢复错误的或指定的数据，被称作语义噪声，或在信息源（原始数据）中添加特别设计的扰动，使语义编码器提取不正确的特征。上述扰动对人类来说是难以察觉的，但会造成语义编解码器的错误输出甚至特定输出。对抗性攻击影响系统提取不正确的语义特征，破坏语义信息的完整性和可用性，导致语义通信系统的准确度降低。根据

199、对模型和知识库的了解程度，对抗性攻击可以分为白盒攻击和黑盒攻击白盒攻击和黑盒攻击。白盒攻击，攻击者对语义编解码器和知识库完全了解，清楚语义编解码器内部的结构和参数，根据上述内容，攻击者能够计算目标函数相对信息源的梯度，从而利用该梯度生成故意扰动。经典的白盒攻击算法有：快速梯度符号法、投影梯度下降法、单像素攻击。白盒攻击比较简单，但实际情况常常不是这样。黑盒攻击，攻击者对语义编解码器的结构、参数不了解，对知识库和训练算法不了解或了解很少，只能通过输入输出来“询问”。常见的黑盒攻击算法有：基于访问的黑盒攻击、模拟梯度的黑盒攻击。黑盒攻击更类似于无法获得完整模型信息和知识库信息的实际情况，是研究的重

200、要方向。根据攻击者的目标，对抗性攻击可以分为定向攻击和非定向攻击定向攻击和非定向攻击。以对语义解码器的攻击为例，定向攻击指攻击者希望语义解码器将语义特征错误解码为某一指定内容，如将“Apple”解码为“Banana”。而非定向攻击则不指定错误解码的内容，只需要语义编码器将语义特征错误解码即可。与定向攻击不同，非定向攻击的一个重要目标是最大化错误概率。对抗性样本的微小扰动在不同模态语义通信中有不同的形式。对抗性样本的微小扰动在不同模态语义通信中有不同的形式。图像对抗性样本常常通过添加噪声或修饰图像特定区域生成；语音对抗性样本将人耳难以察觉的微小扰动覆盖到原始音频上；文本对抗性样本在保持语法正确的

201、前提下，通过删减或替换词语添加扰动。未来多模态语义通信场景下，微小扰动的形式将更加复杂。对抗性攻击现有的防御手段可以分为被动防御和免疫防御。88/126被动防御被动防御的核心思想是通过过滤器进行数据去噪。过滤器可以作用在输入处或模型内部。当过滤器作用在输入处时，过滤器的作用是部分或完全地消除信息源或物理信道中由恶意扰动引起的噪声。以图像类型数据为例，过滤器常见的防御机制有图像模糊化、图像压缩、图像重构等。还有一种特殊的输入过滤器以随机化的方式进行防御，过滤器对图像进行多次随机裁剪、拼接，再随机选择某个样本作为过滤器输出，这种过滤器安全性非常高，因为防守者实际上没有固定的防御手段，攻击者难以进攻

202、。过滤器同样可以作用在模型内部，对语义编解码器某些层或每一层提取的特征去噪，从而降低微小扰动对语义编解码器的影响。被动防御可以有效降低对抗性样本的强度，从而实现对各类对抗性攻击的有效防御。但是，在使用过滤器去除噪声的过程中，不可避免地损失部分有用信息，导致对于正常数据，整个语义通信系统的表现会下降。免疫防御免疫防御的核心思想是训练一个不容易被攻破的模型。最常见的方式是对抗性训练，即将对抗性样本示例添加到知识库中，依托这种知识库进行训练可以显著提升语义编解码器的鲁棒性，并起到减少过度拟合和提升泛化能力的作用。另一种方式是模型优化，有研究表明某些损失函数在防御对抗性攻击方面有效，可以据此调整语义编

203、解码的损失函数，此外，可以通过附加特定神经网络的方式提高语义编解码器的鲁棒性。免疫防御可以得到更强壮、更不容易被攻破的语义通信模型，但由于模型训练依托现有的攻击方式，免疫防御的泛化能力较差，未必能抵挡新的攻击类型，而且对抗性训练需要大量的训练资源，显著增加开销。9.1.2 投毒攻击与防御投毒攻击与防御投毒攻击是指在模型训练阶段攻击者将少量精心设计的中毒样本添加到模型的训练数据集中，利用训练或者微调的过程使模型中毒，从而破坏模型的可用性或完整性，最终使模型在测试阶段表现异常。投毒攻击常常作用在语义通信系统的知识库模块。知识库的数据来自语义通信各参与方的共享以及大量互联网数据，这些数据用于训练语义

204、编解码器，对恢复消息的准确性产生极大影响。普通攻击者在互联网数据收集阶段向知识库有限地投毒，而某些特权攻击者可以在训练阶段使用大量中毒样本污染知识库。语义特征的提取和恢复取决于知识库中数据的质量，因此中毒的知识库会损害语义通信系统的真实性和可用性。在某些条件下（如后门）可能造成极其严重的后果。89/126投毒攻击可以分为数据投毒和模型投毒数据投毒和模型投毒。数据投毒主要污染训练数据（知识库）。常见的数据投毒攻击有：基于脏标签的数据投毒攻击，如标签翻转投毒，通过改变数据与标签的映射关系生成中毒样本；干净标签的数据投毒攻击，采用特征碰撞法生成中毒样本，中毒样本的标签看起来完全正常，难以被数据清洗者

205、发现，这种攻击能以较低的染毒比例得到非常高的攻击准确率。模型投毒的攻击重心在模型本身，攻击者可以使用更直接的方式操纵语义编解码器的训练，如用恶意模型替换全局模型、向模型增添噪声等。另一种常见的模型攻击是后门攻击，攻击者在训练数据（知识库）中注入具有触发标识的样本，使语义编解码器中毒，在处理信息源时，语义编解码器可以正确提取并恢复不包含触发标识的信息源的语义特征，但会错误处理携带触发标识的信息源。投毒攻击现有的防御手段有基于数据的防御、基于梯度的防御、基于模型的防御基于数据的防御、基于梯度的防御、基于模型的防御。基于数据的防御包括知识库筛选和数据预处理，知识库筛选可以根据不同数据类型，采用神经网

206、络或其他方法筛选并删除可疑样本，减少或清除知识库中的中毒数据；数据预处理旨在强化数据本身特征并模糊中毒特征，可以采用图像裁剪分割、文本向量化、音频去噪或放大指定音频等方法。基于梯度的防御指拜占庭鲁棒性聚合，这是一种被动防御策略，通过改变全局模型的聚合方式来减轻中毒攻击的危害，有梯度裁剪、去除极值、差分隐私等方法。基于模型的防御包括模型分析和模型解毒，模型分析根据模型相似性或评价指标评估模型中毒与否、检测模型的中毒程度；模型解毒通过模型微调、重新训练、模型修剪等方法降低被攻击模型的中毒程度。9.1.3 未来展望未来展望在上述两类威胁之外，语义通信模型安全还面临推断攻击、模型抽取攻击、木马攻击等威

207、胁，近年来各种新型攻击手段如新型后门攻击、模型窃取层出不穷，造成语义通信模型安全的难度和复杂度提升。未来，语义通信系统需要鲁棒性更强、工作效率更高、泛鲁棒性更强、工作效率更高、泛化能力更好化能力更好的模型安全策略。9.2 语义通信中的密码技术语义通信中的密码技术当语义通信在无线信道中传输信息时，由于无线信道全开放、易接入的特点，传输过程易遭受窃听攻击。攻击者通过收集无线信道中传输的语义特征，获取秘密信息；进一步，90/126攻击者还可以通过对传输的语义信息的伪装、重放、篡改来实现更加复杂且隐蔽的攻击，仅依靠模型安全无法抵御上述针对通信过程的各种攻击123。运用密码学手段来确保传输信息的保密性、

208、完整性、可用性是一种非常有效的方法。传统加密技术是面向符号表征的，相比之下，语义通信中的密码学更加关注语义的安全性，即在保障机密性的同时，更注重信息的语义完整性和有意义性。语义通信密码学的出现为解决当前通信安全面临的挑战提供了全新的可能性和视角。因此，值得深入探讨语义通信密码学技术，探索其在应对当前及未来安全挑战中的作用与前景，推动通信安全技术的持续进步。本节旨在综述目前语义通信中已有探索的密码学技术，同时提出亟待进一步研究的技术，语义通信中的密码学技术示意图如图 9.2所示。图 9.2 语义通信中的密码学技术示意图混淆与置换混淆与置换：两者都可以看作是轻量级的加密技术，优势在于可以在几乎不影

209、响系统性能的前提下为通信过程提供一定程度的安全保护。以图片的语义通信为例，把待传输的语义特征排列成二维数组，置换是指将数组中的某几行或某几列按一定规则进行置换，混淆则是指向数组中按一定规则插入虚假特征。二者的规则可以从随机噪声中生成，同时，91/126该规则应被当作是密钥进行存储，并发送给接受方。恶意用户在不知道规则的前提下很难恢复出高质量的图像，从而一定程度上保证了语义通信的保密性。加密加密：这是一种经典的保护通信的保密性的方案，通过引入仅合法通信方掌握的秘密信息和密码算法来对通信内容进行保护。语义通信中采用的加密方案与传统的加密方案有显著不同，语义通信中采用深度神经网络来实现对语义特征的加

210、密，将语义编/解码器、信道编/解码器、加解密器联合在一起，通过类似生成对抗网络的架构来训练出一个最好的加/解密器，使加密强度足以抵抗攻击者。不过，与传统加密方案相同的一点是，密钥消息仍然需要单独安全信道进行传输，这个安全信道可以借助传统密钥交换算法或其他任意方法实现。这种加密方案可以较好的保护语义通信过程的保密性，没有密钥的恶意用户无法重建正确的语义信息。密钥生成密钥生成：如何快速、高效的产生高质量的密钥一直是密码学热烈讨论的问题，而如何产生高质量的随机数又是其中的关键问题之一。语义通信过程中所涉及到的动态无线信道、语义抽取、句子相似度、BLEU 分数等都是天然的随机数来源，经过合适的处理基本

211、能保证在较长时间内产生稳定的随机数序列。因此，语义通信过程中可以综合利用这些稳定的随机数序列，生成稳定可用的随机密钥流。例如，可以利用无线信道的动态随机特性和 BLEU 加权分数实现的密钥生成算法产生随机密钥流。尽管学者们已经提出多种方法来应对语义通信中的安全问题，然而，现有方案仍存在亟待解决的一系列缺陷。首先，现有方案未能对密码算法的安全性进行分析。深度学习的不可解释性使得用理论分析方法验证密码算法的安全性变得异常困难。同时，当前缺乏客观评估密码算法安全等级的指标，现有算法的安全性验证主要依赖于通过实验证明攻击者无法有效还原语义信息的方法。然而，这种验证方法的说服力尚待深入探讨。另外，由于密

212、码算法是使用深度神经网络实现的，现阶段还缺乏快速的物理实现方式，在实际工作性能方面也存在可优化的空间。总体而言，对密码算法安全性的理论分析和客观评价，以及对密码学的强度和算法可解释性的关注，将是推动语义通信密码学领域取得实质性进展的一个重要方向。值得一提的是，当前密码学在该领域的发展仍然处于早期阶段，许多方面尚未充分讨论。首先，尽管已经涌现了一些关于物理层安全、隐蔽通信以及量子密钥交换的零星研究，但相关领域的深入探讨仍然相对稀缺。其次，在实际的通信场景中，存在大量复杂的通信92/126情境，其中必然涉及到安全协议的使用，以确保密码算法的正确实施。然而，对于这方面的讨论在当前仍未充分展开。未来的

213、研究应该更加着重于这些实际场景中安全协议的设计和应用，以全面提高语义通信加密系统的整体安全性。总的来说，语义通信中的密码学相关问题仍需要广泛、深入的讨论，从而推动语义通信加密技术的进一步发展和完善。9.3 语义通信中的隐私保护语义通信中的隐私保护语义通信需要海量数据进行学习，以提升语义通信模型的表征能力和泛化能力。然而，语义通信所需的训练数据总是分布在不同的个人或机构中。为了充分利用更加丰富完善的样本数据，各参与方需要共享各自知识库数据。考虑到共享数据中包含敏感隐私信息，语义通信训练过程面临严重的隐私泄露风险。随着数据隐私意识的增加以及数据合规性要求的提升，数据隐私安全问题变得越来越重要。为保

214、护语义通信参与方的隐私，相关隐私保护技术亟待研究。联邦学习联邦学习是提升语义通信隐私保护能力的可行方案之一124。其在不共享原始私有数据的情况下进行协作机器学习训练，减少了隐私泄露的风险。在联邦学习中，各参与方先使用自身数据进行本地训练，然后分享其模型参数进行聚合以获得全局模型。在不断的聚合过程中逐步提升全局模型的性能。整个过程不涉及原始数据的共享，因此可以减少隐私泄露和数据外泄的风险。然而，联邦学习无法阻止攻击者通过梯度重建出敏感的训练数据。此类攻击被称为梯度泄露攻击。为抵御此类攻击，模型划分方法125在参与方中引入私有模型，以避免攻击者获取参与方的完整模型信息，从而有效阻碍攻击者的梯度分析

215、。梯度泄露攻击的复杂度随着私有模型的增大而急剧上升，因为攻击者必须推断出私有模型的所有超参数，才能通过梯度重建出敏感的训练数据。差分隐私差分隐私是另一种重要的隐私保护手段，旨在通过引入噪声的方式，保护数据隐私的同时仍然能够提供有用的数据分析结果。差分隐私通常运用高斯噪声或拉普拉斯噪声，这些噪声可被添加进数据，或者梯度计算、参数更新等过程中。控制噪声的大小可以灵活地调节信息泄露程度，进行隐私保护和数据分析之间的平衡。过小的噪声无法满足隐私保护需求，而过大的噪声会影响模型准确性。差分隐私能够提供数学上可证明的隐私保护，并且适用性广泛，有望应用于语义通信的隐私保护场景。93/126多方安全计算多方安

216、全计算是一种隐私保护的多方协作计算方法，通过综合运用多种密码学技术和协议来实现计算结果的正确性和数据的私密性。多方安全计算各参与方无法获知其他参与方的输入数据。语义通信中各参与方可利用安全多方计算，在不披露自身知识库的情况下，实现数据共享的模型训练和使用。表 9.1对上述隐私保护方法进行总结，并说明各方法在语义通信数据收集、模型训练、模型预测中的运用阶段。表 9.1 语义通信中隐私保护技术的总结与运用阶段当前，语义通信的隐私保护研究仍面临挑战。首先，语义通信结合隐私保护技术往往带来性能损失或计算复杂度增加等问题。未来研究需要平衡隐私保护与通信性能的需求，解决隐私保护与计算复杂度之间的矛盾。其次

217、，当前语义通信隐私保护研究聚焦在上层，忽视了语义通信作为跨层通信结构的特点。如何结合物理层等其他层面的隐私保护技术以提供跨层的语义通信隐私保护是一大研究方向。最后，如何综合利用多种隐私保护技术，构建完善的隐私保护技术体系，面向语义通信中隐私信息进行全生命周期保护是亟待研究的问题。总而言之，语义通信中的隐私保护问题仍需要广泛深入的研究。解决隐私保护问题有助于提供更加安全、可靠的语义通信环境，促进语义通信技术的应用和推广。94/1269.4 语义水印安全通信语义水印安全通信随着图像处理技术的飞速进步，修改隐私图片变得异常简便。同时，迅猛发展的网络技术极大地便利了隐私数据的非法传播，这也催生了越来越

218、多的图片安全防护技术。在这方面，数字水印技术，凭借其在图像认证、完整性验证、篡改检测、版权保护和数字图像安全等领域的多功能性，已成为一种关键工具126。然而，当前数字水印技术仍面临诸多挑战，攻击者往往能够探测出数字水印算法127，从而识别并修改水印，实现破解或篡改。因此，数字水印的二次加密尤为重要。数字水印诞生于上个世纪九十年代，由 Tirkel 等人于 1994 年正式提出两种空间域嵌入算法128，虽有较好的鲁棒性，但透明性表现较差。为改善透明性，Bors 等人提出在DCT 嵌入数字水印129。之后相继出现了 DFT、DWT 等变换算法，改善了数字水印的透明性，但减弱了其鲁棒性。Zhang

219、和 Wei 在文130中提出将 DCT 和 DWT、SVD结合，在提高水印不可见性的同时，还增强了对各种攻击的抵抗力，使之更适合多种实际应用场景。文131进一步改进了 DCT-DWT-SVD 水印算法在无线信道的鲁棒性，并完成了实验验证。区别于传统数字水印，语义通信主要侧重于提取并关注信息传输的含义，智能化的信息交互。以此为借鉴,可以利用语义信息生成新的数字水印来辅助整个安全通信过程。由于语义水印作为二次加密的方案，需要让输入层与输出层尽可能的接近，因此可以采用自编码器的网络架构。在此过程中，提取的语义特征通过精心设计的神经网络可以精确地还原目标信息。与传统加密方法相比，针对攻击者而言，解析基

220、于语义特征的神经网络架构比解析传统水印嵌入提取算法要复杂得多，因而具有更高的安全保障。针对数字水印技术中存在的问题，可以设计基于语义的无线水印安全通信，即将提取到的数字水印图像的语义特征用于新的水印图像生成，从而避免传统水印技术被探测后的破解和篡改。对新生成的数字水印施加了各种可能的攻击，验证语义信息生成水印的性能。同时，利用遗传算法对 DCT-DWT-SVD 数字水印算法131进行优化，通过设计适应度函数完成数字水印最佳嵌入因子的选取，确保鲁棒性与透明性的最佳平衡。仿真结果表明，所提框架和算法能够有效保障数字水印的鲁棒性与透明性。95/126DCT-DWT-SVD 数字水印算法是在 YCrC

221、b 颜色空间上进行处理，对 Y 分量进行DWT处理，并选择其中能量集中的低频自带分量 CA 进行 DCT 分块处理。通过对分块的结果进行 SVD，选取其中的 S矩阵作为数字水印的最终嵌入目标，完成数字水印的嵌入。提取流程与上述一致，在每个分块完成提取后即可得到数字水印图像。图 9.3 遗传算法优化表 9.2 最优嵌入因子等参数统计最优嵌入因子最优性能PSNRNC467.798899.198153.14170.9980487.8528101.149253.14921508.0288103.202353.10331由于水印嵌入因子的不同会对不同图像中数字水印的性能有着显著影响，可以采用遗传算法进行

222、优化，选取不同图片的最佳水印嵌入因子。遗传算法种群大小为 25，迭代次数为 100，代沟为 0.95，交叉概率为 0.7，变异概率为 0.01。选择算子为随机竞争选择算子，变异算子为基本位变异算子，交叉算子为单点交叉算子。将峰值信噪比(PSNR)和相关性(NC)作为衡量指标，适应度函数定义为 PSNR+NC，是适应度函数中 NC 的权重比例，最优嵌入因子等参数统计如表 9.2 所示。随着的增加，算法能够在保持高水印提取准确度的同时，进一步提升水印的隐蔽性和图像质量。在取 48 时，最佳嵌入因子为7.8528，将此次结果用于后续嵌入过程。96/126图 9.4 基于语义的数字水印（左）与 DCT

223、-DWT-SVD 数字水印（右）对比其中，基于语义的数字水印在嵌入图像后，图像的 PSNR 为 40.6137。DCT-DWT-SVD 数字水印直接嵌入图像后，图像的 PSNR 为 40.9294。正常情况下，PSNR 值大于35dB，肉眼就无法察觉，表明水印的嵌入不会显著影响图像的视觉质量。图 9.5 不同攻击对数字水印产生的影响（左：基于语义的数字水印；右：DCT-DWT-SVD数字水印）基于语义的数字水印在以上攻击中有着较好表现，仅在均值噪声、中值滤波以及均值滤波(33)攻击下存在部分解码偏差。而 DCT-DWT-SVD 数字水印在面临以上攻击时，均会收到不同程度的影响。97/126图

224、9.6 发射机，接收机设计参考流程在图像传输中，数据经过压缩编码后被分成多个 MAC 服务数据单元，并附加到MAC 帧头。经过 CRC 和帧校验序列 FCS 处理形成 MAC 协议数据单元，最终转换为物理层服务数据单元，同时遵循 OFDM 标准进行传输。在接收端，执行 OFDM 信号检测，提取 PLCP 前导码进行同步和信道估计，并经过各种处理步骤还原原始数据流。98/12610.面向卫星系统的语义通信面向卫星系统的语义通信卫星通信近期正处于由技术进步推动和投资兴趣复苏的阶段。与地面通信系统相比，卫星通信系统面临更多挑战，其中一部分是传统卫星通信系统所持续面临的，而另一部分则是新场景下新一代卫

225、星通信系统所遇到的。尽管学术界已经广泛研究了克服这些挑战的方法，但仍有进一步提升的空间。作为一种新兴的高效、智能化信息传输技术，语义通信技术具备更好应对这些挑战的潜力。另外，卫星通信中的一些独特特征也与语义通信传输模式相契合。统通信技术在发送端和接收端克服信道中的噪声和衰落等因素。调制技术、波形设计和编码技术等可以有效地克服这些挑战。对于卫星通信场景，由于链路预算有限、多普勒频移大、网络拓扑结构动态性强，这些挑战依旧严峻。造成这种瓶颈的原因之一是传统通信技术忽略了语义或有效性问题，而将问题简化为以最可靠的方式在信道上传输离散或连续波形。语义通信是一种强调理解和处理语义的通信方式。它不仅仅关注信

226、息的传递，更注重对语境、意图和含义的深入理解。因此，语义通信有望成为突破瓶颈的关键技术。10.1 卫星系统中的高效语义传输卫星系统中的高效语义传输传统通信系统侧重于传输符号，而忽略了语义内容。而语义通信则着重于从源头获取语义信息，并在接收端恢复相同的语义信息。因此，与直接从源头映射比特序列相比，语义通信会将集中的语义信息传输到接收端。因此语义通信所需的资源将大大减少132。当前，主流的语义通信信源类型包括文本信息、语音信息和图像（视频）信息133。这与目前卫星系统的主流服务业务类型相一致。举例来说，Inmarsat 卫星系统主要提供海上语音业务；天通一号卫星系统支持语音通话、短信传输等业务；中

227、星系列卫星支持广播视频业务；另外还有监测卫星需要将图片传输至地面终端。卫星业务需求决定了卫星通信网络适用于定制化的语义通信网络架构。另一方面，要实现高性能的信号传输，精确的信道估计是必要的。在新一代卫星系统中，尤其是低轨卫星系统，为了适应灵活多变的波束指向需求，越来越倾向于采用大规模相控阵列天线。然而，目前的大规模天线阵列信道估计技术需要使用较长的导频序列，导致提供信道反馈的成本增加。此外，由于卫星传输的时间延迟，即使使用了较长的导频序列，得到接近克拉美罗界的信道估计结果，进行波束赋形时仍然存在过期的信道误差99/126134。因此，迫切需要新的方案来进行信道估计，减少空间、时间和频率域等资源

228、的消耗。环境语义感知技术有潜力成为新的解决方案。由于卫星的传输信道以直射径为主，与通过估计语义参数例如波达角和多普勒频移得到的部分信道信息133强相关。例如，可以通过图片来获取环境语义，随后重构信道信息。10.1.1 多星语义传输系统多星语义传输系统为了增强单颗卫星系统的系统级容量，卫星通信已经从单一波束系统演进为多波束系统，实现了多流数据的同时传输。未来卫星系统的发展趋势是通过卫星之间的协作构建协同传输模式。从终端的角度来看，可见空间内的多颗卫星可以被视为多个传输天线或传输点。如果每颗卫星向终端提供一个波束，并且多个卫星同时向单个终端传输数据，那么整个系统可以被看作是一个规模庞大的虚拟 MI

229、MO 系统135。由于各个卫星位置的差异，它们之间的波束信道相关性较低。因此，多颗卫星的联合传输避免了在单颗卫星系统中所必需的波束间隔离策略，为构建多星语义传输系统提供了理论基础。图 10.1 多星语义传输系统如图 10.1 所示，每颗卫星和接收端均配备天线阵列（发送端和接收端天线阵列规模可以不同）。第 M 颗卫星发送第 M 流数据，通过语义编码提取发送数据的语义特征或信息，然后将这些特征编码为符号进行传输。100/12610.2 卫星系统中的高可靠性语义传输卫星系统中的高可靠性语义传输10.2.1 低链路预算下的语义传输低链路预算下的语义传输卫星通信系统面临链路预算紧张的问题。卫星通信系统的

230、接收端信号功率强度受到多种因素的影响，包括信号的发送功率、发送天线增益、路径损耗以及接收天线增益。由于卫星的传输路径较长，自由路径损耗较大，导致终端接收到的信号强度较低，从而使得卫星通信系统的下行链路处于低信噪比的状态。在地面终端向卫星进行数据传输的上行链路中，这一现象更加严重。因此，卫星通信亟需在低链路预算条件下采用高效的传输技术。通过语义分析和处理，语义通信有助于减少在传统通信中常见的歧义和误解。该系统能够更好地理解用户意图，避免因为不清晰的语言表达而引发沟通问题，从而提高通信的精准度和可靠性,这最终提升了系统在低信噪比条件下执行语义任务传输的能力。举例来说，在论文24中，研究人员开发了一

231、种基于 Transformer 的端到端语义通信系统，名为DeepSC。实验结果显示，DeepSC 在语义任务传输性能方面明显优于典型的通信系统，尤其是在低信噪比条件下表现出色。10.2.2 基于语义传输的卫星波束赋形基于语义传输的卫星波束赋形卫星通信系统使用波束赋形技术的主要目的是提高通信系统的性能和效率，具体体现有如下两点。1）波束赋形技术可以将天线的辐射能量聚焦在目标方向上，从而减少了非目标方向上的信道干扰和噪声。这样可以提高接收信号的质量和信噪比，增强信号的传输质量和可靠性。2）在卫星通信系统中，不同波束之间普遍存在互相干扰的情况。通过使用波束赋形技术，可以控制和减小波束之间的干扰，以

232、同时传输更多的用户数据，提高系统的抗干扰性能和频谱利用效率。在未来面向语义任务的通信系统中，波束赋形和语义通信技术可以兼容，具体分析如下所示：1.当卫星系统在面临开放的无线环境下传输语义信息时，传输过程中可能面临窃听和监测的挑战，尤其是对于广域覆盖的卫星系统而言。为了增强面向语义通信的卫星系统的传输安全性，具备鲁棒性的波束赋形设计可以发挥重要作用。该设计能够降低卫星波束在不确定区域（通常指潜在窃听者所在的区域）的信号接收功率136，从而提升保密传输的安全性。101/1262.由于卫星在高速运动中，用于计算波束赋形矢量的信道信息可能包含过期的信道误差。这将导致语义传输的物理信道在发送和接收时发生

233、显著变化，对语义通信系统的性能产生影响。采用鲁棒的波束赋形设计可以减轻由信道信息过期误差引起的物理信道变化，从而降低对语义通信系统的影响。另一发面，鲁棒波束赋形技术未来的发展趋势是基于数字驱动的鲁棒优化137。它利用大量的数据通过优化提升系统的鲁棒性，而并非传统的假设不确定性服从特定的分布。因此，基于数据驱动的鲁棒波束赋形是缓解语义噪声对语义系统影响的潜在技术。3.一般情况下，卫星系统是一个用户服务数量庞大的过载系统。因此，在进行语义传输时，需要考虑到不同用户的语义业务内容的差异。通过卫星端的多流语义信息生成，可以采用波束赋形技术来减少多个语义内容之间的干扰，从而提升多流语义系统的传输性能。除

234、了上述提到的几个方面，未来将会设计出一种语义波束赋形方案，其主要目标是在信息传输过程中，尽量保留语义信息，而不仅仅追求数据速率的最大化。为了实现这种基于语义的波束赋形方案，需要构建一种特殊的损失函数来进行训练。10.2.3 基于信道预测的语义传输基于信道预测的语义传输尽管卫星时刻处于高速移动中，但是卫星的运行轨迹可以近似认为是固定的，且卫星的信道主要是直射径138。在139和140的研究中，设计了卫星系统信道预测神经网络，该网络可以根据历史信道信息来预测未来的信道情况。在地面网络中的语义通信系统中，由于复杂的多径散射环境，很难获得准确的信道估计结果。而在卫星网络中的语义通信系统中，由于信道环境

235、相对单一且可预测，信道估计的难题可以通过信道预测技术来解决。10.3 卫星系统中的智能语义传输卫星系统中的智能语义传输卫星通信系统的智能化发展趋势的必然性由以下两个方面决定：大规模连接需求和复杂性网络管理。而语义通信可以提升卫星通信系统的智能性，具体体现在以下几个方面：1.传统的调制技术主要是根据信道条件和传输需求进行优化。例如，在卫星的多播传输场景中，每一组多播数据的实际传输模式采用的编码码率和调制方式由组内最低信噪比决定。然而，在实际情况中，不同接收站的解码能力和业务需求各不相同，传统的调制技术难以同时满足用户的个性化服务。基于语义通信的自适应调制技术的优势在于能够更好102/126地满足

236、不同应用场景对通信性能和语义理解的需求。例如，通过建立语义信息与调制方案之间的映射关系，通信系统能够根据语义信息的不同选择合适的调制模式。2.利用语义信息可以优化卫星通信系统中的资源分配和管理。语义资源分配技术可以根据用户需求和通信环境，动态地分配带宽等资源，以避免资源浪费并满足用户需求。以下是几种常见的语义资源分配场景：语义路由：通过将数据的语义信息与卫星链路的质量和拥塞状态进行匹配，选择质量较好的链路进行传输。语义调度：利用语义信息进行任务的调度和资源分配。例如，通过识别任务之间的语义相关性，可以实现任务的合理调度。语义缓存管理：利用语义信息来决定数据缓存的策略和内容选择。例如，通过分析用

237、户的语义需求和使用模式，可以预测用户可能需要的业务数据，并将其提前缓存在卫星设备上，以实现快速访问和减少网络负载。103/12611.应用场景应用场景11.1 全息通信全息通信近年来随着全息技术的提高，全息在各个领域的应用数量和形式也逐渐增多。从最初的简单展示，到目前的可交互立体显示，全息的应用已经愈显成熟。目前全息应用较为成熟的领域有服务与销售、游戏、影院、新闻与舞美、教育、驾驶、文化和体育业。总体来说，全息目前在满足用户休闲娱乐的场景中应用广泛，且能满足大部分、普适的用户，未来在满足安全、情感、求知的场景中，发展潜力大。图 11.1 全息场景特征体系图当前全息场景丰富多样，在全息场景中真实

238、现场与虚拟三维建模影像相交融、场景带给人强烈的视觉和感官冲击；在全息场景中人与人的交流跨越时间空间，信息以高实时和多维度的进行传播。并且全息融合着人工智能，带给人们身临其境的交互体验，宛若面对面真实的重现。在场景的六个组成维度空间、时间、交互、心理、感官、内容上，全息场景的特征可以总结为：融虚实、强冲击、跨时空、高实时、多信维、智能化、具身交互、真实重现。结合全息应用场景特征研究，全息应用场景具有真实重现、虚实融合、具身交互、延伸时空的典型特征，同时得出了五大全息应用场景。（1）微时延超精度人机协同104/126微时延高精度人机协同场景将能够在医疗，制造业等领域广泛应用。医院的专科医生在高性能

239、通讯网络的赋能下，能在触觉，视觉等多维数据与病人端交互中，对病人远程实施远程问诊。此外，工作人员通过 6G 通讯网络，在安全场所传输手部移动数据，操纵实验室内机器人进行高危化学实验操作，提高了特殊场所下作业的安全性。（2）大容量融智孪生网络大容量融智能孪生网络场景主要运用于宏观态势监测、车联网、自动化农业、工业资源调配和处理等应用领域。因此，用户的使用偏向职业技术场景，且此类用户的需求集中于大规模数据的智能化精准采集、传输、处理与实时交互或决策。大容量融智能孪生网络场景具有较强的全真态属性，例如该类场景的典型案例之一全息数字孪生城市需要对街道、建筑、车辆等城市元素进行极强的拟真化。（3）强冲击

240、全沉浸虚实融合虚实融合的全息场景指在相对固定的系统环境下，以超低时延与超高带宽的通信为用户带来沉浸式虚实融合的体验。可以广泛应用于全息婚礼布置、赛事全息投影和全息舞美布展等固定形式的大场景中，其超高精度的全息显示效果，能够带给用户多感官的强烈冲击感和超沉浸的虚实融合场景体验。除了生活娱乐场景，在商业布展或对显示效果要求较高的场景中也将会给用户带来更为惊艳的体验。（4）跨时空多模态具身交互多模态具身交互要求较高的带宽进行交互对象及交互过程的数据传输、以保证高质量的展示及多维感官交互体验。可以为用户提供跨越时空的多模态交互渠道，丰富用户的生活，提升沟通效率。通过构建丰富多维的可交互显示效果，为全息

241、娱乐、全息文化教育等提出新的可能。例如家庭 MR 娱乐借助虚拟现实、通道交互等技术，建立高显示质量、多交互通道的场景，让用户沉浸性地进行家庭游戏或虚拟运动等娱乐项目，提升用户体验。又如全息文物修复通过全息显示向用户展示文物外观，同时借助丰富的交互手段模拟修复进程，为文博工作者提供文物修复方面的教育教学新方法。（5）多信维高保真人际互动多信维高保真人际互动场景主要赋能有关远程通讯的领域，用户使用场景较为日常和去专业化。此类用户的需求集中于异地互动通讯，高感官程度影像呈现方面的追求。在性别方面，该场景下的大部分全息产品没有明显的性别偏向。在职业身份方面，该场景的用105/126户类型没有出现明显的

242、职业化，例如云通话，全息明星互动等场景，这些场景均表现出较强的普适性。综合上述全息通信场景可以得出，高传输数据量、低时间延迟、数据多模态化是不同场景中所具有的共同特点。语义通信技术能够在保障传输数据质量的前提下有效降低传输的数据冗余性，显著降低通信时延，对全息通信领域相关应用场景的产品参数和用户体验提升具有重要的意义。11.2 自动驾驶自动驾驶协同感知为自动驾驶提供了更高的交通效率和安全性，为了向车辆用户提供各种实时服务，海量数据需要在相应的延迟限制内传输到服务器，其存在的复杂信号处理技术和多址接入问题为协同感知的落地带来了前所未有的挑战。语义通信作为一种将用户的需求和信息含义融入通信过程的全

243、新架构，有望成为自动驾驶中协同感知的一种新型应用范式。语义通信可增强车辆、道路基础设施和其他设备实体之间的信息交换和数据分析决策能力，实现车路高效协同，满足极高感知准确性和极低延迟的自动驾驶和智慧交通的决策需求。从目前协同感知的实际场景和应用需求出发，在现有的硬软件资源条件下总结概括了以下三个应用方案：网联协同环境感知、边缘计算辅助驾驶和智能驾驶规划调度，构建端到端的语义通信构架，赋能面向自动驾驶的协同感知。图 11.2 基于语义通信的自动驾驶典型场景106/126网联协同环境感知：单车感知往往会存在远距离视线受阻的问题，同时传感器本身的感知范围也较为有限，这可能会导致自动驾驶的灾难性后果。为

244、了克服这些问题，网联协同感知通过共享不同网联车辆以及路侧设施对于道路状况的传感信息，为自动驾驶系统提供更大的感知范围和感知能力，从而解决单车感知中存在的视野有限和视线受阻的问题。然而传输传感器所收集到的原始传感数据如点云和图像的通信开销较大，这可能会使得网联协同感知系统在通信资源受限的场景中无法较好发挥作用。语义通信通过挖掘原始传感信息中对于环境感知较为重要的语义信息，共享感知语义来弥补自动驾驶车辆因视线受阻而缺失的信息，以达成道路全局感知语义共识，在降低通信开销的同时保障网联协同感知系统的鲁棒性，进而推动网联自动驾驶系统的落地。边缘计算辅助驾驶：考虑到车载自动驾驶系统的计算资源通常较为有限，

245、因此自动驾驶车辆往往需要将自动驾驶中的部分计算任务迁移到路侧设施或边缘服务器上进行计算。然而完整计算任务信息的上传和计算结果的下载可能会带来较大的通信时延，这对于实时性要求较高的自动驾驶和高级辅助驾驶系统而言将会是一个巨大的挑战。语义通信系统根据具体的计算任务提取任务相关的有效语义来降低任务数据的传输量，进而降低数据传输所需要的通信时延，从而满足自动驾驶和高级辅助驾驶系统对于高实时性的需求。智能驾驶规划调度：网联协同感知系统通过提供视野盲区中车辆位置信息、交通信号灯信息等全局道路环境的感知语义，增强自动驾驶系统的感知能力，进而使得自动驾驶车辆以强大的感知系统为基础，根据潜在的驾驶安全隐患做出更

246、为合理的路径规划以及更为安全的实时驾驶决策，从而降低潜在驾驶事故的风险。11.3 数字平安乡村数字平安乡村党的十九大以来，习近平总书记就实施乡村振兴战略作出系列重要指示，党中央、国务院发布关于实施乡村振兴战略的意见等与乡村、农村相关文件 90 余个，明确提出要举全党全社会之力推动乡村振兴。我国人口众多、城市化水平较低，如何帮助农村地区利用信息化手段提供综合治理、安防监控和便捷的百姓服务，解决乡村线上服务“最后一公里”，一直是改革发展任务中的重中之重。中国移动从老人看护、基层治理、农业生产等乡村场景核心需求切入，快速汇聚生态硬件终端，推出“智慧化生活、数智化治理、智能化生产”全场景解决方案，打造

247、以村民自107/126治为基础，以村级基层组织为核心，多个村级组织互动合作为纽带的乡村生活治理生产新模式。（1）智慧化生活针对农村老人、孩子的看护需求，结合看家护院摄像头、定位器等多品类硬件终端，结合视频监控、智能传感等能力，为一老一小提供多样化的生活服务，为村民生活提供便利。（2）数智化治理基于 AI 智能视觉、智能告警等能力，提供村务管理、应急管理、防溺水、防烟火、防入侵、防走丢等创新的场景化解决方案，提升村级综合服务信息化、智能化水平，助力基层政府提升综治水平。（3）智慧化生产聚焦“种植养殖户”的无法拉网线、人力看管投入高、缺乏专家指导等问题，引入专业太阳能摄像头、温湿度传感器、农技课堂

248、等低使用门槛产品，提供无人看护、智能监测、农业指导等轻量级服务，推出智慧生产方案，实现机器换人。然而，农村和城市的信息化应用场景差别较大。例如，服务果园、池塘、养殖场等郊野场景的摄像头，由于光线、气流和背景元素变化复杂，采集数据量更大，对视频编码和传输要求更高。此外，户外摄像头采用 PoE 有线网络又面临布线复杂、耗时长、成本高等难题。语义通信将信息含义的理解环节部分或全部移到发送端，从而减少传输量，降低带宽需求。将语义通信技术应用到乡村场景，可以大大提升视频、告警和数智化信息在弱网或者网络情况不佳时的传输效率和成功率，保证数据的及时性和有效性。11.4 工业智能制造工业智能制造工业互联网是新

249、一代信息通信技术与工业经济深度融合的新型基础设施，通过对人、机、物、系统等全面连接，构建起覆盖全产业链、全价值链的全新制造和服务体系，其实现离不开高效可靠的通信系统的支持。然而，现今的符号类传输致力于实现对信源表示符号的无差别传输，经过几十年的技术发展，技术发展已经很成熟，但仍然难以满足工业网络海量设备接入与高可靠低时延通信的需求。语义通信只注重收发两端语义信息的一致108/126性，不要求比特序列严格一致，这种对传输差错要求的放宽具有突破想能极限的可能性，同时也为工业互联网的通信传输低时延高可靠以及海量接入提供可能。在现实工业网络产线中，数据类型主要分类时间序列数据与图像数据两类。时间序列数

250、据指的是生产端的各种传感器按时间顺序记录下的数据序列。在生产过程中，时间序列数据是持续不断产生的，数据的总量十分庞大，且语义信息密度极低，直接传输和存储这些数据会造成很大的资源浪费。因此可以利用语义通信技术可以帮助时间序列数据进行精炼简化，将其转化为语义信息密度较高的表示方式，大幅减少需要传输和存储的数据总量，减轻系统负担，同时提高云端各模型的分析效率。图像类型的数据主要指的是生产线上各种产品的图像，在生产端的高清摄像头拍摄生产线上的产品。在生产过程中，数据传输资源有限，需要大大压缩图像，可能造成数据严重失真，可能会影响生产任务。因此通过语义方法，可以在压缩图像时根据生产任务的需求有选择地保留

251、图像特征，这样在有限资源的情况下，保证生产任务。语义通信可以帮助生产网络在保证可靠性的同时提高传输速度，还可以帮助网络精简数据，减轻系统压力，是改善工业网络性能的理想技术。11.5 智慧仪表智慧仪表传统测试测量仪表测试效率低下，且面临测试场景多样化、参数配置复杂、操作不够友好等诸多挑战。集成了语义通信、人工智能和算力网技术的智慧仪表出现，通过对测试仪表赋予智能和算力，提高了交互界面的友好性，给测试测量领域带来了新的演进方向。在通信测试测量领域，中电科思仪科技股份有限公司提出了轻量化智能测试仪表解决方案（如图 11.3 所示）。该方案中首先通过语义通信模块实现用户与仪表之间的有效交互，利用仪表内

252、生人工智能完未知信号的协议、参数识别；其次，根据识别结果，完成仪表关键参数配置，并上传测试数据至算力网；最终回传测试结果到人机交互界面，实现测试仪表的轻量化和智能化。109/126图 11.3 轻量化智慧仪表工作原理图在医学治疗领域也发挥着重要作用，Li 等人提出了一种基于语义视觉的磁锚定驱动内窥镜多模态人工智能控制解决方案，详见图 11.4，通过语音引导、语义控制和视觉伺服的混合控制模式，驱动内窥镜至患病区域进行病理人工智能诊断，有效降低患者痛苦，提高检测成效。此外，该方案集成了基于深度学习的仪器检测、自动语义识别和机器人视觉伺服控制等模块之间的有效整合控制。图 11.4 基于语音视觉的磁锚

253、定驱动内窥镜示意图12.关键挑战关键挑战12.1 面向语义信息论的挑战面向语义信息论的挑战语义的数学表征和语义通信的数学理论可以归结为语义信息论的问题。对信息论在语义层次上的深入探索有望为语义通信系统和算法的设计提供理论指导。一般而言，语义信110/126息论包括语义熵、语义率失真、语义信道容量、语义知识库等相关理论。尽管目前尚未形成一套完整而有效的语义信息论框架，但在学术界和工业界已有许多学者对此进行关注和研究。如何解决语义信息论方面存在的若干挑战，将会在理论层面上推动语义通信的发展。语义的表征与度量：这涉及到语义的数学表示和语义信息度量的问题。迄今为止，对语义进行直观且通用的数学描述仍是一

254、个具有挑战性的难题：一方面，由于语义具有多义性和模糊性，基本内涵不易定义，因此难以进行度量；另一方面，人们对语义的产生机理和过程并不明确，这使得目前对语义的定义更多是面向特定场景，而缺乏统一的描述。随着相关技术的发展，人们对语义的理解也不再局限于语言学中每个句子包含的语义信息，已拓展至文本、语音、图像、视频等多种类型的数据。面向特定场景和任务下，语义熵也有着不同的定义。探索统一的语义表征和度量的数学形式，有助于解决通信的不兼容问题，让语义通信在不同实体间实现语义的有效传输。通用的语义编码：语义编码涉及到语义压缩的极限问题，是语义通信理论最关注的问题之一。语义编码是对数据所包含的语义进行编码的过

255、程，能够大幅度的压缩数据，这也是语义通信的主要优势，因为它能够在不追求数据恢复的情况下最大程度地压缩数据和提取与通信任务最相关的信息。目前，语义率失真的相关理论会同时衡量数据失真和语义失真，将香农的率失真理论推广至双失真的情形，这在一定程度上解决了语义失真和语义编码的问题。语义通信的性能界问题：由于语义通信涉及到通信的语义层和技术层，也需要由物理信道传输基本符号，因此其基本性能极限难以用一个具体的容量值描述，应由技术层和语义层共同决定，其形式应体现多维特点。在语义通信中，是否存在语义信道容量，仍是一个值得探索的问题。除了语义信道容量之外，在时延、通信成功率等方面，也存在着性能界问题。语义通信网

256、络的结构设计和优化：如何构建出更适合语义提取和传输的网络直接关系到能否按预期完成任务，如何优化语义通信网络直接关系到语义通信的性能。目前，深度学习在信源信道联合编码和面向任务的通信结构设计方面得到了广泛应用，在智能任务中逐渐显现其重要性。探索基于深度学习的语义通信的理论框架，并提供相应的理论指导，包括合适的性能指标和语义相似度量等，也是尤为必要。111/12612.2 基于大模型的语义通信基于大模型的语义通信语义通信旨在通过传递消息的含义来实现收发两端之间的高效、准确的信息传输。大模型具有强大的语义表征和理解能力，能够很好地提取数据背后的信息含义。将大模型应用于语义通信，可以显著提高通信网络对

257、原始数据的语义理解能力，进而提升通信网络的智能化水平。比如，基于大模型的语义分析技术，可以对大规模文本数据进行深入挖掘和分析，提取出有价值的信息和知识，为数据智能压缩和准确恢复提供支持。利用大模型对多模态数据（文本、图像、音频等多种媒体信息）进行综合分析，基于大模型的语义通信可以实现跨模态语义理解，使网络系统能够更好地理解收发端的通信意图，更好地满足任务执行需求。尽管将大模型引入语义通信系统可以进一步提升通信网络的性能和效果，但是大模型与语义通信的结合也带来了一些关键技术挑战。通用模型的压缩与量化：大模型往往具有庞大的参数量和计算量，这不仅会增加模型的存储和传输成本，还会影响模型的实时性。因此

258、，需要对大模型进行压缩和量化，以减小模型的大小和计算复杂度。同时，在通用模型的压缩与量化过程中，可能会引入一定的误差，导致模型精度的降低。为了保持较高的精度，需要仔细设计剪枝策略、量化和训练方法等，并在压缩后对模型进行有效的调整和优化。剪枝技术需要确定哪些特征和连接应该被剪除，这需要综合考虑特征的重要性和模型的整体性能。量化技术则需要确定最佳的量化方案和步长，以保证精度和加速效果。因此，需要探索有效的特征选择和权重调整方法，以实现最佳的模型压缩效果。语义对齐与融合：不同模态数据在表达同一概念或实体时，其语义应保持一致。在多模态语义通信中，不同模态的数据具有不同的特性和表达方式，因此需要进行语义

259、对齐和融合。然而，由于不同模态数据的表达方式、特征和语境可能存在差异，导致大模型在进行语义对齐与融合时面临语义一致性的挑战。如何保证不同模态数据之间的语义一致性，是实现高质量语义对齐与融合的关键。为此，未来需要进一步探索有效的语义映射方法，以实现不同模态数据之间的语义对齐与融合，将不同模态数据的语义空间映射到一个统一的语义空间。这需要解决不同模态数据之间的语义冲突、语义映射的准确性和稳定性等问题。112/126 数据高效处理与硬件瓶颈：大模型的训练需要大量的标注数据，而在语义通信中，由于通信带宽和设备硬件条件的限制，如何有效收集训练数据以及如何在有限的数据下训练出高效的通用模型是实现高效语义通

260、信面临的挑战。这需要采用高频谱效率的数据传输方法以及数据增强、增量学习等技术，以提高数据利用效率和模型训练效果。此外，大模型的训练和推理需要大量的计算资源和存储空间，这可能导致硬件设备的性能瓶颈。在许多应用场景中，语义通信需要具有实时性和可用性。然而，大模型的训练和推理过程往往需要较长时间，并且容易受到硬件设备性能的限制。因此，需要研究如何优化大模型的训练和推理过程，优化硬件设备和计算资源的使用效率，提高大模型的运行速度和处理能力。同时加强与实际应用场景的结合，推动基于大模型的语义通信技术在各领域的广泛应用和落地。可解释性与隐私保护：大模型的决策过程往往不透明，导致其可解释性和可信度需要进一步

261、改善。为了提高大模型在语义通信中的可解释性和可信度，需要研究如何对大模型的决策过程进行可视化和验证，以便用户更好地理解、信任和使用大模型。此外，大模型在处理和传输数据的过程中涉及到用户的隐私和安全问题。因此，需要采取有效的隐私保护和安全措施，以确保用户数据的安全性和隐私性。例如，可以采用差分隐私、加密等技术来保护用户数据，加强用户数据安全防御机制的研究和应用，降低大模型被恶意攻击的风险。12.3 标准化标准化目前，学术界对于语义通信的研究如火如荼，但面向未来语义通信标准化，仍存在如下挑战，需要集中力量争取业界达成一定共识。场景、评估准则与性能增益：目前 ITU 已经对于下一代 IMT 系统的场

262、景及指标开展了相关研究和定义。与现有 5G 系统相比，6G 不仅包括了 5G 三大场景的进一步增强，而且也拓展了三个新的应用场景，即：AI与通信的融合，感知与通信的融合，泛在连接。与之相对应，不同典型场景也关联了一组性能指标，以便反映不同场景所关注的主要问题。这些指标主要从无线侧反映了新技术所要达到的能力要求。但是，现有学术界对于语义通信的评价指标与工业界对于一个新技术的评价体系存在脱节的问题。例如：学术界常用的语义通信评价指标，PSNR，BLEU 等无法与传统频谱效率，用户体验速率，时延，可靠113/126性等指标建立比较直接的对应关系。现有语义通信的评价指标与不同模态的信源强相关，与传统关

263、注无线侧传输，不用在意具体信源类型的方式相比，评估方法与体系不匹配。不便于与其它新技术的横向对比与客观的性能评估。另外，现有学术界对于语义通信的评估主要还是和传统信源压缩方案相比，如：H.264 等，但是实际上基于 AI 的压缩算法也在持续发展。如果与这些基于 AI 的最新压缩方案相比，语义通信的性能如何？值得业界进一步深入研究。跨层系统设计：现有系统基于香农的信源信道分离定理进行设计，整个网络形成了非常复杂的分层结构。传统这种设计方式一方面使得无线通信系统设计得以简化，把原本互相耦合的问题尽可能进行分解，便于工程设计、实现与标准化。另一方面，在保证各层相对独立的同时，提高了系统整体设计的灵活

264、性，符合高内聚，低耦合的原则。各层设计时，都可以采样最适合的技术来实现。但是，如果想要充分发挥语义通信的性能优势，我们不仅要关注信源的内容，而且还要关注信道，以期达到语义层面信源与信道的最佳匹配。实际网络中，信源一般在应用层，而信道在物理层，两者之间相隔“十万八千里”。这就迫使我们在未来标准化时不得不考虑打破现有设计模式，引入跨层设计的必要性，以及与现有网络架构和分层协议设计的兼容性。不同的设计方法对于标准化的影响差异巨大，当然性能也不尽相同，其中也涉及到用户内容的隐私安全问题等。因此，如何在性能和复杂度之间取得比较好的折中，是未来语义通信从理论走向工程落地的关键。语义知识库的构建与更新：语义

265、知识库作为一种结构化有记忆能力的知识网络模型，能够基于海量语义知识图谱，对现实世界中的实体、概念、属性以及它们之间的关系进行建模，从而为语义通信提供全局知识背景和存储搜索服务，使语义通信的灵活性显著增加。然而，语义知识库的现有研究仍然距离标准化落地有一定距离。首先，语义知识库的构建方法论尚未明确。目前针对语义知识库的建模方案只能针对特殊传输场景，如何构建面向多模态多数据来源的语义知识库，确保知识库的覆盖范围和深度是一个面临的主要挑战。其次，语义知识库的动态更新机制尚不清晰。相关研究主要面向图片与文本类信源，并设计了语义知识库的更新方法，但对信源、信道、任务等数据源信息考虑较少。如何在信道噪声与

266、干扰影响下进行语义知识库更新也需要进一步研究。最后，多模态多任务的语义知识库交互机制仍需完善。现有研究主要服务于图像分类、视觉问答等任务，无法满足未来复杂的跨模态跨环境语义融合传输需求。面对上述挑战，需要设计更加高效与普适的语义114/126知识库训练与更新方法，以确保语义知识库的高质量、全面性和实时性，为语义技术的应用提供可靠的支持。13.总结与展望总结与展望本白皮书全面深入地探讨了语义通信的多个层面，包括基础概念、关键技术，与现有通信技术的结合以及多样化的应用场景，为构建智能、高效、可靠的语义通信系统提供了坚实的理论基础和实践指导。第一章语义通信概述，阐述了基本概念，奠定了对整体领域的认知

267、。第二章详细讨论了语义通信中的关键模块，通过优化知识库构建、语义信道联合编码和语义传输，语义通信在通信效率、准确性和鲁棒性上有更好的性能。第三、四、五章介绍了语义通信在多模态多用户复杂场景中的部署和应用。第六至九章探讨了语义通信与现有通信技术的结合，同时给出了分布式语义通信系统架构以及安全通信模型，为其在实际场景中的应用提供了坚实的基础和有利的支持。第十和十一章分析了语义通信在卫星通信、全息通信、自动驾驶、数字孪生、工业物联网等下一代通信场景中强大的应用潜力及相关挑战。最后，白皮书分析了语义通信所面临的挑战，给出了相关建议，并展望了语义通信领域的未来发展方向。在人工智能技术和通信技术的帮助下，

268、语义通信在鲁棒性、通信效率上都展现出了比传统通信系统更好的性能。然而，语义通信目前还在发展的起步阶段，在取得这些进展的同时，也面临许多挑战和待解决的问题。目前，语义通信的研究重点多局限在基于人工智能算法的通信系统设计，缺少像香农信息论一样的理论支持和完整的数学体系，无法给出系统性能的理论极限，因此关于语义信息论的研究迫在眉睫。另外，关于语义通信的研究较为前沿，下一步迫切需要关注语义通信的标准化问题，以实现不同系统和设备之间的互操作性，以及其在实际网络中的部署。此外，对于语义通信的安全性，尤其是在对抗性攻击和隐私保护方面，需要进一步加强研究。因此，我们呼吁相关研究人员开展实质性工作，加强数据的收

269、集，探索更为智能高效的语义通信模型，在实际场景中的验证工作也亟待深入展开。相信在科研人员的不断努力下，未来语义通信将得到更深入的研究，也将在更广泛的应用领域发挥关键作用，进而为社会经济作出更为显著的贡献。115/12614.参考文献参考文献1 鹏城实验室,北京邮电大学,香港中文大学（深圳）.语义知识库使能的现代语义通信白皮书J.2023.2 Zhou F,Li Y,Zhang X,Wu Q,Lei X,Hu R Q.Cognitive semantic communication systemsdriven by knowledge graphC/IEEE International Conf

270、erence on Communications.IEEE,2022:4860-4865.3 Shi G,Gao D,Song X,Chai J,Yang M,Xie X,Li L,Li X.A new communication paradigm:From bit accuracy to semantic fidelityJ.arXiv preprint arXiv:2101.12649,2021.4 Xiao Y,Sun Z,Shi G,Niyato D.Imitation Learning-based Implicit Semantic-awareCommunication Networ

271、ks:Multi-layer Representation and Collaborative ReasoningJ.IEEE Journal on Selected Areas in Communications,2022,41(3):639-658.5 Yang Y,Guo C,Liu F,Liu C,Sun L,Sun Q,Chen J.Semantic communications with AItasksJ.arXiv preprint arXiv:2109.14170,2021.6 Hu Q,Zhang G,Qin Z,Cai Y,Yu G,Li G Y.Robust semant

272、ic communications againstsemantic noiseC/IEEE Vehicular Technology Conference.IEEE,2022:1-6.7 Hu Q,Zhang G,Qin Z,et al.Robust semantic communications with masked VQ-VAEenabled codebookJ.IEEE Transactions on Wireless Communications,2023.8 Guo S,Wang Y,Li S,Saeed N.Semantic importance-aware communicat

273、ions using pre-trained language models J.IEEE Communications Letters.20239 Jiang F,Peng Y,Dong L,Wang K,Yang K,Pan C,You X.Large AI Model EmpoweredMultimodal Semantic Communications.arXiv preprint arXiv:2309.01249.10 Sun Y,Chen H,Xu X,Zhang P and Cui S.Semantic Knowledge Base-enabled Zero-shotMulti-

274、levelFeatureTransmissionOptimizationJ.IEEETransactionsonWirelessCommunications,early access.11 W.Yang et al.,Semantic Communications for Future Internet:Fundamentals,Applications,and Challenges,in IEEE Communications Surveys&Tutorials,vol.25,no.1,pp.213-250,Firstquarter 2023,12 Jialong Xu,Bo Ai,Wei

275、Chen,Ang Yang,Peng Sun,Miguel Rodrigues,Wireless ImageTransmission Using Deep Source Channel Coding With Attention Modules,IEEETransactions on Circuits and Systems for Video Technology(TCSVT),32(4):2315-2328,2022.13 Jialong Xu,Tze-Yang Tung,Bo Ai,Wei Chen,Yuxuan Sun,Deniz Gunduz,Deep JointSource-Cha

276、nnel Coding for Semantic Communications,IEEE Communications Magazine(COM-M),61(11):42-48,2023.14 Jialong Xu,Bo Ai,Ning Wang,Wei Chen,Deep Joint Source-Channel Coding for CSIFeedback:An End-to-End Approach,IEEE Journal on Selected Areas in Communications(JSAC),41(1):260-273,2023.15 Zhihang Chu,Wei Ch

277、en,Ning Wang,Bo Ai,Deep Joint Source-Channel Coding forPerson Re-Identification With Related Image Sources,IEEE International Conference onCommunication Technology(ICCT),Wuxi,China,Oct.,2023.16 Jialong Xu,Bo Ai,Wei Chen,Ning Wang,Miguel Rodrigues,Deep Joint Source-ChannelCoding for Image Transmissio

278、n with Visual Protection,IEEE Transactions on CognitiveCommunications and Networking(TCCN),9(6):1399-1411,2023.116/12617 Y.Feng,J.Xu,C.Liang,G.Yu,L.Hu,T.Yuan,Decoupling Source and SemanticEncoding:An Implementation Study,Electronics,vol.13,no.12,pp.2755,June 2023,doi:10.3390/electronics1213275518 J.

279、Yang,G.Xiao,Y.Shen,W.Jiang,X.Hu,Y.Zhang,J.Peng,A survey of knowledgeenhanced pre-trained models,arXiv preprint arXiv:2110.00269,2021.19 X.Qiu,T.Sun,Y.Xu,Y.Shao,N.Dai,X.Huang,Pre-trained models for natural languageprocessing:A survey,Sci.China Technol.Sci.,63(10),18721897,2020.20 L.Chen,S.Li,Q.Bai,J.

280、Yang,S.Jiang,Y.Miao,Review of image classificationalgorithms based on convolutional neural networks,Remote Sens.,13(22),4712,2021.21 D.Gund uz et al.,“Beyond transmitting bits:Context,semantics,and task-orientedcommunications,”in IEEE J.Sel.Areas Commun.,41(1),5-41,2023.22 Q.Zhou,R.Li,Z.Zhao,C.Peng

281、and H.Zhang,“Semantic communication with adaptiveuniversal transformer,”in IEEE Wireless Commun.Lett.,11(3),453-457,2022.23.Liu,X.Wang,Z.Ning,M.Zhou,L.Guo,and B.Jedari,A survey on semanticcommunications:Technologies,solutions,applications and challenges,Digit.Commun.Netw.,Jun.2023,doi:10.1016/j.dcan

282、.2023.05.010.24 H.Xie,Z.Qin,G.Y.Li,B.-H.Juang,Deep learning enabled semantic communicationsystems,IEEE Trans.Sig.Proc.,69,26632675,2021.25 H.Xie,Z.Qin,A lite distributed semantic communication system for Internet of things,IEEE J.Sel.Areas Commun.,39(1),142153,2021.26 L.Yan,Z.Qin,R.Zhang,Y.Li,G.Y.Li

283、,Resource allocation for text semanticcommunications,IEEE Wireless Commun.Lett.,11(7),13941398,2022.27 Y.Zhang,H.Zhao,J.Wei,J.Zhang,M.F.Flanagan,J.Xiong,Context-based semanticcommunication via dynamic programming,IEEE Trans.Cogn.Commun.Netw.,8(3),14531467,2022.28 Y.Liu,S.Jiang,Y.Zhang,K.Cao,L.Zhou,B

284、.-C.Seet,H.Zhao,J.Wei,Extended context-based semantic communication system for text transmission,Digit.Commun.Netw.,2022.29 Kadam,S.,&Kim,D.I.,Knowledge-Aware Semantic Communication System Design.arXiv preprint arXiv:2301.12161,2023.30 L.Hu,G.Wu,Y.Xing,F.Wang,Things2Vec:Semantic modeling in the Inte

285、rnet of thingswith graph representation learning,IEEE Internet Things J.,7(3),19391948,2020.31 Y.Wang,M.Chen,SAADW,etal.Performanceoptimizationforsemanticcommunications:an attention-based learning approach/Proc.2021 IEEE Global Commun.Conf.,Piscataway:IEEE Press,1-6,2021.32 Y.Wang et al.,Performance

286、 Optimization for Semantic Communications:An Attention-Based Reinforcement Learning Approach,in IEEE J Sel.Areas Commun.,40(9),2598-2613,2022.33 S.Jiang,Y.Liu,Y.Zhang,P.Luo,K.Cao,J.Xiong,H.Zhao,J.Wei,Reliable semanticcommunication system enabled by knowledge graph,Entropy,24(6)，pp.846,2022.34 Zhou,F

287、.,Li,Y.,Xu,M.,Yuan,L.,Wu,Q.,Hu,R.Q.,&Al-Dhahir,N.Cognitive SemanticCommunication Systems Driven by Knowledge Graph:Principle,Implementation,andPerformance Evaluation.arXiv preprint arXiv:2303.08546,2023.35 Z.Weng and Z.Qin,Semantic Communication Systems for Speech Transmission,inIEEE J.Sel.Areas in

288、Commun.,vol.39,no.8,pp.2434-2444,Aug.2021.117/12636 Z.Xiao,S.Yao,J.Dai,S.Wang,K.Niu and P.Zhang,Wireless Deep Speech SemanticTransmission,in Proc.IEEE Int.Conf.Acoust.,Speech,Signal Process.(ICASSP),RhodesIsland,Greece,2023,pp.1-5.37 Z.Zhou,S.Zheng,J.Chen,Z.Zhao and X.Yang,Speech Semantic Communicat

289、ion BasedOn Swin Transformer,in IEEE Trans.Cogn.Commun.Netw.,pp.1-1,Dec.2023.38 Z.Weng,Z.Qin,X.Tao,C.Pan,G.Liu and G.Y.Li,Deep Learning Enabled SemanticCommunications With Speech Recognition and Synthesis,in IEEE Trans.WirelessCommun.,vol.22,no.9,pp.6227-6240,Sept.2023.39 T.Han,Q.Yang,Z.Shi,S.He and

290、 Z.Zhang,Semantic-Preserved Communication Systemfor Highly Efficient Speech Transmission,in IEEE J.Sel.Areas in Commun.,vol.41,no.1,pp.245-259,Jan.2023.40 Z.Weng,Z.Qin and X.Tao,Task-Oriented Semantic Communications for SpeechTransmission,in Proc.IEEE Veh.Technol.Conf.(VTC-Fall),Hong Kong,Oct.2023,p

291、p.1-5.41 Z.Weng,Z.Qin and X.Tao,Semantic-Aware Speech-to-Text Transmission Over MIMOChannels,in Proc.IEEE Int.Conf.Commun.Workshops(ICC Workshops),Rome,Italy,May 2023,pp.1362-1367.42 Bourtsoulatze E,Kurka D B,Gndz D.Deep joint source-channel coding for wirelessimage transmission.IEEE Trans.Cogn.Comm

292、un.Netw.,5(3):pp.567-579,2019.43 Kurka D B,Gndz D.Deepjscc-f:Deep joint source-channel coding of images withfeedback IEEE J.Sel.Areas Inf.Theory,1(1):178-193,2020.44 J.Dai,S.Wang,K.Tan,et al.Nonlinear transform source-channel coding for semanticcommunications.IEEE J.Sel.Areas Commun.,40(8):2300-2316

293、,2021.45 D.Huang,X.Tao,F.Gao,et al.Deep learning-based image semantic coding for semanticcommunications/in Proc 2021 IEEE Global Commun.Conf.Piscataway:IEEE Press,1-6,2021.46 Zhang H,Shao S,Tao M,et al.Deep learning-enabled semantic communication systemswith task-unaware transmitter and dynamic data

294、 IEEE J.Sel.Areas Commun.,41(1),170-185,2022.47 Shi G,Zhang Z,Gao D,et al.Knowledge-guided semantic computing networkNeurocomputing,426,70-84,2021.48 Z.Wan,S.Liu,Z.Xu,W.Ni,Z.Chen and F.Wang,Semantic Communication MethodBased on Compression Ratio Optimization for Vision Tasks in the Artificial Intell

295、igence ofThings,in IEEE Trans.Cons.Electr.,2023.49 W Zhang,Y Wang,M Chen,et al.“Optimization of Image Transmission in a CooperativeSemantic Communication Networks,”IEEE Trans.Wire.Commun.,2023.50 Wu,H.,Shao,Y.,Bian,C.,Mikolajczyk,K.,&Gndz,D.(2023,May).Visiontransformer for adaptive image transmissio

296、n over MIMO channels.In ICC 2023-IEEE Int.Conf.Commun.,3702-3707,2023.51 Wu H,Shao Y,Ozfatura E,et al.Transformer-aided Wireless Image Transmission withChannel Feedback arXiv preprint arXiv:2306.09101,2023.52 Kang J,Du H,Li Z,et al.Personalized saliency in task-oriented semantic communications:Image

297、 transmission and performance analysis IEEE J.Sel.Areas Commun.,41(1),186-201,2022.53 X.Kang,B.Song,J.Guo,Z.Qin,and F.R.Yu,“Task-oriented image transmission forscene classification in unmanned aerial systems,”arXiv preprint arXiv:2112.10948,2021.118/12654 S.Wang et al.,Wireless Deep Video Semantic T

298、ransmission,IEEE J.Sel.AreasCommun.,vol.41,no.1,pp.214-229,Jan.2023,.55 C.Liang et al.,VISTA:Video Transmission over A Semantic Communication Approach,in Proc.2023 IEEE Int.Conf.Commun.Workshops(ICC Workshops),Rome,Italy,Oct.2023,pp.1777-1782.56 T.-C.Wang,A.Mallya,and M.-Y.Liu,“One-shot free-view ne

299、ural talking-head synthesisfor video conferencing,”in Proc.IEEE/CVF Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2021,pp.1003910049.57 P.Jiang,C.-K.Wen,S.Jin and G.Y.Li,Wireless Semantic Communications for VideoConferencing,IEEE J.Sel.Areas Commun.,vol.41,no.1,pp.230-244,Jan.2023.58 J.Bao,P.Basu,M.De

300、an,C.Partridge,A.Swami,W.Leland,and J.A.Hendler,“Towardsa theory of semantic communication,”in Proc.IEEE Network Science Workshop,WestPoint,NY,USA,Jun.2011,pp.110117.59 Z.Zhao and H.Wang,“MaskGEC:Improving neural grammatical error correction viadynamic masking,”in Proc.Assoc.Advancement Artif.Intell

301、.(AAAI),vol.34,Hilton NewYork Midtown,New York,New York,USA,04 2020,pp.1226123360 X.Peng,Z.Qin,D.Huang,X.Tao,J.Lu,G.Liu,and C.Pan,“A robust deep learningenabled semantic communication system for text,”in Proc.IEEE Glob.Commun.(GLOBECOM),Dec.2022,pp.27042709.61 Z.Weng,Z.Qin,and X.Tao,“Robust Semantic

302、 Communications for Speech Transmission,”submitted to IEEE Global Commun.Conf.(GLOBECOM).62 G.Shi,Y.Xiao,Y.Li and X.Xie,From Semantic Communication to Semantic-AwareNetworking:Model,Architecture,and Open Problems,IEEE Commun.Mag.,vol.59,no.8,pp.44-50,Aug.2021.63 G.Nan et al.,Physical-layer adversari

303、al robustness for deep learning-based semanticcommunications,IEEE J.Sel.Areas Commun.,vol.41,no.8,pp.2592-2608,Aug.2023.64 Tong,Wen,and Geoffrey Ye Li.Nine challenges in artificial intelligence and wirelesscommunications for 6G.IEEE Wireless Communications 29.4(2022):140-145.65 Tong,Haonan,et al.Fed

304、erated learning for audio semantic communication.Frontiers incommunications and networks 2(2021):734402.66 Weng,Zhenzi,Zhijin Qin,and Geoffrey Ye Li.Semantic communications for speechsignals.ICC 2021-IEEE International Conference on Communications.IEEE,2021.67 Tung,Tze-Yang,and Deniz Gndz.DeepWiVe:D

305、eep-learning-aided wireless videotransmission.IEEE Journal on Selected Areas in Communications 40.9(2022):2570-2583.68 Gao,Ruohan,et al.Listen to look:Action recognition by previewing audio.Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.69 Hazarika,Devamanyu,Ro

306、ger Zimmermann,and Soujanya Poria.Misa:Modality-invariantand-specific representations for multimodal sentiment analysis.Proceedings of the 28thACM international conference on multimedia.2020.70 Zhang,Guangyi,et al.A unified multi-task semantic communication system with domainadaptation.GLOBECOM 2022

307、-2022 IEEE Global Communications Conference.IEEE,2022.71 Zhang,Guangyi,et al.A unified multi-task semantic communication system formultimodal data.arXiv preprint arXiv:2209.07689(2022).119/12672 Yin,Benshun,Zhiyong Chen,and Meixia Tao.Knowledge Distillation and TrainingBalance for Heterogeneous Dece

308、ntralized Multi-Modal Learning over Wireless Networks.arXiv preprint arXiv:2311.06500(2023).73 Xie,Huiqiang,Zhijin Qin,and Geoffrey Ye Li.Task-oriented multi-user semanticcommunications for VQA.IEEE Wireless Communications Letters 11.3(2021):553-557.74 Xie,Huiqiang,et al.Task-oriented multi-user sem

309、antic communications.IEEE Journal onSelected Areas in Communications 40.9(2022):2584-2597.75 He,Yangshuo,Guanding Yu,and Yunlong Cai.Rate-Adaptive Coding Mechanism forSemantic Communications With Multi-Modal Data.arXiv preprint arXiv:2305.10773(2023).76 Katz,Guy,et al.Reluplex:An efficient SMT solve

310、r for verifying deep neural networks.Computer Aided Verification:29th International Conference,CAV 2017,Heidelberg,Germany,July 24-28,2017,Proceedings,Part I 30.Springer International Publishing,2017.77 Luo,Xuewen,et al.Multi-modal and multi-user semantic communications for channel-level information

311、 fusion.IEEE Wireless Communications(2022).78 Y.E.Sagduyu,T.Erpek,A.Yener,and S.Ulukus,“Multi-receiver task orientedcommunications via multi-task deep learning,”arXiv preprint arXiv:2308.06884,2023.79 M.Wang,Z.Zhang,J.Li,M.Ma,and X.Fan,“Deep joint source-channel coding for multi-task network,”IEEE S

312、ignal Process.Lett.,vol.28,pp.19731977,Sep.2021.80 L.D.Chamain,S.Qi,and Z.Ding,“End-to-end image classification and compression withvariational autoencoders,”IEEE Internet Things J.,vol.9,no.21,pp.21 91621 931,Nov.2022.81 Z.Lyu,G.Zhu,J.Xu,B.Ai,and S.Cui,“Semantic communications for image recovery an

313、dclassification via deep joint source and channel coding,”IEEE Trans.Wireless Commun.,pp.11,to appear,2024,doi:10.1109/TWC.2023.3349330.82 Chen B,Wang X,Li D,Jiang R and Xu Y.Uplink NOMA Semantic Communications:Semantic Reconstruction for SICC/2023 IEEE/CIC International Conference onCommunications

314、in China(ICCC),Dalian,China,2023:1-6.83 Lin L,Xu W,Wang F,Zhang Y,Zhang W and Zhang P.Channel-Transferable SemanticCommunicationsforMulti-UserOFDM-NOMASystemsJ.IEEEWirelessCommunications Letters,doi:10.1109/LWC.2023.3340657,(Early Access),2023.84 Sana M,Calvanese Strinati E.Semantic Channel Equalize

315、r:Modelling Language Mismatchin Multi-User Semantic CommunicationsJ/OL.arXiv preprint arXiv:2308.03789,2023.85 Kim M,Kim S,Kwak J and Lee J.Semantic-Based Precoding Design for Multi-User MISONetworksJ.IEEE Wireless Communications Letters,2023,12(9):1479-1483.86 Hu H,Zhu X,Zhou F,Wu W,Hu R and Zhu H.

316、One-to-Many Semantic CommunicationSystems:Design,Implementation,Performance EvaluationJ.IEEE CommunicationsLetters,2022,26(12):2959-2963.87 Mu X,Liu Y,Guo L and Al-Dhahir N.Heterogeneous Semantic and Bit Communications:A Semi-NOMA SchemeJ.IEEE Journal on Selected Areas in Communications,2023,41(1):1

317、55-169.88 He X,You C and Quek Tony Q.S.Joint User Association and Resource Allocation forMulti-Cell Networks with Adaptive Semantic CommunicationJ/OL.arXiv preprintarXiv:2312.01049,2023.89 M.Jankowski,D.Gndz,and K.Mikolajczyk,“Wireless image retrieval at the edge,”IEEE Journal on Selected Areas in C

318、ommunications,vol.39,no.1,pp.89100,2021.120/12690 Q.Zhou,R.Li,Z.Zhao,Y.Xiao,and H.Zhang,“Adaptive bit rate control in semanticcommunication with incremental knowledge-based harq,”IEEE Open Journal of theCommunications Society,vol.3,pp.10761089,2022.91 M.Jankowski,D.Gunduz,and K.Mikolajczyk,“Joint de

319、vice-edge inference over wirelesslinks with pruning,”in IEEE 21st International Workshop on Signal Processing Advances inWireless Communications(SPAWC),2020,pp.15.92 J.Shao and J.Zhang,“Bottlenet+:An end-to-end approach for feature compression indevice-edge co-inference systems,”in IEEE Internationa

320、l Conference on CommunicationsWorkshops(ICC Workshops),2020,pp.16.93 W.Shi,Y.Hou,S.Zhou,Z.Niu,Y.Zhang,and L.Geng,“Improving device-edgecooperative inference of deep learning via 2-step pruning,”in IEEE INFOCOM 2019-IEEE Conference on Computer Communications Workshops(INFOCOM WKSHPS),2019,pp.16.94 T.

321、-Y.Tung,D.B.Kurka,M.Jankowski and D.Gndz,DeepJSCC-Q:Channel InputConstrained Deep Joint Source-Channel Coding,ICC 2022-IEEE InternationalConference on Communications,Seoul,Korea,Republic of,2022,pp.3880-3885.95 T.-Y.Tung,D.B.Kurka,M.Jankowski and D.Gndz,DeepJSCC-Q:ConstellationConstrained Deep Joint

322、 Source-Channel Coding,in IEEE Journal on Selected Areas inInformation Theory,vol.3,no.4,pp.720-731,Dec.2022.96 L.Guo,W.Chen,Y.Sun and B.Ai,Device-Edge Digital Semantic Communication withTrained Non-Linear Quantization,2023 IEEE 97th Vehicular Technology Conference(VTC2023-Spring),Florence,Italy,202

323、3,pp.1-5.97 L.Guo,W.Chen,Y.Sun and B.Ai,Digital-SC:Digital Semantic Communication withAdaptiveNetworkSplitandLearnedNon-LinearQuantization,https:/arxiv.org/abs/2305.13553,2023.98 Maolin Liu,Wei Chen,Jialong Xu,Bo Ai,A Comprehensive Study of PAPR ReductionTechniques for Deep Joint Source Channel Codi

324、ng in OFDM Systems,ICCT,Wuxi,China,Oct.,2023.99 M.Kim,W.Lee,and D.-H.Cho,“A novel papr reduction scheme for ofdm system based ondeep learning,”IEEE Communications Letters,vol.22,no.3,pp.510513,2017.100K.Yu,Q.He,and G.Wu,“Two-way semantic communications without feedback,”IEEETrans.Veh.Technol.,early

325、access,2024.101J.Zhang,P.Tang,L.Yu,et al.Channel measurements and models for 6G:current statusand future outlook,Frontiers of Information Technology&Electronic Engineering,vol.21,pp.3961,2020.102S.Tsugawa,Inter-vehicle communications and their applications to intelligent vehicles:an overview,Intelli

326、gent Vehicle Symposium,2002.IEEE,Versailles,France,2002,pp.564-569 vol.2,doi:10.1109/IVS.2002.1188011.103G.Nie et al.,A predictive 6G network with environment sensing enhancement:Fromradio wave propagation perspective,in China Communications,vol.19,no.6,pp.105-122,June 2022,doi:10.23919/JCC.2022.06.

327、009.104Y.Sun,J.Zhang,J.Wang,et.al.PC-SC:A predictive channel-based semanticcommunication system for sensing scenarios,Electronics.12(14):3129,2023.105林润韬,郭彩丽,陈九九,等.语义通信中基于深度双 Q网络的多维资源联合分配算法J.移动通信,2023,47(7):45-53121/126106秦志金,冀泽霖,严蕾,等.面向语义感知通信网络的多维资源优化J.移动通信,2023,47(4):25-30.107奥颖，李钰洁，何善宝等.蜂窝语义通信系统资

328、源分配的研究J.移动通信,2024,48(2),00-00.108陈九九,郭彩丽,冯春燕,等.智能网联环境下面向语义通信的资源分配J.物联网学报,2022,6(3):47-57.109Xia Le,Sun Yao,Li Xiaoqian,et al.Wireless Resource Management in IntelligentSemantic Communication NetworksC.In IEEE INFOCOM 2022-IEEE Conference onComputer Communications Workshops(INFOCOM WKSHPS).IEEE,May 2

329、022.110Zhang Haijun,Wang Hongyu,Li Yabo,et al.DRL-Driven Dynamic Resource Allocationfor Task-Oriented Semantic CommunicationJ.IEEE Transactions on Communications,2023,71(7):39924004.111Zhang Haijun,Wang Hongyu,Li Yabo,et al.Toward Intelligent Resource Allocation onTask-OrientedSemanticCommunicationJ

330、.IEEEWirelessCommunications,2023,30(3):7077.112Cheng Yanyu,Dusit Niyato,Du Hongyang,et al.Resource Allocation and CommonMessage Selection for Task-Oriented Semantic Information Transmission With RSMAJ.IEEE Transactions on Wireless Communications,2023:11.113A.Ahmed,A.Al-Dweik,Y.Iraqi,H.Mukhtar,M.Naee

331、m and E.Hossain,HybridAutomatic Repeat Request(HARQ)in Wireless Communications Systems and Standards:AContemporary Survey,IEEE Commun.Surveys Tuts.,vol.23,no.4,pp.27112752,4thQuart.,2021.114P.Jiang,C.-K.Wen,S.Jin and G.Y.Li,Deep Source-Channel Coding for SentenceSemantic Transmission With HARQ,IEEE

332、Trans.Commun.,vol.70,no.8,pp.5225-5240,Aug.2022.115Wang M,Li J,Ma M,et al.Spiking Semantic Communication for Feature Transmissionwith HARQJ.arXiv preprint arXiv:2310.08804,2023.116L.Yujian and L.Bo,A Normalized Levenshtein Distance Metric,in IEEE Trans.Pattern Anal.Mach.Intell.,vol.29,no.6,pp.1091-1

333、095,June 2007.117K.Papineni,S.Roukos,T.Ward,and W.Zhu,“Bleu:A method for automatic evaluationof machine translation,”in Proc.Annu.Meeting Assoc.Comput.Linguistics,Philadelphia,PA,USA,Jul.2002,pp.311318.118J.Devlin,M.-W.Chang,K.Lee,and K.Toutanova,“BERT:Pre-training of deepbidirectional transformers for language understanding,”2018,arXiv:1810.04805.119G.Jie,H.Chen,B.Song,et al.Distributed task-orie