1、可观测技术应用现状及发展趋势研究可观测技术应用现状及发展趋势研究高继翔（中国信息通信研究院 云计算与大数据研究所）01可观测性的背景与价值02可观测性应用现状及场景03可观测性未来发展趋势发展：发展：从从电气工程电气工程到到软件工程再软件工程再到到云时代云时代从电气工程领域诞生从电气工程领域诞生最早最早的可观测性概念的可观测性概念软件可观测性提升软件可观测性提升系统故障排查效率系统故障排查效率可观测性最早诞生于20世纪60年代的电气工程领域，由工程师鲁道夫卡尔曼提出，是为了解黑盒系统的运行情况，通过对应的仪表观察输出信号来判断系统运行状态而提出的概念。软件普及以后，软件从业者也需要对软件系统的

2、运行情况进行检测。因此，仿照对电气系统输出信号进行观测，诞生了日志和监控两种早期的软件系统观测手段，用于故障发现及故障排查。从从观察到系统不工作观察到系统不工作到到了解系统为何不工作了解系统为何不工作云原生让云原生让可观测性可观测性技术技术和工具持续和工具持续演进演进云原生时代的到来，使应用从单体化程序演变成微服务化，为实现服务可观测，链路追踪和eBPF应运而生。同时，更多的云厂商、可变基础设施和第三方技术服务被引入，使可观测对象持续丰富，观测数据的治理方式持续进步。从从单体化的程序单体化的程序到到微服务化架构微服务化架构需求：日益复杂的软件系统催生可观测性需求：日益复杂的软件系统催生可观测性

3、复杂性提高：复杂性提高：传统单体软件系统的故障问题一般与代码自身或数据相关，较容易在开发环境下重现问题并调试。云原生软件系统往往涉及复杂的大规模分布式运行环境，服务实例可动态创建和销毁，故障或服务实例可动态创建和销毁，故障或问题可能与非常复杂的环境因素相关，难问题可能与非常复杂的环境因素相关，难以在开发环境中重现。以在开发环境中重现。应用生态复杂化：应用生态复杂化：传统单体软件系统能以自顶向下的方式掌握整体架构并通过静态分析和演化分析实现架构看护，确保软件实现与高层架构设计保持一致。云原生系统各个局部的应用及服务以相对独立自主的方式演化，各服务独立开发、部署和运行，传统手段无法有效捕捉服务之间

4、的依传统手段无法有效捕捉服务之间的依赖和交互关系。赖和交互关系。系统规模增大：系统规模增大：传统的单体软件系统规模和复杂度相对较低，开发人员可以通过IDE一次性加载全部或部分代码，并使用断点设置、单步调试等方法定位缺陷的根因和位置。云原生软件系统包含大量分布式的云原生软件系统包含大量分布式的服务，难以一次性加载并进行调试服务，难以一次性加载并进行调试，而且大量的服务间跨进程调用也使得单步调试无法进行。可观测性需求增加可观测性需求增加通过建设可观测性平台，高效全面的收集系统运行状态数据，在此基础上制定完善的告警策略，可大大提提高系统故障时的响应速率，降低运维人员排查成本，提高系统可用性。高系统故

5、障时的响应速率，降低运维人员排查成本，提高系统可用性。中国混沌工程调查报告（2021）数据显示，仅不到一半不到一半的受访企业故障平均发现时长（故障平均发现时长（MTTD）小）小于于1小时小时；超过超过6成成故障平均修复时长（MTTR）超过）超过1小时小时，甚至有约20%的服务故障修复时间超过超过12小小时时。面对故障时无法及时发现、发现后无法及时定位修复，凸显了系统可观测性水平的不足。需求：可观测性是系统稳定性保障的必要手段需求：可观测性是系统稳定性保障的必要手段数据来源：中国混沌工程调查报告（2021）故障平均发现时长（MTTD）故障平均修复时长（MTTR）利用可观测性技术所提供的海量系统运

6、行数据，可以构建判断规则并训练模型，实现故障智能识别、故障智能识别、根因分析、快速定位以及修复意见根因分析、快速定位以及修复意见。将可观测性技术与混沌工程、全链路压测混沌工程、全链路压测等稳定性保障技术结合，构建智能巡检系统，从被动解决问题转为主动发现问题并预防问题主动发现问题并预防问题，提前规避线上生产环境中的未知故障发生。系统运行情况的观测水平不足系统运行情况的观测水平不足，面临故障时的反应速度差强人意面临故障时的反应速度差强人意 打造可观测性底座，赋能其他稳定性保障技术手段打造可观测性底座，赋能其他稳定性保障技术手段及时有效地观测及时有效地观测系统状态系统状态，可大大提高系统可用性，可大

7、大提高系统可用性需求：软件全生命周期的可观测提升应用交付质量需求：软件全生命周期的可观测提升应用交付质量 将可观测性应用到软件开发全生命周期，使得软件开发、测试、部署、运营等关键环节白盒化，避免“暗疾”。可观测性为业务对比及调优提供数据支撑，如A/B测试等多版本功能对比时，通过观测数据对比版本业务效果优劣，助力服务质量提升。全生命周期可观测全生命周期可观测，避免开发过程中，避免开发过程中“暗疾暗疾”应用的CI/CD使得服务的更新迭代速度加快，通过观测各个环节的指标状态，确保每个版本更新都能满足服务质量目标。业界也在推广敏捷开发流水线与观测工具的结合，打破打破“先发布，后观测先发布，后观测”的现

8、有格局的现有格局：流水线实时读取观测数据，确保部署前的测试过程无问题、部署之后版本运行状况良好。在提升迭代效率的同时，保障版本质量。CI/CDCI/CD可观测，敏捷开发的同时保障软件质量可观测，敏捷开发的同时保障软件质量01可观测性的背景与价值02可观测性应用现状及痛点03可观测性未来发展趋势应用现状：可观测性建设初见成效，实践仍有扩大空间应用现状：可观测性建设初见成效，实践仍有扩大空间可观测性与传统监控的认知度分布可观测性与传统监控的认知度分布应用价值：应用价值：较传统监控的优越性得到普遍认可，较传统监控的优越性得到普遍认可，可观测性能在故障发现的基础上可以可观测性能在故障发现的基础上可以进

9、行故障分析与诊断。进行故障分析与诊断。传统监控普遍用于故障发现，难以实现故障分析与辅助故障解决，可观测性优于传统监控的特可观测性优于传统监控的特性之一即为故障分析与诊断能力性之一即为故障分析与诊断能力。应用成效：应用成效：业内可观测性建设实践初见成效，但仍有提升空间。业内可观测性建设实践初见成效，但仍有提升空间。当前业界可观测性初有成效，52.23%的受访用户认为通过可观测性实践，可摆脱故障解决过程中的专家经验依赖，42.16%的被测用户表示大部分生产环境故障可大部分生产环境故障可以直接通过观测数据解决以直接通过观测数据解决。是否可以通过生产环境数据进行实时是否可以通过生产环境数据进行实时De

10、bug是否依靠观测数据而不是经验进行是否依靠观测数据而不是经验进行debug 痛点痛点：可观测性当前缺乏统一认知可观测性当前缺乏统一认知、缺乏统一建设方式、缺乏统一建设方式可观测性概念认知缺乏统一性可观测性概念认知缺乏统一性可观测性的统一建设缺乏规范可观测性的统一建设缺乏规范企业建设可观测性平台时，针对不同数据类型，需要搭建独立的系统处理，导致同一个应用不同类型的数据被存储在相互独立的系统，可观测可观测数据不规范数据不规范，难以发挥数据最大的价值且维护成本高。目前市面上（开源或者商业）观测工具琳琅满目，简单组合拼接出来的可观测性系统能看不能用。企业亟需企业亟需可观测平台标准及建设规范指南可观测

11、平台标准及建设规范指南。可观测等同监控告警吗？监控、日志、链路追踪结合就可观测吗？厂商基于各自理解推出的产品，在数据采集、传输、存储、可视化、告警等阶段深度绑定深度绑定。行业研究中发现，仍有不少企业对可观测性的理解还偏向于传统的监控手段。对于可观测性的概念缺乏统一认知。痛点痛点：多种可观测性工具隔离造成数据间的割裂多种可观测性工具隔离造成数据间的割裂面对越发旺盛的观测需求，面对越发旺盛的观测需求，缺乏可观测的统一认知和建设规范缺乏可观测的统一认知和建设规范，导致用户拼接多个观测工具组建可观测系统，数据无法整合，出现各观测工具间导致用户拼接多个观测工具组建可观测系统，数据无法整合，出现各观测工具

12、间互相独立、数据互相割裂互相独立、数据互相割裂的现象。的现象。数据来源数据来源：中国信通院：中国信通院中国混沌工程调查报告（中国混沌工程调查报告（20222022）多种观测数据（日志、监控指标、链路追踪）多种观测数据（日志、监控指标、链路追踪）间关联能力分布间关联能力分布接近九成的被访用户表示，在技术实践中注重利用可观测性的故障分析与诊断能力。调查结果显示，超过半数表示团队可观测性工具未能达到足超过半数表示团队可观测性工具未能达到足够灵活的数据关联与跳转能力够灵活的数据关联与跳转能力，其中42.02%的用户表示一部分观测数据可以建联并打通，另一部分需要跨平台索引，而11.92%的用户表示各种观

13、测信息之间较为独立，搜索时需要切换多个平台。数据格式数据格式不同不同不同工具的数据格式定义各有不同，不同工具的数据格式定义各有不同，无法进行跨工具间的数据流通无法进行跨工具间的数据流通各工具间缺乏协调，数据内容涵盖不各工具间缺乏协调，数据内容涵盖不全面，要么重复采集、要么采集不全全面，要么重复采集、要么采集不全多种观测数据间的内容无法互相印证多种观测数据间的内容无法互相印证数据处理割裂数据处理割裂不同工具的数据采集方式不同不同工具的数据采集方式不同，造成采集时的资源冗余和浪费造成采集时的资源冗余和浪费不同工具的不同工具的数据储存策略及载体不同数据储存策略及载体不同难以跨工具对多种观测数据难以跨

14、工具对多种观测数据进行统一分析进行统一分析数据展示割裂数据展示割裂难以跨工具对多种数据进行难以跨工具对多种数据进行统一展示统一展示难以跨工具对多种数据难以跨工具对多种数据进行统一搜索查询进行统一搜索查询难以跨工具在多种数据间建立联难以跨工具在多种数据间建立联系、系、挖掘并展示数据间的关联挖掘并展示数据间的关联国内首个可观测性行业标准国内首个可观测性行业标准标准规范了可观测性信息采集、数据处理、内容使用、以及运维支撑能力，详细指导建设最先进的可观测性产品能力。打通日志、监控、追踪不同工具之间的鸿沟，统一采集可观测性信息。目前已经有10家企业通过评估。标准化标准化：可观测性技术可观测性技术 平台能

15、力分级要求平台能力分级要求应用场景：系统实验与测试应用场景：系统实验与测试助力混沌工程实验助力混沌工程实验&提升全提升全链路压测性能链路压测性能融合场景：融合场景：成本可观测成本可观测资源利用率可视化资源利用率可视化&人力成本缩人力成本缩减减融合场景：安全可观测融合场景：安全可观测提高检测准确性提高检测准确性&帮助安全防护帮助安全防护规章制定规章制定融合场景：站点可靠性工程（融合场景：站点可靠性工程（SRESRE）提升提升SRESRE运转效率运转效率&优化系统抗风险能力优化系统抗风险能力拥抱风险服务等级目标（SLO）减少琐事监控分布式系统自动化演进发布工程简单化Embracing RiskSe

16、rvice Level ObjectivesEliminating ToilMonitoring Distributed SystemsThe Evolution of AutomationRelease EngineeringSimplicity虽然原则有虽然原则有7 7条条，但是核心只有但是核心只有2 2条条：风险管理风险管理 与与 自动化自动化01可观测性的背景与价值02可观测性应用现状及场景03可观测性未来发展趋势可观测性技术发展趋势可观测性技术发展趋势未来可观测性从概念未来可观测性从概念认知、标准制定、建设规范等方面实现大一统，持续推动普及与应用范围，认知、标准制定、建设规范等方面实

17、现大一统，持续推动普及与应用范围，总体呈现以下趋势总体呈现以下趋势可观测平台标准化、普及化可观测平台标准化、普及化推进产业对可观测性概念达成共识解决可观测性平台建设方式不统一以及多种观测工具造成数据割裂等问题撰写可观测平台标准及建设指南，推撰写可观测平台标准及建设指南，推动普及可观测性应用实践动普及可观测性应用实践观测数据统一化、丰富化观测数据统一化、丰富化基于统一的可观测性平台，整合统整合统一各种观测数据。一各种观测数据。拓宽可观测性范围，丰富观测数据丰富观测数据的类型与内容的类型与内容应用领域多样化应用领域多样化推动可观测性应用场景进一步扩展，向边缘侧、设备端侧应用渗透，推动可观测领域持续

18、多样化。可观测领域持续多样化。趋势趋势1 1：可观测平台标准化、普及化：可观测平台标准化、普及化2021年，中国信通院牵头业内可观测性资深实践企业编写行业内首个可观测性平台技术能力要求可观测性平台技术能力要求行业标准，并纳入中国信通院“系统系统稳定性保障稳定性保障”标准体系中，推动可观测性产品建设标准化、普及化。结合到业界对可观测性缺乏统一认知及建设指南的现实情况结合到业界对可观测性缺乏统一认知及建设指南的现实情况，组织专家学者开展可观测性的概念普及与可观测性平台标准化工作。组织专家学者开展可观测性的概念普及与可观测性平台标准化工作。中国信通院联合了业内头部企业，与数十位业内资深专家一起编写可

19、观可观测性技术发展白皮书测性技术发展白皮书，旨在向业内输出一份可观测性的建设指南及最佳实践，指导企业可观测性技术实践落地。联合观测云、阿里云、腾讯云、华为云、日志易、PerfMa等企业的多位可观测性技术专家共同编写。趋势趋势2 2：观测数据统一化、丰富化：观测数据统一化、丰富化持续推动观测数据的整合工作，持续推动观测数据的整合工作，推动各类观测数据的格式及处理的统一化推动各类观测数据的格式及处理的统一化，持续丰富可持续丰富可观测的目标对象和数据内容观测的目标对象和数据内容。社区致力于推动多种观测数据的格式规范及统一。CNCF所推出的OpenTelemetry作为整合版的可观测性数据规范及工具，

20、涵盖日志、监控、及链路追踪，目前已经被业界广泛使用。标准化的可观测性产品和平台也提供了统一化采集处理各类观测数据的方式，通过对数据进行统一治理、关联分析，达成数据利用最大化。随着eBPF技术在可观测性领域的持续应用，使原本难以触达的内核级数据也可以被观测和采集。在三大基础数据之外，又衍生出了如profile,crash dump等新型数据展示手段，使可观测性数据类型持数据类型持续丰富续丰富。支持用户自定义数据采集自定义数据采集等相关功能也成为主流，推动可观测性数据内容进一步丰满。趋势趋势3 3：应用领域多样化：应用领域多样化随着可观测性技术发展，应用场景势必持续增加，随着可观测性技术发展，应用

21、场景势必持续增加，可观可观测测应用领域及场景多样化发展应用领域及场景多样化发展可观测性应用领域将更加全面可观测性应用领域将更加全面容器洞察容器洞察主动巡检主动巡检混合云场景混合云场景金融场景金融场景容器洞察容器洞察金融场景金融场景混合云场景混合云场景主动巡检主动巡检中国信通院牵头建设可观测性标准矩阵中国信通院牵头建设可观测性标准矩阵应用场景可观测性平台能力公有云公有云私有云私有云混部混部基础资源可观测存储存储计算计算网络网络CDNCDN消息队列消息队列数据库数据库CI/CDCI/CD观测性观测性运维观测性运维观测性业务应用可观测业务应用可观测基于eBPF的可观测日志管理日志管理监控指标监控指标链路追踪链路追踪观测数据观测数据统一分析统一分析观测数据观测数据查询分析查询分析观测数据观测数据统一存储统一存储观测数据观测数据统一处理统一处理观测数据观测数据统一采集统一采集观测平台观测平台运维支撑运维支撑根因分析根因分析智能巡检智能巡检互联互通互联互通2021年-2022年2023年中国信通院牵头建设可观测性标准矩阵中国信通院牵头建设可观测性标准矩阵欢迎大家参与标准制定高继翔 （同微信）关注我们获取更多云原生资讯Thank you