1、中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉 刘征 中国DevOps社区组织者中国DevOps社区峰会 武汉日程 APM 在分布式系统中的作用 采样的开销和成本 新版可观测性记分卡 问答时间中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉为什么使用开源埋点？互操作性 私有技术封闭特定的概念 追踪链中统一的唯一标识符 和其他 OSS 的融合可移植性 换追踪工具时，必须重写追踪代码 OpenTelemetry 的收集器组件可以兼容多个后端工具套件生态系统 利用现有可用 OSS 生态系统可以快速活的系统的有用信息隐式可见性 通过服务网格工具的

2、可追踪能力，而不需要任何编码工作中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉APM 在分布式系统中的作用管理和优化应用系统的性能基线中国DevOps社区峰会 武汉APM 分布式追踪的主基调 分布式追踪是一种通过追踪数据分析、监控分布式系统的工具，追踪数据表示请求在系统中的流动过程。分布式追踪与你的编程语言、运行时、部署环境无关，几乎可以用于所有类型的应用或服务。分布式追踪改善了团队的协作能力，缩短了检测、解决应用程序性能问题的时间。中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉采样的开销和成本合理评估和规避的方案中国DevOps社区峰会 武汉尽量不产生副作用分布式

3、追踪的第一原则中国DevOps社区峰会 武汉应用开销1：延迟增加和缓解方案高性能追踪器只在应用程序的线程上执行绝对必要的工作，并将剩余工作转移到后台线程中完成优化线程调度控制 span 的解析度；运用可重复使用的缓冲区和无锁结构结合优化埋点的粒度综合运用以上优化最佳事件后，可以将影响的数量级降到不可测量降级影响度创建、结束 span，添加标记、日志这些事件的发生都会产生延迟中国DevOps社区峰会 武汉应用开销2：吞吐量占用和缓解方案固定的基础设施在固定时间内能处理的请求数量是有限的利用最少的链接次数，争取在 1 分钟内 发送出 span 数据减少链接次数移动 app 考虑到内存和电量的因素，

4、尽量用长链接，以流的方式传输压缩后的数据移动App长链接/压缩Google 用 16/1 的采样率让吞吐量和延迟的开销都在可接受的误差范围内设置合理采样率中国DevOps社区峰会 武汉基础设施的成本 网络传输成本：网络位置-私有数据中心，公有云（VPC 内外，跨区域，跨互联网）span 数据发送成本和应用计算成本的对比 应用程序运行位置和 span 数据目标存储的位置 存储成本：云存储的成本=容量 x 时长 Google Dapper 案例：1/1024 的采样率是进程默认的采样率，在存储前在降低数量 10 倍 追踪数据存储的 Region 区域范围内，降低网络成本 从在 Big-Query

5、中分别维护主机和服务两个索引，减少为一个二合一的符合索引 使成本和价值趋于一致中国DevOps社区峰会 武汉在明确的目标和成本内发掘价值采样子集数据中能发现一条有意义的样本，就可以用来定位和解决应用故障和性能问题取得全量数据的成本可能高于运行应用程序本身承担成本聚焦价值中国DevOps社区峰会 武汉坚守分布式追踪完整性的底线难点 1：分布式云原生应用中，离散式采样数据点的协同难难点 2：span 数据必须在离开数据中心或者 VPC 前存储到持久化存储中中国DevOps社区峰会 武汉合理运用采样策略，平衡成本和价值预先采样（heard-based）前置的无差别采样可以根据预期动态调整采样率基于响

6、应采样（tail-based）根据响应特征，请求结果或者结果包含的信息点作为数据丢弃与否的决策因子优化集中采样结果的决策，先集中一部分，在做出采样决策，然后回传采样结果中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉新版可观测性记分卡用相对较少的信号量就能理解生产系统的行为中国DevOps社区峰会 武汉术语“可观测性”来自控制理论 根据系统对外部的输出信息推断系统的内部状态。被动型控制 主动型控制模型：Closed loop feedback control理解、干预 管理系统性能中国DevOps社区峰会 武汉Why feedback？1.不确定2.不稳定3.常扰动4.高效率中国D

7、evOps社区峰会 武汉可观测性解决方案的三个设计目标 核心设计目标：1.解释每个事务/交易：覆盖极端罕见错误，感知最小客户群体，不漏报任何有价值的事件2.免于维度问题：支持复杂的横向故障排查，需要大量高维度非聚合数据点支持，平衡搜索性能和存储成本的矛盾3.成本与业务价值成正比：在实施成本动态增长的确定性下，确保业务价值的物有所值中国DevOps社区峰会 武汉“可观测性三大支柱”的致命弱点指标Metric日志Log分布式追踪Trace解释单（每）个事务 免于维度问题 成本与业务量成正比 中国DevOps社区峰会 武汉三根管道，而非支柱 非三个独立工具，而是用于收集、管理遥测数据的三种技术手段

8、工具实现者：将组织数据方式的权衡交给用户 工具用户：从目标业务价值出发，评估工具功能和性能，为自己的选择买单。中国DevOps社区峰会 武汉可观测性的终极目标和活动 改善性能基线 恢复性能基线（回归后）目标 度量性能对用户的影响 解释度量结果所表达的性能差异活动中国DevOps社区峰会 武汉更新版可观测性平衡记分卡*统计的保真度的高低*元数据维度的多少*存储空间容量的多少*可用时间序列的长短*提供上下文*按影响排序*可自动关联信息质量操作体验中国DevOps社区峰会 武汉Elastic APM 参考架构中国DevOps社区峰会 武汉Elastic APM 支持 OpenTemetry中国DevOps社区峰会 武汉中国DevOps社区峰会 武汉关注社区公众号了解更多活动