《陈晨-DeepFlow“云原生时代”下可观测性的全栈、自动化统一平台.pdf》由会员分享,可在线阅读,更多相关《陈晨-DeepFlow“云原生时代”下可观测性的全栈、自动化统一平台.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、DeepFlow:“DeepFlow:“云原生时代云原生时代”下可观测性的全栈、自下可观测性的全栈、自动化统一平台动化统一平台陈晨陈晨 云杉网络云杉网络 202303202303分享大纲分享大纲可观测性是什么可观测性是什么Baron SchwartzFounder&CTO|VividCortex云原生可观测性的痛点云原生可观测性的痛点All Stack All Stack kafka连接微服务的基础设施路径越来越长、多代理进程PodNodeHost代理进程PodNodeHost应用进程应用进程框架代码框架代码业务代码业务代码APPSYSNETSTORGWMQDB?路径N2服务N该如何消除业务开
2、发与基础设施之间的鸿沟?技术栈选择过多 垂直领域功能不一致可观测性分类可观测性分类 信号分类:Logging:审计、应用、中间件Tracing:应用、系统调用、网络Metrics:网络、容器、OS、应用、中间件Events:资源、容器、IOProfile:OS、应用 层级分类:系统层:基础设施网络层:L4/L7应用层:业务应用分享大纲分享大纲AutoMetricsAutoMetricsAutoAuto代理进程PodNodeHost代理进程PodNodeHost应用进程应用进程框架代码框架代码业务代码业务代码APPSYSNETSTOR零插码零重启零配置标准采集自动关联GWMQDB12345678
3、全栈可观测性从云基础设施到云原生应用的全栈性能指标:应用性能:吞吐、时延、异常(RED)应用协议:HTTP(S),RPC,SQL、MQ、DNS、系统性能:新建连接、活跃连接、建连异常、网络时延:建连时延、系统时延、数据时延、网络性能:吞吐、重传、零窗、传输层载荷、ExternalMetricsExternalMetricsVendorVendorIntegrationsDeepFlowObservability with Automation and CollaborationAgentServerAutoTracingAutoTracingS:系统 SpanN:网络 Span1.零插码:且无
4、需向 HTTP 头注入 TraceID 或 SpanID2.全链路:4 个调用、38 个 Span,分为 24 eBPF Span+14 cBPF Span3.多语言:Java、Python、Ruby、Node.js 及 C/C+(curl/envoy)4.全栈:追踪两个微服务之间的网络路径,从 Pod 到 Node 到 KVM,IPIP/VXLAN,并关联网络 Metrics5.全栈:追踪微服务内从 Envoy Ingress 服务 DNS Envoy Egress 全过程案例:某互联网用户,使用 DeepFlow 5 分钟内定位客户端慢服务端不慢的经典扯皮问题。ExternalTracin
5、gExternalTracingService SpanService SpanIntegrationsDeepFlowObservability with Automation and CollaborationAgentServerAutoLoggingAutoLogging从应用到基础设施全栈应用访问日志网络流日志文件IO日志*TCP 包头时序图PCAP 报文回溯ExternalProfilingExternalProfilingService ProfileService ProfileIntegrationsDeepFlowObservability with Automation
6、and CollaborationAgentServerpprofAsync-ProfileEventsEventsAll EventsAll EventsIntegrationsDeepFlowObservability with Automation and CollaborationAgentServerresoucesk8s events分享大纲分享大纲手工方式定位问题手工方式定位问题解剖到多信号层面解剖到多信号层面关联到元数据层面关联到元数据层面多信号关联难点多信号关联难点AutoTaggingAutoTagging10 x降低7.5x降低资源池云资源容器服务IngressWorkl
7、oadPODK8s labelsappversionenvownerstagecommitId.Annotations*biz/terminalTypecicd/deploymentId.OS ENV*MODULE_NAME.222222222203040506070809060708090100资源消耗 vs.#(标准+自定义 Tag)DeepFlow其他方案TAG总数量标准 Tag:开销 10 x 降低自定义 Tag:零开销ApplicationServiceNameFunctionNameEndpointTraceIdSpanIdRequestId.网络资源VPCC
8、IDRIPNATGWALB.SELECT any_tag FROM any_tableWHERE any_tag GROUP BY any_tagdatadataAgentServerdatataginttagstrtagstr.20+datatagstr.100+编码标准 Tag关联自定义 Tag解码标准 TagTag without LimitAutoTagging&SmartEncoding1111011.551.57.501020CPUMEMDISK资源消耗对比(标准 Tag)DeepFlow+ClickHouseClickHouse(LowCard)ClickHouse(String)随机生成一组长度为 16 字符串标签,Cardinality 为 5000,持续极限速率写入。假设标准 TAG 固定 20 个,自定义 TAG 从 0 个增长到 80 个。高度自动化的可观测性能力高度自动化的可观测性能力 Landscape ProjecteBPF Landscape ProjectThanksThanks