《Elasticsearch Serverless 服务化在人群平台的日志可观测应用.pdf》由会员分享,可在线阅读,更多相关《Elasticsearch Serverless 服务化在人群平台的日志可观测应用.pdf(20页珍藏版)》请在三个皮匠报告上搜索。
1、中国开发者大会 2023Elasticsearch Serverless服务化在人群平台的日志可观测应用朱杰,Elastic高级解决方案架构师钱雨欣,阿里云高级产品经理2023/04/08中国开发者大会 2023 Elasticsearch日志可观测技术演进趋势及挑战Serverless技术:下一代计算引擎云原生 Elasticsearch Serverless 技术解读基于人群平台的Serverless日志可观测应用中国开发者大会 2023 产业背景:日志可观测应用的几个阶段Level 1工具具备多种IT运维工具,能够实现监控及日常运维管理Level 2归档级各级运维数据已实现归档及持久存放
2、无法全局搜索Level 3检索级通过一个平台实现所有运维数据全局搜索无法关联分析Level 4分析级通过关联所有运维数据从而分析解析原因并且能根据分析结果自动化运维无法事前预防Level 5预防级根据历史所有运维数据和回归算法实现故障预防无法判断各种指标和故障之间的关系Level 6智能级通过有监督的机器学习或者智能算法进行预测机器不断学习+经验积累中国开发者大会 2023 产业背景:企业日志可观测方案现状与挑战日志量大业务多程序员打日志比较随意日志输出级别没有控制日志质量不高日志没有意义没有暴露可观测性开发输出的日志格式随意 解析复杂运维开发分离运维不理解开发输出的日志日志先收进来再说只对采
3、集器自带的结构化字段索引日志文本只做全文索引事后故障诊断根据错误全文匹配Elasticsearch成本太高中国开发者大会 2023 Elasticsearch挑战:海量日志带来的成本与稳定性压力低峰期资源利用率低预留的计算资源、存储资源在低峰期资源闲置2高峰期写入压力大Elasticsearch 扩容会影响服务稳定性1高峰期写入并发平均 40K需要准备充足的计算资源满足高峰期写入能力低峰期写入并发平均 20K仅需要较少计算资源即可满足低峰写入流量业务突发峰值写入并发高达60K无法准确预测和预估业务高峰期业务低峰期中国开发者大会 2023 Serverless技术:在Elastic Cloud
4、上的无状态架构演进Elasticsearch有状态系统TranslogIndex StoreCluster Metadata持久化存储Elasticsearch Stateless架构 将数据的持久化存储从本地磁盘转移到对象存储 架构上分离索引层和搜索层,实现更加灵活的独立扩展中国开发者大会 2023 Serverless技术:下一代计算引擎Serverless即无服务器计算,强调的是一种架构思想和服务模型。开发者无需关心基础设施(服务器等),而是专注到应用程序业务逻辑本身何为 Serverless?Serverless 三大特征 资源的解耦和服务化自动弹性伸缩 按使用量计费 自动弹性伸缩中国
5、开发者大会 2023 Elasticsearch Serverless:云原生产品技术解读什么是Elasticsearch Serverless?业务秒级弹性伸缩高峰期快速弹性满足业务需求,低谷期避免资源浪费规格随业务需求自动调整成本大幅降低超低门槛,真正负载与资源动态匹配的按量付费打破固定资源付费模式高稳定性免运维无须手动变配,无须规划及管理集群资源配置极大提升运维效率PAASServerless不感知部署环境下的实际机器资源对部署机器及配置拥有更多控制需根据资源水位情况规划配置扩缩应用可以实现自动扩缩容有最小规格的使用门槛限制即买即用,只需为实际占用的资源付费开发者只需要写应用代码不需要维
6、护服务器本身在2022年公测上线,在兼容开源Elasticsearch基础上,实现资源跟随业务负载的动态弹性伸缩,不再需要进行复杂的业务资源评估和运维工作中国开发者大会 2023 Serverless技术:Elasticsearch云原生引擎价值IndexingIndexing ServiceServiceHot storageHot storageHot storageOpenstoreOpenstore存储存储Openstore cold storageCacheaccelerateAnalyticsearchAnalyticsearch检索分析检索分析IndexingService索引构
7、建服务解决写入性能瓶颈:海量写入时节点CPU使用率超高、写入TPS瓶颈明显Fastbulk插件,服务端打包,将单位资源写入性能提升150%;通过服务端“削峰填谷”云原生特性为客户在单位时间内保留海量算力;物理复制,降低写入CPU开销高性能写入;Analyticsearch检索分析提升查询性能及稳定性:解决查询效率低、异常查询导致集群异常Analyticsearch查询性能增强,优化并发查询,无条件或单条件查询性能提升时序查询剪枝,引入时序字段参与索引合并,合并时间相邻的数据提升查询性能时序查询Timestream支持PromQL,在7.10、7.16支持(开源8.X版本功能)Openstore
8、海量存储引擎存储降本提效:海量数据存储成本高、数据管理复杂、资源利用率低 智能混合存储:存算分离,多级存储cache优化,更低的费用获得更优IOPS冷热共享计算资源:突破传统冷热分离架构,大幅降低集群数据接入复杂度 索引压缩:aliyun-codec插件,相比开源更高的压缩比,索引大小降低40%中国开发者大会 2023 Elasticsearch Serverless:云原生技术挑战数据流畅性如何保障?PB级写入/处理/构建/查询SLA如何保障?面向多租户服务成本如何控制?合理使用资源的全观测架构数据调度路由:尽量避免对集群频繁进行扩容而引起的数据搬迁索引shard大小和数量的动态自适应修改时
9、序数据的聚合使用routing加速查询将索引构建高消耗资源的操作转发至写入托管indexing service集群QoS限流从多种action和粒度去限流,含集群级、节点级、索引级、索引pattern级别自研的熔断保护插件,按线程粒度进行熔断保护,根据thread堆内存和cpu虚核使用进行实时监控全链路带宽压缩,降低资源消耗数据模型优化,通过字段映射,解决多值模型和字段膨胀问题自研压缩插件,跟高压缩比降低存储空间自研Openstore混合存储,存算分离突破本地存储限制,实现海量低成本存储中国开发者大会 2023 案例解读:人群平台日志可观测最佳实践人群画像是互联网用户增长的利器之一帮助探究产品
10、指标数字背后的原因实现业务的精细化运营人群平台提供完善的用户洞察分析体系支撑智能化、精细化的业务增长生产(标签圈选、算法识别)使用(身份判定、标签获取)分析(画像分析、人群对比)中国开发者大会 2023 案例解读:人群平台日志可观测最佳实践离线标签数据用户实时特征行为人群判定/画像数据数据层标签引擎规则引擎任务引擎引擎层包含前端组件和后台API:人群创建、查询、对比人群判定、更新、画像服务层平台整体架构及链路复杂中国开发者大会 2023 案例解读:人群平台日志可观测最佳实践调用日志收集调用异常监测汇总分析调用情况人群后台API人群判定模块QPS10万+高吞吐与高并发难支撑因技术效能整体要求,须
11、在控制成本的情况下满足高并发压力 长期存储成本高调用情况因监管要求需长期保存,带来高昂的数据存储成本 高峰期的弹性扩展难如遇大促等业务高峰,调用日志量突增,需要更灵活的弹性扩缩能力高QPS调用量带来海量系统日志,开源自建Elasticsearch方案的挑战与难度激增!中国开发者大会 2023 案例解读:人群平台日志可观测最佳实践ElasticsearchServerlessIndexing Service索引构建Openstore智能混合存储Analyticsearch查询分析基于云原生ES Serveless技术,相比开源自建降低50%资源成本,大幅效率提升1、无须规划Elasticsearch集群配置2、无须运维管理集群机器资源真正的开箱即用3、无须学习复杂API的数据配置极致的弹性伸缩低门槛 低成本中国开发者大会 2023 ElasticSearchEasySearchNo MachineNo NetworkNo DiskNo SRENo Configurations中国开发者大会 2023感谢观看中国开发者大会 2023 专业、垂直、纯粹的 Elastic 开源技术交流社区https:/