《腾讯云新版ES：从云原生到AI增强搜索赋能企业商业变革.pdf》由会员分享，可在线阅读，更多相关《腾讯云新版ES：从云原生到AI增强搜索赋能企业商业变革.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、腾讯云新版ES从云原到AI增强，赋能企业商业新主讲：任翔腾讯云数据ES产品负责?腾讯云ES发展历程 户需求和习惯演化?存算分离技术揭秘 Serverless服务，像和电样使ES?开箱即的向量检索和AI增强能?未来展望录腾讯云ES发展历程01腾讯云ES的产品演进腾讯云ES正式发布集群全托管，开箱即200222023未来规模化运营500%增速，百PB规模ELK全托管，压缩编码，冷热分离云原Serverless产品形态升级，完全免运维企业数字化技术能、运营能、服务能户需求、习惯变迁、商业价值云计算发展Elastic战略合作X-Pack商业套件内核性能稳定性优化云原结合志场景深度

2、优化数据链路，治索引，存算分离极致体验与AI赋能内核优化、产品形态演进AI模型深度结合我们的研技术和社区贡献腾讯是亚太地区对ES开源社区贡献最多的第三企业，全球贡献第2进全球贡献Top100?技术PR?150+，合并120+腾讯云ES?依托内部丰富场景应以及万级节点复杂环境，针对ES内核进量稳定性、性能和成本等优化，并提交反馈给社区存算分离成本堆外内存集群治稳定性索引治节点数扩展性索引数定向路由性能查询裁剪索引压缩熔断限流分数列式返回数据裁剪数据均衡元数据读写分离成本下降50%80%?查询性能?210倍写性能?1?-3倍稳定性提升5倍扩展性提升10倍千级节点，百万分丰富的应场景和海量的数据规模

3、应场景主要业：业务规模：集群：1W+节点：10W+地域：国内外24个志分析信息检索数据分析数据库加速泛应于各各业电商、媒体、零售、游戏、汽车、出、教育户需求和习惯演化02从上好云到好云户需求和习惯演化上好云易用低廉好云提效安全稳定好用降本从IT基础建设中解脱，帮助企业降本增效更聚焦业务，关注商业价值提升商业价值经营效能云原演进：存算分离技术揭秘03成本，可以低于建吗？存储引擎、列、索引混存计算与存储耦合分布式架构云原冗余副本2?X?3基础设施SSD?成本、寿命磁盘、机器运维成本成本，可以低于建吗？冷热分离Rollup备份归档存储裁剪LRU?CacheOff?Heap内存池化命周期管理存储优化C

4、PU和内存优化已落地技术攻关更多机会洞察云原演进：存算分离技术揭秘问题：存储冗余：ES?2副本?+?云盘3副本?计算冗余：主从副本重复写弹性伸缩：量数据搬迁，耗时长，资源浪费案：主从副本共享存储：去除副本冗余存储Segment物理复制：去除副本冗余计算热数据本地智能缓存?+?IO并：保证查询性能计算层秒级伸缩：数据迁移，仅变更映射关系收益：去除存储/计算冗余，成本降低50%80%秒级弹性伸缩，持读写峰、按需付费更少更灵活的计算资源，承载更写流量，同时通过对象存储幅降低成本分布式计算层分布式存储层Master?1集群?管控Master?2Master?3Node?1CacheNode?2Cach

5、eNode?3Cache分分分主读写从只读集群管理Segment物理复制存算分离关键技术?物理复制Shared Storage（对象存储 COS）Translog-3Translog-2Translog-1Segment-cSegment-bSegment-aHybridStorageEngineLocalDirectoryShard-X-DirShard-Y-DirShard-Z-DirSegment Writing-BufferNRT SegmentsSegment-hSegment-iSegment-cSegment-bSegment-aFreezed SegmentsSegment-f

6、Segment-eSegment-dSegment-gsegments_2nRemoteDirectoryWrapperTranslog-3Translog-2Translog-1HybridStorageEngine LocalDirectoryReplica ShardNRT SegmentsSegment-hSegment-iSegment-cSegment-bSegment-aFreezed SegmentsSegment-fSegment-eSegment-dSegment-gsegments_2nRemoteDirectoryWrapperSegmentBased DataRepl

7、icationPrimary Shard索引构建只放在主分上，完成后再同步到副本分，减少计算冗余存算分离关键技术?混合存储存储重逐步迁移，整体存储成本下降?50%?-80%IndexXPrimary(Mixed)Primary卸载5070%ReadOnly?Index少量SSDStage-3Replica(Remote)SSDHDDIndexXReplica数据全卸载ReadOnly?IndexPrimaryReplica(Remote)SSD依赖度减半Stage-2SSDHDDIndexXPrimary(Remote)Primary卸载95%ReadOnly?Index微量SSDReplic

8、a(Remote)Stage-4SSDHDDIndexXPrimary(Local)Replica(Local)ReadWrite?IndexStage-1重度依赖SSDSSDHDD本地保留完整数据云原演进：Serverless，像和电样使ES04运维，可以极简吗？运维，可以极简吗？数据接索引管理集群运维配置调优、重启、升级弹性伸缩，应对业务压节点/磁盘不均、过载故障排查、容灾、安全Setting、mapping、alias分数量、动态调优滚动、降冷、删除流量突增、写拒绝Beats、Kafka、Logstash采集、缓存和加配置组件部署和运维管理全链路故障排查学习成本、投、时间投云原演进：Se

9、rverless，像和电样使ES在2023年329召开的企业上云暨算云融合产业会上，腾讯云数据ES?Serverless服务被评为信通院“2022?可信算服务?领航者计划”?优秀案例奖Serverless?+?SolutionsA索引即服务按需使、按量付费场景化站式解决案BC志分析实时搜索安全分析云商愿景云计算定位于成为整个社会和商业的基础设施，就像使电那样简单。Serverless的设计思路提升易性：站式场景化解决案：?采集-加-存储-分析集群免运维：集群服务器概念，只需关业务数据索引免运维：集成治索引数据链路免运维：集成数据链路降低成本：存算分离：去除冗余计算和存储，动伸缩按量付费：按需使

10、，读写流量+存储费提升稳定性：集群索引后台统运维调优，避免因使不当造成的故障保持兼容性：100%兼容开源?ES?API，缝迁移，改造成本100%兼容?ELK?态，持kibana，beats，logstash采集部署缓冲队列清洗加容量管理数据链路分调优滚动上卷智能降冷性能优化索引治集群部署弹性伸缩版本升级配置调优集群管理CPUGPU内存存储IAAS资源户完全免运维户完全免运维应场景志分析实时搜索数据分析指标监控业务功能数据采集数据管理Kibana数据加全局流控故障愈负载均衡络安装部署跨集群场景化体验优化Kibana版本升级数据投递安全分析Serverless的站式使体验CVM?TKE?TCHou

11、se-CES?原?APIKibana检索分析Step?1：选择数据源Step?2：设置索引参数Step?3：检索分析数据源索引名称治索引底层完全屏蔽，需关数据链路、集群运维和索引运维，平台提供端到端?SLA?保障Logstash?Flink?Kafka?极速：只需3步即可完成站式志分析场景的落地云控制台云?APIES?ClientCustom?UI数据存储时长开箱即的向量检索和AI增强能05搜索，可以结合AI增强吗？搜索，可以结合AI增强吗？个性化推荐商品推荐短视频推荐章推荐等推荐系统知识库专家系统智能客服问答系统语义搜索以本搜图以图搜图视频搜索敏感词识别舆情分析风控系统搜索系统+ES?向量检

12、索解决案向量化数据索引向量数据发起向量检索执向量检索返回检索结果ES?向量检索技术框架12345腾讯云ES已持8.8.1版本，将持：内置向量化模型第三模型上传&管理机器学习节点站式AI向量检索平台ES?模型结合案n 知识停滞ChatGPT 接受的数据训练截?2021?年?9?，这意味着它不知道此后发的事件、发展或变化n 缺乏特定领域内容知识虽然它可以根据接受过培训的信息成连贯且与上下相关的响应，但它法访问特定领域的数据或提供依赖于户独特知识库的个性化答案ES?的解决案模型企业应的挑战向量检索结合模型的站式体验ES在向量检索和AI增强上的优势n 端到端、站式的向量检索解决案n 与丰富的第三具集成

13、能n 分布式架构、持百万级QPS、亿级向量规模集成?LangChain，以帮助构建复杂的数据管道和成式?AI?应程序，通过?API?与第三Transformer模型集成（如?OpenAI）幅度降低企业算法程接成本简单易、成熟稳定的可架构Restful?API、强的检索能、分布式架构弹性扩展n 原向量搜索引擎及独有的混合搜索能使已有的_search?API，结合全检索、轻松实现多路召回、混合打分、Faceting聚合分析能、提升搜索准确性Traditional?searchVectorsearchHybrid?scoringFacetingRBAC未来展望06 简化索引结构 研性能列存引擎 分布式缓存 压缩算法优化技术架构商业价值未来展望户体验 丰富数据源互通 智能预测调度 智能运维调优 平滑迁移体验 更低廉的成本 场景差异化服务 智能赋能 企业IT系统互联THANKS谢谢观看