1、腾讯大数据当大数据遇见云原生腾讯大数据云原生化的思考与实践胡子千腾讯大数据高级工程师腾讯大数据自我介绍胡子千腾讯大数据高级工程师，云原生大数据平台负责人。毕业于北京大学计算机系，曾任职于蚂蚁金服、阿里云等公司，在大数据计算、大规模集群调度、云原生方面有丰富经验。腾讯大数据目录 云原生大数据的机遇与挑战 腾讯云原生大数据架构 腾讯大数据与云原生成熟度标准 腾讯大数据与开源腾讯大数据目录 云原生大数据的机遇与挑战 腾讯云原生大数据架构 腾讯大数据与云原生成熟度标准 腾讯大数据与开源腾讯大数据云原生与大数据云原生是什么!云原生能给大数据带来什么成本按需创建弹性伸缩存储计算解耦在离线混部统一资源池自动

2、化部署，降低运维成本统一技术栈，降低技术成本效率快速发布（工业化交付）智能调度监控、日志等全链配套可用性节点自动容灾集群、应用自动扩缩更完善的隔离能力健康检查资源统一技术和生态标准化能力生态复用No vendor lock-inABC融合计算提速秒级伸缩屏蔽底层差异Devops+持续交付+微服务+容器腾讯大数据云原生大数据的挑战在线应用特点大数据应用特点运行时间长，调度吞吐要求低运行时间短，任务吞吐高资源划分相对静态业务间资源弹性需求高在线业务延迟敏感在满足任务 SLA 的情况下可使用部分低优资源，所以大数据可以用混部资源降低成本存算可分离大数据 data locality 效应明显架构冲击存

3、算分离引擎改造在离线混部混合云定制大数据运行时超大规模以 APIServer 为中心的消息同步机制（List-Watch)限制了集群调度吞吐上限。挑战：任务规模大，任务调度频次高。弹性调度云原生默认调度器是静态资源配额管理，不能做到削峰填谷；默认调度器无法提供多租队列管理能力挑战：大数据以离线任务为主，弹性是强需求。多租户需要共享资源，但各租户资源不固定现状挑战腾讯大数据目录 云原生大数据的机遇与挑战 腾讯云原生大数据架构 腾讯大数据与云原生成熟度标准 腾讯大数据与开源腾讯大数据腾讯云原生大数据架构统一底座能力 统一资源、存储、计算、基础设施 能力可插件化扩展 同时支持大数据+AI降本增效 进

4、一步提升整体利用率 增加廉价资源比例资源统一管理 管理多种类型资源 大资源池的统一管理，按需调度，弹性伸缩245超大规模能力 单集群规模：万台规模 总规模：千万核3大数据服务存储编排统一任务调度数据集成数据处理高性能调度Gang schedulingKona JDK大数据运行时运行时热迁移全局资源管理多租户虚拟集群资源弹性分配大规模集群支持缓存加速数据感知云原生引擎大数据服务治理干扰检测与处理全维度资源隔离存储HDFSCEPHCOS内网公有云私有云数据分析容器平台TKEEKS混部其他 K8S 平台内存压缩腾讯大数据统一数据编排层 DOP腾讯云原生大数据生态挑战存算分离统一数据编排存储自适应腾讯

5、 DOP(数据编排)coscos244%121%I/O密集型的查询速度提升了244%，所有查询提升的中位数水平是121%。统命名空间策略驱动数据管理数据转换分布式缓存腾讯大数据大数据运行时运行时热迁移内存快传：内存压缩+并发传输常数级中断(5秒）：内存按需传输、按需加载网络迁移：IP不变，连接不断跨集群迁移：利用峰峦虚拟集群特性，可迁移至任意集群Kona JDK实现30秒内快速迁移和5秒内常数级极速迁移资源画像策略内存利用率CPU利用率保守-13.xx%+4.xx%激进-19.xx%+6.xx%内存压缩腾讯大数据Caelus 全场景在离线混部腾讯大数据峰峦虚拟集群架构大规模强隔离统一调度腾讯大

6、数据高性能、全维度弹性调度腾讯大数据数据集成-InLong低成本、高性能的 InLong TubeMQ轻量化、可扩展的InLong Sort ETL支持含量数据汇聚的 InLong DataProxy独立于数据流的全链路审对账服务 InLong Audit腾讯大数据数据处理与自适应计算算力资源申请阈值节点相似性调度节点性能变化周期性驱逐支持单点驱逐和单点重启运行时热迁移加速任务恢复批处理集群MPP集群PrestoclusterSpark/hive clusterSpark/hive clusterSpark/hive clusterSpark/hive clusterPrestocluster

7、PrestoclusterPrestocluster统一资源池SuperSQL集群资源感知集群压力信息各引擎资源信息作业资源属性推荐辅助决策引擎智能选择,作业参数自动调优CoordinatorT/ST/ST/SWorker-1Worker-2可用算力25%可用算力75%节点资源感知（可用算力）(注：T:Task,S:Split)弹性资源分配Apache Uniffle节点算力感知结合 task 调度Remote Shuffle引擎智能选择资源池打通、自动扩缩容腾讯大数据目录 云原生大数据的机遇与挑战 腾讯云原生大数据架构 腾讯大数据与云原生成熟度标准 腾讯大数据与开源腾讯大数据历时一年，中国信通院与腾讯大数据团队联合牵头，协同行业用户和产业单位共同编制形成了云原生能力成熟度模型 第6部分：大数据平台腾讯大数据腾讯云大数据解决方案 DataInLong+DOP+DLC 通过云原生能力成熟度预评估腾讯云大数据解决方案腾讯大数据目录 云原生大数据的机遇与挑战 腾讯云原生大数据架构 腾讯大数据与云原生成熟度标准 腾讯大数据与开源腾讯大数据腾讯大数据与开源!#$%&!#$%&Tencentcaelus腾讯大数据愿携手促进云原生大数据的融合创新发展腾讯大数据THANKS!感 谢 您 的 观 看！