1、师锐字节计算基础架构负责人实时计算在字节跳动的发展与展望#1#1#2#2#3#3发展概览#4#4历程回顾重点工作展望总结#1#1发 展 概 览国 内 业 务海 外 业 务字 节 跳 动 旗 下 产 品实 时 信 息 流 推 荐规 模 与 挑 战实时推荐请求海量存储空间全球 MAU国家与地区运营1919亿亿150150个个EBsEBs百万百万 QPSQPS实时计算在字节跳动的主要应用场景#1#1#2#2#3#3#4#4#5#5实时特征计算e.g.窗口计数实时模型训练实时数仓安全&风控实时大屏e.g.春晚，双十一主要计算引擎资源对比2021-01-012021-01-142021-01-27202

2、1-02-092021-02-232021-03-132021-03-262021-04-092021-04-232021-05-072021-05-212021-06-042021-06-242021-07-112021-07-242021-08-072021-08-212021-09-032021-09-172021-09-302021-10-142021-11-15SPARKApache FlinkPRIMUSMAPREDUCE#2#2历 史 回 顾2017 2018:Flink 初露锋芒调研并明确 Flink 为字节流式计算引擎的发展方向#1#1完成 Jstorm on Flink 适

3、配工作，推动 Jstorm 向Flink 引擎迁移#2#2构建一站式流式计算作业管理平台#3#3SmartResources 上线，支持自动调整 Container CPU 和内存使用量#4#4单点故障重启上线，支持超大规模抖音流式训练作业#5#5完成 100%Jstorm作业迁移#1#1Flink 1.5-1.9 版本升级，在公司范围内推广 Flink SQL#2#2Flink Batch 在公司内场景落地#3#3统一实时元信息#4#4State&Checkpoint大规模推广#5#52019 2021:Flink 高速发展数据来源：字节跳动 Flink 团队内部统计字节跳动 Flink 全

4、景全球 Flink 作业数量SQL 作业占 30%全球 Flink作业使用 CPU 核数全球开启 checkpoint 作业的数量高峰流量吞吐 600GB/s全球消息处理峰值 QPS4 4万万400400万万9090亿亿1.81.8万万#3#3重 点 工 作YARN 编排调度一次性资源分配加速启动考虑负载均衡反调度机制批流作业混部利用率提升单机环境资源隔离GangGangScheduleSchedule负载均衡负载均衡调度调度容器化容器化混合部署混合部署DistributedStorageCoordinatorControllerBrokerBrokerBrokerProxyProxyProx

5、yKV StorageConsumerProducerBMQBMQ批流一体Native 实现兼容 Kafka 协议存储计算分离Flink 开发迭代Runtime&Services单点故障恢复SmartResources推测执行故障节点自动隔离性能测试框架混沌工程多机房容灾SQL1.9-1.11 升级Flink SQL 开发平台丰富 Connector 生态Temporal Table Function维表延迟 Join自定义窗口新增聚合指标兼容 CheckpointState&Checkpoint小文件聚合Regional CheckpointState backend Cache自定义 Ch

6、eckpoint 触发策略Queryable StateDorado 流式计算平台作业托管一键容灾SQL 开发调试智能诊断特征计算平台KafkaKafkaHiveHiveKV KV 存储存储RPC RPC 服务服务数据源抽取抽取扩展扩展过滤过滤字段抽取/扩展/过滤unionunioninterval joininterval joinwindow joinwindow joinlookup joinlookup join数据 JOIN/UNIONSchema Table字段名类型user_idbigintnamevarcharapp_idintcountintactionint状态层存储层抽取

7、层明细数据更新获取明细数据注册触发器聚合计算#4#4展望&总结批流消费无缝切换HybridHybridSourceSource引擎统一引擎统一StreamingStreamingBatch SQLBatch SQL底层存储底层存储统一统一SQL 语义,UDF,Runtime 统一实时计算统计小时&天级校准BMQ 使用一套分布式存储系统批 流 一 体Cloud Shuffle ServiceCloud Shuffle ServiceIO 聚合In Mem 副本高速写入成本&性能q3q6q8q10 q11 q15 q18 q19 q30 q32 q34 q35 q37 q38 q45 q46 q5

8、1 q54 q59 q68 q69 q71原生 ShuffleCSS007080TPC-DS 1TB 提升30%以上QueryMPP CBO调度性能优化跨数据源联合查询流批一体HTAP行列混合存储Godel:在离线融合调度资源管理合并资源池统一管理，快速切换调度融合一套调度器，多类场景运维交付一套系统调度语义融合Gang 性交付、Batch 调度作业、任务排队极致性能资源同构、网络拓扑感知、NUMA 感知在离线隔离管控层租户隔离、数据面资源隔离2021 FFA Talks from ByteDance【实时数据湖】Building The Real-time Datalake at ByteDance【行业实践】Flink 在字节跳动数据流的实践【流批一体】流批一体在字节特征平台的实践【平台建设】State Migration and Query on Flink SQL【核心技术】Powering HTAP at ByteDance with Apache Flink【核心技术】Improvements of Job Scheduler and Query Execution on Flink OLAP【核心技术】StateBackend Performance Improvements with CacheTHANKS