《2020Flink峰会报告:7-朱广彬-360ULTRON-FFA2020-TSY.pdf》由会员分享,可在线阅读,更多相关《2020Flink峰会报告:7-朱广彬-360ULTRON-FFA2020-TSY.pdf(36页珍藏版)》请在三个皮匠报告上搜索。
1、ULTRON 36 基于Fli63D实时数仓平台 36 R0-l-tim0 DW Pl-tform b-s0d o6 Fli63 ? ? 架构设计 ? ? ? D景与需求 ? ? ? 平台化之路 ? ? ? 演示 ? ? ? 总结与展望 ?Roa& of platformization emoSummary & Prospect 背景与需求 ack&round & Requirements ? ? ? A于360商业化数据 Ab5ut 360 c53306ci,2iz,ti5n /,t, ?高峰期大约产B实时数据50Gb 7, 业务消费处理带宽200Gb 7,处理消息大约700WT 7 ?日G
2、处理量超过千亿T,上WTB ? ? ? ? 实时的重要性 m-ortance of real time 实时报表 (Real-time Re-orting) ? 实时监控 (Real-time monitoring) ? 实时模型反馈与策略控制 (Real-time machine learning) ? 实时E构F进(从Storm到Fl-nk的变革) R)al-t-m) ar(h-t)(tur) )volut-on(Chang) from Storm to Fl-nk ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 初C实时E构 (Early r)al-t-m
3、) ar(h-t)(tur) Fl-nk取代Storm (R)pla() Storm to Fl-nk ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? U-tr0n 1.0 F-ink 0n Mes0s实时流计算管理平台 U-tr0n 1.0 - F-ink 0n Mes0s Rea-ti.e strea. c0.1uting .anage.ent 1-atf0r. E在RW题 Existing problems ? ? ? ? ? ? ? ? ? 实时数据没M数仓化 &eal time data is not DW managed ? ? ? ? ? H发D杂度高、管理成本高 Hig/ dev complexity / /ig/ Mgmt cost ? ? ? ? ? 实时离线不统一 &eal time & o-line dis