（线上）郑志升-Apache Flink在bilibili的多元化探索与实践-美化TY已定稿 .pdf

编号：29298

PDF 44页 24.82MB 下载积分：VIP专享

下载报告请您先登录！

（线上）郑志升-Apache Flink在bilibili的多元化探索与实践-美化TY已定稿 .pdf

1、B站基于Flink的生态化实践郑志升实时平台负责人 Ecological practice of bilibili based on Flink ETL On Flink #2 Realtime future #1 AI On Flink #3 Future development #4 Realtime Feature #1 生态场景辐射 Scene radiation 离线计算注重成本，占比大头实时计算更注重价值，时效增量计算(数据湖) 平衡了成本，综合价值和时间 Offline calculation Realtime calculation Increment calcul

2、ation B站 - 时效性离线计算实时计算增量计算（数据湖）实时计算实时AI，推荐、搜索等数据应用，渠道分析投放等报表、OLAP、监控等实时化离线计算数据辐射面广，主要以数仓为主增量计算（数据湖）场景稀少，如binlog的增量Upsert要求 20% 75% 5% Bilibili - Timeliness ETL时效差 ETL has poor timeliness 传输管道缺乏计算能力数据无法前置清洗，落地后加重ODS到DW负担资源编排压力大大量离线作业资源集中爆发在凌晨后，难打散，SLA低离线和实时的gap难满足大部分数据，对于纯实时则成本过高，而纯离

3、线则时效太差 Mysql数据的入仓时效不够，超大规模的业务表同步时间过长且不稳定 Pipeline lack of computing power Resource is difficult to arrange Real-time and offline gap cant satisfy AI实时工程复杂 AI real-time engineering is so complex 特征工程效率低计算逻辑的重复开发，特征的实时和离线计算实验链路长，运维及管控成本高经常性遇到一个问题，全链路排查非常复杂痛苦一个完整的实时推荐链路，涵盖了N个实时和M个离线作业组成随着AI人员的投入增多，实验迭代难Scale 缺乏AI领域的元数据体系，实验全链路本身缺乏抽象，很难做到一键实验 Low efficiency of Feature Engineering High cost of exp

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（（线上）郑志升-Apache Flink在bilibili的多元化探索与实践-美化TY已定稿 .pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。