1、DataFunSummitDataFunSummit#20242024数据湖数据湖在快手的应用实践在快手的应用实践靳国卫 快手姓名:靳国卫目前负责生产社交数据团队10年+数据相关工作经验，主导快手、滴滴、美团核心业务数据体系建设及公司级BI产品的规划及落地擅长OLAP技术和数据湖技术并多场景实践落地数据湖在快手的应用历程数据湖在快手的应用历程问题与挑战、技术选型、应用过程、推广策略、生态建设数据湖在快手的应用案例数据湖在快手的应用案例CDC数据同步、批流结合业务加速、架构升级数仓优化目录目录 CONTENTCONTENTDataFunSummitDataFunSummit#2024202401

2、01数据湖在快手的应用历程数据湖在快手的应用历程问题与挑战技术选型应用过程推广策略、生态建设问题与挑战模型持续膨胀模型持续膨胀成本、运维、治理成本、运维、治理跨域跨域/团队协作团队协作效率、质量、运维效率、质量、运维离线、实时数据离线、实时数据GapGap质量、决策困扰质量、决策困扰问题与挑战(具化)数仓：复用数仓：复用 引擎：批处理引擎：批处理 协作：多域建设协作：多域建设业务诉求数据统计：纬度1、纬度2、纬度3、纬度4、指标1、指标2、指标3、指标4、指标5、指标6、核心日报：纬度1、指标1、指标2（SLA承诺7:00）增长钱效数据：纬度1、指标2、指标3、指标4（SLA承诺8:00）增长

3、日报：纬度1、指标3、指标4、指标5、指标6（SLA承诺10:00）数据域A(4点)数据域B(5点)数据域C(7点)数据域D(8点)数据域A&数据域B(7点SLA)公共模型1数据域A&数据域B&数据域C(8点SLA)公共模型2数据域A&数据域B&数据域C&数据域D(10点SLA)公共模型3跨领域数据跨领域数据数数仓仓架架构构复用一次写多次读更新写更新写多次读多次读SLA时效要求技术选型-更新写更新写多次读对比项对比项HudiDelta LakeIceberg功能丰富度丰富丰富待提升公司融合度高自动化程度自动部分开源手动Flink集成是否是社区活跃度活跃活跃相对活跃功能丰富、运维简便商业化强大框

4、架优秀、扩展性好技术选型 应用方案更新更新更新更新更新数据域A(4点)数据域B(5点)数据域C(7点)数据域D(8点)理想理想数数仓仓架架构构业务诉求数据统计：纬度1、纬度2、纬度3、纬度4、指标1、指标2、指标3、指标4、指标5、指标6、核心日报：纬度1、指标1、指标2（SLA承诺7:00）增长钱效数据：纬度1、指标2、指标3、指标4（SLA承诺8:00）增长日报：纬度1、指标3、指标4、指标5、指标6（SLA承诺10:00）数据域A(4点)数据域B(5点)数据域C(7点)数据域D(8点)数据域A&数据域B(7点SLA)公共模型1数据域A&数据域B&数据域C(8点SLA)公共模型2数据域A&

5、数据域B&数据域C&数据域D(10点SLA)公共模型3跨领域数据跨领域数据数数仓仓架架构构技术选型 应用效果-----------------09增长设备域数据模

6、型多纬度分析设备技术选型 推广策略、生态建设广泛适用广泛适用0-10-1、110110的应用的应用价值评估价值评估具有推背感的效率、成本收益具有推背感的效率、成本收益技术选型 推广策略、生态建设广泛适用广泛适用新的任务100%历史任务96%+CDC同步100%收益评估收益评估规模缩减时效提升协作统一生态工具链IDPKStreamAB平台KwaiBI打造数据湖生态工具链打造数据湖生态工具链论证论证数据湖生态数据湖生态可落地可落地DAU曝光电商订单DAU点击CNY夏奥增长花费逐点攻坚逐点攻坚其他电商、商业化搜索、直播生产社交增长推广应用推广应用DataFunSummitDataFunSummit#

7、202420240202数据湖在快手的应用案例数据湖在快手的应用案例CDC数据同步批流结合业务加速架构升级数仓优化CDC同步 Kafka2Hudi/Mysql2Hudi60min60min 90min90minxPbxPb存储存储业务诉求时效性提升，让数据应用满足SLA诉求且具有一定的buffer批流结合 近实时特性业务诉求除夕红包雨、多轮次触达实时试验效果验证、实时策略验证5h5h -15min-15min2222轮次轮次架构升级 设备域AB建设应用7171模型模型3838重复重复JoinJoin17%17%计算计算1Pb1Pb存储存储架构升级 留存优化业务诉求数据统计：用户、次留、3留、4留、5留、6留、7留、14留 180留365留50min+50min+15%15%计算计算感谢观看感谢观看谢谢观看