1-蒋文伟-FlinkSQL在音乐的产品化实践-TSY.pdf

编号：29282

PDF 47页 4.14MB 下载积分：VIP专享

下载报告请您先登录！

1-蒋文伟-FlinkSQL在音乐的产品化实践-TSY.pdf

1、Flink SQL在云音乐的产品化实践网易云音乐蒋文伟产品功能 Features #2 简介 Introduction #1 性能优化 Performance #3 运维完善 Operations #4 未来规划 Future #5 Flink SQL云音乐产品化简介 Introduction to Flink SQL used in Netease. #1 Flink in Music 支撑音乐每日数千亿数据量的日志输入对接数百个外部数据源提供数百名同学进行实时计算开发运行数千实时计算任务多种业务场景支撑应用场景 use scene Content 内容分发 Report 实

2、时报表 Recommend 推荐业务 Index 索引任务 Monitor 实时监控 Example for distribution What is distribution 分发是常见的经典场景将日志流按业务切分实时业务的上游对性能、稳定性有要求流量控制、持久化等需求遇到的问题 Problems 开发效率低，业务标准流程难以复用未能方便的提供标准的组件定制组件：定时文件清理学习成本较高：SQL 化开发过程中依然需要详细的配置文档遇到的问题 Problems 通过SQL方式进行HDFS Sink 的配置外部环境混乱：数据权限难于管理血缘、监控、报警等配套不统一遇到的问

3、题 Problems 血缘关系常常用于数据治理 Example For Snapshot What is snapshot 将特征的历史版本进行存储 Why need snapshot 防止特征穿越实时模型效果提升的重要一环 Example For Snapshot 大量实时计算的需求业务复杂要求高可用，低延迟遇到的问题 Problems 开发成本高，调试相对复杂特殊需求无法快速满足定制需求：不同认证方式的Http Sink 传统调试方式调优需要对Flink有较为深入的理解运维成本高，排查问题困难业务的指标无法监控每次升级都是一次挑战遇到的问题 Problems 产品化目标 our goal 降低用户的学习成本、运维成本提升用户的开发效能在性能/监控等方面进行赋能打造云音乐实时计算一站式平台云音乐的实时计算Notebook服务 Introduction to

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（1-蒋文伟-FlinkSQL在音乐的产品化实践-TSY.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。