上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

赵荣生-网易云音乐实时场景应用及优化实践.pdf

编号：101900 PDF 24页 28.41MB 下载积分：VIP专享
下载报告请您先登录！

赵荣生-网易云音乐实时场景应用及优化实践.pdf

1、赵荣生网易云音乐实时场景应用及优化实践简介分区流表动态分发其他工作未来规划#1#2#3#4#5#1简介集群规模3000/1000集群节点数任务数流量40000/1200300PB/20GBps业务场景大盘数仓推荐算法监控ABBI稳定性监控指标不完善Kafka流量压力增大HDFS小文件问题空跑任务浪费资源遇到问题效率大量重复无用读取并行度受限topic分区数TM IO overhead高数据倾斜计算效率低易用性流批任务独立维护流批UDF独立维护参数配置复杂#2分区流表背景客户端志!#$%&()#*+,-./)0数仓按action分发JSON按action消费JSON服务端志直播志11!2#%&(

2、)#*34+350!6#2%&()#*)/7.380!9#2%&()#*10推荐告11.业务易用性差2.划分粒度粗3.计算浪费4.网络冗余5.任务稳定性差6.Kafka压力大问题Kafka Topic设计客户端志数仓按分区列写AVRO按分区消费AVRO服务端志直播志11分区流表推荐告1定义分区列及分区规则分区流表p=P1T1T2T3Tn写任务读任务1读任务2读任务Np=P2p=P3p=Pnp=P1 or p=P2p=P3p=Pn按分区规则写按分区条件读取分区列P 对应topic时间1P1T12P2T23P3T34PnTn分区规则分区条件设计例效果和离线表使用一致只需指定业务分区字段易用性提升指

3、定多级分区只读取所需数据细粒度划分解决延迟问题稳定性提升存算资源节约50%+每年节约成本百万级资源节省显著原理规则变更户分区规则管理任务管理平台提交SQL:7;57,/.:7;57?.=3/.提交任务A=:/-/.任务感知注册两阶段通知AllTasks任务监听服务规则动态感知流程1.提交SQL到任务管理平台2.平台提交Flink任务到集群3.Kafka tasks注册ZK4.任务监听服务从ZK中感知所有tasks5.用户操作变更分区规则6.任务监听服务将新规则通过两阶段方式下发给所有运行的tasks原理B=.3/端继承C+4D/.7E4/F7E4/B=.3/GC#HI-.解析分区字段注册缘及分

4、区条件监听规则变更B+95端使:/J/B/.B38/,7动态获取D=-+3动态感知规则变更B/.K/.端缘关系分区规则校验规则监听通知监控告警构建743+D/内存表做分区剪枝监听规则变更功能概览注册缘及分区条件原理KafkaConsumerConsumerThreadZooKeeperServer端PartitionDiscoveryThreadMainThreadhandoverKafkaunassignedPartitionsNextOpPartitionTableThread规则变更感知监听两阶段通知新topics列表更新newTopicsremovedTopicsremovedPart

5、itions发现&移除写缓存消费数据获取meta读取缓存发送获取追加核功能#3动态分发背景客户端志数仓实时应服务端志直播志11LB采集推荐告1M,-./).3/B+95?.=3/)C9#*O79+9=0.=737)D服务端规则变更规则感知下发规则:7;57LB采集服务埋点管理平台元信息离线写预校验获取规则设计接定义规则定义代码成效果实时/离线统一统一管理业务无感知动态变更规则预校验分级限流稳定性提升及时发现并恢复监控告警#4其他工作其他工作稳定性监控指标完善Kafka镜像一键切换HDFS小文件动态合并无用任务监测效率按需反序列化按key rebalancerescale支持倾斜任务检测易用性流批一体探索使用UDF/存储/元数据统一简化参数配置#5未来规划未来规划#1数据安全数据治理流批一体（提高开发维护效率）数据湖（优化数据链路）运维自动化问题诊断、调优、压测工具通用场景解决方案#2#3

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（赵荣生-网易云音乐实时场景应用及优化实践.pdf）为本站 （云闲） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

wei**n_... 升级为标准VIP  133**67... 升级为至尊VIP  

wei**n_... 升级为至尊VIP  柯平 升级为高级VIP

shi**ey...  升级为高级VIP  153**71... 升级为至尊VIP

 132**42... 升级为高级VIP wei**n_...  升级为至尊VIP 

 178**35...  升级为至尊VIP  wei**n_... 升级为高级VIP

  wei**n_... 升级为至尊VIP wei**n_... 升级为高级VIP

wei**n_...  升级为高级VIP  133**95... 升级为高级VIP

188**50... 升级为高级VIP  138**47... 升级为高级VIP 

187**70...  升级为高级VIP  Tom**12... 升级为至尊VIP

微**... 升级为至尊VIP  wei**n_... 升级为至尊VIP 

 156**93...  升级为至尊VIP wei**n_... 升级为高级VIP 

wei**n_...  升级为至尊VIP   wei**n_... 升级为标准VIP

小敏 升级为高级VIP  hak**a9...  升级为至尊VIP

 185**56... 升级为高级VIP  156**93... 升级为标准VIP

 wei**n_... 升级为至尊VIP wei**n_...  升级为至尊VIP 

 Br**e有... 升级为至尊VIP wei**n_...   升级为标准VIP

 wei**n_... 升级为高级VIP   wei**n_... 升级为至尊VIP

156**20... 升级为至尊VIP  wei**n_... 升级为至尊VIP

 微**... 升级为标准VIP  135**45...  升级为标准VIP

wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP

157**60...  升级为高级VIP  150**45... 升级为至尊VIP

  wei**n_... 升级为标准VIP wei**n_...  升级为至尊VIP 

 151**80...  升级为高级VIP 135**10... 升级为标准VIP 

wei**n_...   升级为高级VIP wei**n_...  升级为高级VIP

 wei**n_... 升级为至尊VIP  wei**n_...  升级为标准VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为高级VIP

  135**22... 升级为高级VIP wei**n_...  升级为至尊VIP 

 181**62... 升级为至尊VIP 黑**...  升级为至尊VIP

 wei**n_... 升级为至尊VIP  178**61... 升级为高级VIP 

186**20... 升级为高级VIP  wei**n_... 升级为标准VIP

wei**n_... 升级为高级VIP wei**n_... 升级为标准VIP

 wei**n_... 升级为至尊VIP  wei**n_... 升级为标准VIP 

 152**94... 升级为高级VIP   wei**n_... 升级为标准VIP 

wei**n_...  升级为标准VIP    185**27... 升级为标准VIP

135**37... 升级为至尊VIP  159**71...   升级为高级VIP

139**27...  升级为至尊VIP   wei**n_... 升级为高级VIP 

 wei**n_... 升级为高级VIP  188**66... 升级为标准VIP 

 wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP

wei**n_...  升级为至尊VIP  wei**n_... 升级为高级VIP

  wei**n_... 升级为高级VIP wei**n_... 升级为至尊VIP 

 177**81... 升级为标准VIP  185**22... 升级为标准VIP

 138**26... 升级为至尊VIP  军歌 升级为至尊VIP

 159**75... 升级为至尊VIP wei**n_... 升级为标准VIP 

 wei**n_... 升级为至尊VIP  wei**n_...  升级为高级VIP

 su2**62... 升级为至尊VIP  wei**n_... 升级为至尊VIP

  wei**n_... 升级为至尊VIP 186**35... 升级为高级VIP 

 186**21... 升级为标准VIP   wei**n_... 升级为标准VIP 

wei**n_...  升级为标准VIP   wei**n_...  升级为标准VIP

 137**40... 升级为至尊VIP wei**n_...  升级为至尊VIP

 186**37... 升级为至尊VIP 177**05... 升级为至尊VIP