2019年数据蜂巢-轻量级数据处理平台.pdf

编号：97343

PDF 22页 1.65MB 下载积分：VIP专享

下载报告请您先登录！

2019年数据蜂巢-轻量级数据处理平台.pdf

1、数据蜂巢-轻量级数据处理平台CONTENTSCONTENTSp背景IntroductionIntroductionp核心功能p设计架构p应用数据源数量多，分布广数据出口不统一资源受限，数据处理缺少必要生态生产业务重度依赖，实时性要求高背景CONTENTSCONTENTSp背景IntroductionIntroductionp核心功能p设计架构p应用实时数据采集历史数据加工同步实时数据单表加工同步实时数据宽表加工同步核心功能CONTENTSCONTENTSp背景IntroductionIntroductionp核心功能p设计架构p应用基本概念Batch-历史数据加工同步Stream-数据

2、采集Pie-实时数据加工同步JobTaskQueen(Master)Queen(Master)Wasp(Slave)Wasp(Slave)PieWorkerStreamWorkerBatchWorkerWasp(Slave)MysqlActiveStandbyZookeeperManagerMonitor数据采集-Stream售后SourceStorageMysqlSourceStreamSourceDcombStoreSourceRelayLogTaskExtractormysql binlogrelay binlogstorerelay binlogstorerelay binlogsto

3、reRelayLogTaskExtractorExtractorRelayLogTaskCatchupCatchupMainStoreFileQueueConsumerClientServerIndexFilterTransportFileQueueFileQueueSegementIndexSegementIndexFileIndex数据传输ClientStore123412345ConnectionPool5单表加工-DirectPie售后客服FetcherRecordProcessorCommitProcessor Fetcher:Dcomb;JMQ;Kafka CommitProces

4、sor:ES,Mysql,PG,JMQ,Kafka单表加工-DirectPieFetcherPartitionerProcessorChainPositionPersistenceEngineCommitRing?ProcessorChainProcessorChain并发：串行，表，行宽表加工-FlowPie宽表加工-FlowPieTickNodeAckNodeSourceNodeComputeNode_1ComputeNode_2Table_aComputeNode_1ComputeNode_2Table_bCommitNode_1CommitNode_2历史数据-Batch售后客服FetcherStorageRecordProcessorCommitProcessorJobTaskSplitterTask-1Task-2Task-3Task-4SinkerCONTENTSCONTENTSp背景IntroductionIntroductionp核心功能p设计架构p应用数据迁移DBDB-1DB-2I.同步历史数据II.开启实时同步III.应用迁移IV.关闭实时同步园区数据采集StreamStreamStreamStreamStreamStreamPieESHBaseKafkaMysql本地加工处理业务系统Dcomb

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2019年数据蜂巢-轻量级数据处理平台.pdf）为本站（云闲）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。