1、美团点评异地多机房Hadoop架构实践大数据技术专家目录原生Hadoop架构在多机房场景下的问题 美团点评Hadoop多机房服务架构实践 美团点评Hadoop多机房服务运营实践概述 总结和经验ping时延同机房 /地域/机房/机架/DN基于xattr的文件副本分布属性文件默认机房一份元数据管理多机房副本保障数据一致性多机房存储资源管理：NameNode机房感知地区1地区2NameNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNode/地区1/机房1/192_168_1/DNxx各类事件响应setXAttr BlockManager choose

2、Target getBlockLocation countNodes ReplicationMonitor等TTLChecker轮询INodeTree，删除过期replica多机房存储资源管理：NameNode副本分布属性支持保证吞吐，避免跨机房流量写：仅向默认机房写入HDFS配置 环境变量 HDFS Client所在机房 NN所在机房 读：就近读取客户端同DN 客户端同机架DN 客户端同机房DN 客户端同地域DN 其他具备初级多机房存储资源管理能力多机房存储资源管理：HDFS读写响应基于Label Scheduler的多机房计算资源调度禁止跨机房作业调度前向兼容为Hadoop账号绑定默认机房

3、 e.g.root.hadoop-user1.test 等价于 root.机房1.hadoop-user1.test多机房计算调度机房1NodeManagerNodeManagerNodeManagerNodeManager机房2NodeManagerNodeManagerNodeManagerNodeManagerroot.机房1.hadoop-user1.etlroot.机房1.hadoop-user1.testroot.机房1.hadoop-user2.testroot.机房2.hadoop-user3.etlroot.机房2.hadoop-user3.test基于YARN Federa

4、tion的跨地域计算调度多机房计算调度：异地跨机房计算调度机房2机房1RouterRouterRMNMNMNMNMNMNMRMNMNMNMNMNM(AM)NM1234优先请求本机房Router队列SubCluster关系基于配置不进行跨SubCluster调度三步实现Hadoop多机房架构多机房Hadoop资源管理多机房存储资源管理多机房计算调度跨机房Hadoop应用优化跨机房数据Cache处理带宽管控HDFS机房容错机房间数据依赖处理本质上是数据Cache问题Cache一致性 生命周期管理Cache加载Cache穿透处理平台统一处理，保留业务定制能力屏蔽多机房对业务的影响降低迁移成本提升平台

5、掌控，提升资源利用率跨机房数据Cache处理跨机房数据Cache处理：全链路审计数据打通数据协同平台 结构化ETL离线作业托管平台 非结构化作业非工具链作业调度系统查询中心非工具链环境YARNHDFS作业定义作业提交作业执行数据审计跨机房数据Cache处理：数据依赖类型与Cache规则面向定时生产基于数据血缘，产生准确规则面向高频查询基于审计日志，发现规律预期外突发实时统计跨机房数据读取，减少重复跨机房流量Zone Data Manager Service基于数据血缘产生和读写规律构建 路径副本cache规则 e.g.保留定制能力：提供WebUI，管理路径副本分布规则跨机房数据Cache处理：

6、ZDMS管理Cache规则Zone Service执行 路径副本Cache规则跨机房数据Cache处理：ZS执行Cache规则AuditLog TailerNameNodeNameNodeNameNodeAuditLog TailerAuditLogTailerRuleBuilderNN审计日志BlockCopyFairSchedulerSrc DataNodeDst DataNode123456ZSConcurrentController7ReplicaExecutorClientRpcMonitorZDMSZone Service客户端跨机房请求前请求ZS跨机房数据Cache处理：ZS执行

7、Cache规则BlockCopyFairSchedulerZSConcurrentControllerCrossZoneReplicationClientRpcMonitorNameNodeNameNodeHDFSClientRuleEngine3.8%冗余存储保障数据生产和查询效率Cache命中率83.7%，夜间命中率99.94%跨机房数据Cache处理：效果ZS负责所在机房流入副本拷贝与带宽管控客户端实时跨机房读写NN跨机房补块 Cache规则执行带宽管控NameNodeBlockCopyFairSchedulerZSConcurrentControllerReplicaExecutorC

8、lientMonitorNameNodeNameNodeHDFSClientRuleEngine三步实现Hadoop多机房架构多机房Hadoop资源管理多机房存储资源管理多机房计算调度跨机房Hadoop应用优化跨机房数据Cache处理带宽管控HDFS机房容错HDFS容灾策略地区1地区2机房1机房2NameNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNode读写锁时间片HDFS容灾策略计算丢块无法处理的补块任务地区1地区2机房1机房2NameNode

9、DataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeXHDFS容灾策略地区1地区2机房1机房2NameNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeDataNode恢复DN块上报补块任务开始可被处理删除冗余副本DataNodeDataNode核心问题HDFS分区容忍设计粒度为节点级别网络故障时，DataNode没有故障，数据没有丢失目标：实现机房、机架

10、粒度容错，保障MTTRHDFS容灾策略livestaledeadlivestalelostdead=长传带宽故障长传带宽恢复读写HDFS架构改造入口层引擎层数据层ClientZDMSZSZSDataNodeDataNodeDataNodeDataNodeDataNodeDataNodeNameNode机房1机房2HDFS架构改造管控跨机房流量入口自动化跨机房数据Cache处理；管控跨机房带宽使用管理多机房存储资源；实现机架粒度容灾入口层引擎层数据层基于Label调度的低时延多机房调度基于YARN Federation的跨地域长时延多机房调度YARN架构改造机房2机房1RouterRouterR

11、MNMNMRMNMNMRouterRouterRouterRouterNMNMNMNMNMNMNMNMRMRM目录原生Hadoop架构在多机房场景下的问题 美团点评Hadoop多机房服务架构实践 美团点评Hadoop多机房服务运营实践概述 总结和经验迁移流程业务负责平台负责梳理 迁移业务 与资源需求 拷贝 文件副本到新机房 测试 迁移对业务作业的影响 Review测试报告 沟通运维窗口迁移 作业执行队列到新机房 迁移 业务HDFS元数据 到新机房NameSpace回收 业务原机房资源少量非平台作业队列修改账号间数据依赖，确定哪些账号必须同批次迁移迁移后对存储、计算、带宽资源需求根据物理资源到位

12、情况安排迁移次序梳0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 0:000:120:240:360:481:001:121:241:361:482:002:122:242:362:483:003:123:243:363:484:004:124:244:364:485:005:125:245:365:486:006:126:246:366:487:007:127:247:367:488:008:128:248:368:489:009:129:249:369:4810:0010:1210:2410:3610:4811:0011:1211:2411:

13、3611:4812:0012:1212:2412:3612:4813:0013:1213:2413:3613:4814:0014:1214:2414:3614:4815:0015:1215:2415:3615:4816:0016:1216:2416:3616:4817:0017:1217:2417:3617:4818:0018:1218:2418:3618:4819:0019:1219:2419:3619:4820:0020:1220:2420:3620:4821:0021:1221:2421:3621:4822:0022:1222:2422:3622:4823:0023:1223:2423:

14、3623:48hadoop-waimai?2017-10-11?-?(GB)?(GB)拷目标机房DN源机房DNDNNNNNNNDNDNDNDNDNNN统一的标准是作业可测试的保障测数据协同平台 结构化ETL离线作业托管平台 非结构化作业任务1任务2任务3任务4任务5任务6任务7任务8SLA任务任务2任务4任务6任务7任务8SLA任务任务1任务2任务3任务4任务5任务6任务7任务8SLA任务源机房生产调度目标机房执行测试预测迁移后调度执行时间迁：平台上作业可一键修改执行队列挪：Federation架构下 NameSpace迁移 平台重跑失败流程收：回收源机房资源 分配给其他业务方迁 挪 收目标机房DN源机房DNDNNNNNNNDNDNDNDNDNNN目录原生Hadoop架构在多机房场景下的问题 美团点评Hadoop多机房服务架构实践 美团点评Hadoop多机房服务运营实践概述 总结和经验常态、异地、多机房、单集群Hadoop服务基于HDFS xattr和DN拓扑的改造管理多机房存储资源基于自研的HDFS引擎层实现透明Cache和带宽管控基于YARN Label调度和Federation实现跨机房计算调度整体架构保持前向兼容，架构落地对业务透明经验平台的业务掌控力，是一个好的架构设计的基础技术换运营，站在平台运营视角进行架构设计，才能保证架构平稳落地总结和经验