1、i布式实现那些事儿 Pegasus背后的故事小米云存储工程师 Pegasus的产生 实现中的那些坑 Deterministic测试 现状和计划 总结 记一次HBase事故 !外部客户端压r太大导致Zookeeper不可用!Zookeeper不可用导致所有Region Server不可用 HBase的不足 Pegasus的定位 补HBase所短 取HBase所长 Pegasus架构一览!中心y、iPartition!心跳不依赖Zookeeper、不依赖DFS、多副本 多副本间的一致性协议!PacificA一致性协议 Pegasus写请求流程 Pegasus写请求流程 Pegasus写请求流程 P

2、egasus写请求流程 Pegasus的读请求流程图 Pegasus的产生 实现上的那些坑 Deterministic测试 现状和计划 总结 扩展性!Partition Schema!Load Balance Partition方案 HashHash?!?!?!?!?!?!?!?!?!?!?!Hash Schema实现方式?!?!两种方案对比?!?!?!?!?!?!?!?!?(quota)!?!?!?!?!?!?!?!?!?!?!?!Hash Schema的负载均衡 可能的考虑因素：单个Key请求过热(难以解决)单个Partition请求过热(无需考虑)Partition容量i布不均(无需考虑

3、)Partition个数i布不均(需要处理)负载均衡-目标!Primary、Secondary不c享物理机!对C每个表：Primary、Secondary都平均i配!角色切换优C数据拷贝!根据Primary的可能流向建立有向图!Ford-Fulkerson方法：最短路+迭代 负载均衡-算法 真实的负载均衡 考虑机架位等信息 节点需要有权重 拷贝数据时限流 一致性和可用性!PacificA算法!多副本!心跳不依赖zookeeper!数据不依赖DFS“T们有双机房热备吗？”!在强一致下，跨机房的可用性至少涉及三机房!三机房replication性能保障不够好 要搞明白业务的需求 长得好看不重要，能

4、过日子最重要 Pegasus的多级冗余策略 满足多种业务需求 表级别灵活控o，避免备份太多 一致性和可用性：权衡 onsistency Availability Partition Tolerance 延时保证 实现语言：C+产品可用的一致性协议的实现 一致性协议很难实现!要求：正确、高效、易维护、可测试!难点：多阶段、涉及IO并发细粒度t锁 A抢临界区无锁串行y排队 实现要点!事件驱v、纯异步、无锁串行y!额外优势：方便监控、追踪 Pegasus的产生 实现中的那些坑 Deterministic测试 现状和计划 总结 i布式系统做稳定很难!难以测试：难以通过有效的测试手段发现bug!难以复现

5、：就算触发n了bug，也难以定位、复现和调试!难以回归：bug是不是被正确的解决了 根源：不确定性!程序自身的随机：调度、定时器、随机数、多节点并行!外部IO的错误：失败、超时、丢包、乱序 不确定性的问题 小概率IO错误+随机执行路径=不易复现异常状态 能不能模拟？模拟IO错误 控o程序的执行顺序 大方向：提供统一的编程模型!将不确定性因素做接口封装!单进程模拟多个网络节点 控o程序的执行顺序：消除并行!单节点串行y：按序执行+异步IO事件P随机delay!节点间串行y：parallel concurrent，多队lP随机调度 模拟IO的不确定性!以一定的概率注入错误!业务逻辑assert、添

6、ta局状态检查模块!发生异常时：用相同的随机数种子重新运行 应用case：一致性协议的单元测试 i布式框架rDSN 异步编程模型 Deterministic框架：模拟测试、debug https:/ Pegasus的产生 实现中的那些坑 Deterministic测试 现状和计划 总结 现状 设计、接口、存储引擎、benchmark、对比HBase：http:/ b司e上线服务业务 开源：修改过的rDSN框架、带replication的kv数据库 待开源：跨机房复o、snapshot备份 计划 持续开源更多s能 RESTful API 多租户支持 支持Schema、SQL、跨行Transaction Pegasus的产生 实现中的那些坑 Deterministic测试 总结 现状和计划 对C一个好的项目 关注业务 明确业务需求 关注架构 一致性、可用性、扩展性、性能 关注软件工程 可维护性、测试、监控 附录 PacificA一致性协议：https:/ 2016北京关CPegasus的技术i享：http:/