1、技术中台-分布式架构在蚂蚁业务的实践分享分布式架构的优势和基本理念分布式架构实践举例-分布式TA系统分布式架构下如何保障系统的可靠性及稳定性分享大纲分布式架构的优势和基本理念TomcatTomcatWARWARUIUI账户服务账户服务交易服务交易服务订单服务订单服务数据库数据库ApacheApache优点易于开发测试部署性能扩展简单，靠堆机器缺点编译慢启动慢代码冲突性能扩展依赖机器WARWAR传统单体架构特点业务复杂度生产效率微服务架构单体架构复杂度较小时采用单体应用的生产效率更高，复杂度到了一定规模时，单体应用的生产效率开始急剧下降，这时对其进行服务化的拆分才是合算的微服务架构之所以得到广泛

2、认可，源于对于业务多变性的不可预测，微服务架构能够不断的自演化，进而快速适应业务变化微服务架构 vs 单体架构TradeTrade SystemSystemJVMJVMTradeTrade SystemSystemJVMJVMBIZCORECOREBIZ及时到账BIZ担保交易BIZ模块化开发自动服务发现P2P callLoad BalanceAuto Failover以前现在TradeAcctrans ServiceAcctrans ServiceAcctrans ServiceAcctrans ServiceAcctrans ServiceAcctrans ServiceTradePromo

3、tionF5/LVS微服务-注册中心微服务架构的负载均衡优势交易数据库账务数据库交易系统账务系统微服务-注册中心数据访问瓶颈解决方案 数据库垂直切分交易数据库分库0101分库0202分库0303业务峰值(TPS)(TPS)最小库数量=单库容量上限(TPS)(TPS)单位时间业务量 x x 存储时长最小表数量=单表容量上限交易系统交易系统交易系统交易系统交易系统交易系统数据访问瓶颈解决方案 数据库水平切分分布式架构实践举例-分布式TA系统联机网关SFTP前置服务前置服务交易服务交易服务清算服务清算服务业务库基础库业务库文件上传/下载文件合并/拆分监控平台调度服务客户端管理台清算串行执行效率低，无

4、法通过增加机器线性扩展性能一般使用大事务，出现问题全部回滚传统TA系统架构运维工具链IaaS业务服务层SOFAStack接入层应用部署配置维护监控预警治理控制日志分析服务治理消息治理任务管理事务管理灰度发布运维后台管理微服务分布式事务消息队列任务调度数据代理云应用引擎监控分析网关文件传输协议转换访问控制账户飞天云平台开户开户查询账户管理交易申购赎回消费清算清算流程文件处理文件生成账务资产登账收益分配资金清算督核流程核准文件核对分布式TA系统架构链路跟踪分布式清算任务如何高效实现？分布式下，加大应用处理出错的可能性，那清算任务如何确保正确性？分布式TA系统的需要攻克的技术难题任务调度平台任务节点

5、任务节点任务节点任务节点任务节点任务节点任务节点任务节点任务节点任务节点调度（定时/事件/手动）按 X 分片再按 Y 分片生成 X*Y 个分片任务节点任务节点任务节点任务节点任务节点任务节点拆分阶段执行阶段N 个分片N 个分片N 个分片N 个分片N 个分片N 个分片支持自定义分片，高效利用集群计算能力执行中可对任务进行暂停/续跑，强制取消任务失败重试机制，保障整体计算任务成功分布式任务调度平台清算任务调度交易申请文件.分片1分片2分片N文件分片99文件分片1文件分片99文件分片1文件分片99文件分片1流水库2 2流水库3 3.流水库100100执行1执行N执行1执行N执行1执行N执行1执行N交

6、易中心清算中心账务中心账户中心任务拆分任务执行任务调度流水库1 1核心服务日切备份日初始化第一次文件导入小时文件备份清算处理收益计算份额调整清算导出第二次文件导入二次清算收益导出核对异常冲正重做冲正重做冲正重做冲正重做冲正重做回滚维度 按文件 按用户 按备份点优点 任意流程可回滚 精准逐笔核对，支持按用户回滚，大幅缩短清算时长清算的容错和核对机制分布式架构下如何保障系统的可靠性及稳定性灰度发布机制SLBpaypay生产集群paypay生产集群灰度Beta发布分组发布灰度引流全量SOFAStack平台强大的发布能力支持，精准的流量控制90%10%00007080910119

7、9清算灰度，支持按用户维度抽取分片，缩短灰度时间正常表影子表DB数据访问代理paypay账户系统paypay清算系统paypay账务系统paypay压测流量引擎paypay某业务系统业务域分布式TA系统1、压测环境复用生产环境，压测结果可靠；优于线下压测。2、压测数据打标无法进入生产环境，数据表级隔离。线上全链路压测OceanBase高可用机制 基于Paxos协议的典型三副本部署数据强一致性持续可用主备自动切换单机、机房、城市级故障：不停服务，不丢数据商业数据库DB(主)数据(主)网络DB(备)数据(备)主库+备库可靠性主要依赖于硬件写事务到达超过半数库少数库异常不影响业务两地三中心多活灰度升

8、级 正常情况下和同城三中心部署的延迟一致 深圳一台ObServer宕机则会增加异地同步延迟 同城多个核心机房延迟一般在0.5 2ms之间OceanBase常用部署方案同城三机房两地三中心同城双活容灾架构外部流量SLBpaypay后台管理公共单库paypay账户paypay清算paypay账务交易库交易库账户分库交易库交易库账务分库主机房SLBpaypay账务交易库交易库账务分库paypay清算交易库交易库账户分库公共单库paypay账户paypay后台管理备机房交易库交易库账务分库交易库交易库账户分库公共单库paypay微服务paypay消息队列paypay微服务paypay消息队列同机房优先，避免跨机房损耗对应用无任何侵入，像单机房一样开发部署应用容灾自动切换谢谢！