1、中小银行分布式架构探索实践,上海农商银行信息科技部 田立中,目 录 Contents,1 上海农商银行信息系统概述2 分布式架构实践3 分布式架构运用思路,上海农商银行信息系统概况（1）,张江数据中心于2013年6月投入使用，主要承担生产机房和开发测试机房用途，机房面积约5300平米。桃浦数据中心于2010年初投入使用，主要承担灾备机房用途，机房面积1000平米左右。,上海农商银行信息系统概况（2）,上海农商银行信息系统概况（3）,三大总线,四大平台,1）JavaEE三层架构为主2）应用服务器基本采用集群来提升可用性和扩展能力3）数据库要为db2，少量使用了Oracele RAC4）本地高可用

2、手段：HA、vSphere群集HA、RAC1）单个OLTP系统内部为同步交易为主2）系统间交互以消息中间件异步交互为主1）占我行系统数量约70%2）应用服务器基本采用集群来提升可用性和扩展能力,上海农商银行信息系统概况（4）,上海农商银行信息系统概况（5）,1）利用Esxi按照业务区域组成群集2）池化了物理机资源和存储资源3）虚拟机的统一管理1）报表、自助分析取数平台，采用db2 dpf 的MPP架构2）大数据平台，采用hadoop、HBASE、Hive等分布式技术3）数据仓库采用了Teradata MPP架构,分布式架构实践自助分析取数平台,IBM P770DB2 dpf1个协调节点，9个数

3、据节点每个节点4C8G,光纤以太网络,分布式架构实践数据仓库,1、近50个业务系统数据纳入数据仓库2、2个MPP物理节点，数据量达到30TB3、为包括行长驾驶舱、绩效考核等近10个决策支持类系统和分析类系统提供数据,数据仓库在我行发挥重要作用：,分布式架构实践大数据平台,2015年底构建了基于Hadoop分布式处理框架的大数据平台，以高可靠、高效率、可伸缩的方式完成我行54个数据源系统的加载和处理，构建了包含逻辑回归、决策树、轨迹匹配算法等32种数据挖掘算法库。,构建统一的大数据平台,逐步建设基于大数据平台的分析应用,2016年3月份实现基于大数据平台的录音录像数据的查询2016年6月份启动基

4、于大数据平台的日志分析应用建设,建立大数据分析能力,基于大数据平台，结合我行业务发展及管理需求，逐步开展离线数据分析、实时/流数据处理、数据挖掘、机器学习等多场景分析应用系统建设。,核心账务系统,SAP财务系统,结构化数据,ODS,信用卡前置系统,客户费累加器表新旧账号对照表存储税的明细,客户主表卡账户信息表卡产品卡交易表,贷款信息主表贷款交易流水表存款收费流水,存款主表存款定期主表存款附加表_计提当月累计基数表,企业级客户信息,综合理财平台,中间业务系统,金融IC卡,一,存储54个数据源系统，90T数据,后续规划计划2017年底完成我行历史数据存储系统（HDS）92个应用服务，65个数据源系

5、统迁移工作2018年6月份完成影像平台30T影像数据迁移工作,待迁移,26个物理节点 数据节点22个管理节点3个ETL节点1个,建设情况,分布式架构的运用思路新挑战的需要,1）业务量是平时的数百倍；2）当前架构，数据库是瓶颈；3）应用服务器水平扩展成本代价太高。1）传统业务的互联网化，数据累积越来越快2）历史累积的数据越来越大3）数据分析即时性要求越来越高1）监管的要求2）联合促销,4、成本压力的挑战,分布式架构的运用思路架构选择原则,1）安全可控 2）严格的可用性水平要求1）传统业务的互联网化，“秒杀”将逐渐成为常态2）适应互联网金融的要求，跨业融合、API经济将成为主流1）软件逐步向Saa

6、S过渡，适应开放、互联的趋势；2）硬件逐步向PaaS、IaaS过渡，资源可以计量、计价。1）封闭向开放过渡，更多的开源产品的应用2）小型机向x86过渡，资源服务化将成为主流1）设备成本 2）软件许可成本 3）运维成本,4、主流技术,5、全生命周期成本最低,分布式架构的运用思路分类处理,1）并发要求低、负载压力相对均匀的系统，集中式处理还是比较好的选择2）并发要求高、负载压力极为不均匀的系统，分布式服务是目前的共识1）MPP数据库2）非MPP分布式数据库1）逐步将非结构化数据纳入大数据平台2）建设大数据分析能力,分布式架构的运用思路应对“秒杀”思路（1）,分布式架构的运用思路应对“秒杀”思路（2）,分布式架构的运用思路应对“秒杀”思路（3）,来源：http:/,分布式服务架构,分布式架构的运用思路应对“秒杀”思路（4）,来源：http:/,分布式架构的运用思路分布式服务架构挑战,1）服务定义、配置管理2）服务的依赖关系3）服务授权等1）超时回退机制2）弱一致性带来的问题1）监控及故障诊断2）批处理3）备份及恢复,分布式系统的运用思路分布式数据库,1）迁移过程中的sql兼容性问题2）ACID向弱一致性过度需要克服的问题3）备份、恢复同集中式存在较大不同4）运维工作相对复杂5）分布式数据库在银行OLTP系统案例少,探索在OLTP系统中使用分布式数据库,