1、邮储银行分布式架构应用实践及分布式技术在银行业的应用趋势邮储银行总工程师 徐朝辉2016 年 11月,一、邮储银行分布式架构应用实践,3,目录,基于开放式平台，采用分布式架构,邮储银行信息系统总的技术路线,4,传统Linux/UNIX上分布式架构,基于云计算的分布式架构,基于负载均衡器应用软件架构模式,基于Oracle RAC的数据库架构模式,基于内容的负载均衡架构模式,基于PostgreSQL的轻量级数据库架构模式,并行处理,负载均衡,故障切换,流量控制,异常处理,哈希分库,可视监控,冗余灾备,两条平行的技术路线,5,整体架构目标,个人业务逻辑集中系统,开放平台|分布式架构,支撑全国6亿客户

2、和15亿账户，4万个网点日均业务量7000万笔，峰值业务量1.1亿笔利用小型机集群技术，24小时服务全国逻辑集中的新一代核心业务系统,6,总体思路,7,架构思想,8,通过业务功能横向、纵向拆分及流量分发实现高并发业务处理，持续优化：分解访问热点、数据及流程优化、提高并行性,高并发处理能力,处理能力扩展,应用部署扩展,处理性能,分散处理压力,业务功能分散部署,分散至多节点,分离处理功能,依据性能影响分离,依据处理独立性,简化数据存储,简化结构,删除冗余结构,处理流程优化,并行处理,简化处理流程,分离处理流程,日终并行处理,批量并行处理,9,满足总行级业务系统全天候对外提供稳定可靠的金融客户服务,

3、高可用性,10,个人核心业务系统专注于实现业务相关处理剥离会计处理、渠道管理、客户管理功能,整体逻辑架构,11,拆分为多个业务子系统协作交易处理，统一对外提供服务各业务子系统分别部署，具备物理独立性支持应用扩展和数据库扩展，提升性能容量和弹性通过中间件实现系统间通信及事物一致性差错处理机制,应用架构,12,开始上云的试验！,开始部署华为昆仑小型机,从2017年开始，（1）各子系统逐步上云；（2）应用架构进行调整,各业务子系统都拥有独立的应用和数据库服务器集群服务器集群具备良好的可扩展性,应用架构,13,14,目录,私有云建设目标,15,邮储“云化+智能”信息化体系,统一架构，统一平台,技术先进

4、，实用适用,安全可靠，平稳过渡,充分利旧，务求实效,资源调配更弹性灵活,实现IT资源的统一管理、弹性调配、智能化服务、自动化运维，满足业务应用一键部署、弹性伸缩和故障自愈的需要。,数据利用更集中智能,实现数据统一访问、集中存取、高效计算与智能分析，完成从“搬数据”到“搬计算”的能力转变，为数据中心提供运行支撑。,服务集成更统一高效,构建服务的统一注册、发布与部署环境，实现分布式服务集成，为“多场景、微应用”提供支撑。,应用开发更快速便捷,提供应用在线开发、测试和发布全过程服务能力，支撑微应用、移动应用建设，实现应用“云端开发、敏捷交付、灰度发布”。,建成资源调配更弹性灵活，数据利用更集中智能，

5、服务集成更统一高效，应用开发更快速便捷的邮储“云化+智能”信息化体系，支撑核心业务服务能力、创新业务支撑能力与智能分析应用能力建设。进一步提升信息储存、传输、集成、共享等服务水平，促进业务集成融合，缩短应用上线周期，快速响应业务变化，提升用户体验，增强系统运行可靠性。,15,邮储银行私有云的系统架构（优化开源+自主创新）,原生功能,增强功能,增加功能,KVM,16,云平台-多数据中心部署架构,17,目前已部署600节点,云平台建设,开发测试云平台,核心应用云平台,互联网金融云平台,大数据云平台,开发测试环境,生产环境,18,云平台建设,开发测试云平台,核心业务云平台,互联网金融云平台,大数据云

6、平台,开发测试环境,生产环境,渠道管理平台,手机银行系统,自助银行系统,互联网网贷系统,小微金融服务平台,中邮消费金融公司业务系统,比传统模式平均节约51%的CPU和20%的内存资源预计5年内节省15%投资资源动态伸缩，部署管理更加灵活,云交易量占比35%，生产云系统及云交易量占比行业领先云平台应用软件架构技术行业领先,19,云平台-渠道管理平台,用于云平台的服务器设备共部署216台,渠道管理平台云,性能测试结果19000笔/秒,20,数据库分库设计,云平台-渠道管理平台,21,云平台-小微金融服务平台,借助互联网、云计算技术，通过行内、行外数据综合运用提升资产管理能力，促进业务发展模式升级,

7、22,云平台-手机银行,手机银行600万笔/日，满足移动金融业务的创新和发展,23,不改变用户使用习惯保障业务高峰稳定运行、弹性扩展应用资源开通部署快速灵活实现统一管理分配，提升资源管控能力,提高资源利用率,传统资源利用率20%云平台资源利用率71%,51%,资源利用,高效管理,业务支撑,缩短开通时间,50%,传统需要14天云平台需要2天,720%,缩短管理时间,传统人工调度需要需要5天云平台需要20分钟,总结,云平台技术成效,24,资源包,操作系统镜像,应用服务中间件镜像,数据库镜像,基础资源镜像,平台组件镜像,应用系统镜像,A应用镜像,C应用镜像,A应用镜像,V1.0,V1.1,提供操作系

8、统服务,1,2,4,提供中间件服务,3,1,1,2,+,提供数据库服务,1,3,+,提供应用中间件和数据库服务,1,2,+,3,+,提供人资应用服务,1,2,+,3,+,4,+,将从操作系统、平台组件到应用系统所有资源标准化封装成资源包，实际通过镜像仓库进行管理，可以根据不同应用场景，实现不同资源包的灵活叠加组装。,基础能力 一体化封装,云平台技术成效,25,26,业务应用运维人员，根据应用部署需求绘制应用部署拓扑图，由云平台统一为应用提供主机、存储、网络、操作系统、中间件、数据库、负载均衡服务，通过服务的组装为应用提供完整的运行环境，实现应用环境的自动构建。,应用成效 一键式部署,传统方式，

9、每个环节手工操作，通常需要2-3周,拖拽构建应用部署拓扑图,未来基于云平台，部署过程自动完成，只需要几小时,一键式,云平台中自动完成,云平台技术成效,26,数据中心服务器，网络，存储,资源封装,云服务,应用负载,用户访问量增加,用户访问量下降,云平台具备弹性伸缩能力，系统应用负载大幅提高，通过分布式云操作系统等云平台组件可实现根据用户访问情况自动扩展资源，提高系统的业务应用承载能力；系统应用负载降低，云平台自动回收空闲的基础资源，提高资源利用率。,应用成效 弹性伸缩,云平台技术成效,27,云平台技术成效,28,29,目录,30,基于混合架构的大数据平台,大数据平台是“平台中的平台”，是海量数据

10、集中整合的平台，是复杂场景高性能计算的平台，是深入应用数据资产价值的基础平台,整体架构,高性能计算环境（数据探索、模型建立）,ETL环境,准实时计算环境（ODS）,数据集市,数据展现集市,数据下载集市,风险集市,非结构化数据存储,大数据平台,财务集市,可视化展示平台,源数据层,大数据平台架构Hadoop环境：准实时、高性能、非实时复杂计算环境Vertical环境：主数据仓库数据集市：财务集市、风险集市、,准实时计算环境（实时阻断黑名单客户交易、反洗钱等）,31,HP Vertica环境,176节点，18个机柜，每个机柜10个节点，第18个机柜6个节点分为2个集群：128节点，作为数据仓库；48

11、节点，作为数据分析环境,Vertica 集群,v001,v002,v003,v004,v005,v006,V007,v009,v010,v008,控制节点,Rack#1,vxxx,vxxx,数据节点,图例,v001,v002,v003,v004,v005,v006,V007,v009,v010,v008,Rack#2,v001,v002,v003,v004,v005,v006,V007,v009,v010,v008,Rack#3,v001,v002,v003,v004,v005,v006,Rack#18,32,数据应用成效明显,完成数据仓库移植提供22大类，1100张报表服务90%应用响应时间

12、控制在15秒以内,支撑个人综合积分、掌柜贷、邮享贷、银监会数据报送的大数据计算为信息统计、绩效考核、FTP、CRM等18个系统提供数据服务,开展主题分析51项模型固化展示2项数据服务470份为各省拆分下发26个系统数据,接入26个业务系统；数据规模221T，提升6倍；每日处理量92T，效率提升10倍应用开源技术，获取外部数据20万条以上,分析挖掘深化,夯实数据基础,数据仓库移植,数据应用支撑,大数据平台,33,大数据应用：基于大数据平台构建综合营销体系,大数据平台,支撑,个人综合积分系统,1.系统为客户价值提供多元衡量标准，以积分为桥梁增强客户黏性2.掌握客户360度信息，实现价值客户精准营销

13、3.提升客户体验将成为银行业的变革核心4.银行业的竞争演变将从客户到用户再到账户，这是一个客户资产结构竞争的趋势,业务价值,客户营销系统（O-CRM、A-CRM、C-CRM）,借助大数据平台，通过个人综合积分系统分析：资产1万元以下的客户数占比83%，而贡献资产仅为5%，即17%的客户贡献了95%的资产。通过客户营销系统，要针对价值客户实施精准营销,83%,34,小型机和PC服务器相对不稳定,实际情况是：（1）电子产品工艺越成熟，批量越大，产品越稳定；（2）通过架构（冗余）可以用不稳定的产品构建稳定的系统；,开源的产品不稳定,实际情况是：（1）众人拾柴火焰高；（2）关键是选好、用好；,商用的产

14、品有服务、可以分担责任,实际情况是：（1）有服务不一定能够解决问题；（2）没有任何厂商为银行信息系统的故障承担责任和损失；,思想观念的转变很重要,35,二、分布式技术在银行业的应用趋势,趋势一：集中式架构将逐步迁移到分布式架构，但集中式架构设计思想将长期存在,37,大量基于集中式架构构建的业务应用将逐步迁移到分布式架构，包括电子渠道处理，管理决策，数据挖掘与分析等领域的应用将更快的迁移到分布式架构。但基于CAP原理的约束，分布式架构无法实现实时强数据一致性，而这是银行核心交易和账户数据所必须满足的要求，因此集中式架构设计思想将在核心交易及账户数据处理上被采用。,趋势二：核心银行系统将进一步“瘦

15、核心”化,38,但随着分布式数据库应用的深入，部分银行已经将核心系统的查询交易（大约能占到核心交易量的70%左右）迁移到分布式系统中，这种既不影响核心系统的交易一致性，又能降低核心负载，同时提升系统整体稳定性的做法将被越来越多的银行采用,趋势三：分布式技术的普及将促使银行的总体IT成本相对下降,39,在基础设施层面，基于分布式架构构建的业务系统将主要运行在PC服务器+Linux环境上。分布式架构的一大优势是对每个数据节点的计算能力以及单点可靠性的要求大幅降低了，这导致廉价的PC服务器可以凭借数量优势取代之前主流的大型机，从而带来IT总体成本和支出的下降。,趋势四：开源分布式技术将是银行的主流选择,40,在过去的十几年，开源技术获得了较快的发展，以MySQL为基础构建大规模Share Nothing架构的分布式、结构化数据处理平台，以Hadoop为基础构建大规模、非结构化数据处理平台，在国内外银行业，已经积累了不少的成功案例，这个趋势将继续发展下去，而且速度会加快。,谢谢！,